KR101244289B1 - Mp3 곡 데이터와 미디용 가사 데이터의 동기방법 - Google Patents

Mp3 곡 데이터와 미디용 가사 데이터의 동기방법 Download PDF

Info

Publication number
KR101244289B1
KR101244289B1 KR1020110077032A KR20110077032A KR101244289B1 KR 101244289 B1 KR101244289 B1 KR 101244289B1 KR 1020110077032 A KR1020110077032 A KR 1020110077032A KR 20110077032 A KR20110077032 A KR 20110077032A KR 101244289 B1 KR101244289 B1 KR 101244289B1
Authority
KR
South Korea
Prior art keywords
lyrics
data
midi
song
time
Prior art date
Application number
KR1020110077032A
Other languages
English (en)
Other versions
KR20130015177A (ko
Inventor
김진경
Original Assignee
주식회사 금영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 금영 filed Critical 주식회사 금영
Priority to KR1020110077032A priority Critical patent/KR101244289B1/ko
Publication of KR20130015177A publication Critical patent/KR20130015177A/ko
Application granted granted Critical
Publication of KR101244289B1 publication Critical patent/KR101244289B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal
    • G11B2020/00057MPEG-1 or MPEG-2 audio layer III [MP3]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

MP3 곡 데이터와 미디용 가사 데이터의 동기방법이 개시된다. 개시된 MP3 곡 데이터와 미디용 가사 데이터의 동기방법은, MP3 곡 데이터와 미디용 가사 데이터의 동기방법에 있어서, (a) 상기 MP3곡 데이터와 상기 가사 데이터를 읽는 단계와; (b) 상기 MP3곡 데이터의 FPT(Frame Per Time) 시간 및 상기 가사 데이터의 틱(tick) 인터벌 시간을 구하는 단계와; (c) 현재 재생되고 있는 상기 프레임의 개수와 상기 틱의 개수를 구하는 단계와; (d) 총 재생된 상기 MP3 곡의 시간과 상기 가사의 시간을 구하는 단계와; (e) 상기 MP3 곡 또는 상기 가사의 템포가 변경되었는지 판단하는 단계와; (f) 상기 단계 (e)에서, 상기 MP3 곡 또는 상기 가사의 템포가 변경되었다고 판단되는 경우, 상기 MP3 곡과 상기 미디용 가사의 재생 시간이 같은지 비교하여 판단하는 단계와; (g) 상기 단계 (f)에서, 상기 MP3 곡과 상기 미디용 가사의 재생시간이 다르다고 판단되는 경우, 상기 미디용 가사 재생 시간만큼 파일 포인터의 위치를 수정하고, 상기 단계 (c)부터 재 수행하는 단계;를 포함하는 것을 그 특징으로 한다.

Description

MP3 곡 데이터와 미디용 가사 데이터의 동기방법{METHOD OF SYNCHRONIZING MP3 MUSIC DATA WITH LYRICS DATA FOR MIDI}
본 발명은 MP3 곡 데이터와 미디용 가사 데이터의 동기방법에 관한 것으로서, 보다 상세하게는 데이터 재생 중 템포(tempo) 변경시 MP3 곡 데이터와 미디용 가사 데이터의 동기방법에 관한 것이다.
예컨대, 노래반주기와 같은 오디오 재생장치에서 재생되는 MP3(엠피쓰리, MPEG Audio Layer-3) 곡(music)과, 미디(MIDI, Musical Instrument Digital Interface) 데이터에 포함되어 있는 가사의 동기화 방법은, 단순히 시작 시점만을 맞추어서 같이 시작하는 방법이었다.
이렇게 각 MP3 곡의 시작 시점을 미디용 가사 데이터의 시작 시점과 맞춰서 즉, 양 데이터의 시작 시점을 같이 하여 동기화를 시작하게 되면 MP3 곡과 미디용 가사 데이터가 서로 동기화가 되어서 노래가 재생이 된다.
그런데, 상기와 같은 기존의 동기 방법은, 템포 변화시에 동기화가 틀어질 수 있는 문제점이 항상 발생하게 된다. 특히, 상기한 템포가 급격하게 변화되는 경우에는 MP3 곡과 미디 데이터의 가사의 동기화가 틀어져 사용자가 볼 때 곡(노래)과 가사가 틀어져버려 노래를 부를 수 없는 상황이 된다.
그리고 계속적으로 템포가 변경되는 경우, MP3 곡과 미디용 가사의 동기화는 틀어지게 되어 있다.
또한 종래에는 MP3 곡과 미디용 가사 데이터의 동기화를 서로 지속적으로 맞추는 것이 아니라, 처음 시작할 때 한 번만 맞추고 시작하여 중간에 동기화가 틀어지거나 한쪽이라도 다른 태스크(task)의 영향을 받아 조금이라도 지체가 되면 동기화가 맞지 않는 현상이 발생하였다.
상기와 같은 문제점으로 인해 현재 MP3 곡을 많이 이용하고 템포 변경을 수행하는 노래반주기의 경우에는, 노래반주기에서 템포 변경을 제한하거나, 극히 일부의 기능만을 수행하도록 하고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로서, 템포의 변경시에도 MP3 곡과 미디용 가사가 정확하게 동기화 되며 재생할 수 있도록 한 MP3 곡 데이터와 미디용 가사 데이터의 동기방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 MP3 곡 데이터와 미디용 가사 데이터의 동기방법은, MP3 곡 데이터와 미디용 가사 데이터의 동기방법에 있어서, (a) 상기 MP3곡 데이터와 상기 가사 데이터를 읽는 단계와; (b) 상기 MP3곡 데이터의 FPT(Frame Per Time) 시간 및 상기 가사 데이터의 틱(tick) 인터벌 시간을 구하는 단계와; (c) 현재 재생되고 있는 프레임의 개수와 상기 틱의 개수를 구하는 단계와; (d) 총 재생된 상기 MP3 곡의 시간과 상기 가사의 시간을 구하는 단계와; (e) 상기 MP3 곡 또는 상기 가사의 템포가 변경되었는지 판단하는 단계와; (f) 상기 단계 (e)에서, 상기 MP3 곡 또는 상기 가사의 템포가 변경되었다고 판단되는 경우, 상기 MP3 곡과 상기 미디용 가사의 재생 시간이 같은지 비교하여 판단하는 단계와; (g) 상기 단계 (f)에서, 상기 MP3 곡과 상기 미디용 가사의 재생시간이 다르다고 판단되는 경우, 상기 미디용 가사 재생 시간만큼 파일 포인터의 위치를 수정하고, 상기 단계 (c)부터 재 수행하는 단계;를 포함하되,
상기 단계 (f)에서, 상기 MP3 곡과 상기 미디용 가사의 재생시간이 같다고 판단되는 경우, MPEG 오디오 디코더로부터 출력된 PCM 데이터를 재생하는 단계를 더 포함하여 되고,
그리고, 상기 MP3 곡의 총 재생 시간은, [상기 FPT 시간 × 상기 프레임의 개수]의 식으로 구하고, 상기 미디용 가사 데이터의 총 재생 시간은, [상기 틱(tick) 인터벌 시간 × 총 틱의 개수]의 식으로 구하며, 이때, 상기 MP3 곡의 상기 FPT 시간은 상기 MPEG 오디오 디코더에서 계산되어 지고, 상기 틱 인터벌 시간은, [미디 데이터의 템포 / 미디 데이터의 타임베이스(timebase)]의 식으로 구하는 것을 그 특징으로 한다.
본 발명의 실시예에 따르면, 노래반주기와 같은 오디오 재생장치에서 MP3 곡과 미디용 가사가 재생 중 템포가 변경되는 경우, 상기한 미디용 가사 재생 시간을 기준 시간으로 하고, MP3 곡 재생 시간을 미디용 가사 기준 재생 시간에 맞추어 동기화를 하면, 미디용 가사와 MP3 곡을 동기화할 수 있다.
따라서, 가사와 노래(또는 곡) 그리고 키, 템포의 변경에도 문제없이 동기화된 데이터를 재생할 수 있어, 노래반주기와 같은 오디오 재생장치의 사용자는 언제나 곡과 가사가 정확하게 동기화가 맞는 데이터를 재생하여 노래를 부를 수 있다.
도 1은 본 발명에 따른 MP3 곡 데이터와 미디용 가사 데이터의 동기방법을 순차적으로 나타낸 순서도.
도 2는 본 발명에 따른 MP3 곡 데이터와 미디용 가사 데이터의 동기방법이 적용되는 노래반주기의 블록 구성도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1에는 본 발명에 따른 MP3 곡 데이터와 미디용 가사 데이터의 동기방법을 순차적으로 나타낸 순서도가 도시되어 있고, 도 2에는 본 발명에 따른 MP3 곡 데이터와 미디용 가사 데이터의 동기방법이 적용되는 오디오 재생장치의 일 실시예로, 노래반주기의 블록 구성도가 도시되어 있다.
도 1 및 도 2를 참조하면, 본 발명에 따른 MP3 곡 데이터와 미디용 가사 데이터의 동기방법은, 우선, 작동 중(ON)인 노래반주기(10)의 노래 재생을 위해 입력부(15)를 조작하면, 하드디스크 드라이브(HDD; Hard Disk Drive)와 같은 저장장치(11)에 저장되어 있는 MP3 곡 데이터와 미디(MIDI)용 가사 데이터를 제어부(12)가 읽는다.(단계 110)
이어서, 상기 MP3 곡 데이터의 FPT(Frame Per Time) 시간(μsec) 및 미디용 가사 데이터의 틱 인터벌(tick interval) 시간(μsec)을 계산하여 구한다.(단계 120)
그리고 현재 MPEG 오디오 디코더(13)를 통해 디코딩 되어 재생되고 있는 MP3 곡 데이터의 프레임 개수와 미디 재생기(MIDI player)(14)를 통해 현재 재생되고 있는 미디용 가사 데이터의 틱(tick)의 개수를 계산하여 구한다.(단계 130)
또한 총 재생된 MP3 곡의 시간 및 미디용 가사의 시간을 계산하여 구한다.(단계 140)
이어서, 상기 MP3 곡 또는 가사의 템포(tempo)가 변경되었는지 제어부(12)에서 판단한다.(단계 150)
상기 단계 150에서, 상기 MP3 곡 또는 미디용 가사의 템포가 변경되었다고 제어부(12)에서 판단하는 경우, 상기 MP3 곡과 상기 미디용 가사의 재생 시간이 같은지 마찬가지로 상기 제어부(12)에서 비교하여 판단한다.(단계 160)
반면, 상기 단계 150에서, 상기 MP3 곡 또는 미디용 가사의 템포가 변경되지 않았다고 판단되는 경우, 본 단계 프로세스를 반복 수행한다.
상기 단계 160에서, 상기 MP3 곡과 미디용 가사의 재생 시간이 다르다고 판단되는 경우, 상기 미디용 가사 재생 시간만큼 파일 포인터의 위치를 수정하고, 상기 단계 130부터 재 수행한다.(단계 170)
한편, 상기 단계 160에서, 상기 MP3 곡과 미디용 가사의 재생 시간이 같다고 판단되는 경우에는, 상기 MPEG 오디오 디코더(13)로부터 출력된 PCM(Pulse Code Modulation) 데이터를 재생한다.(단계 180)
그리고, 상기 PCM 데이터의 재생이 종료(EOF; End Of File)되었는지 판단하여, PCM 데이터의 재생이 종료된 경우에는 본 프로세스를 종료하고, PCM 데이터의 재생이 종료가 되지 않은 경우에는 상기 단계 130부터 재 수행한다.(단계 190)
또한 상기한 MP3 곡의 총 재생 시간은 아래의 식 1로 구한다.
[식 1]
MP3 곡의 총 재생 시간=상기 FPT 시간(μsec)×상기 프레임의 개수
그리고 상기한 미디용 가사 데이터의 총 재생 시간은 아래의 식 2로 구한다.
[식 2]
미디용 가사 데이터의 총 재생 시간=틱 인터벌(tick interval) 시간×총 틱의 개수
이때, 상기 MP3 곡의 FPT 시간은 MPEG 오디오 디코더(13)에서 구할 수 있다.
또한 상기한 틱 인터벌 시간은 아래의 식 3으로 구한다.
[식 3]
틱 인터벌 시간(μsec)=미디 데이터의 템포(μsec) / 미디 데이터의 타임베이스(timebase)
이와 같이 미디의 경우에는 틱(tick)이라는 기본 단위를 이용하여 시간의 흐름을 알 수 있고, MP3 곡의 경우에는 MPEG 오디오 디코더(13)를 이용하는 경우 프레임 단위 시간으로 총 재생된 프레임의 개수를 이용하여 시간을 알아 낼 수 있다.
즉, 상기한 식들을 이용하면 미디용 가사와 MP3 곡의 재생 시간을 알 수 있으며, 앞으로 재생될 지점의 시간 및 동기화도 맞출 수 있다.
그리고 템포 변경의 경우 미디의 기준 시간으로 하고, MP3 곡을 미디의 기준 시간에 맞춰 동기화를 하면 미디용 가사와 MP3 곡을 동기화할 수 있다. 결국, 미디용 가사와 MP3 곡이 모두 정확하게 동기화되기 때문에 정확하게 동기된 미디용 가사 데이터와 MP3 곡을 재생할 수 있게 된다.
상기한 바와 같이 본 발명에 따른 MP3 곡 데이터와 미디용 가사 데이터의 동기방법은, 처음 노래반주기(10)의 입력부(15)를 조작하여 MP3 곡의 재생이 시작되면, 백그라운드로 미디용 가사가 재생되어 서로 같이 시작하여 동기화가 맞게 된다.
그러나, 재생되는 데이터의 템포가 변경(또는 변화)되면, 양 데이터의 재생 시간이 틀려져, 전술한 바와 같은 본 발명에 따른 동기방법을 수행하여 양 데이터를 동기화시킨다.
즉, MP3 곡 데이터의 FPT(Frame Per Time) 시간을 구하고, 미디용 가사 데이터에서는 가장 기본이 되는 단위인 틱(tick)의 시간을 구한다.
그리고 양 데이터가 재생되면서, 재생된 프레임의 개수와 틱의 개수를 계속 구하면 총 재생된 시간을 구할 수 있게 된다.
또한 양 데이터 재생 중 템포가 변경되면, MP3 곡을 재생하는 오디오 출력부(또는 오디오 출력 모듈, 미도시)에서 미디의 가사 데이터 재생 시간과 비교하여, 상기한 시간이 같으면 계속 재생을 하고, 반면 상기한 시간이 다른 경우 MP3 곡의 재생위치를 변경하여 다시 데이터를 읽은 후, 재생한다.
이렇게 하면 MP3 곡과 미디용 가사를 서로 정확하게 동기화할 수 있게 된다.
상술한 바와 같이 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 보호 범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.
10. 노래반주기
11. 저장장치
12. 제어부
13. MPEG 오디오 디코더
14, 미디 재생기
15. 입력부

Claims (3)

  1. MP3 곡 데이터와 미디용 가사 데이터의 동기방법에 있어서,
    (a) 상기 MP3곡 데이터와 상기 가사 데이터를 읽는 단계와;
    (b) 상기 MP3곡 데이터의 FPT(Frame Per Time) 시간 및 상기 가사 데이터의 틱(tick) 인터벌 시간을 구하는 단계와;
    (c) 현재 재생되고 있는 프레임의 개수와 상기 틱의 개수를 구하는 단계와;
    (d) 총 재생된 상기 MP3 곡의 시간과 상기 가사의 시간을 구하는 단계와;
    (e) 상기 MP3 곡 또는 상기 가사의 템포가 변경되었는지 판단하는 단계와;
    (f) 상기 단계 (e)에서, 상기 MP3 곡 또는 상기 가사의 템포가 변경되었다고 판단되는 경우, 상기 MP3 곡과 상기 미디용 가사의 재생 시간이 같은지 비교하여 판단하는 단계와;
    (g) 상기 단계 (f)에서, 상기 MP3 곡과 상기 미디용 가사의 재생시간이 다르다고 판단되는 경우, 상기 미디용 가사 재생 시간만큼 파일 포인터의 위치를 수정하고, 상기 단계 (c)부터 재 수행하는 단계;를 포함하되,
    상기 단계 (f)에서, 상기 MP3 곡과 상기 미디용 가사의 재생시간이 같다고 판단되는 경우, MPEG 오디오 디코더로부터 출력된 PCM 데이터를 재생하는 단계를 더 포함하여 되고,
    그리고, 상기 MP3 곡의 총 재생 시간은, [상기 FPT 시간 × 상기 프레임의 개수]의 식으로 구하고,
    상기 미디용 가사 데이터의 총 재생 시간은, [상기 틱(tick) 인터벌 시간 × 총 틱의 개수]의 식으로 구하며,
    이때, 상기 MP3 곡의 상기 FPT 시간은 상기 MPEG 오디오 디코더에서 계산되어지고,
    상기 틱 인터벌 시간은, [미디 데이터의 템포 / 미디 데이터의 타임베이스(timebase)]의 식으로 구하는 것을 특징으로 하는 MP3 곡 데이터와 미디용 가사 데이터의 동기방법.
  2. 삭제
  3. 삭제
KR1020110077032A 2011-08-02 2011-08-02 Mp3 곡 데이터와 미디용 가사 데이터의 동기방법 KR101244289B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110077032A KR101244289B1 (ko) 2011-08-02 2011-08-02 Mp3 곡 데이터와 미디용 가사 데이터의 동기방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110077032A KR101244289B1 (ko) 2011-08-02 2011-08-02 Mp3 곡 데이터와 미디용 가사 데이터의 동기방법

Publications (2)

Publication Number Publication Date
KR20130015177A KR20130015177A (ko) 2013-02-13
KR101244289B1 true KR101244289B1 (ko) 2013-03-18

Family

ID=47895047

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110077032A KR101244289B1 (ko) 2011-08-02 2011-08-02 Mp3 곡 데이터와 미디용 가사 데이터의 동기방법

Country Status (1)

Country Link
KR (1) KR101244289B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070071B1 (ko) * 2019-04-25 2020-01-31 방종철 연주 노래 공유 및 재생 가능한 노래 반주기, 노래 재생 방법 및 노래 반주 시스템
KR102524870B1 (ko) * 2020-08-27 2023-04-26 최인욱 미디 음악 기반의 안무 영상 콘텐츠 서비스 장치 및 방법과, 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000061554A (ko) * 1999-03-27 2000-10-25 이승자 노래방 연주기의 배경화면 제어장치및 그 제어방법
JP2011053590A (ja) * 2009-09-04 2011-03-17 Yamaha Corp 音響処理装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000061554A (ko) * 1999-03-27 2000-10-25 이승자 노래방 연주기의 배경화면 제어장치및 그 제어방법
JP2011053590A (ja) * 2009-09-04 2011-03-17 Yamaha Corp 音響処理装置およびプログラム

Also Published As

Publication number Publication date
KR20130015177A (ko) 2013-02-13

Similar Documents

Publication Publication Date Title
JP6011064B2 (ja) 自動演奏装置及びプログラム
US7041892B2 (en) Automatic generation of musical scratching effects
US8158873B2 (en) Systems and methods for generating a game device music track from music
KR101244289B1 (ko) Mp3 곡 데이터와 미디용 가사 데이터의 동기방법
JP4539594B2 (ja) 再生録音装置
JP2009063714A (ja) オーディオ再生装置およびオーディオ早送り再生方法
JP2007188561A (ja) 音楽付きスライドショー自動生成装置及びプログラム
JP3591227B2 (ja) カラオケ装置
JP4542805B2 (ja) 変速再生方法及び装置、並びにプログラム
JP4107212B2 (ja) 楽曲再生装置
JP6105779B2 (ja) 記録装置、記録方法、及び記録制御用のコンピュータプログラム
KR101078367B1 (ko) 노래반주기의 영상 데이터와 음성 데이터의 동기화 장치 및 그 방법
JP2003058192A (ja) 音楽データ再生装置
JP3804536B2 (ja) 楽音再生記録装置、記録装置及び記録方法
CN103594105A (zh) 一种使用cd光碟在自动演奏钢琴上进行演奏的方法
JP2013105085A (ja) 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP4084858B2 (ja) 波形再生装置
JP5904601B2 (ja) 記録装置、記録方法、及び記録制御用のコンピュータプログラム
KR100775188B1 (ko) 음악 파일의 믹싱 방법 및 이를 이용한 단말기
JP2009294671A (ja) オーディオ再生装置およびオーディオ早送り再生方法
JP2753640B2 (ja) 自動演奏装置
JP2010114737A (ja) 携帯端末、拍位置修正方法および拍位置修正プログラム
WO2011125203A1 (ja) 情報処理装置及び方法、並びにコンピュータプログラム
JP4259423B2 (ja) 同期演奏制御システム、方法及びプログラム
KR20070033810A (ko) 오디오 파일의 가사 컬러링 제어 정보 관리방법 및 그에따른 가사 컬러링 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170308

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180308

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 8