KR100598622B1 - 음성인식기능을 가지는 디지털 카오디오 - Google Patents

음성인식기능을 가지는 디지털 카오디오 Download PDF

Info

Publication number
KR100598622B1
KR100598622B1 KR1020030090647A KR20030090647A KR100598622B1 KR 100598622 B1 KR100598622 B1 KR 100598622B1 KR 1020030090647 A KR1020030090647 A KR 1020030090647A KR 20030090647 A KR20030090647 A KR 20030090647A KR 100598622 B1 KR100598622 B1 KR 100598622B1
Authority
KR
South Korea
Prior art keywords
audio
signal
digital
unit
car audio
Prior art date
Application number
KR1020030090647A
Other languages
English (en)
Other versions
KR20050058690A (ko
Inventor
이종민
Original Assignee
주식회사 현대오토넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 현대오토넷 filed Critical 주식회사 현대오토넷
Priority to KR1020030090647A priority Critical patent/KR100598622B1/ko
Publication of KR20050058690A publication Critical patent/KR20050058690A/ko
Application granted granted Critical
Publication of KR100598622B1 publication Critical patent/KR100598622B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 음성인식 및 핸즈프리 기능을 가지는 차량의 디지털 카오디오에 관한 것이다.
이같은 본 발명은, 디지털 카오디오는 물론 이동통신단말기에 블루투스 모듈을 적용하여 그 디지털 카오디오가 무선 핸즈프리의 기능을 수행함과 동시에 음성제어신호에 의해 오디오기능이 제어되도록 함으로써, 종래 문제점으로 대두되었던 핸즈프리의 구입에 따른 비용을 절감할 수 있도록 함은 물론, 핸즈프리의 설치에 따른 차량 전면패널의 미관 훼손을 방지하고, 더불어 이동통신단말기나 카오디오의 버튼 조작에 따른 운전중의 방해 요인을 제거하면서 그 사용상의 편의성을 증진시키고자 하는 음성인식기능을 가지는 디지털 카오디오를 제공한다.
블루투스 모듈, 디지털 카오디오, 이동통신단말기

Description

음성인식기능을 가지는 디지털 카오디오{Digital car audio of a has voice recognition function}
도 1은 본 발명의 일실시예로 음성인식기능을 가지는 디지털 카오디오의 블럭 회로도.
*도면의 주요 부분에 대한 부호의 설명*
1 ; 수신부 2 ; 디지털 IF처리부
3 ; 앰프부 4 ; DIF마이컴
10; 스피커폰 20; 제 1 블루투스 모듈
21; 코덱부 22; 디지털 신호처리부
30; 제 2 블루투스 모듈 100; 디지털 카오디오
200; 이동통신단말기
본 발명은 차량의 디지털 카오디오에 관한 것으로서, 특히 디지털 카오디오에 블루투스(bluetooth)를 적용하여 그 디지털 카오디오가 무선 핸즈프리 및 스피 커폰의 기능을 수행할 수 있도록 함은 물론, 디지털 카오디오의 기능이 음성으로 제어될 수 있도록 하는 음성인식기능을 가지는 디지털 카오디오에 관한 것이다.
주지된 바와같이, 디지털 카오디오 시스템은 향상된 전자수신 성능과 깨끗한 음질 및 멀티 패스현상을 대폭 감소시키는 특징을 가지고 있다.
그러나, 종래 디지털 카오디오 시스템의 경우 단지 오디오신호를 처리하는 기능에만 국한되어 있을뿐 핸즈프리의 기능과 음성 인식을 통한 오디오 기능의 제어는 이루어지지 못하였다.
이에따라, 종래에는 차량의 운전중 이동통신단말기(예; 핸드폰)를 이용한 음성통화를 위해서는 별도의 핸즈프리를 장착할 수밖에 없었을뿐만 아니라, 디지털 카오디오의 작동을 위한 버튼의 조작이 반드시 수반될 수 밖에 없었다.
즉, 상기 핸즈프리는 운전자가 직접 이동통신단말기를 손으로 들지 않아도 상대방과 통화할 수 있도록 구성된 장치로, 운전중에 이동통신단말기를 사용하므로 인해 발생되는 교통사고를 예방하기 위해 주로 사용된다.
하지만, 종래에는 핸즈프리의 구입에 따른 비용 지출은 물론, 차량의 전면패널 미관을 훼손하지 않도록 대부분의 운전자가 핸즈프리를 설치하지 않는 경우가 많았으며, 이는 곧 차량 운전중 이동통신단말기를 사용하면서 사고의 유발을 초래할수박에 없었다.
아울러, 종래 디지털 카오디오의 경우 그 오디오 기능의 실행을 위해 차량이 운전중인 상태에서 운전자가 차량의 전면패널에 위치하는 버튼을 조작하여야만 하므로, 차량 운전에 상당한 장애 요인으로 작용하였다.
따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로서 본 발명은, 디지털 카오디오는 물론 이동통신단말기에 블루투스 모듈(bluetooth module)을 적용하여 그 디지털 카오디오가 무선 핸즈프리의 기능을 수행함과 동시에 음성제어신호에 의해 오디오기능이 제어되도록 함으로써, 종래 문제점으로 대두되었던 핸즈프리의 구입에 따른 비용을 절감할 수 있도록 함은 물론, 핸즈프리의 설치에 따른 차량 전면패널의 미관 훼손을 방지하고, 더불어 이동통신단말기나 카오디오의 버튼 조작에 따른 운전중의 방해 요인을 제거하면서 그 사용상의 편의성을 증진시키고자 하는 음성인식기능을 가지는 디지털 카오디오를 제공하려는데 그 목적이 있다.
이하, 첨부된 도면에 의거하여 본 발명의 바람직한 일실시예를 설명하면 다음과 같다.
도 1은 본 발명의 일실시예로 음성인식기능을 가지는 디지털 카오디오의 블럭 회로도 이다.
도 1에 도시된 바와같이, 안테나(ANT)를 통한 고주파(RF; Radio Frequency)의 오디오신호를 수신하는 수신부(1), 수신부(1)로 부터 수신된 고주파의 오디오신호는 물론 CD체인저(2)와 CD플레이어(3)의 오디오신호 및 패널부(4)의 조작신호를 중간주파수(IF; Intermediate Frequency) 및 디지털 신호로 변환하는 IF처리부(5), IF처리부(5)로부터 중간주파수 및 디지털 신호로 변환된 오디오신호를 음장처리한 후 IF처리부(5)로 리턴시키는 베이스밴드부(Baseband))(6), 베이스밴드부(6)로부터 음장처리된 오디오신호를 증폭한 후 이를 스피커(7)를 통해 출력하는 앰프부(8), 시스템 각부를 제어하는 마이크로 콘트롤러(9)을 포함하는 디지털 카오디오 시스템(100)에 있어서,
상기 디지털 카오디오 시스템(100)에는 모드절환은 물론 오디오의 각종 기능 제어를 위한 음성신호의 입력이 가능하도록 하는 마이크(20)와,
상기 마이크(20)로부터 입력되는 음성신호에 따라 핸즈프리 기능과 음성인식을 통한 오디오 기능의 제어를 가능하게 하는 음성인식부(30) 및,
상기 음성인식부(30)의 모드절환 제어신호에 따라 디지털 카오디오의 모드를 오디오모드와 핸즈프리모드로 자동 절환시키는 모드절환부(40)를 탑재하고,
이동통신단말기(200)의 내부에는 음성인식부(30)로 음성신호를 송신함은 물론 음성인식부(30)로부터 부호화된 음성신호를 수신하는 제 1 블루투스 모듈(50)을 탑재 구성함을 특징으로 한다.
다른 일면에 따라, 상기 음성인식부(30)는,
마이크로 프로세서(9)의 제어신호에 따라 이동통신단말기(200)의 핸즈프리 기능을 수행하도록 제 1 블루투스 모듈(50)과 무선통신하는 제 2 블루투스 모듈(31),
상기 제 1,2 블루투스 모듈(50)(31)의 통신으로부터 송수신되는 이동통신단말기(200) 및 마이크(20)의 음성신호를 부호화/복호화하는 코덱부(CODEC)(32) 및,
상기 마이크(20) 및 이동통신단말기(200)를 통해 입력되는 음성신호는 물론 카오디오의 음성제어신호를 디지털 신호로 처리하여 디지털 카오디오 시스템(100)의 오디오 기능을 제어하도록 음성인식 프로그램이 탑재된 디지털 신호처리부(DSP; Digital Signal Processor)(33)로 구성함을 특징으로 한다.
이와같이 구성된 본 고안의 일실시예에 대한 작용을 첨부된 도 1을 참조하여 설명하면 다음과 같다.
먼저, 이동통신단말기(200)와 디지털 카오디오 시스템(100)의 내부에는 각각 2.4㎓의 대역을 이용하여 최대 10m의 범위내에서 무선 통신이 가능한 제 1 및 제 2 블루투스 모듈(50)(31)을 탑재시킨다.
이후, 상기 디지털 카오디오 시스템(100)에는 음성신호의 입력이 가능한 마이크(20)는 물론, 제 2 블루투스 모듈(31)과 코덱부(32) 및 디지털 신호처리부(33)를 포함하는 음성인식부(30)와 모드절환부(40)를 탑재한다.
이후, 차량 이용자가 마이크(20)를 통해 핸즈프리 기능의 모드 절환을 위한 음성신호를 입력한다.
그러면, 상기 마이크(20)를 통해 입력되는 모드절환의 음성신호는 음성인식부(30)내의 코덱부(32) 및 디지털 신호처리부(33)를 통해 디지털 신호로 처리된 후 마이크로 프로세서(9)로 출력되는 바,
상기 마이크로 프로세서(9)는 모드절환부(40)를 통해 디지털 카오디오 시스템(100)을 핸즈프리모드로 절환시키게 된다.
이후, 차량 이용자의 이동통신단말기(200)로 무선통화의 음성신호가 입력되는 경우 그 입력되는 무선통화의 음성신호는 제 1,2 블루투스 모듈(50)(31)의 통신 으로 부터 코덱부(32)를 거쳐 디지털 신호처리부(33)로 입력된다.
이때, 상기 디지털 신호처리부(33)는 입력되는 무선통화의 음성신호를 IF처리부(5)로 출력함으로써, 상기 IF처리부(5)에서는 그 무선통화의 음성신호를 베이스밴드부(6)로 출력한다.
그러면, 상기 베이스밴드부(6)에서는 입력되는 무선통화의 음성신호를 음장처리한 후 이를 다시 IF처리부(5)로 출력하게 되고, 이에따라 IF처리부(5)는 음장처리된 무선통화의 음성신호를 앰프부(8) 및 스피커(7)를 통해 외부 출력하여 차량 이용자의 무선통화가 가능하게 되는 것이다.
여기서, 상기와 같은 음성을 들은 차량 이용자가 마이크(20)를 통해 상대방에게 음성신호를 전달하고자 하는 경우, 상기 차량 운전자의 음성신호는 마이크(20) 및 코덱부(32)를 통해 디지털 신호처리부(33)로 입력되고, 상기 디지털신호 처리부(33)에서는 그 음성신호를 디지털처리한 후 이를 제 2 블루투스 모듈(31)을 통해 이동통신단말기(200)의 제 1 블루투스 모듈(50)로 무선 전송하게 되는 바,
상기 이동통신단말기(200)에서는 제 1 블루투스 모듈(50)을 통해 수신된 차량 이용자의 음성신호를 상대방에게 송출함으로써, 차량 이용자의 상대방의 무선통화가 가능할 수 있게 되는 것이다.
한편, 차량 이용자가 마이크(20)를 통해 오디오모드 절환의 음성신호를 입력하는 경우 그 모드절환의 음성신호는 음성인식부(30)내의 코덱부(31) 및 디지털 신호처리부(33)를 통해 디지털신호로 처리된후 마이크로 프로세서(9)로 출력되는 바,
상기 마이크로 프로세서(9)는 모드절환부(40)의 제어를 통해 디지털 카오디오 시스템(100)을 오디오모드로 절환시킨다.
이후, 차량 이용자가 라디오 청취나 CD체인저(2) 및 CD플레이어(3)내의 오디오 기능을 제어하는 음성신호를 마이크(20)를 통해 입력하면, 상기 입력되는 음성제어신호는 디지털 신호처리부(33)에 의해 디지털 신호로 처리된 후 마이크로 프로세서(9)에 입력된다.
따라서, 상기 마이크로 프로세서(9)는 그 입력되는 오디오 기능의 음성제어신호에 따라 디지털 카오디오 시스템(100)내의 구성요소 즉, 수신부(1), IF처리부(5), 베이스밴드부(6), 앰프부(8)를 제어한 후 스피커(7)를 통해 원하는 오디오를 출력할 수 있게 되는 것이다.
이상에서 설명한 바와같이 본 발명은 디지털 카오디오는 물론 이동통신단말기에 블루투스 모듈을 적용하여 그 디지털 카오디오가 무선 핸즈프리의 기능을 수행함과 동시에 음성제어신호에 의해 오디오기능이 제어되도록 함으로써, 종래 문제점으로 대두되었던 핸즈프리의 구입에 따른 비용을 절감할 수 있도록 함은 물론, 핸즈프리의 설치에 따른 차량 전면패널의 미관 훼손을 방지하고, 더불어 이동통신단말기나 카오디오의 버튼 조작에 따른 운전중의 방해 요인을 제거하면서 그 사용상의 편의성을 증진시키는 효과를 제공한다.
본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통 상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.

Claims (2)

  1. 안테나를 통한 고주파의 오디오신호를 수신하는 수신부, 수신부로 부터 수신된 고주파의 오디오신호는 물론 CD체인저와 CD플레이어의 오디오신호 및 패널부의 조작신호를 중간주파수 및 디지털 신호로 변환하는 IF처리부, IF처리부로부터 중간주파수 및 디지털 신호로 변환된 오디오신호를 음장처리한 후 IF처리부로 리턴시키는 베이스밴드부, 베이스밴드부로부터 음장처리된 오디오신호를 증폭한 후 이를 스피커를 통해 출력하는 앰프부, 시스템 각부를 제어하는 마이크로 콘트롤러를 포함하는 디지털 카오디오 시스템에 있어서,
    상기 디지털 카오디오 시스템에는 모드절환은 물론 오디오의 각종 기능 제어를 위한 음성신호의 입력이 가능하도록 하는 마이크와, 상기 마이크로부터 입력되는 음성신호에 따라 핸즈프리 기능과 음성인식을 통한 오디오 기능의 제어를 가능하게 하는 음성인식부 및, 상기 음성인식부의 모드절환 제어신호에 따라 디지털 카오디오의 모드를 오디오모드와 핸즈프리모드로 자동 절환시키는 모드절환부를 탑재하고,
    이동통신단말기의 내부에는 음성인식부로 음성신호를 송신함은 물론 음성인식부로부터 부호화된 음성신호를 수신하는 제 1 블루투스 모듈을 탑재 구성함을 특징으로 하는 음성인식기능을 가지는 디지털 카오디오.
  2. 제 1 항에 있어서, 상기 음성인식부는,
    마이크로 프로세서의 제어신호에 따라 이동통신단말기의 핸즈프리 기능을 수행하도록 제 1 블루투스 모듈과 무선통신하는 제 2 블루투스 모듈, 상기 제 1,2 블루투스 모듈의 통신으로부터 송수신되는 이동통신단말기 및 마이크의 음성신호를 부호화/복호화하는 코덱부 및, 상기 마이크 및 이동통신단말기를 통해 입력되는 음성신호는 물론 카오디오의 음성제어신호를 디지털 신호로 처리하여 디지털 카오디오 시스템의 오디오 기능을 제어하도록 음성인식 프로그램이 탑재된 디지털 신호처리부로 구성함을 특징으로 하는 음성인식기능을 가지는 디지털 카오디오.
KR1020030090647A 2003-12-12 2003-12-12 음성인식기능을 가지는 디지털 카오디오 KR100598622B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030090647A KR100598622B1 (ko) 2003-12-12 2003-12-12 음성인식기능을 가지는 디지털 카오디오

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030090647A KR100598622B1 (ko) 2003-12-12 2003-12-12 음성인식기능을 가지는 디지털 카오디오

Publications (2)

Publication Number Publication Date
KR20050058690A KR20050058690A (ko) 2005-06-17
KR100598622B1 true KR100598622B1 (ko) 2006-07-07

Family

ID=37252016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030090647A KR100598622B1 (ko) 2003-12-12 2003-12-12 음성인식기능을 가지는 디지털 카오디오

Country Status (1)

Country Link
KR (1) KR100598622B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8669842B2 (en) 2009-12-18 2014-03-11 Electronics And Telecommunications Research Institute Apparatus and method for controlling contents player
CN110971744A (zh) * 2018-09-28 2020-04-07 深圳市冠旭电子股份有限公司 一种蓝牙音箱语音播放控制的方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776720B1 (ko) * 2007-07-27 2007-11-19 장애인표준사업장비클시스템 주식회사 무선 핸즈프리 기능을 갖는 차량용 멀티단자 어셈블리

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8669842B2 (en) 2009-12-18 2014-03-11 Electronics And Telecommunications Research Institute Apparatus and method for controlling contents player
CN110971744A (zh) * 2018-09-28 2020-04-07 深圳市冠旭电子股份有限公司 一种蓝牙音箱语音播放控制的方法及装置
CN110971744B (zh) * 2018-09-28 2022-09-23 深圳市冠旭电子股份有限公司 一种蓝牙音箱语音播放控制的方法及装置

Also Published As

Publication number Publication date
KR20050058690A (ko) 2005-06-17

Similar Documents

Publication Publication Date Title
KR100774519B1 (ko) 통신장치 및 그 통화방법
US6980837B2 (en) Automatic mode changing method for car audio system with hands-free therein
US6963760B2 (en) Method and apparatus for generating DTMF tones using voice-recognition commands during hands-free communication in a vehicle
US6484040B1 (en) Wireless mobile phone combining with car hi-fi speakers
KR100598622B1 (ko) 음성인식기능을 가지는 디지털 카오디오
KR200329530Y1 (ko) 음성인식기능을 가지는 디지털 카오디오
KR100306487B1 (ko) 핸드프리용 스피커가 내장된 이동통신 단말기의 제어방법
KR100584453B1 (ko) 무선 스피커폰 기능 구현된 휴대용 무선 단말기 및 그 방법
US6968204B2 (en) Narrow band and spread spectrum communication system for a vehicle
KR200261793Y1 (ko) 핸즈프리 겸용 무전기
KR200248616Y1 (ko) 자동차용 핸드프리키트
KR200239990Y1 (ko) 이동통신단말기의 모드전환장치
KR200242622Y1 (ko) 휴대폰용 무선 핸즈프리
KR100535754B1 (ko) 차량용 핸즈프리 장치
JP3064885U (ja) 赤外線で自動車音響装置を制御する携帯電話のハンズフリ―受話器
KR100369647B1 (ko) 핸즈프리 기능 구현을 위한 보코더 및 코덱 이득 제어 방법
KR100704497B1 (ko) 차량용 핸즈프리 모듈 공유장치
KR200190068Y1 (ko) 에프엠 신호를 이용한 휴대폰의 핸즈프리장치
KR200190078Y1 (ko) 무선전화시스템의 원거리 통화기능을 구비한무선수신장치
DE60000347D1 (de) Vollduplexfähiges funkübertragungssystem mit halbduplexfunktion
KR100678278B1 (ko) 차량용 라디오 수신기를 이용하여 이어 마이크로폰 장치를 통해 핸즈프리 통화가 가능한 휴대폰의 통화방법 및 그 장치
KR100697039B1 (ko) 차량의 카오디오 및 핸즈프리 시스템
KR20030049846A (ko) 카펙 기능을 가지는 핸즈프리 장치 및 그 제어 방법
KR200205535Y1 (ko) 핸드 프리 카 키트
KR100703255B1 (ko) 텔레메틱스신호 및 멀티미디어신호를 차량용 오디오장치를이용하여 출력할 수 있는 텔레메틱스 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130628

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140515

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160627

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee