KR100560912B1 - Method for connecting a call by voice recognition and voice synthesis in telematics system for the same - Google Patents

Method for connecting a call by voice recognition and voice synthesis in telematics system for the same Download PDF

Info

Publication number
KR100560912B1
KR100560912B1 KR1020030076633A KR20030076633A KR100560912B1 KR 100560912 B1 KR100560912 B1 KR 100560912B1 KR 1020030076633 A KR1020030076633 A KR 1020030076633A KR 20030076633 A KR20030076633 A KR 20030076633A KR 100560912 B1 KR100560912 B1 KR 100560912B1
Authority
KR
South Korea
Prior art keywords
party
call
voice
phone number
name
Prior art date
Application number
KR1020030076633A
Other languages
Korean (ko)
Other versions
KR20050041456A (en
Inventor
윤창경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020030076633A priority Critical patent/KR100560912B1/en
Publication of KR20050041456A publication Critical patent/KR20050041456A/en
Application granted granted Critical
Publication of KR100560912B1 publication Critical patent/KR100560912B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6075Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 차량항법장치의 통화연결 방법에 관한 것으로, 운전자가 상대방과 통화를 하기 위하여, 다이얼링을 음성으로 요청하면, 음성인식 및 음성합성을 통하여 상대방을 확인하고 통화연결을 하는 방법에 관한 것이다. 즉, 사용자로부터 음성다이얼링 명령을 받아 해당 전화번호로 발신하고, 상대방이 전화를 받으면 상대방의 신원을 확인한 뒤 상대방이 사용자가 통화하고자 하는 사람인 경우에는 사용자에게 통화를 연결하는 통화연결방법이다. 이와 같이, 본 발명은 음성이나 텍스트 형태로 상대방의 음성을 입력하여 다이얼링하면, 음성합성을 통하여 상대방이 원래 통화하고자 했던 상대방인지 여부를 확인하여 상대방의 음성을 인식하고, 통화의사를 판단하여 통화를 연결하여 주기 때문에 운전자가 운전을 하는 도중에 일일이 통화하고자 하는 사람을 확인하여야하는 번거로움을 방지하였을 뿐만 아니라, 운전자가 차량 운행을 할 경우에 한눈을 팔게되어 안전운행에 지장을 초래하는 일을 예방하는 효과가 있다.The present invention relates to a call connection method of a vehicle navigation apparatus, and when a driver requests a dialing by voice in order to make a call with a counterpart, the present invention relates to a method for confirming a counterpart and making a call connection through voice recognition and voice synthesis. That is, receiving a voice dialing command from the user and sending the call to the corresponding phone number. If the other party answers the call, the other party checks the identity of the other party and connects the call to the user when the other party calls the user. As such, when the user dials by inputting the other party's voice in voice or text form, the present invention determines whether the other party originally intended to talk through voice synthesis, recognizes the other party's voice, and judges the intention of the call. Not only does it prevent the driver from having to check the person who wants to talk to each other while driving, but it also sells a glance when the driver is driving the vehicle, thereby preventing the driver from driving safely. It works.

차량정보단말기, 음성인식, 음성합성Vehicle information terminal, voice recognition, voice synthesis

Description

차량항법장치의 음성인식 및 음성합성을 통한 통화연결 방법{Method for connecting a call by voice recognition and voice synthesis in telematics system for the same} Method for connecting a call by voice recognition and voice synthesis in telematics system for the same}             

도 1은 차량정보단말기의 내부구성도이다.1 is an internal configuration diagram of a vehicle information terminal.

도 2는 차량정보단말기에서 통화연결 과정을 나타낸 순서도이다.2 is a flowchart illustrating a call connection process in a vehicle information terminal.

도 3은 이름을 이용하여 음성다이얼링을 할 경우의 과정을 나타낸 순서도이다.3 is a flowchart illustrating a process for voice dialing using a name.

도 4는 전화번호를 이용하여 음성다이얼링을 할 경우의 과정을 나타낸 순서도이다.4 is a flowchart illustrating a process in the case of voice dialing using a telephone number.

본 발명은 차량항법장치의 통화연결 방법에 관한 것으로, 더욱 상세하게는 운전자가 상대방과 통화를 하기 위하여, 다이얼링을 음성으로 요청하면, 음성인식 및 음성합성을 통하여 상대방을 확인하고 통화연결을 하는 방법에 관한 것이다.The present invention relates to a call connection method of a vehicle navigation apparatus, and more particularly, when a driver requests a dialing by voice in order to make a call with a counterpart, a method of confirming a counterpart and making a call connection through voice recognition and voice synthesis. It is about.

전정보통신기술의 발달은 자동차 생활에도 커다란 변화를 가져오고 있다. 운전자들은 자동차를 운전하면서 교통정보 뿐만 아니라, 경제, 문화 및 일반생활과 관련된 각종 정보 및 서비스를 제공받을 수 있게 되었고, 지능형 교통시스템의 개발로 인해 운전자의 안전과 편의성이 크게 향상되게 되었다.The development of all-information and communication technology is bringing a big change in automobile life. As drivers drive cars, they can receive not only traffic information, but also various information and services related to economic, cultural and general life. The development of intelligent transportation system has greatly improved driver safety and convenience.

이러한 움직임에 따라, 최근의 개인화와 개인 휴대통신이 증대하고 있는 시대에 집과 사무실에서 사용하고 있는 수많은 전자 시스템들이 자동차에 장착되어가고 있으며, 음성과 데이터 통신을 위한 무선통신 및 PC(Personal computer), PDA (Personal Digital Assistant), 컴퓨터 게임기와 같은 컴퓨터 플랫폼 등의 전자 기술들을 소위 컨넥티드 카(Connected Car)를 구상하기 위한 기본적인 구성요소가 되어 가고 있다.With this movement, many electronic systems used in homes and offices are being installed in automobiles in the times of personalization and personal mobile communication, and wireless communication and personal computer (PC) for voice and data communication. , Electronic technologies such as personal digital assistants (PDAs) and computer platforms such as computer game consoles, are becoming the basic building blocks for the so-called connected cars.

이러한 컨넥티드 카를 구현하기 위해 최근 대두되고 있는 것이 텔레메틱스(Telematics), 즉 차량정보단말기 장치이며, 이 텔레메틱스는 무선, 음성 데이터 통신과 인공위성을 이용한 위치정보시스템(GPS)를 기반으로 자동차를 이용해 정보를 주고받을 수 있도록 하는 기술로 위치 측정시스템과 무선 통신망을 이용해 운전자와 탑승자에게 교통정보, 응급상황에 대한 대처, 원격차량진단, 인터넷 이용(금융거래, 뉴스, 이메일 등) 각종 모바일 서비스를 제공할 수 있는 단말기와 운영체제를 말한다. 즉 유/무선, 하드웨어뿐만 아니라 전체 컨덴츠 및 서비스를 모두 포함한 앤드-투-앤드(end-to-end) 솔루션이다. In order to realize such a connected car, telematics, which is a vehicle information terminal device, has recently emerged. This telematics uses information based on a car based on a GPS, a radio, voice data communication, and a satellite. It is a technology that allows you to send and receive, and can provide various mobile services to drivers and passengers by using location measurement system and wireless communication network, traffic information, emergency response, remote vehicle diagnosis, internet use (financial transaction, news, email, etc.). Refers to the terminal and operating system. It's an end-to-end solution that includes all content and services, not just wired / wireless and hardware.

종래의 차량항법장치에서는 통화를 하기 위해서는 사용자가 번호를 일일이 눌러, 주소록에서 전화번호를 검색하여 통화를 하여야 하기 때문에 안전운행의 지 장을 초래한다. 또한 전화번호를 잘못 눌렀을 경우, 혹은 수신상황이 좋지 않은 경우에 일일이 상대방이 원래 통화하고자 했던 사람이 맞는지를 확인해야하는 번거로움이 있었다.In the conventional vehicle navigation system, in order to make a call, the user has to press a number and search for a phone number in the address book to make a call. In addition, if you press the wrong number, or if the reception situation is bad, there was a hassle to check whether the person you were originally trying to call.

상기와 같은 문제점을 해결하기 위하여 본 발명의 목적은, 차량항법장치에 음성인식부와 음성합성부를 두어, 음성이나 전화번호를 통하여 다이얼링이 가능하게 하여 다이얼링을 할 경우에 편리하게 사용할 수 있도록 하는 것이다. 또한, 음성합성을 통하여 상대방의 신원을 확인한 뒤, 상대방이 통화할 의사가 있는지를 묻고, 통화연결을 시켜줌으로써 차량항법장치를 사용하는 데에 편리하게 하고, 차량 운행을 할 경우에 한눈을 팔지 않고 안전운전을 할 수 있도록 한다.
SUMMARY OF THE INVENTION In order to solve the above problems, an object of the present invention is to provide a voice recognition unit and a voice synthesis unit in a vehicle navigation apparatus so that dialing is possible through voice or a telephone number so that it can be conveniently used when dialing. . In addition, after confirming the other party's identity through voice synthesis, the other party asks if they are willing to talk and makes a call connection, which makes it convenient to use the vehicle navigation system, and does not sell a glance when driving a vehicle. Ensure safe driving.

이러한 목적을 달성하기 위한 본 발명은, 사용자로부터 음성 다이얼링 명령을 입력받아 해당 전화번호로 발신하는 제 1단계; 상대방이 전화를 받으면 상대방의 신원을 확인하는 제2단계; 상대방이 사용자가 통화하고자 하는 사람인 경우에 사용자에게 통화를 연결하는 제3단계를 구비한다.The present invention for achieving this object, the first step of receiving a voice dialing command from the user and calling the phone number; A second step of confirming the identity of the other party when the other party answers the call; And the third step of connecting the call to the user when the other party is the person to whom the user wants to talk.

또한, 제3단계는 상대방이 사용자가 통화하고자 하는 사람인 경우에 상대방이 통화할 의사가 있는지를 판단하는 단계와, 상대방이 통화할 의사가 있는 경우에 사용자에게 통화를 연결하는 제3-2단계로 이루어질 수 있다. In addition, the third step is a step of determining whether the other party is willing to talk when the other party is the person to whom the user wants to talk, and if the other party is willing to talk to the third step to connect the call to the user Can be done.

상대방이 사용자가 통화하고자 하는 사람인 경우에 상대방이 통화할 의사가 있는지의 판단은, 상대방이 사용자가 통화하고자 하는 사람인 경우에 상대방이 통화할 의사가 있는지를 묻는 음성을 합성하여 출력하고, 상대방으로부터의 응답을 음성인식하여 긍정인지를 확인함으로써 이루어질 수 있다.If the other party is a person to whom the user wants to talk, the determination of whether the other party is willing to talk is performed by synthesizing and outputting a voice asking whether the other party is willing to talk to the other party. It can be done by voice recognition the response to see if it is positive.

전화발신은, 사용자가 통화하고자 하는 통화상대방 이름을 말하면 이를 음성인식하여 텍스트로 변환하는 단계와, 텍스트로 변환된 통화상대방 이름과 동일한 이름을 전화번호부에서 검색하는 단계와, 검색된 이름에 등록되어 있는 전화번호로 발신하는 단계를 거쳐서 이루어질 수 있다. 이때, 상대방의 신원확인은, 텍스트로 변환된 통화상대방 이름을 음성으로 변환하여 상대방에게 들려주면서 상대방의 이름이 맞는지를 물어보고, 상대방으로부터의 응답을 음성인식하여 긍정인지를 확인함으로써 이루어질 수 있다.Calling, when the user speaks the name of the caller you want to call the voice recognition and converting it to text, searching for the same name as the caller name converted into text in the phone book, and registered in the searched name This can be done through a step of calling to a phone number. In this case, the identification of the other party may be performed by converting the caller's name converted into text into a voice and telling the other party whether the name of the other party is correct, and confirming whether or not it is positive by recognizing a response from the other party.

또, 전화발신은, 사용자가 통화하고자 하는 통화상대방의 전화번호를 입력하면 입력된 전화번호와 동일한 전화번호를 전화번호부에서 검색하는 단계와, 검색된 전화번호에 등록되어 있는 이름을 저장하는 단계와, 입력된 전화번호로 발신하는 단계를 거쳐서 이루어질 수 있다. 이때, 상대방의 신원확인은, 저장된 이름을 음성으로 변환하여 상대방에게 들려주면서 상대방의 이름이 맞는지를 물어보고, 상대방으로부터의 응답을 음성인식하여 긍정인지를 확인함으로써 이루어질 수 있다.In addition, the telephone call, when the user enters the telephone number of the call partner to call, searching for the same phone number in the phone book, and storing the name registered in the searched phone number; It can be made through the step of calling the entered telephone number. In this case, the identification of the other party may be performed by converting the stored name into voice and telling the other party whether the name of the other party is correct, and confirming whether or not it is positive by recognizing the response from the other party.

본 발명의 다른 실시예에서는, 사용자가 특정 버튼에 통화상대방의 전화번호 및 이름을 등록해 둘 수 있다. 사용자가 상기 특정 버튼을 누르면 등록된 전화번호로 발신하고, 상대방이 응답하면, 상기 등록된 이름을 음성으로 변환하여 상대방에 게 들려주면서 상대방의 이름이 맞는지를 물어본다. 이때 상대방으로부터의 응답을 음성인식하여 긍정인지를 확인하여 상대방으로부터의 응답이 긍정인 경우에 사용자에게 통화를 연결한다.In another embodiment of the present invention, the user can register the telephone number and name of the call partner in a specific button. When the user presses the specific button, the call is registered to the registered phone number, and when the counterpart responds, the registered name is converted into a voice and is heard by the counterpart, asking whether the counterpart's name is correct. At this time, the response from the counterpart is recognized by voice recognition to determine whether the answer is positive.

이때, 사용자에게 통화를 연결하는 단계는 상대방으로부터의 응답이 긍정인 경우에 상대방이 통화할 의사가 있는지를 묻는 음성을 합성하여 출력하는 단계와, 상대방으로부터의 응답을 음성인식하여 긍정인지를 확인하는 단계와, 상대방으로부터의 응답이 긍정인 경우에 사용자에게 통화를 연결하는 단계로 이루어질 수 있다.In this case, the step of connecting a call to the user may include synthesizing and outputting a voice inquiring whether the other party is willing to talk when the response from the other party is positive, and confirming whether the response from the other party is positive by voice recognition. And connecting the call to the user if the response from the counterpart is affirmative.

본 발명의 차량항법장치는, 위성을 통해 차량의 위치에 대한 정보를 수신하는 GPS수신기와, 고유의 기기번호가 부착되어 차량에 내장되는 이동통신 단말기인 CDMA 무선부와, 사용자의 조작 명령을 입력하기 위한 입력부와, 음성을 인식하여 텍스트로 변환하는 음성 인식부와, 다수의 이름과 그에 대응되는 전화번호를 저장하고 있는 메모리와, 텍스트로부터 음성신호를 합성하여 출력하는 음성합성부와, 거리명이나 지도가 출력되는 표시부, 음성인식부를 통해 음성 다이얼링 명령을 입력받아 대응되는 전화번호로 발신하고, 상대방이 전화를 받으면 상대방의 이름이 전화번호에 대응되는 이름이 맞는지를 묻는 질문을 음성합성부를 통해 음성합성하여 출력하고, 상대방으로부터의 응답을 음성인식부를 통해 인식하여 긍정인 경우에 사용자에게 통화를 연결하는 제어부를 구비한다.Vehicle navigation apparatus of the present invention, GPS receiver for receiving information on the position of the vehicle via a satellite, CDMA wireless unit which is a mobile communication terminal embedded in the vehicle with a unique device number is attached, and inputs a user's operation command A voice input unit for recognizing voice and converting the voice into text, a memory storing a plurality of names and corresponding telephone numbers, a voice synthesizer for synthesizing and outputting a voice signal from the text, and a street name. In addition, the voice output unit receives a voice dialing command through a display unit and a voice recognition unit that outputs a map, and sends a call to a corresponding phone number. When the other party answers a call, the voice synthesis unit asks whether the other person's name corresponds to the phone number. Synthesizes and outputs speech, and recognizes the response from the other party through the voice recognition unit. And a control unit gyeolhaneun.

제어부는 상대방의 응답이 긍정인 경우에 상대방이 통화할 의사가 있는지를 묻는 질문을 음성합성부를 통해 합성하여 출력하고, 상대방으로부터의 응답을 음성인식하여 긍정인 경우에만 사용자에게 통화를 연결하도록 할 수 있다. If the other party's response is positive, the control unit synthesizes and outputs a question asking whether the other party is willing to talk through the voice synthesis unit, and recognizes the response from the other party so that the user can connect the call only when the other party is positive. have.

이때, 음성다이얼링 명령은 통화하고자 하는 상대방의 이름이며, 제어부는 입력된 이름을 음성인식부를 통해 텍스트로 변환한 다음에 메모리에서 해당 이름에 대응되는 전화번호를 검색하여 해당 전화번호로 발신한다.At this time, the voice dialing command is the name of the other party to be called, and the controller converts the input name into text through the voice recognition unit, and then retrieves a phone number corresponding to the name from the memory and sends it to the corresponding phone number.

또는, 음성다이얼링 명령은 전화번호이며, 제어부는 입력된 전화번호를 음성인식부를 통해 텍스트로 변환한 다음에 해당 전화번호로 발신한다.Alternatively, the voice dialing command is a phone number, and the control unit converts the input phone number into text through the voice recognition unit and then sends the corresponding phone number.

본 발명의 다른 실시예에 따른 차량항법 장치는, 위성을 통해 차량의 위치에 대한 정보를 수신하는 GPS수신기와, 고유의 기기번호가 부착되어 차량에 내장되는 이동통신 단말기인 CDMA무선부와, 특정인에게 전화를 걸기 위한 버튼을 포함하며, 사용자의 조작 명령을 입력하기 위한 입력부와, 음성을 인식하여 텍스트로 변환하는 음성인식부와, 상기 버튼에 대응되는 이름과 전화번호를 저장하고 이쓴 메모리와, 텍스트로부터 음성신호를 합성하여 출력하는 음성합성부와, 거리명이나 지도가 출력되는 표시부와, 상기 입력부를 통해 상기 버튼이 눌려짐을 감지하면 상기 메모리에 저장된 전화번호로 발신하고, 상대방이 전화를 받으면 상대방의 이름이 상기 메모리에 저장된 이름이 맞는지를 묻는 질문을 음성합성부를 통해 음성합성하여 출력하고, 상대방으로부터의 응답을 음성인식부를 통해 인식하여 긍저인 경우에 사용자에게 통화를 연결하는 제어부를 구비한다.Vehicle navigation apparatus according to another embodiment of the present invention, GPS receiver for receiving information about the position of the vehicle via a satellite, a CDMA wireless unit that is a mobile communication terminal embedded in the vehicle with a unique device number, And an input unit for inputting a user's operation command, a voice recognition unit for recognizing a voice and converting it into text, a memory for storing and writing a name and a phone number corresponding to the button, A voice synthesizer for synthesizing and outputting a voice signal from text, a display unit for outputting a street name or a map, and when the button is detected through the input unit, calls the phone number stored in the memory. Voice synthesizer outputs a question asking whether the name of the other party matches the name stored in the memory, and outputs the other party. And a control unit for recognizing a response from the voice recognition unit and connecting the call to the user in case of a low response.

이때, 제어부는 상대방의 응답이 긍정인 경우에 상대방이 통화할 의사가 있는지를 묻는 질문을 음성합성부를 통해 합성하여 출력하고, 상대방으로부터의 응답을 음성인식하여 긍정인 경우에만 사용자에게 통화를 연결한다.In this case, when the response of the other party is affirmative, the controller synthesizes and outputs a question asking whether the other party is willing to talk through the voice synthesis unit, and connects the call to the user only when the other party recognizes the response from the other party. .

이하, 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 적용된 차량단말기의 내부 구성도이다.1 is an internal configuration diagram of an applied vehicle terminal of the present invention.

본 발명은 위성을 통하여 차량의 위치에 대한 정보를 수신하는 GPS수신기(140)와, 고유의 기기번호가 부착되어 차량에 내장되는 이동통신 단말기인 CDMA 무선부(110)와, 사용자의 조작 명령을 입력하기 위한 입력부(180)와, 다수의 이름과 그에 대응되는 전화번호를 저장하고 있는 메모리(120)와, 음성을 인식하여 텍스트로 변환하는 음성 인식부(150)와, 텍스트로부터 음성신호를 합성하여 출력하는 음성합성부(160)와, 거리명이나 지도가 출력되는 표시부(170), 음성인식부를 통해 음성 다이얼링 명령을 입력받아 대응되는 전화번호로 발신하고, 상대방이 전화를 받으면 상대방의 이름이 전화번호에 대응되는 이름이 맞는지는 묻는 질문을 음성합성부를 통해 음성합성하여 출력하고, 상대방으로부터의 응답을 음성인식부를 통해 인식하여 긍정인 경우에 사용자에게 통화를 연결하는 제어부(100)로 구성되어있다.The present invention provides a GPS receiver 140 for receiving information on the location of a vehicle through a satellite, a CDMA radio unit 110 which is a mobile communication terminal attached to a vehicle with a unique device number, and a user's operation command. An input unit 180 for inputting, a memory 120 storing a plurality of names and corresponding telephone numbers, a voice recognition unit 150 for recognizing a voice and converting the voice into a text, and a voice signal from the text The voice synthesizer 160 outputs the voice dialing command via the voice synthesizer 160, the display unit 170 on which the street name or map is output, and the voice recognition unit, and sends the call to the corresponding phone number. The voice synthesizer outputs a question asking whether the name corresponding to the telephone number is correct through the voice synthesis unit, and recognizes the response from the other party through the voice recognition unit. It consists of a control unit 100 for connecting the call.

이때, 음성다이얼링 명령은 통화하고자 하는 상대방 이름으로 명령을 하고, 제어부(100)는 입력된 이름을 음성인식부(150)를 통해 텍스트 데이터로 변환한 다음에 메모리(120)에서 해당 이름에 대응되는 전화번호를 검색하여 해당 전화번호로 발신하도록 한다. 또는, 음성다이얼링 명령을 전화번호로 하여, 제어부(100)는 입력된 전화번호를 음성인식부(150)를 통하여 텍스트 데이터로 변환한 후에 해당 전화번호로 발신하도록 한다. At this time, the voice dialing command commands the name of the other party to be called, and the controller 100 converts the input name into text data through the voice recognition unit 150 and then corresponds to the corresponding name in the memory 120. Search for a phone number and call the phone number. Alternatively, using the voice dialing command as a phone number, the control unit 100 converts the input phone number into text data through the voice recognition unit 150 and then sends the corresponding phone number.

한편, 도면에는 도시되지 않았으나, 입력부(180)에는 특정인에게 전화를 걸기 위한 버튼을 포함할 수 있다. 제어부(100)는 입력부(180)를 통해 상기 버튼이 눌려짐을 감지하면 메모리(120)에 저장된 전화번호로 발신하고, 상대방이 전화를 받으면 상대방의 이름이 메모리(120)에 저장된 이름이 맞는지를 묻는 질문을 음성합성부(160)를 통해 음성합성하여 출력하고, 상대방으로부터의 응답을 음성인식부(150)를 통해 인식하여 긍정인 경우에 사용자에게 통화를 연결하도록 한다.Although not shown in the drawing, the input unit 180 may include a button for calling a specific person. When the controller 100 detects that the button is pressed through the input unit 180, the controller 100 sends a call to the phone number stored in the memory 120. When the counterpart receives a call, the controller 100 asks whether the name of the other party matches the name stored in the memory 120. The voice is synthesized and output through the voice synthesizer 160, and the response from the counterpart is recognized through the voice recognizer 150 to connect the call to the user in the case of affirmative.

도 2는 본 발명의 차량정보단말기에서 통화연결 과정을 나타낸 순서도이다.2 is a flowchart illustrating a call connection process in the vehicle information terminal of the present invention.

사용자는 상대방과 통화를 하기 위하여 다이얼링 명령을 입력(단계 210)하게 되는데, 이때 다이얼링 명령은 음성의 형태로 구성되며, 통화하고자 하는 상대방의 이름으로 다이얼링 명령을 하거나, 통화하고자 하는 상대방의 전화번호로 다이얼링 명령을 할 수 있다. The user enters a dialing command (step 210) to make a call with the other party, wherein the dialing command is configured in the form of a voice, and the user dials the name of the other party to call or dials the phone number of the party to call. You can make a dialing command.

사용자는 상대방과 통화를 하기위하여, 음성으로 다이얼링 명령을 입력하게된다. 음성으로 다이얼링의 명령이 입력(단계 210)되면, 이때 음성 명령에 해당되는 사람의 전화번호로 발신(단계 220)을 하게 된다. 여기서 상대방이 응답하는지 여부에 따라(단계 230), 상대방이 응답을 하면(단계 230의 '예'), 상대방이 본래 사용자가 통화하고자 했던 상대방인지를 확인하기 위하여 음성을 합성하여 상대방을 확인(단계 240)한다. 예를 들면, 사용자가 다이얼링을 하였을 때 사용했던 이름이 "홍길동"이라고 가정한다면, 상대방이 응답을 하였을 경우에, 음성합성부를 통 하여 본래 다이얼링 명령을 했을 때 사용했던 "홍길동"이란 명령어와 "누구누구 입니까?"라고 저장되어있는 고정 음성을 합성하여, "홍길동씨 입니까?"라는 음성 합성을 상대방에게 들려준다. 이를 들은 상대방은 "예" 또는 "아니오" 등과 같은 긍정, 혹은 부정의 대답을 밝히게 된다. 즉, 상대방이 본래 통화하고자했던 상대방인지 여부를 긍정 또는 부정의 의사를 통하여 확인한다. 음성인식부는 이를 인식하고, 상대방이 통화하고자 하는 사람이라면 상대방에게 사용자와 통화할 의사가 있는지 여부를 묻게되며, "누구누구씨와 통화를 원하십니까?"와 같은 형식의 메시지로 상대방에게 물어보는 것이 바람직하다. 상대방이 긍정 혹은 부정의 통화의사를 밝히면, 상대방의 통화의사를 확인(단계 250)한 후, 상대방이 긍정의 의사를 밝혔을 경우에만 통화를 연결시킨다(단계 260).In order to talk to the other party, the user inputs a dialing command by voice. When a dialing command is input by voice (step 210), the telephone number of the person corresponding to the voice command is dialed (step 220). Here, depending on whether the other party responds (step 230), when the other party answers (YES in step 230), the other party checks the other party by synthesizing a voice to confirm whether the other party originally intended to talk. 240). For example, suppose that the name used when the user dialed is "Hong Gil Dong". When the other party responds, the command "Hong Gil Dong" used when the original dialing command was made through the voice synthesis unit and "who" "Who is it?" Synthesized the stored voice, and the voice synthesis "Hong Gil-dong?" The other person will hear the answer, either yes or no, such as "yes" or "no". In other words, whether or not the other party was originally intended to talk through the positive or negative intention to check. The voice recognition unit recognizes this, and if the other party wants to talk, the other party asks whether the other party is willing to talk to the user, and asks the other party in the form of "Who do you want to talk to?" desirable. If the other party reveals the positive or negative intention of the call, after confirming the other party's intention to talk (step 250), the call is connected only when the other party has expressed the positive intention (step 260).

도 3은 상대방의 이름을 이용하여 음성 다이얼링을 할 경우의 과정을 나타낸 순서도이다.3 is a flowchart illustrating a process of performing voice dialing using the name of the other party.

운전자는 음성으로 통화하고자 하는 상대방의 이름으로 다이얼링 명령을 입력한다(단계 310). 즉 운전자가 운행을 하거나 정차하고 있었을 경우에, "홍길동"이라고 통화하고자 하는 상대방의 이름을 입력하면, 차량단말기는 이 음성을 인식하여 "홍길동"이라는 사람에게 다이얼링을 한다(단계 320). 수신자가 전화를 응답(단계 330)하면, "홍길동"이라는 다이얼링 명령어와 "누구누구 입니까?"라는 고정 음성을 합성하여, "홍길동씨 입니까?"라는 음성을 수신자에게 들려준다(단계 340). 이때, 수신자는 "예" 또는 "아니오"와 같은 긍정 혹은 부정의 대답을 하여 본인이 "홍길동"이라는 사람이 맞는지 여부를 사용자에게 밝힌다. 음성인식부에서는 긍정 혹은 부정의 대답을 인식(단계 350)하고, 만약 사용자가 통화하고자 하려던 사람과 전화를 응답한 수신자가 동일한 사람이라고 판단이 되면, 수신자에게 통화할 의사를 물어본다(단계 360). 여기서 질문은 음성합성을 이용하여 "누구누구씨와 통화를 원하십니까?"라는 음성으로 수신자에게 물어보는 것이 바람직하다.The driver inputs a dialing command in the name of the other party to be talked with by voice (step 310). That is, when the driver is driving or stopping, if the name of the other party to call "Hong Gil-dong" is input, the vehicle terminal recognizes this voice and dials the person "Hong Gil-dong" (step 320). When the receiver answers the call (step 330), the dialing command "Hong Gil Dong" and the fixed voice "Who are you?" Are combined with the voice "Hong Gil Dong?" (Step 340). At this time, the receiver responds with affirmative or negative answers such as "yes" or "no" to tell the user whether he or she is "Hong Gil Dong". The speech recognition unit recognizes a positive or negative answer (step 350), and if the user determines that the person to whom the call is intended is the same person as the person to whom the call is answered, the voice recognition part asks the intention of the call (step 360). . In this case, it is desirable to ask the recipient by voice, "Who do you want to talk to?"

여기서 수신자는 긍정 혹은 부정의 통화의사를 운전자에게 밝히게 되고, 이를 음성인식부에서 인식한다. 만약, 수신자가 통화할 의사가 있다는 긍정의 통화의사를 밝혔을 경우에, 통화를 연결시켜주며(단계360), 그 전에 "통화하십시오"라는 음성메시지를 사용자와 수신자에게 들려주는 것이 바람직하다.Here, the receiver reveals the driver's intention of positive or negative to the driver, and the voice recognition unit recognizes it. If the recipient has indicated an affirmative intention that the caller is willing to call, it is desirable to connect the call (step 360) and present a voice message to the user and the recipient before the call.

만약 수신자가 통화할 의사가 없다는 부정의 통화의사를 밝혔을 경우에는, 상대방과의 통화연결을 시키지 않으며, "상대방이 통화를 원하지 않습니다"와 같은 음성메시지를 사용자에게 들려주어 수신자가 사용자와 통화를 원하지 않는다는 것을 알려주는 것이 바람직하다.If the recipient has indicated that he or she is unwilling to call, he will not make a call to the other party, but will send a voice message to the user, such as "The other party does not want to talk." It is desirable to indicate that you do not want.

도 4는 전화번호를 이용하여 음성 다이얼링을 하는 경우의 과정을 나타낸 순서도이다.4 is a flowchart illustrating a process of performing voice dialing using a telephone number.

운전자가 음성 다이얼링 명령을 전화번호로 입력하게 되면(단계 410), 차량정보단말기는 입력한 전화번호에 해당하는 이름을 검색하고, 출력(단계 420)하게 되고, 해당 이름으로 다이얼링을 하게된다(단계 430). 다이얼링을 한 후, 수신자가 전화를 응답(단계 330)하면 도 3에서와 마찬가지로, 음성합성을 통하여 "홍길동씨 입니까?"라는 음성을 수신자에게 들려준다(단계 440). 수신자는 "예" 또는 "아니오"와 같은 긍정 혹은 부정의 대답을 하여 본인의 신원을 밝히고, 음성인식부에서 는 이를 인식한 다음에(단계 450), 사용자가 원래 통화하고자 했던 상대방이 맞는 지 여부를 판단하게된다. When the driver inputs the voice dialing command as a phone number (step 410), the vehicle information terminal searches for a name corresponding to the entered phone number, outputs it (step 420), and dials the name (step 410). 430). After dialing, when the receiver answers the call (step 330), as in FIG. 3, the voice is sent to the receiver through voice synthesis (step 440). The recipient identifies his or her identity by answering a positive or negative answer, such as "yes" or "no," and the voice recognition unit recognizes it (step 450), and then whether the user was originally trying to make a call. Will be judged.

만약 수신자가 전화하고자 했던 상대방의 이름과 동일한 사람이라고 판단되면, 수신자에게 통화할 의사(단계 460)를 물어보는데, 역시 음성합성을 이용하여 "통화를 원하십니까?"와 같은 질문을 수신자에게 물어보는 것이 바람직하다.If the recipient is determined to be the same person as the name of the person he / she is trying to call, the recipient is asked to speak (step 460), which is also asked to ask the recipient a question such as "Do you want to call?" It is preferable.

수신자는 긍정 혹은 부정의 통화의사를 운전자에게 밝히고, 차량단말기에서는 이를 인식하여, 수신자가 통화할 의사가 있다는 긍정의 통화의사를 밝혔을 경우에, 통화를 연결(단계 470)시켜 주며, "통화하십시오"라는 음성메세지를 사용자에게 들려주는 것이 바람직하다. 또한, 만약 수신자가 통화할 의사가 없다는 부정의 통화의사를 밝혔을 경우에는 통화연결을 시키지 않으며, "상대방이 통화를 원하지 않습니다"와 같은 음성메시지를 사용자에게 들려주어 수신자가 운전자와 통화를 원하지 않는다는 것을 알려주는 것이 바람직하다.If the called party announces the positive or negative intention to the driver, the vehicle terminal recognizes it, and if the called party indicates the positive intention that the receiver is willing to call, the call is connected (step 470), and "Call" Voice message to the user is desirable. In addition, if the recipient has indicated that he or she is not willing to talk, he will not connect the call, and the user will be notified that the recipient does not want to talk to the driver. It is desirable to inform.

본 발명의 다른 실시예에서는, 상대방의 이름과 전화번호로 음성다이얼링을 하는 것이 아니라, 미리 특정 버튼에 사용자가 통화하고자 하는 상대방의 이름과 전화번호를 등록해 두어, 사용자가 상기 특정 버튼을 눌렀을 경우에 통화하고자 하는 상대방에게 다이얼링되도록 한다.In another embodiment of the present invention, instead of performing voice dialing with the name and phone number of the other party, the user registers the name and phone number of the party to be called in a specific button in advance, and the user presses the specific button. Dial the party you want to talk to.

예를 들어, 사용자가 "1"이라는 특정버튼에 "홍길동"이란 사람의 이름과 해당 사람의 전화번호 "011-123-4567"을 저장해두었다고 가정한다면, 사용자가 "1"이라는 버튼을 눌렀을 경우, 등록된 전화번호 "011-123-4567"이라는 전화번호로 다이얼링을 하고, 상기 등록된 이름 "홍길동"을 음성으로 변환하여 상대방에게 음성합 성을 통하여 상대방의 신원확인을 하도록 한다. 즉, 도 3과 도 4와 같은 방식으로, 변환된 "홍길동"이라는 음성을 고정 음성과 합성하여, "홍길동씨 입니까?"라는 질문을 상대방에게 들려주면, 상대방은 긍정 혹은 부정의 대답을 밝히게 되고, 이를 인식하여 상대방이 신원을 확인한다. For example, suppose a user has saved a person's name "Hong Gil-dong" and a person's phone number "011-123-4567" in a particular button "1". If the user presses the button "1", Dial the registered telephone number " 011-123-4567 " and convert the registered name " Hong Gil-dong " into voice to confirm the identity of the other party through voice synthesis. That is, in the same manner as in FIGS. 3 and 4, when the converted voice of "Hong Gil Dong" is synthesized with the fixed voice and the question "Are you Hong Gil Dong?" To the other party, the other party reveals a positive or negative answer. The other party then confirms the identity.

상대방의 신원이 확인되면, 음성합성을 통하여 사용자와 통화할 의사가 있는지 여부를 수신자에게 묻게 된다. 상대방으로부터의 응답이 긍정인 경우에 사용자에게 통화를 연결하며, 부정인 경우에는 통화를 연결하지 않는다.When the other party's identity is verified, the receiver is asked whether he / she is willing to talk to the user through voice synthesis. If the answer from the other party is affirmative, the call is connected to the user. If the answer is negative, the call is not connected.

이상, 본 발명을 몇가지 예를 들어 설명하였지만. 본 발명은 특정 실시예에 한정되는 것은 아니다. 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자라면 본 발명의 사상에서 벗어나지 않으면서 다양한 수정과 변경을 가할 수 있음을 이해할 것이다.Although the present invention has been described with some examples. The invention is not limited to the specific embodiments. Those skilled in the art will appreciate that various modifications and changes can be made without departing from the spirit of the invention.

이상 설명한 것처럼, 본 발명에 따르면 차량정보단말기에서 상대방에게 통화연결을 시도할 경우에, 음성이나 텍스트 형태로 상대방의 음성을 입력하여 다이얼링하면, 음성합성을 통하여 상대방이 원래 통화하고자 했던 상대방인지 여부를 확인하여 상대방의 음성을 인식하고, 통화의사를 판단하여 통화를 연결하여 줌으로써, 운전자가 운전을 하는 도중에 일일이 통화하고자 하는 사람을 확인하여야하는 번거로움을 방지하였을 뿐만 아니라, 운전자가 차량 운행을 할 경우에 한눈을 팔아 안전운행에 지장을 초래하는 일을 예방하는 효과가 있다.As described above, according to the present invention, when the vehicle information terminal attempts to make a call connection with the other party, when the other party's voice is dialed in a voice or text form and dialed, it is determined whether the other party is the original party through voice synthesis. By recognizing the voice of the other party and checking the intention of the call, the call is connected to prevent the hassle of checking the person who wants to talk to each other while the driver is driving. It is effective in preventing one's eyes from disturbing safe operation.

Claims (15)

통화를 원하는 상대방의 인식 정보가 입력되면 인식 정보에 해당하는 전화번호로 발신하는 제1단계;A first step of transmitting a call number corresponding to the recognition information when the identification information of the counterpart who wishes to call is input; 상대방이 전화를 받으면 상기 인식 정보를 이용하여 상대방의 신원을 확인하는 멘트를 합성한 후 상대방에게 송신하는 제2단계; 및A second step of synthesizing a statement identifying the other party's identity using the identification information and transmitting the received message to the other party when the other party answers the call; And 상대방으로부터 상기 신원 확인 멘트에 대한 긍정 응답이 수신되면 상대방과의 통화 연결을 유지하는 제3단계;A third step of maintaining a call connection with the other party when an affirmative response to the identification message is received from the other party; 를 구비하는 것을 특징으로 하는 차량항법장치의 통화연결 방법.Call connection method of a vehicle navigation system characterized in that it comprises a. 제1항에 있어서, 상기 제1단계는The method of claim 1, wherein the first step 상대방의 인식 정보로서 상대방 이름을 음성으로 입력받는 제1-1단계;A first step of receiving a name of the other party by voice as recognition information of the other party; 상기 입력받은 상대방 이름을 텍스트로 변환하고, 전화번호부에서 그 변환된 이름에 해당하는 전화번호를 검색하는 제1-2단계; 및Converting the received counterpart name into text and searching for a telephone number corresponding to the converted name in a phone book; And 검색된 전화번호로 발신하는 제1-3단계;Steps 1 to 3 calling the found phone number; 로 이루어지는 것임을 특징으로 하는 차량항법장치의 통화연결 방법.Call connection method of a vehicle navigation system, characterized in that consisting of. 제1항에 있어서, 상기 제1단계는The method of claim 1, wherein the first step 상대방의 인식 정보로서 상대방 전화번호를 음성으로 입력받는 제1-1단계; 및A first step of receiving the other party's telephone number as voice as identification information of the other party; And 상기 입력받은 상대방 전화번호를 텍스트로 변환하여 해당 번호로 발신하는 제1-2단계;Converting the received counterpart phone number into text and calling the corresponding number; 로 이루어지는 것임을 특징으로 하는 차량항법장치의 통화연결 방법.Call connection method of a vehicle navigation system, characterized in that consisting of. 제1항에 있어서, 상기 제1단계는The method of claim 1, wherein the first step 상대방의 인식 정보가 설정되어 있는 단축키가 눌리는 제1-1단계; 및A first step of pressing a shortcut key for which the other party's recognition information is set; And 상기 단축키에 설정된 인식 정보에 해당하는 전화번호로 발신하는 제1-2단계;Steps 1-2 to call the phone number corresponding to the recognition information set in the shortcut key; 로 이루어지는 것을 특징으로 하는 차량항법장치의 통화연결 방법.Call connection method of a vehicle navigation system, characterized in that consisting of. 제1항에 있어서,The method of claim 1, 상기 인식 정보를 이용하여 상대방에게 통화 의사가 있는지를 확인하는 멘트를 합성한 후 상대방에게 송신하는 단계; 및Synthesizing a message confirming whether the other party has a willingness to talk by using the recognition information and transmitting the message to the other party; And 상대방으로부터 상기 통화 의사 확인 멘트에 대한 긍정 응답이 수신되면 상대방과의 통화 연결을 유지하는 단계;Maintaining a call connection with the other party when an affirmative response to the call intention confirmation message is received from the other party; 가 더 포함되는 것을 특징으로 하는 차량항법장치의 통화연결 방법.Call connection method of the vehicle navigation apparatus characterized in that it further comprises. 삭제delete 삭제delete 삭제delete 삭제delete 음성을 인식하여 텍스트로 변환하는 음성 인식부;A speech recognition unit for recognizing speech and converting the speech into text; 텍스트로부터 음성신호를 합성하여 출력하는 음성합성부;A voice synthesizer for synthesizing and outputting a voice signal from the text; 다수의 이름과 그에 대응되는 전화번호를 저장하고 있는 메모리; 및A memory storing a plurality of names and corresponding telephone numbers; And 상기 음성 인식부를 통해 통화를 원하는 상대방의 인식 정보가 입력되면 인식 정보에 해당하는 전화번호로 발신하고, 상대방이 전화를 받으면 상기 인식 정보를 이용하여 상대방의 신원을 확인하는 멘트를 합성하도록 상기 음성합성부를 제어한 후 합성된 멘트를 상대방에게 송신하며, 상대방으로부터 상기 신원 확인 멘트에 대한 긍정 응답이 수신되면 상대방과의 통화 연결을 유지하도록 제어하는 제어부;When the identification information of the other party who wants to make a call is input through the voice recognition unit, the voice synthesis unit may call the phone number corresponding to the recognition information, and when the other party receives the call, synthesize the comment for confirming the identity of the other party using the recognition information. A control unit which controls the unit and transmits the synthesized comment to the other party, and maintains a call connection with the other party when an affirmative response to the identification confirmation is received from the other party; 를 포함하여 이루어지는 차량항법장치.Vehicle navigation device comprising a. 제10항에 있어서, 상기 제어부는The method of claim 10, wherein the control unit 상기 인식 정보를 이용하여 상대방에게 통화 의사가 있는지를 확인하는 멘트를 합성하도록 상기 음성합성부를 제어한 후 합성된 멘트를 상대방에게 송신하고, The voice synthesis unit is controlled to synthesize a comment confirming whether the other party is willing to talk using the recognition information, and then the synthesized comment is transmitted to the other party. 상대방으로부터 상기 통화 의사 확인 멘트에 대한 긍정 응답이 수신되면 상대방과의 통화 연결을 유지하는 기능을 더 포함하는 것을 특징으로 하는 차량항법장치.And receiving a positive response to the call intention confirmation message from a counterpart to maintain a call connection with the counterpart. 제10항에 있어서, The method of claim 10, 상기 인식 정보는 통화하고자 하는 상대방의 이름이며,The recognition information is the name of the other party to call, 상기 제어부는 입력된 이름을 음성인식부를 통해 텍스트로 변환한 다음 메모리에서 해당 이름에 대응되는 전화번호를 검색하여 해당 전화번호로 발신하는 것을 특징으로 하는 차량항법장치.The control unit converts the input name into text through the voice recognition unit, and then retrieves the phone number corresponding to the name in the memory and the vehicle navigation apparatus, characterized in that for transmitting to the phone number. 제10항에 있어서,The method of claim 10, 상기 인식 정보는 통화하고자 하는 상대방의 전화번호이며,The recognition information is a phone number of the other party to call, 상기 제어부는 입력된 전화번호를 음성인식부를 통해 텍스트로 변환한 다음에 해당 전화번호로 발신하는 것을 특징으로 하는 차량항법장치.The control unit converts the inputted phone number into text through the voice recognition unit, and then calling the corresponding phone number. 삭제delete 삭제delete
KR1020030076633A 2003-10-31 2003-10-31 Method for connecting a call by voice recognition and voice synthesis in telematics system for the same KR100560912B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030076633A KR100560912B1 (en) 2003-10-31 2003-10-31 Method for connecting a call by voice recognition and voice synthesis in telematics system for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030076633A KR100560912B1 (en) 2003-10-31 2003-10-31 Method for connecting a call by voice recognition and voice synthesis in telematics system for the same

Publications (2)

Publication Number Publication Date
KR20050041456A KR20050041456A (en) 2005-05-04
KR100560912B1 true KR100560912B1 (en) 2006-03-14

Family

ID=37242934

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030076633A KR100560912B1 (en) 2003-10-31 2003-10-31 Method for connecting a call by voice recognition and voice synthesis in telematics system for the same

Country Status (1)

Country Link
KR (1) KR100560912B1 (en)

Also Published As

Publication number Publication date
KR20050041456A (en) 2005-05-04

Similar Documents

Publication Publication Date Title
CN1229245C (en) On-vehicle hand-free system
US7801283B2 (en) Method of operating vehicular, hands-free telephone system
US7050834B2 (en) Vehicular, hands-free telephone system
US7783328B2 (en) Cellular phone control apparatus, method of controlling same and hands-free call placement apparatus
EP0874529A2 (en) Mobile information device with user information service in a local area
US8521235B2 (en) Address book sharing system and method for non-verbally adding address book contents using the same
CN107257420A (en) System and method for signaling upcoming input
CN102196019A (en) Vehicle communication system
US7164760B2 (en) Audible caller identification with nametag storage
US20080071534A1 (en) Methods for using an interactive voice recognition system
JP2003152856A (en) Communication terminal, communication method, and its program
KR100467593B1 (en) Voice recognition key input wireless terminal, method for using voice in place of key input in wireless terminal, and recording medium therefore
KR100560912B1 (en) Method for connecting a call by voice recognition and voice synthesis in telematics system for the same
US20020131563A1 (en) Telephone number input apparatus and method
US8457650B2 (en) Portable communication terminal
JPH10262125A (en) Emergency communicating system
CN100536512C (en) Method and device for call connection by voice recognition and voice synthesis of vehicle navigation device
EP1524778A1 (en) Method for communicating information from a server to a user via a mobile communication device running a dialog script
JPH1127363A (en) Telephone set
JPH0345057A (en) Vehicle mounted portable telephone set of automatic dial system
JPH10282990A (en) Method of text input and device therefor
EP1524870A1 (en) Method for communicating information in a preferred language from a server via a mobile communication device
KR100521055B1 (en) Method for automatic search for location by using a phone directory
JP3975935B2 (en) Vehicle information providing system and vehicle information providing device
KR20030056508A (en) Voice calling device and method in telematics terminal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20101223

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee