KR100770020B1 - Apparatus and method for alarming according to recognition specific sound - Google Patents

Apparatus and method for alarming according to recognition specific sound Download PDF

Info

Publication number
KR100770020B1
KR100770020B1 KR1020050094437A KR20050094437A KR100770020B1 KR 100770020 B1 KR100770020 B1 KR 100770020B1 KR 1020050094437 A KR1020050094437 A KR 1020050094437A KR 20050094437 A KR20050094437 A KR 20050094437A KR 100770020 B1 KR100770020 B1 KR 100770020B1
Authority
KR
South Korea
Prior art keywords
sound
specific sound
notification
output
user
Prior art date
Application number
KR1020050094437A
Other languages
Korean (ko)
Other versions
KR20070039283A (en
Inventor
신희숙
박준석
손미숙
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050094437A priority Critical patent/KR100770020B1/en
Publication of KR20070039283A publication Critical patent/KR20070039283A/en
Application granted granted Critical
Publication of KR100770020B1 publication Critical patent/KR100770020B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 인식ㆍ통보 장치 및 그 방법에 관한 것임.The present invention relates to a recognition / notification device and a method thereof.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은 외부의 특정음, 예를 들면 자동차 경적 소리, 위험 경보음, 호명을 인식함에 따라, 연결된 음향 출력 장치(예 : 헤드폰, 이어폰)가 일시 동작 정지(혹은 볼륨 다운)되도록 제어함과 동시에 상기 특정음 인식 결과를 음향 출력, 진동 등을 이용하여 사용자에게 통보함으로써, 음향 출력 장치의 사용에 따른 외부 소리와의 차단을 방지하여 외부 위험과 호명 등을 인지할 수 있도록 하기 위한, 인식ㆍ통보 장치 및 그 방법을 제공하는데 그 목적이 있음.The present invention, while recognizing an external specific sound, for example, car horn sound, danger alarm sound, call name, while controlling the connected sound output device (such as headphones, earphones) to temporarily stop (or volume down) Recognition and notification to notify the user of the specific sound recognition result using sound output, vibration, and the like so that external danger and calling name can be recognized by preventing blocking of external sound caused by the use of the sound output device. To provide a device and a method thereof.

3. 발명의 해결방법의 요지3. Summary of Solution to Invention

본 발명은, 위험을 알리는 특정음을 인식하여 이동중인 사용자에게 통보하는 특정음 인식ㆍ통보 장치에 있어서, 사용자로부터 등록받은 위험을 알리는 다수의 특정음 및 그에 상응하는 통보 방식과 출력 레벨 정보를 저장하고 있는 저장 수단; 외부의 특정음을 인식하기 위한 특정음 인식 수단; 상기 특정음 인식 수단에서 특정음을 인식함에 따라 상기 저장 수단에 저장되어 있는 특정음인지의 여부를 판단하여 해당 특정음인 경우 상기 특정음 인식ㆍ통보 장치에 연결된 음향 출력 기기의 출력 레벨을 제어하고, 해당 특정음에 상응하는 통보 방식 및 출력 레벨로 사용자에게 위험을 알리도록 진동 수단 및 출력 수단을 제어하기 위한 통합 제어 수단; 상기 통합 제어 수단의 제어에 따라 해당 출력 레벨로 진동하여 사용자에게 위험을 알리기 위한 상기 진동 수단; 및 상기 통합 제어 수단의 제어에 따라 해당 출력 레벨로 음향을 출력하여 사용자에게 위험을 알리기 위한 상기 출력 수단을 포함함. The present invention relates to a specific sound recognition / notification device for recognizing a specific sound informing of a danger and to notify a moving user, wherein a plurality of specific sounds indicative of a danger registered from a user, corresponding notification schemes, and output level information are stored. Storage means; Specific sound recognition means for recognizing an external specific sound; In response to the recognition of the specific sound by the specific sound recognizing means, it is determined whether the specific sound is stored in the storage means, and in the case of the specific sound, the output level of the sound output device connected to the specific sound recognizing / notification device is controlled. Integrated control means for controlling the vibrating means and the output means to notify the user of danger in a notification manner and an output level corresponding to the specific sound; The vibration means for informing a user of danger by vibrating at a corresponding output level according to the control of the integrated control means; And the output means for notifying a user of a danger by outputting sound at a corresponding output level according to the control of the integrated control means.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 음향 출력 장치 등에 이용됨.The present invention is used in a sound output device and the like.

음향 출력 장치, 외부 소리 차단, 특정음 인식, 위험, 호명 Sound Output, External Sound Blocking, Sound Awareness, Danger, Calling

Description

특정음 인식ㆍ통보 장치 및 그 방법{Apparatus and method for alarming according to recognition specific sound}Apparatus and method for alarming according to recognition specific sound}

도 1 은 본 발명에 따른 특정음 인식ㆍ통보 장치의 일실시예 구성도,1 is a configuration diagram of an embodiment of a specific sound recognition / notification device according to the present invention;

도 2 는 본 발명에 따른 특정음 인식ㆍ통보 장치에서의 특정음 인식ㆍ통보 방법에 대한 일실시예 흐름도,2 is a flowchart showing an embodiment of a specific sound recognition / notification method in the specific sound recognition / notification apparatus according to the present invention;

도 3 은 본 발명에 따른 특정음 인식ㆍ통보 장치가 적용된 헤드폰에 대한 일실시예 설명도,3 is a diagram illustrating an embodiment of a headphone to which a specific sound recognition and notification device according to the present invention is applied;

도 4 는 본 발명에 따른 특정음 인식ㆍ통보 장치의 활용 시나리오에 대한 일실시예 설명도이다.4 is a diagram illustrating an example of a utilization scenario of a specific sound recognition / notification device according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

10 : 특정음 인식ㆍ통보 장치 11 : 특정음 인식부10: specific sound recognition and notification device 11: specific sound recognition unit

12 : 통합 제어부 13 : 통보부12: integrated control unit 13: notification unit

20 : 음향 출력 장치 30 : 알림 장치20: sound output device 30: notification device

본 발명은 특정음 인식ㆍ통보 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 외부의 특정음, 예를 들면 자동차 경적 소리, 위험 경보음, 호명을 인식함에 따라, 연결된 음향 출력 장치(예 : 헤드폰, 이어폰)가 일시 동작 정지(혹은 볼륨 다운)되도록 제어함과 동시에 상기 특정음 인식 결과를 음향 출력, 진동 등을 이용하여 사용자에게 통보함으로써, 음향 출력 장치의 사용에 따른 외부 소리와의 차단을 방지하여 외부 위험과 호명 등을 인지할 수 있도록 하기 위한, 특정음 인식ㆍ통보 장치 및 그 방법에 관한 것이다.The present invention relates to a specific sound recognition / notification device and a method thereof, and more particularly, to a sound output device (e.g., a headphone) connected to an external specific sound such as a car horn sound, a danger alarm sound, and a call name. , Earphones) to temporarily stop the operation (or volume down) and at the same time to notify the user of the specific sound recognition results using the sound output, vibration, etc., to prevent the blocking of external sounds due to the use of the sound output device The present invention relates to a specific sound recognition / notification device and a method for recognizing external dangers, calling names, and the like.

그리고, 본 발명에서 음향 출력 장치(개인용 음향 출력 장치)란 헤드폰, 이어폰, 헤드셋 등과 같이 사용자의 귀에 밀착되어 외부 소리(음향)를 차단하고, 현재 출력중인 음향을 주요하게 청취하도록 제작된 다양한 종류의 장치를 말한다. 이때, 상기 음향 출력 장치는 좀더 넓은 의미에서 음향 출력 여부와는 무관하게 외부 음향을 차단하는 각종 장치를 통칭하는 용어로 사용될 수도 있다.In the present invention, the sound output device (personal sound output device) is a kind of headphones, earphones, headsets, etc. in close contact with the user's ear to block the external sound (sound), various kinds of manufactured to listen mainly to the sound currently being output Say the device. In this case, the sound output device may be used as a term for various devices that block external sound regardless of whether the sound is output in a broader sense.

현재 헤드폰, 이어폰, 헤드셋 등과 같은 다양한 종류의 음향 출력 장치들이 폭넓게 사용되고 있다. 이러한 음향 출력 장치들은 주로 사용자의 귀에 밀착되는 형태로 제작되고 있으며 음향 출력 레벨을 조절할 수도 있도록 하는데, 그에 따라 출력중인 음향 외에는 외부 소리를 인지하지 못하도록 하는 문제점이 있었다. Currently, various kinds of sound output devices such as headphones, earphones, headsets, etc. are widely used. These sound output devices are mainly manufactured to be in close contact with the user's ear, and the sound output level can be adjusted. Accordingly, there is a problem of not recognizing the external sound except the sound being output.

즉, 자동차 경적 소리, 위험경보음, 사용자를 호명하는 소리 등을 인지하지 못하도록 하여 사용자가 위험에 노출되도록 하거나 적시에 타인과 의사소통하지 못 하도록 만드는 문제점이 있었다.That is, the car horn sound, danger alarm sound, the sound that calls the user is not recognized so that the user is exposed to the risk or there is a problem that can not communicate with others in a timely manner.

상기와 같은 문제점을 해결하기 위한 본 발명을 설명하기에 앞서, 본 발명의 목적과 다소 유사한 목적을 가지는 선행기술을 참고로 살펴보면 다음과 같다.Before describing the present invention for solving the above problems, look at with reference to the prior art having a somewhat similar object of the present invention.

일반적으로 외부(주변)의 소리를 인식하여 통보해주는 기술은 청각장애인을 위한 응용 기술로서 많이 개발되어 있다. 제1 선행특허 "청각장애자용 음향인식 자막시스템(등록번호 10-0322516)"에서는 외부의 소리를 인식 및 분석하고 사용자가 착용할 수 있는 형태의 헤드셋에 자막장치(예 : 액정모니터)를 부착하여 사용자의 시야 범위 내에서 문자신호로 상기 인식 및 분석한 외부 소리 정보를 제공하는 청각장애자를 위한 음향인식 자막 시스템을 제안하였다.In general, a technology for recognizing and notifying external sounds is developed as an application technology for the hearing impaired. In the first prior patent "Acoustic Recognition Subtitle System for Hearing Impaired Persons (Registration No. 10-0322516)", a caption device (for example, a liquid crystal monitor) is attached to a headset of a type that can be worn and worn by a user. A sound recognition caption system for the hearing impaired, which provides the external sound information recognized and analyzed by the text signal within the user's field of view is proposed.

상기 제1 선행특허는 청각장애자를 위한 자막시스템인 만큼 문자신호를 출력하는 자막장치를 필수로 구비하도록 하며, 주변의 다양한 소리를 인식 및 분석하고 정보를 추출하여 문자신호로 제공해야 하므로 고성능 장비를 요구한다. 특히, 상기 제1 선행특허는 청각장애자를 위한 주변 소리의 인식과 문자신호로의 출력에 중점을 두고 개발되었다. The first preceding patent is to provide a caption device for outputting a text signal as a caption system for the hearing impaired, and to recognize and analyze various sounds of the surroundings and to extract information and provide it as a text signal. Require. In particular, the first prior patent was developed with an emphasis on recognition of ambient sounds and output to text signals for the hearing impaired.

그런데, 상기 제1 선행특허의 경우 청각장애자들에게는 매우 유용할 수 있으나 비청각장애자들이 주로 사용하는 음향 출력 장치를 제어하지는 못하므로, 음향 출력 장치의 이용에 따른 외부 소리 차단 문제를 해결할 수 없는 한계가 있었다.However, the first prior patent may be very useful for the hearing impaired, but may not control the sound output device mainly used by the non-hearing impaired, and thus may not solve the problem of external sound interruption caused by the use of the sound output device. There was.

또한, 제2 선행특허 "휴대폰용 진동 이어폰(등록번호 20-0178978)"은 휴대폰용 이어폰에 진동장치를 설치하여 휴대폰의 수신 신호를 이어폰을 통해 제공하는 방법을 제안하고 있다. 상기 제2 선행특허는 사용자에게 특정 정보를 제공하기 위 해(즉, 호 수신을 알리기 위해) 진동장치를 이용하나, 사용자에게 제공할 수 있는 정보가 국한되고 정보 출력을 진동장치에만 의존하므로 역시 음향 출력 장치의 이용에 따른 외부 소리 차단을 방지할 수 없는 문제점이 있었다.In addition, the second prior patent "cell phone vibration earphone (registration number 20-0178978)" proposes a method for providing a reception signal of the mobile phone through the earphone by installing a vibration device in the earphone for the mobile phone. The second prior patent uses a vibrator to provide specific information to the user (i.e., to notify the call reception), but is also sound because the information that can be provided to the user is limited and the output of the information depends only on the vibrator. There was a problem that can not prevent the external sound blocking due to the use of the output device.

또한, 제3 선행특허 "음성인식 및 통신용기기의 일체형 마이크 스피커(등록번호 20-0244132)"는 기본적인 음향 출력 기능과 함께 음성인식 기능을 제공하여 말하면서 동시에 들을 수 있는 마이크와 스피커 일체형 이어폰 장치를 제안하고 있다. 그런데, 상기 제3 선행특허 역시 외부 소리를 차단하고 출력 음향에 집중하도록 하는 음향 출력 장치를 제어할 수는 없는 문제점이 있었다.In addition, the third prior patent "integrated microphone speaker of voice recognition and communication equipment (Registration No. 20-0244132)" proposes a microphone and speaker integrated earphone device that can be heard at the same time by providing a voice recognition function with a basic sound output function Doing. However, the third prior patent also has a problem that it is not possible to control the sound output device to block the external sound and to concentrate on the output sound.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 외부의 특정음, 예를 들면 자동차 경적 소리, 위험 경보음, 호명을 인식함에 따라, 연결된 음향 출력 장치(예 : 헤드폰, 이어폰)가 일시 동작 정지(혹은 볼륨 다운)되도록 제어함과 동시에 상기 특정음 인식 결과를 음향, 진동, 문자 등과 같은 청각적/촉각적/시각적 출력 매체를 이용하여 사용자에게 통보함으로써, 음향 출력 장치의 사용에 따른 외부 소리와의 차단을 방지하여 외부 위험과 호명 등을 인지할 수 있도록 하기 위한, 인식ㆍ통보 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed in order to solve the above problems, the external sound, for example, car horn sound, danger alarm sound, call name recognition, connected sound output devices (such as headphones, earphones) temporarily stops operation (Or volume down) and at the same time to notify the user of the specific sound recognition result using an acoustic, tactile, visual output medium such as sound, vibration, text, etc. It is an object of the present invention to provide a recognition / notification device and a method for preventing the blockage of a signal to recognize external dangers and callings.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 위험을 알리는 특정음을 인식하여 이동중인 사용자에게 통보하는 특정음 인식ㆍ통보 장치에 있어서, 사용자로부터 등록받은 위험을 알리는 다수의 특정음 및 그에 상응하는 통보 방식과 출력 레벨 정보를 저장하고 있는 저장 수단; 외부의 특정음을 인식하기 위한 특정음 인식 수단; 상기 특정음 인식 수단에서 특정음을 인식함에 따라 상기 저장 수단에 저장되어 있는 특정음인지의 여부를 판단하여 해당 특정음인 경우 상기 특정음 인식ㆍ통보 장치에 연결된 음향 출력 기기의 출력 레벨을 제어하고, 해당 특정음에 상응하는 통보 방식 및 출력 레벨로 사용자에게 위험을 알리도록 진동 수단 및 출력 수단을 제어하기 위한 통합 제어 수단; 상기 통합 제어 수단의 제어에 따라 해당 출력 레벨로 진동하여 사용자에게 위험을 알리기 위한 상기 진동 수단; 및 상기 통합 제어 수단의 제어에 따라 해당 출력 레벨로 음향을 출력하여 사용자에게 위험을 알리기 위한 상기 출력 수단을 포함한다.A device of the present invention for achieving the above object is a specific sound recognition / notification device for recognizing a specific sound for notifying a user and notifying a moving user, wherein a plurality of specific sounds for notifying a danger registered from a user and a corresponding sound are notified. Storage means for storing the notification method and output level information; Specific sound recognition means for recognizing an external specific sound; In response to the recognition of the specific sound by the specific sound recognizing means, it is determined whether the specific sound is stored in the storage means, and in the case of the specific sound, the output level of the sound output device connected to the specific sound recognizing / notification device is controlled. Integrated control means for controlling the vibrating means and the output means to notify the user of danger in a notification manner and an output level corresponding to the specific sound; The vibration means for informing a user of danger by vibrating at a corresponding output level according to the control of the integrated control means; And the output means for notifying a user of a danger by outputting sound at a corresponding output level according to the control of the integrated control means.

한편, 본 발명의 방법은, 특정음 인식ㆍ통보 장치에서 위험을 알리는 특정음을 인식하여 이동중인 사용자에게 통보하는 방법에 있어서, 사용자로부터 위험을 알리는 다수의 특정음 및 그에 상응하는 통보 방식과 출력 레벨 정보를 등록받는 단계; 외부의 특정음을 인식함에 따라 기 등록받은 특정음인지의 여부를 판단하는 단계; 상기 판단 결과, 기 등록되어 있는 특정음이 아니면, 상기 특정음 인식ㆍ통보 장치에 연결된 음향 출력 기기의 출력 레벨을 유지하는 단계; 상기 판단 결과, 기 등록되어 있는 특정음이면, 그에 상응하는 통보 방식과 출력 레벨을 확인하는 단계; 상기 확인 결과, 통보 방식이 음향이면 상기 음향 출력 기기의 출력 레벨을 조절한 후 해당 출력 레벨로 음향을 출력하여 사용자에게 위험을 알리는 단계; 및 상기 확인 결과, 통보 방식이 진동이면 해당 출력 레벨로 진동하여 사용자에게 위험을 알리는 단계를 포함한다.On the other hand, the method of the present invention, in a method for notifying a user on the move by recognizing a specific sound notifying the danger in the specific sound recognition and notification device, a plurality of specific sounds and corresponding notification schemes and outputs that notify the danger from the user Registering level information; Determining whether a specific sound is previously registered according to an external specific sound; Maintaining the output level of the sound output device connected to the specific sound recognizing / notifying device if the specific sound is not already registered as a result of the determination; As a result of the determination, if the predetermined sound is already registered, checking a corresponding notification method and an output level; If the notification method is sound, adjusting the output level of the sound output device and outputting sound at the corresponding output level to notify the user of a danger; And informing the user of danger by vibrating to a corresponding output level if the notification method is a vibration.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명 을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은, 음성인식기술을 이용하여 기 설정된 특정음(예를 들면, 자동차 경적 소리, 위험 경보음, 호명)을 인식함에 따라, 연결된 음향 출력 장치의 현재 동작이 일시적으로 정지되도록 제어함과 동시에 소정의 알림 장치를 통해 사용자에게 상기 특정음 인식 정보를 통보함으로써, 사용자가 각종 위험 상황 및 호명을 인지할 수 있도록 한다. 이때, 본 발명에 적용되는 음성인식기술은 기 개발된 각종 음성인식기술일 수 있다. The present invention, by recognizing a predetermined specific sound (for example, car horn sound, danger alarm sound, call name) using the voice recognition technology, while controlling the current operation of the connected sound output device to temporarily stop By notifying the user of the specific sound recognition information through a predetermined notification device, the user can recognize various dangerous situations and names. In this case, the speech recognition technology applied to the present invention may be various speech recognition technologies previously developed.

도 1 은 본 발명에 따른 특정음 인식ㆍ통보 장치의 일실시예 구성도이다.1 is a configuration diagram of an embodiment of a specific sound recognition / notification device according to the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 특정음 인식ㆍ통보 장치는, 외부의 특정음을 인식하기 위한 특정음 인식부(11), 상기 특정음 인식부(11)로부터 특정음 인식 결과를 전달받음에 따라, 음향 출력 장치(20)가 일시 동작 정지(혹은 볼륨 다운)되도록 제어하고 기 설정된 사용자 프로파일을 확인하여 그에 따른 통보 방안으로 특정음 인식 정보가 알림 장치(30)를 통해 출력되도록 통보부(13)를 제어하기 위한 통합 제어부(12), 상기 통합 제어부(12)의 제어에 따라, 연동된 알림 장치(30)를 제어하여 특정음 인식 정보가 출력되도록 하기 위한 통보부(13)를 포함한다. 여기서, 음향 출력 장치(20)와 알림 장치(30)는 동일 장치일 수도 있고, 아닐 수도 있다. 이에 대해서는 곧 후술하기로 한다.As shown in Fig. 1, the specific sound recognition / notification device according to the present invention includes a specific sound recognition unit 11 for recognizing an external specific sound and a specific sound recognition result from the specific sound recognition unit 11. As received, the sound output device 20 is controlled to temporarily stop operation (or volume down), check the preset user profile, and notify specific sound recognition information to be output through the notification device 30 as a notification method accordingly. An integrated control unit 12 for controlling the unit 13 and a notification unit 13 for controlling specific notification device 30 to output specific sound recognition information under the control of the integrated control unit 12. Include. Here, the sound output device 20 and the notification device 30 may or may not be the same device. This will be described later.

각 구성요소에 대하여 보다 상세히 살펴보면, 특정음 인식부(11)는 내장 마이크를 통해 입력되는 외부의 특정음을 인식하여 그 결과(특정음 인식 결과)를 통 합 제어부(12)로 전달한다. 여기서, 특정음이란 외부 위험을 알리기 위한 각종 음향(예 : 자동차 경적 소리, 위험 경보음)과 사용자를 부르는 호명 등과 같이 사용자가 인지할 필요가 있는 각종 외부 음향을 말한다. 이때, 상기 특정음은 별도 입력을 통해(소수 개의 환경 음향 또는 단어) 사용자가 정의(등록)할 수 있도록 하는 것이 바람직하다. 상기 특정음 인식부(11)는 통상의 음성인식기술을 이용하여 특정음을 인식할 수 있다.Looking at each component in more detail, the specific sound recognition unit 11 recognizes the external specific sound input through the built-in microphone and delivers the result (specific sound recognition result) to the integrated control unit 12. Here, the specific sound refers to various external sounds that the user needs to recognize, such as various sounds (eg, car horn sound, danger alarm sound) for informing the external danger, and a call name calling the user. In this case, the specific sound may be defined (registered) by the user through a separate input (a few environmental sounds or words). The specific sound recognition unit 11 may recognize a specific sound by using a conventional speech recognition technology.

그리고, 통합 제어부(12)는 특정음 인식ㆍ통보 장치(10)의 각 구성요소를 전반적으로 제어함은 물론, 음향 출력 장치(20)의 동작을 실시간으로 제어한다.The integrated control unit 12 not only controls each component of the specific sound recognition / notification device 10 as a whole, but also controls the operation of the sound output device 20 in real time.

또한, 통합 제어부(12)는 특정음 인식부(11)로부터 특정음 인식 결과를 전달받음에 따라, 연결된 음향 출력 장치(20)가 일시 동작 정지(즉, 음소거)되거나 혹은 볼륨 다운되도록 상기 음향 출력 장치(20)를 제어한다. 그리고, 특정음 인식 정보가 기 설정된 통보 방안에 따라 알림 장치(30)를 통해 출력되도록 통보부(13)를 제어한다.In addition, the integrated control unit 12 receives the specific sound recognition result from the specific sound recognition unit 11, so that the connected sound output device 20 temporarily stops (ie, mutes) or volume down the sound output. Control device 20. Then, the notification unit 13 is controlled so that the specific sound recognition information is output through the notification device 30 according to a preset notification method.

여기서, 통합 제어부(12)는 사용자 프로파일을 이용하여 기 설정된 통보 방안을 확인한다. 통보 방안이란 음향(청각적), 진동(촉각적), 문자(시각적) 등과 같은 출력 매체의 종류 및 매체별 구체적인 특성값(예 : 출력 매체가 음향일 경우 볼륨 수준)을 말한다. 출력 매체는 두 종류 이상이 동시에 사용될 수도 있다. 이때, 특정음 인식 정보가 음향으로 출력되는 경우에는 기존에 연결되어 있는 음향 출력 장치(20)가 알림 장치(30)로서 이용되도록 하는 것이 바람직하다.Here, the integrated control unit 12 checks the preset notification method using the user profile. The notification method refers to the type of output medium such as acoustic (acoustic), vibration (tactile), text (visual), and specific characteristic values of each medium (for example, volume level when the output medium is acoustic). Two or more types of output media may be used simultaneously. In this case, when the specific sound recognition information is output as sound, it is preferable that the sound output device 20 connected to the existing sound is used as the notification device 30.

또한, 통합 제어부(12)는 특정음 인식부(11)를 통해 인식된 음향의 위험 수 준 혹은 사용자의 선호도에 따라 출력 매체(청각적/촉각적/시각적 출력 매체)를 달리하여 특정음 인식 정보를 출력하거나, 다수의 출력 매체를 동시에 사용하여 출력하거나, 음향 출력일 경우 알림 장치(30)의 볼륨을 조절하여 출력하도록 통보부(13)를 제어할 수도 있다. In addition, the integrated control unit 12 may change the output medium (acoustic / tactile / visual output medium) according to the danger level of the sound recognized by the specific sound recognition unit 11 or the user's preference, so that the specific sound recognition information may be changed. The notification unit 13 may be controlled to output a plurality of output media, output a plurality of output media at the same time, or adjust and output a volume of the notification apparatus 30 in the case of sound output.

그리고, 통보부(13)는 통합 제어부(12)의 제어에 따라, 연동된 알림 장치(30)를 이용하여 특정음 인식 정보를 출력한다. 즉, 사용자의 인지가 필요한 특정음의 발생 사실을 청각적(예 :음향), 촉각적(예 : 진동), 시각적(예 : 문자) 출력 매체를 이용하여 사용자에게 알려준다. The notification unit 13 outputs specific sound recognition information by using the linked notification device 30 under the control of the integrated control unit 12. In other words, the user is informed of the occurrence of a specific sound that requires the user's perception using an audible (eg, acoustic), tactile (eg, vibration), visual (eg, text) output medium.

본 발명에 따른 특정음 인식ㆍ통보 장치(10)는 별도의 독립된 장치로서, 혹은 일반적인 음향 출력 장치(예 : 헤드폰, 이어폰, 헤드셋)의 일부분으로서 구현될 수 있다. 후자의 경우를 이하의 도 3을 참조하여 후술하도록 한다.The specific sound recognition / notification device 10 according to the present invention may be implemented as a separate device or as part of a general sound output device (eg, headphones, earphones, a headset). The latter case will be described later with reference to FIG. 3.

도 2 는 본 발명에 따른 특정음 인식ㆍ통보 장치에서의 특정음 인식ㆍ통보 방법에 대한 일실시예 흐름도이다.Fig. 2 is a flow chart of an embodiment of a specific sound recognition / notification method in the specific sound recognition / notification apparatus according to the present invention.

여기서, 사용자가 인지할 필요가 있는 특정음은 별도 입력을 통해 기 등록된 상태이다.Here, the specific sound that the user needs to recognize is already registered through a separate input.

먼저, 특정음 인식부(11)가 내장 마이크를 통해 외부 음향을 입력받아(201) 특정음을 인식한다(202). 그리고, 상기 인식한 결과(특정음 인식 결과)를 통합 제어부(12)로 전달한다(203).First, the specific sound recognition unit 11 receives an external sound through the built-in microphone 201 and recognizes the specific sound (202). Then, the result of the recognition (specific sound recognition result) is transmitted to the integrated control unit 12 (203).

그러면, 통합 제어부(12)가 현재 연결된 음향 출력 장치(20)를 제어하여 일시 동작 정지시킨다(혹은 볼륨 다운시킨다)(204).Then, the integrated control unit 12 controls the currently connected sound output device 20 to temporarily stop (or volume down) 204.

그리고, 사용자 프로파일을 이용하여 기 설정된 통보 방안을 확인하고(205), 상기 확인한 통보 방안(출력 매체의 종류 및 특성값)에 따라 특정음 인식 정보가 알림 장치(30)를 통해 출력되도록 통보부(13)를 제어한다(206).Then, the predetermined notification scheme is checked using the user profile (205), and the notification unit (200) outputs the specific sound recognition information through the notification apparatus 30 according to the identified notification scheme (type and characteristic value of the output medium). 13 is controlled (206).

그러면, 통보부(13)가 상기 통합 제어부(12)의 제어에 따라, 연동된 알림 장치(30)를 통해 특정음 인식 정보를 출력한다(207). 예를 들면, 기 설정된 볼륨 수준으로 소정 음향(자동차 경적 소리가 인식되었을 경우 "빵빵")을 출력하거나, 혹은 진동을 출력하거나, 혹은 문자를 출력할 수 있다. 이때, 음향이 출력 매체일 경우에는 음향 출력 장치(20)를 그대로 알림 장치(30)로 사용할 수 있다. Then, the notification unit 13 outputs specific sound recognition information through the linked notification device 30 under the control of the integrated control unit 12 (207). For example, at a predetermined volume level, a predetermined sound (“pan” when a car horn sound is recognized) may be output, a vibration may be output, or a text may be output. In this case, when the sound is an output medium, the sound output device 20 may be used as the notification device 30 as it is.

도 3 은 본 발명에 따른 특정음 인식ㆍ통보 장치가 적용된 헤드폰에 대한 일실시예 설명도이다.3 is a diagram illustrating an embodiment of a headphone to which a specific sound recognition / notification device according to the present invention is applied.

여기서는, 특정음 인식 정보가 진동으로 출력되는 경우(출력 매체가 진동일 경우)를 일예로 들어 설명하기로 한다.Here, the case where the specific sound recognition information is output as vibration (the output medium is vibration) will be described as an example.

도 3에 도시된 바와 같이, 특정음 인식ㆍ통보 장치(10)는 음향 출력 장치(20)의 일부분으로, 즉 헤드폰의 일부분으로 구현된 상태이고, 알림 장치(20)로서 진동 장치가 함께 음향 출력 장치에 구비되어 있다.As shown in Fig. 3, the specific sound recognition / notification device 10 is implemented as a part of the sound output device 20, that is, as a part of the headphone, and the vibration device is output together with the vibration device as the notification device 20. It is provided in the device.

외부의 특정음이 인식되어 사용자에게 통보되는 과정을 예를 들어 설명하면, 음향 출력 장치를 통해 음악 파일이 출력되던 중(헤드폰 착용 상태임) 자동차 경적 소리("빵빵")가 특정음 인식ㆍ통보 장치(10)에 의해 인식됨에 따라 상기 음악 파일의 출력이 일시적으로 정지되고(혹은 볼륨 다운되고) 알림 장치(30)가 진동을 출력한다. 즉, 진동 장치가 진동을 출력하여 사용자의 귀 뒤쪽 피부를 자극한다. 이때, 진동의 강도는 기 설정된 통보 방안에 따라 결정된다. 이와 같은 활용 시나리오를 도 4를 참조하여 상세히 설명하면 다음과 같다.For example, when the external sound is recognized and notified to the user, the sound of the car horn ("bread") is recognized or notified while the music file is being output through the sound output device (headphone is worn). As recognized by the device 10, the output of the music file is temporarily stopped (or volume down) and the notification device 30 outputs a vibration. That is, the vibration device outputs the vibration to stimulate the skin behind the user's ear. At this time, the strength of the vibration is determined according to a preset notification method. Such a usage scenario will be described in detail with reference to FIG. 4 as follows.

도 4 는 본 발명에 따른 특정음 인식ㆍ통보 장치의 활용 시나리오에 대한 일실시예 설명도이다.4 is a diagram illustrating an example of a utilization scenario of a specific sound recognition / notification device according to the present invention.

도 4에 도시된 바와 같이, 외부로부터 자동차 경적 소리("빵빵")가 특정음 인식부(11)의 내장 마이크로 입력되어 상기 특정음 인식부(11)에 의해 특정음으로 인식됨에 따라, 상기 특정음 인식부(11)는 상기 인식한 특정음 인식 결과("자동차 경적 소리"임을 나타내는 신호)를 통합 제어부(12)로 전달한다. As shown in FIG. 4, the car horn sound (“bread”) is input from the outside into the built-in microphone of the specific sound recognition unit 11 and is recognized as the specific sound by the specific sound recognition unit 11. The sound recognition unit 11 transmits the recognized specific sound recognition result (a signal indicating that the vehicle horn sound) is integrated to the integrated control unit 12.

그에 따라, 통합 제어부(12)는 사용자 프로파일을 확인하여 기 설정된 통보 방안에 따라 음향 출력 장치(20)를 제어하여 음소거되도록 한다. 물론, 볼륨이 다운되도록 할 수도 있고, 위험도에 따라 차별화된 동작이 수행되도록 구현할 수도 있다. 그리고, 통합 제어부(12)는 통보부(13)를 제어하여 알림 장치(30)를 통해 특정음 인식 정보를 출력하도록 한다.Accordingly, the integrated control unit 12 checks the user profile and controls the sound output device 20 to be muted according to a preset notification method. Of course, the volume may be brought down or may be implemented to perform a differentiated operation according to a risk. The integrated control unit 12 controls the notification unit 13 to output specific sound recognition information through the notification device 30.

즉, 통보부(13)는 소정의 알림 장치(30)를 통해, 예를 들면 음향 출력 장치(20)를 통해 "빵빵"을 출력한다. 이때는, 알림 장치(30)로서 음향 출력 장치(20)가 그대로 사용된 경우이다. 혹은, 진동 장치를 통해 강한 진동을 출력할 수도 있다.That is, the notification unit 13 outputs "bread" through the predetermined notification device 30, for example, through the sound output device 20. In this case, the sound output device 20 is used as the notification device 30 as it is. Alternatively, strong vibrations may be output through the vibration device.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기 로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily carried out by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 주변 환경의 잡음으로부터 의미 있는(사용자가 인지할 필요가 있는) 특정음을 인식하여 사용자에게 다양한 방법으로 통보함으로써, 음향 출력 장치(예 : 헤드폰)의 사용에 따른 외부 소리와의 차단을 방지하여 외부 위험과 호명 등을 인지할 수 있도록 하는 효과가 있다.The present invention as described above, by recognizing a specific sound meaningful (the user needs to recognize) from the noise of the surrounding environment and notifying the user in various ways, the external sound according to the use of the sound output device (for example, headphones) It is effective to prevent the blocking of and to recognize external dangers and callings.

Claims (10)

삭제delete 삭제delete 삭제delete 삭제delete 위험을 알리는 특정음을 인식하여 이동중인 사용자에게 통보하는 특정음 인식ㆍ통보 장치에 있어서,In the specific sound recognition and notification device for recognizing a specific sound notification of danger and notifying the user on the move, 사용자로부터 등록받은 위험을 알리는 다수의 특정음 및 그에 상응하는 통보 방식과 출력 레벨 정보를 저장하고 있는 저장 수단; Storage means for storing a plurality of specific tones indicating a danger registered from a user, and corresponding notification schemes and output level information; 외부의 특정음을 인식하기 위한 특정음 인식 수단; Specific sound recognition means for recognizing an external specific sound; 상기 특정음 인식 수단에서 특정음을 인식함에 따라 상기 저장 수단에 저장되어 있는 특정음인지의 여부를 판단하여 해당 특정음인 경우 상기 특정음 인식ㆍ통보 장치에 연결된 음향 출력 기기의 출력 레벨을 제어하고, 해당 특정음에 상응하는 통보 방식 및 출력 레벨로 사용자에게 위험을 알리도록 진동 수단 및 출력 수단을 제어하기 위한 통합 제어 수단; In response to the recognition of the specific sound by the specific sound recognizing means, it is determined whether the specific sound is stored in the storage means, and in the case of the specific sound, the output level of the sound output device connected to the specific sound recognizing / notification device is controlled. Integrated control means for controlling the vibrating means and the output means to notify the user of danger in a notification manner and an output level corresponding to the specific sound; 상기 통합 제어 수단의 제어에 따라 해당 출력 레벨로 진동하여 사용자에게 위험을 알리기 위한 상기 진동 수단; 및 The vibration means for informing a user of danger by vibrating at a corresponding output level according to the control of the integrated control means; And 상기 통합 제어 수단의 제어에 따라 해당 출력 레벨로 음향을 출력하여 사용자에게 위험을 알리기 위한 상기 출력 수단The output means for informing a user of a danger by outputting sound at a corresponding output level according to the control of the integrated control means 을 포함하는 특정음 인식ㆍ통보 장치.Specific sound recognition and notification device comprising a. 삭제delete 삭제delete 삭제delete 삭제delete 특정음 인식ㆍ통보 장치에서 위험을 알리는 특정음을 인식하여 이동중인 사용자에게 통보하는 방법에 있어서,A method for recognizing a specific sound informing a danger of a specific sound recognition / notification device and informing a user on the move, 사용자로부터 위험을 알리는 다수의 특정음 및 그에 상응하는 통보 방식과 출력 레벨 정보를 등록받는 단계; Registering a plurality of specific tones indicating a danger, a corresponding notification method, and output level information from a user; 외부의 특정음을 인식함에 따라 기 등록받은 특정음인지의 여부를 판단하는 단계; Determining whether a specific sound is previously registered according to an external specific sound; 상기 판단 결과, 기 등록되어 있는 특정음이 아니면, 상기 특정음 인식ㆍ통보 장치에 연결된 음향 출력 기기의 출력 레벨을 유지하는 단계; Maintaining the output level of the sound output device connected to the specific sound recognizing / notifying device if the specific sound is not already registered as a result of the determination; 상기 판단 결과, 기 등록되어 있는 특정음이면, 그에 상응하는 통보 방식과 출력 레벨을 확인하는 단계; As a result of the determination, if the predetermined sound is already registered, checking a corresponding notification method and an output level; 상기 확인 결과, 통보 방식이 음향이면 상기 음향 출력 기기의 출력 레벨을 조절한 후 해당 출력 레벨로 음향을 출력하여 사용자에게 위험을 알리는 단계; 및 If the notification method is sound, adjusting the output level of the sound output device and outputting sound at the corresponding output level to notify the user of a danger; And 상기 확인 결과, 통보 방식이 진동이면 해당 출력 레벨로 진동하여 사용자에게 위험을 알리는 단계As a result of the confirmation, if the notification method is vibration, notifying the user by vibrating at a corresponding output level. 를 포함하는 특정음 인식ㆍ통보 장치에서의 특정음 인식ㆍ통보 방법.A specific sound recognition / notification method in a specific sound recognition / notification apparatus comprising a.
KR1020050094437A 2005-10-07 2005-10-07 Apparatus and method for alarming according to recognition specific sound KR100770020B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050094437A KR100770020B1 (en) 2005-10-07 2005-10-07 Apparatus and method for alarming according to recognition specific sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050094437A KR100770020B1 (en) 2005-10-07 2005-10-07 Apparatus and method for alarming according to recognition specific sound

Publications (2)

Publication Number Publication Date
KR20070039283A KR20070039283A (en) 2007-04-11
KR100770020B1 true KR100770020B1 (en) 2007-10-25

Family

ID=38160178

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050094437A KR100770020B1 (en) 2005-10-07 2005-10-07 Apparatus and method for alarming according to recognition specific sound

Country Status (1)

Country Link
KR (1) KR100770020B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101509007B1 (en) * 2009-03-03 2015-04-14 엘지전자 주식회사 Operating a Mobile Termianl with a Vibration Module
KR102195897B1 (en) 2013-06-05 2020-12-28 삼성전자주식회사 Apparatus for dectecting aucoustic event, operating method thereof, and computer-readable recording medium having embodied thereon a program which when executed by a computer perorms the method
KR101807616B1 (en) 2016-04-21 2017-12-11 현대자동차주식회사 Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6436599A (en) * 1987-07-31 1989-02-07 Naoji Isshiki Bent blade propulsion device
KR950002264A (en) * 1993-06-28 1995-01-04 세끼모또 타다히로 Selective call receiver with selectable notification means and mode setting method thereof
JPH0977623A (en) * 1995-09-13 1997-03-25 Kuraray Co Ltd Dental photopolymerizable composition
KR20000028152A (en) * 1998-10-30 2000-05-25 전주범 Method for displaying outer voices around for using radio headphones on tv
KR20000028151A (en) * 1998-10-30 2000-05-25 전주범 Method for controlling output volume of radio headphones on tv
KR20000052555A (en) * 1998-12-25 2000-08-25 마츠시타 덴끼 산교 가부시키가이샤 Headphone apparatus for providing dynamic sound with vibrations and method therefor
KR20010066693A (en) * 1999-12-31 2001-07-11 송재인 Record player with monitoring function of outer sound
KR20040093782A (en) * 2003-04-30 2004-11-09 주식회사 대우일렉트로닉스 Television possible speech recognition and method for muting audio signal using the same
KR20050029481A (en) * 2003-09-23 2005-03-28 주식회사 케이티프리텔 Apparatus and method for providing notification service for emergency

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6436599A (en) * 1987-07-31 1989-02-07 Naoji Isshiki Bent blade propulsion device
KR950002264A (en) * 1993-06-28 1995-01-04 세끼모또 타다히로 Selective call receiver with selectable notification means and mode setting method thereof
JPH0977623A (en) * 1995-09-13 1997-03-25 Kuraray Co Ltd Dental photopolymerizable composition
KR20000028152A (en) * 1998-10-30 2000-05-25 전주범 Method for displaying outer voices around for using radio headphones on tv
KR20000028151A (en) * 1998-10-30 2000-05-25 전주범 Method for controlling output volume of radio headphones on tv
KR20000052555A (en) * 1998-12-25 2000-08-25 마츠시타 덴끼 산교 가부시키가이샤 Headphone apparatus for providing dynamic sound with vibrations and method therefor
KR20010066693A (en) * 1999-12-31 2001-07-11 송재인 Record player with monitoring function of outer sound
KR20040093782A (en) * 2003-04-30 2004-11-09 주식회사 대우일렉트로닉스 Television possible speech recognition and method for muting audio signal using the same
KR20050029481A (en) * 2003-09-23 2005-03-28 주식회사 케이티프리텔 Apparatus and method for providing notification service for emergency

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
10-2001-66693
10-2005-0029481
실0136599
실용신안 97-7623
특1995-0002264
특2000-0052555

Also Published As

Publication number Publication date
KR20070039283A (en) 2007-04-11

Similar Documents

Publication Publication Date Title
US11710473B2 (en) Method and device for acute sound detection and reproduction
US8194865B2 (en) Method and device for sound detection and audio control
US9491542B2 (en) Automatic sound pass-through method and system for earphones
KR101756674B1 (en) Active noise reduction headset device with hearing aid features
US9462100B2 (en) Method and earpiece for visual operational status indication
US10425717B2 (en) Awareness intelligence headphone
KR100335613B1 (en) Apparatus and method for transmission of a sound
US20140044269A1 (en) Intelligent Ambient Sound Monitoring System
US20090232325A1 (en) Reactive headphones
KR101647974B1 (en) Smart earphone, appliance and system having smart mixing module, and method for mixing external sound and internal audio
EP4164243A1 (en) Active sound device utilizing audio recognition
JP6268033B2 (en) Mobile device
EP3162082B1 (en) A hearing device, method and system for automatically enabling monitoring mode within said hearing device
KR100770020B1 (en) Apparatus and method for alarming according to recognition specific sound
KR101600429B1 (en) An Auxiliary Aid Device for Adaptation of Environmental Circumstance and A method for Linking An Auxiliary Aid Device to A multimedia Device
KR101553398B1 (en) Bluetooth headset for helmet
KR101861357B1 (en) Bluetooth device having function of sensing external noise
US20220387222A1 (en) Hearing protection device for protection in different hearing situations, controller for such device, and method for switching such device
KR101693482B1 (en) Headset with a function for cancelling howling and echo
KR20090048853A (en) Apparatus and method for notifying external noise while playing audio or video contents in cellular phone
JP7410109B2 (en) Telecommunications equipment, telecommunications systems, methods of operating telecommunications equipment, and computer programs
KR20180063563A (en) assistance apparatus for deaf person
EP3737111A1 (en) Proactive sound detection with noise cancellation component within earphone or headset
CN113660572B (en) Earphone call control method and device, earphone equipment and storage medium
KR101482420B1 (en) Sound Controller of a Cellular Phone for Deafness and its method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20101001

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee