KR101455830B1 - Glasses and control method thereof - Google Patents

Glasses and control method thereof Download PDF

Info

Publication number
KR101455830B1
KR101455830B1 KR1020130003063A KR20130003063A KR101455830B1 KR 101455830 B1 KR101455830 B1 KR 101455830B1 KR 1020130003063 A KR1020130003063 A KR 1020130003063A KR 20130003063 A KR20130003063 A KR 20130003063A KR 101455830 B1 KR101455830 B1 KR 101455830B1
Authority
KR
South Korea
Prior art keywords
sound
transparency
transparent display
acoustic
size
Prior art date
Application number
KR1020130003063A
Other languages
Korean (ko)
Other versions
KR20140091194A (en
Inventor
이희섭
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020130003063A priority Critical patent/KR101455830B1/en
Publication of KR20140091194A publication Critical patent/KR20140091194A/en
Application granted granted Critical
Publication of KR101455830B1 publication Critical patent/KR101455830B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eyeglasses (AREA)

Abstract

음향의 발생 위치에 따라 영상 정보가 표시되는 위치가 조정되고, 음향의 크기에 따라 투명도가 조절되는 안경 및 그 제어방법을 제공한다.
안경은 외부로부터 음향을 입력받고, 음향이 발생한 위치를 인식하는 음향 입력부와, 음향에 대한 신호 처리를 수행하고, 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 음향 시각화부와, 영상 정보를 음향이 발생한 위치에 매칭 되는 영역에 표시하고, 음향의 크기에 따라 투명도가 조절되는 투명 디스플레이를 포함하므로, 음향의 발생위치를 반영하여 투명 디스플레이의 특정 영역에 영상 정보를 표시할 수 있고, 음향의 크기 변화에 따라 투명도의 크기 및 변화율을 조정함으로서 착용자의 주의를 환기시킬 수 있다.The present invention provides a spectacle and its control method in which the position at which image information is displayed is adjusted according to the location of sound generation, and the transparency is adjusted according to the size of sound.
The spectacle includes an acoustic input unit for receiving sound from the outside and recognizing the position where the sound is generated, an acoustic visualization unit for performing signal processing on the sound, and generating image information by comparing the pattern of the sound with a pattern stored in advance, Since the information is displayed in the area matched with the position where the sound is generated and the transparent display is controlled in accordance with the size of the sound, the image information can be displayed in a specific area of the transparent display by reflecting the generation position of the sound, By adjusting the magnitude of the transparency and the rate of change according to the change in the size of the sound, the wearer can be alerted.

Description

안경 및 그 제어방법{Glasses and control method thereof}Glasses and control method thereof < RTI ID = 0.0 >

본 발명은 음향을 인식하여 영상을 출력하는 안경 및 그 제어방법에 관한 것이다. BACKGROUND OF THE INVENTION Field of the Invention [0001] The present invention relates to an eyeglass for recognizing sound and outputting an image and a control method thereof.

일반적으로 청각 장애인은 시각 장애인과는 달리 시각을 통해서 일상 생활의 모든 사물과 주변 상황 및 기기 상태를 식별할 수 있다. 특히 청각에 다소 장애가 있는 노인이나 약청자의 경우에는 보청기를 사용함으로써, 주변 상황을 인식하고 판단하게 되므로 일상생활에 불편함을 최소화할 수 있다. 그러나, 전혀 소리를 듣지 못하는 청각 장애인의 경우에는 보청기를 사용할 수 없고, 주로 시각만으로 그들의 주변에서 벌어지는 상황들을 인지한다. 따라서, 청각 장애인들은 그들의 시각이 미치는 범위 밖에서 벌어지는 상황들에 대해서는 어떤 상황들이 벌어지고 있는지를 인지하지 못하는 것이 현실이다. 또한, 시각이 미치는 범위내에서 벌어지는 상황들이라도 그 상황들이 동적인 상황이 아니고 정적인 상황들일 경우에도 그 상황들을 정확하게 인지하지 못할 것이다.In general, the hearing impaired, unlike the visually impaired, is able to identify all things in daily life, the surrounding situation, and the condition of the device through vision. In particular, the use of a hearing aid in the case of an elderly person or a weak listener who has some degree of hearing impairment can minimize the inconvenience in daily life because it recognizes and judges the surrounding situation. However, in the case of hearing-impaired people who can not hear at all, hearing aids can not be used, and they often perceive situations that occur in their surroundings mainly by sight. Therefore, hearing-impaired people are not aware of what is happening in situations that are beyond their perspective. Also, situations that occur within the scope of vision will not be precisely perceived even if the situations are static rather than dynamic.

이러한 문제들을 해결하기 위하여 손목시계 형태의 경보 표시기를 이용하여 청각 장애인에게 청각적인 정보를 시각적으로 변환해주는 청각장애인용 알림장치가 공지되어 있으나, 긴급한 상황에 반응하는데 있어서 손목시계의 신호를 시각적으로 확인하는데 상당한 시간이 소요된다는 문제가 있다.To solve these problems, a notification device for a hearing impaired person who visually converts auditory information to a hearing-impaired person by using a wristwatch-type alarm indicator is known. However, in response to an urgent situation, There is a problem that a considerable time is required.

또한, 손목 또는 기타 신체의 일부에 장착하여 청각적 신호를 진동 형태로 전환하여 청각 장애인에게 주변 상황 또는 긴급 상황을 알려주는 청각장애인용 진동 알림 장치가 개시되어 있으나, 주변 상황에 의해 진동 신호가 감지되지 못하는 경우 등이 발생할 수 있어 정보 전달이 용이하지 않다는 문제가 있다.In addition, a vibration notification device for a hearing-impaired person who is attached to a part of the wrist or other body to convert an auditory signal into a vibration mode to notify a hearing-impaired person of a surrounding situation or an emergency situation is disclosed. However, It is not easy to transmit information.

본 발명의 일측면은 음향의 발생 위치에 따라 영상 정보가 표시되는 위치가 조정되는 안경 및 그 제어방법을 제공한다.According to an aspect of the present invention, there is provided a spectacle in which a position at which image information is displayed is adjusted according to a sound generation position and a control method thereof.

본 발명의 다른 측면은 음향의 크기에 따라 투명도가 조절되는 안경 및 그 제어방법을 제공한다.Another aspect of the present invention provides a spectacle whose transparency is adjusted according to the size of sound and a control method thereof.

본 발명의 또 다른 측면은 음향의 크기 변화율에 따라 투명도의 변화율이 조절되는 안경 및 그 제어방법을 제공한다.Another aspect of the present invention provides an eyeglass in which the rate of change of transparency is controlled according to a rate of change of the size of sound and a control method thereof.

이를 위한 본 발명의 일측면에 의한 안경은 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 음향 입력부;와, 상기 음향에 대한 신호 처리를 수행하고, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 음향 시각화부; 및 상기 영상 정보를 상기 음향이 발생한 위치에 매칭되는 영역에 표시하는 투명 디스플레이를 포함할 수 있다.According to an aspect of the present invention, there is provided an eyeglasses comprising: an acoustic input unit for receiving sound from outside and recognizing a position where the sound is generated; a signal processing unit for performing signal processing on the sound, An acoustic visualization unit for generating image information by comparing the image information; And a transparent display for displaying the image information in an area matched with a position where the sound is generated.

상기 음향 입력부는 복수 개의 마이크로폰을 포함할 수 있고, 상기 복수 개의 마이크로폰에 음향이 도착하는 시간 지연 정보를 이용하여 상기 음향이 발생한 위치를 인식할 수 있다.The sound input unit may include a plurality of microphones, and the position at which the sound is generated may be recognized using time delay information when sounds arrive at the plurality of microphones.

상기 음향 시각화부는 상기 음향 입력부를 통해 입력된 음향에 대한 잡음제거 및 신호 보상을 수행하는 음향 전처리부를 포함할 수 있다.The acoustic visualization unit may include an acoustic preprocessor for performing noise removal and signal compensation on the sound input through the acoustic input unit.

상기 음향 시각화부는 기 설정된 음향 패턴에 관한 정보를 저장하는 음향 패턴 저장부를 포함할 수 있다.The acoustic visualization unit may include a sound pattern storage unit for storing information on a predetermined sound pattern.

상기 음향 시각화부는 저장된 음향 패턴을 이용하여 음향을 인식하는 음향 인식부를 더 포함하고, 상기 음향 인식부는 상기 음향 패턴 저장부에 저장된 음향 패턴 중 가장 정확도가 높은 음향 패턴을 인식결과로 인식할 수 있다.The acoustic visualization unit may further include an acoustic recognition unit that recognizes acoustic using the stored acoustic pattern, and the acoustic recognition unit may recognize an acoustic pattern having the highest accuracy among the acoustic patterns stored in the acoustic pattern storage unit as a recognition result.

상기 음향 시각화부는 인식된 음향의 발생 위치에 따라 상기 투명 디스플레이에 상기 영상 정보가 표시되는 위치를 조정하는 시각화 후처리부를 더 포함할 수 있다.The acoustic visualization unit may further include a visualization post-processing unit for adjusting a position at which the visual information is displayed on the transparent display according to the recognized sound generation position.

그리고, 본 발명의 다른 측면에에 의한 안경은 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 음향 입력부;와, 상기 음향에 대한 신호 처리를 수행하고, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 음향 시각화부; 및 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절될 수 있다.According to another aspect of the present invention, there is provided an eyeglass according to another aspect of the present invention, which comprises: an acoustic input unit for receiving sound from outside and recognizing a position where the sound is generated; a signal processing unit for performing a signal process for the sound, An acoustic visualization unit for generating image information in comparison with the acoustic visualization unit; And the image information, and the transparency can be adjusted according to the size of the sound.

상기 음향 시각화부는 상기 음향의 크기에 따라 상기 투명 디스플레이의 투명도를 조절하는 시각화 후처리부를 포함하고, 상기 시각화 후처리부는 상기 음향의 크기가 크면 상기 투명 디스플레이의 투명도를 낮게 하고, 음향의 크기가 작으면 상기 투명 디스플레이의 투명도를 높게 할 수 있다.Wherein the visualization unit includes a visualization post-processing unit that controls transparency of the transparent display according to the size of the sound, and the visualization post-processing unit reduces the transparency of the transparent display if the size of the sound is large, The transparency of the transparent display can be increased.

상기 시각화 후처리부는 상기 인식된 음향의 크기가 미리 정해진 기준보다 크고, 상기 음향의 패턴이 미리 정해진 물체로부터 발생한 것으로 판단되면, 상기 투명 디스플레이의 투명도를 조절할 수 있다.The post-visualization processor may adjust the transparency of the transparent display when the size of the recognized sound is larger than a predetermined reference and it is determined that the acoustic pattern is generated from a predetermined object.

상기 시각화 후처리부는 상기 음향의 크기 변화율에 비례하여 상기 투명도의 단위시간당 변화율을 조절할 수 있다.The post-visualization processor may adjust the rate of change of the transparency per unit time in proportion to the rate of change of the size of the sound.

그리고, 본 발명의 일측면에 의한 안경의 제어방법은 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 단계;와, 상기 음향에 대한 신호 처리를 수행하고, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 단계; 및 상기 영상 정보를 상기 음향이 발생된 위치에 매칭되는 투명 디스플레이의 특정 영역에 표시하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of controlling spectacles, the method comprising: receiving sound from outside and recognizing a position where the sound is generated; performing signal processing on the sound; Generating image information in comparison with a pattern; And displaying the image information on a specific area of the transparent display matched with the location where the sound is generated.

상기 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 단계는, 복수 개의 마이크로폰을 통해 입력되는 음향의 도착하는 시간 지연 정보를 이용하여 상기 음향이 발생한 위치를 인식할 수 있다.The step of receiving the sound from the outside and recognizing the position where the sound is generated may recognize the position where the sound is generated using the arrival time delay information of the sound input through the plurality of microphones.

그리고, 본 발명의 다른 측면에 의한 안경의 제어방법은 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 단계;와, 상기 음향에 대한 신호 처리를 수행하고, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 단계; 및 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절되는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of controlling spectacles comprising the steps of: receiving sound from outside and recognizing a position where the sound is generated; performing signal processing on the sound; Generating image information in comparison with a pattern; And displaying the image information on a transparent display and adjusting the transparency according to the size of the sound.

상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절되는 단계는, 상기 음향의 크기가 크면 상기 투명 디스플레이의 투명도를 낮추고, 상기 음향의 크기가 작으면 상기 투명 디스플레이의 투명도를 높일 수 있다.Wherein the step of displaying the image information on the transparent display and adjusting the transparency according to the size of the sound comprises: decreasing the transparency of the transparent display if the sound is large, and changing the transparency of the transparent display if the sound is small .

상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절되는 단계는, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 상기 음향의 패턴이 미리 정해진 물체로부터 발생된 것으로 인식되면, 상기 음향의 크기에 따라 상기 투명 디스플레이의 투명도가 조절될 수 있다.Wherein the step of displaying the image information on the transparent display and adjusting the transparency according to the size of the sound comprises comparing the pattern of the sound with a previously stored pattern and if the pattern of the sound is recognized as being generated from a predetermined object, The transparency of the transparent display can be adjusted according to the size of the sound.

상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절되는 단계는, 상기 음향의 크기 변화율에 비례하여 상기 투명 디스플레이의 투명도의 단위시간당 변화율이 조절될 수 있다.In the step of displaying the image information on the transparent display and adjusting the transparency according to the size of the sound, the rate of change per unit time of transparency of the transparent display may be adjusted in proportion to the rate of change of the sound.

상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절되는 단계는, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 상기 음향의 패턴이 미리 정해진 물체로부터 발생된 것으로 인식되면, 상기 음향의 크기 변화율에 비례하여 상기 투명 디스플레이의 투명도의 단위시간당 변화율이 조절될 수 있다.Wherein the step of displaying the image information on the transparent display and adjusting the transparency according to the size of the sound comprises comparing the pattern of the sound with a previously stored pattern and if the pattern of the sound is recognized as being generated from a predetermined object, The rate of change per unit time of the transparency of the transparent display can be adjusted in proportion to the rate of change of the size of the sound.

이상에서 설명한 바와 같이, 본 발명의 일측면에 의하면 음향의 발생위치를 반영하여 투명 디스플레이의 특정 영역에 영상 정보를 표시할 수 있고, 음향의 크기 변화에 따라 투명도의 크기 및 변화율을 조정함으로서 착용자의 주의를 환기시킬 수 있다.As described above, according to one aspect of the present invention, it is possible to display image information in a specific area of a transparent display by reflecting the generation position of sound, and by adjusting the magnitude and the rate of change of transparency according to the change in size of sound, You can call attention.

도 1은 본 발명의 일실시예에 의한 안경의 외관을 개략적으로 나타낸 도면
도 2a 및 도 2b는 본 발명의 다른 실시예에 의한 안경의 외관을 개략적으로 나타낸 도면
도 3은 본 발명의 일실시예에 의한 안경에 포함되는 음향시각화부의 개략적인 구성을 도시한 블록도
도 4는 본 발명의 일실시예에 의한 안경에서 음향 정보를 시각 정보로 변환하여 출력하는 것을 설명하기 위한 도면
도 5는 본 발명의 일실시예에 의한 안경에서 음향 정보의 발생 위치에 따라 투명 디스플레이에 표시되는 영상 정보의 출력 위치가 달라지는 구성을 설명하기 위한 도면
도 6은 본 발명의 일실시예에 의한 안경에서 음향의 크기에 따라 투명 디스플레이의 투명도를 조절하는 것을 설명하기 위한 도면
도 7은 본 발명의 일실시예에 의한 안경에서 음향 크기의 시간적 변화 속도에 따라 투명 디스플레이의 투명도의 변화율을 조절하는 것을 설명하기 위한 도면
도 8은 본 발명의 일실시예에 의한 안경의 투명도를 다양하게 조절하는 방법을 설명하기 위한 도면
도 9는 본 발명의 일실시예에 의한 안경에서 음향의 크기에 따라 투명도의 크기를 조절하는 것을 설명하기 위한 제어흐름도
도 10은 본 발명의 일실시예에 의한 안경에서 음향의 크기에 따라 투명도의 크기를 조절하는 것을 설명하기 위한 제어흐름도BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view schematically showing an appearance of a spectacle according to an embodiment of the present invention; FIG.
2A and 2B are views schematically showing the appearance of glasses according to another embodiment of the present invention
3 is a block diagram showing a schematic configuration of an acoustic visualization unit included in glasses according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining conversion of sound information into visual information in glasses according to an embodiment of the present invention;
FIG. 5 is a view for explaining a configuration in which output positions of image information displayed on a transparent display vary depending on the generation position of acoustic information in spectacles according to an embodiment of the present invention; FIG.
6 is a view for explaining the adjustment of the transparency of the transparent display according to the size of the sound in the spectacles according to the embodiment of the present invention
7 is a diagram for explaining adjustment of a rate of change of transparency of a transparent display according to temporal change rate of acoustical size in spectacles according to an embodiment of the present invention;
8 is a view for explaining a method of variously adjusting transparency of glasses according to an embodiment of the present invention
9 is a control flowchart for explaining the adjustment of the degree of transparency according to the size of sound in glasses according to an embodiment of the present invention.
10 is a control flow chart for explaining the adjustment of the degree of transparency according to the size of sound in glasses according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 사용하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, like reference numerals are used to denote like elements in the drawings, even if they are shown in different drawings.

도 1은 본 발명의 일실시예에 의한 안경의 외관을 개략적으로 나타낸 도면이고, 도 2a 및 도 2b는 본 발명의 다른 실시예에 의한 안경의 외관을 개략적으로 나타낸 도면이다.FIG. 1 is a view schematically showing an appearance of a spectacle according to an embodiment of the present invention, and FIGS. 2 (a) and 2 (b) are views schematically showing the appearance of spectacles according to another embodiment of the present invention.

안경(100)은 투명 디스플레이(110), 안경 다리(120), 안경 고리(130), 음향 입력부(140), 전원부(150) 및 음향 시각화부(160)를 포함할 수 있다.The spectacles 100 may include a transparent display 110, a spectacle leg 120, an eyeglass ring 130, an acoustic input unit 140, a power supply unit 150, and an acoustic visualization unit 160.

투명 디스플레이(110)는 투명 플렉서블 디스플레이를 포함하여 구성될 수 있다. 투명 플렉서블 디스플레이는 휘어질 수 있으며, 평소에는 유리처럼 투명한 상태로 있다가 전기 신호를 입력하면 화면이 나타나는 장치이다. 투명 디스플레이(110)는 투명 플렉서블 디스플레이와 일반적인 렌즈의 조합으로 이루어질 수도 있으나, 투명 플레서블 디스플레이만으로 이루어질 수도 있다. 도 2a를 참조하면, 투명 디스플레이(110)는 투명 플렉서블 디스플레이(110a)와 일반 렌즈(110b)를 병합하여 마련될 수 있다. 투명 플렉서블 디스플레이(110a)는 투명도가 조절되거나, 디스플레이 화면을 출력할 수 있다. 일반 렌즈(110b)는 청각 장애자의 시력에 맞도록 초점이 맞추어 질 수 있다. 도 2b를 참조하면, 투명 디스플레이(110)는 투명 플렉서블 디스플레이(110a)만으로 이루어질 수 있다. 투명 플렉서블 디스플레이(110a)는 상술한 것처럼, 디스플레이 화면을 출력하거나 투명도가 조절될 수 있다.The transparent display 110 may comprise a transparent flexible display. Transparent flexible displays can bend, usually transparent as glass, and then display the screen when an electrical signal is input. The transparent display 110 may be a combination of a transparent flexible display and a general lens, but may be made of a transparent flexible display alone. Referring to FIG. 2A, the transparent display 110 may include a transparent flexible display 110a and a general lens 110b. The transparent flexible display 110a can adjust transparency or output a display screen. The general lens 110b may be focused to match the vision of the hearing impaired. Referring to FIG. 2B, the transparent display 110 may include only a transparent flexible display 110a. The transparent flexible display 110a may display a display screen or have transparency adjusted as described above.

안경 다리(120)는 투명 디스플레이(110)로부터 일정 방향으로 신장되어 형성된다. 안경 다리(120)는 음향 입력부(140), 전원부(150) 및 음향 시각화부(160)를 포함하여 구성될 수 있다. 안경 다리(120)는 착용자의 귀에 걸리는 안경 고리(130)가 끝단에 연결될 수 있다. The eyeglass legs 120 are formed extending in a certain direction from the transparent display 110. The spectacle leg 120 may include an acoustic input unit 140, a power supply unit 150, and an acoustic visualization unit 160. The eyeglass leg 120 can be connected to the end of the eyeglass ring 130 which is caught by the wearer's ear.

음향 입력부(140)는 소형 마이크 또는 음향인식센서로 구현될 수 있다. 음향 입력부(140)는 외부로부터 음향을 수신할 수 있다. 음향 입력부(140)는 수신된 음향을 전기적 신호로 변환할 수 있다.The acoustic input unit 140 may be implemented by a small-sized microphone or an acoustic recognition sensor. The sound input unit 140 can receive sound from the outside. The sound input unit 140 may convert the received sound into an electrical signal.

음향 입력부(140)는 안경 다리(120), 투명 디스플레이(110)와 안경 다리(120)의 연결단 또는 안경 고리(130)의 내부 또는 외부에 마련될 수 있다. 음향 입력부(140)는 안경과 분리되어 음향 입력부(140)와 유무선 통신을 하는 외부 모듈로 분리되어 마련될 수도 있다. The sound input unit 140 may be provided inside or outside the spectacle leg 120, the connection terminal of the transparent display 110 and the spectacle leg 120, or the spectacle ring 130. The sound input unit 140 may be provided separately from the spectacles and separated into an external module for wired / wireless communication with the sound input unit 140.

음향 입력부(140)는 입력되는 음원의 대략적인 위치를 인식할 수 있다. 음향 입력부(140)는 복수 개의 마이크로폰을 포함할 수 있고, 복수 개의 마이크로폰에 소리가 도착하는 시간 지연 정보를 이용하여 음원의 위치를 추정할 수 있다. 음향 입력부(140)는 도착시간차(TDOA, Time Difference Of Arrival)를 이용하여 음원의 위치를 찾을 수 있다. TDOA 알고리즘은 서로 다른 위치에 설치된 마이크로폰으로 들어오는 음원의 서리 지연 차리를 이용하여 위치를 추정하는 방법이며, 복수 개의 마이크로폰을 이용하여 음원의 위치를 추적하는 기술은 공지 기술이므로 구체적인 설명은 생략한다.The sound input unit 140 can recognize the approximate position of the input sound source. The sound input unit 140 may include a plurality of microphones, and the position of the sound source may be estimated using time delay information in which sounds arrive at the plurality of microphones. The sound input unit 140 can find the position of the sound source using a time difference of arrival (TDOA). The TDOA algorithm is a method for estimating a position using a frost delay correction of a sound source coming in from a microphone installed at different positions, and a technology for tracking the position of a sound source using a plurality of microphones is well known in the art, so a detailed description thereof will be omitted.

전원부(150)는 안경 다리(120) 또는 안경 고리(130) 등 안경(100) 본체에 마련될 수 있다. 전원부(150)는 수은 전지 등 통상의 소형 배터리, 또는 안경(100) 본체에 내장될 수 있도록 특수 설계된 배터리를 포함할 수 있다. 전원부(150)는 음향 입력부(140), 음향 시각화부(160) 및 투명 디스플레이(110)에 전원을 공급할 수 있다.The power supply unit 150 may be provided in the body of the glasses 100, such as the eyeglass legs 120 or the eyeglass rings 130. The power source unit 150 may include a conventional small battery such as a mercury battery or a battery specially designed to be embedded in the body of the glasses 100. The power supply unit 150 may supply power to the acoustic input unit 140, the acoustic visualization unit 160, and the transparent display 110.

음향 시각화부(160)는 마이크로 프로세서 등의 하드웨어로 구현될 수 있다. 음향 시각화부(160)는 음향 입력부(140)에서 입력 받은 음향에 대한 신호 처리를 수행한 후, 기존에 저장된 음향 패턴을 이용하여 음향을 인식한다. 음향 시각화부(160)는 인식된 음향을 영상 정보로 시각화시켜 출력한다. 이에 대해서는 도 3에서 구체적으로 설명한다.The sound visualization unit 160 may be implemented by hardware such as a microprocessor. The acoustic visualization unit 160 performs signal processing on the sound received from the sound input unit 140 and recognizes the sound using the previously stored sound pattern. The acoustic visualization unit 160 visualizes the recognized sound as image information and outputs the visualized information. This will be described in detail with reference to FIG.

도 3은 본 발명의 일실시예에 의한 안경에 포함되는 음향시각화부의 개략적인 구성을 도시한 블록도이다.3 is a block diagram showing a schematic configuration of an acoustic visualization unit included in glasses according to an embodiment of the present invention.

음향 시각화부(160)는 음향 전처리부(162), 음향패턴 저장부(164), 음향 인식부(166), 시각화 후처리부(168)를 포함할 수 있다.The acoustic visualization unit 160 may include an acoustic preprocessor 162, an acoustic pattern storage unit 164, an acoustic recognition unit 166, and a visualization postprocessor 168.

음향 전처리부(162)는 음향 입력부(140)에서 입력 받은 음향 신호에 대하여 잡음제거 및 신호 보상을 수행한다. 음향 전처리부(162)는 잡음제거 및 신호 보상된 음향 신호에서 인식에 필요한 특징 벡터를 추출한다. 음향 전처리부(162)는 아날로그-디지털 변환기 및 디지털 신호처리기 등의 하드웨어를 포함할 수 있다. 음향 전처리부(162)에서 수행되는 전처리는 음향 인식률을 높이기 위한 것으로, 프리-엠퍼시스, 윈도윙, 고속 푸리에 변환, 에너지 분석 등을 통하여 수행되는 음향의 특징 벡터 내지 끝점 추출을 포함할 수 있다. 또한, 각종 필터링 및 음향 신호처리 알고리즘을 적용하여 다양한 형태의 잡음제거 및 신호 보상을 수행함으로써, 음향 인식부(166)가 순수하게 음향학적 특성에만 집중하여 음향 인식을 수행하도록 지원할 수 있다. 음향 전처리부(162)가 잡음제거 및 신호보상을 통하여 입력받은 음향 신호로부터 그 음향학적 특성만을 추출하는 기법으로는 LPC(Linear Predictive Coding), MFCC(Mel Frequency Cepstral Coefficients), 고역강조 추출법, 창 함수 추출법 등이 사용될 수 있다.The acoustic preprocessor 162 performs noise cancellation and signal compensation on the acoustic signal input from the acoustic input unit 140. [ The acoustic preprocessor 162 extracts feature vectors necessary for recognition in the noise canceled and signal compensated acoustic signals. The acoustic preprocessor 162 may include hardware such as an analog-to-digital converter and a digital signal processor. The preprocessing performed by the acoustic preprocessor 162 is to increase the acoustic recognition rate and may include extraction of feature vectors or endpoints of sounds performed through pre-emphasis, windowing, fast Fourier transform, energy analysis, In addition, various filtering and acoustic signal processing algorithms are applied to perform various types of noise elimination and signal compensation, so that the acoustic recognition unit 166 can support acoustic recognition by focusing purely on acoustic characteristics. As a technique for extracting only the acoustic characteristics of the acoustic signal inputted through the noise elimination and signal compensation by the acoustic preprocessing unit 162, there are LPC (Linear Predictive Coding), MFFC (Mel Frequency Cepstral Coefficients) Extraction method and the like can be used.

음향패턴 저장부(164)는 기 설정된 음향 패턴에 관한 정보를 저장할 수 있다. 실시예에 따라 저장되는 음향 패턴으로는 사람의 목소리, 차량 소리, 자연에서 발생하는 소리 등 다양한 형태의 소리를 포함할 수 있다. The acoustic pattern storage unit 164 may store information on a predetermined acoustic pattern. The acoustic patterns stored according to the embodiment may include various types of sounds such as a human voice, a vehicle sound, and a sound generated in nature.

음향 인식부(166)는 저장된 음향 패턴을 이용하여 전처리된 음향을 인식한다. 음향 인식 알고리즘으로는 화자종속 음향인식 기술에 기반한 템플릿 패턴 매칭 등 다양한 기법이 사용될 수 있다. 음향 인식부(166)는 음향패턴 저장부(164)에 저장된 템플릿 음향 패턴과 전처리된 음향에서 추출된 특징 벡터 내지 끝점의 패턴을 비교하여, 음향패턴 저장부(164)에 저장된 음향 패턴 중 가장 정확도가 높은 음향 패턴을 인식결과로 선택하게 된다. 템플릿 패턴 매칭 알고리즘으로는 DTW(Dynamic Time Warping), HMM(Hidden Markov chain), ANN(Artificial Nural Network) 등이 사용될 수 있다. 실시예에 따라 음향 인식부(166)는 전처리된 음향의 패턴과 저장된 음향 패턴 중 가장 유사도가 높은 음향 패턴 간의 제1유사도와, 전처리된 음향의 패턴과 저장된 음향 패턴 중 두 번째로 유사도가 높은 음향 패턴 간의 제2유사도가, 기 설정된 일정 수준 이상의 차이를 가지는 경우에만 음향이 인식된 것으로 엄격하게 처리하도록 구현될 수 있다.The sound recognition unit 166 recognizes the preprocessed sound using the stored sound pattern. As the acoustic recognition algorithm, various techniques such as template pattern matching based on speaker dependent sound recognition technology can be used. The acoustic recognition unit 166 compares the template acoustic pattern stored in the acoustic pattern storage unit 164 with patterns of feature vectors or end points extracted from the preprocessed sound to determine the most accurate one of the acoustic patterns stored in the acoustic pattern storage unit 164 A high acoustic pattern is selected as a recognition result. The template pattern matching algorithm may be DTW (Dynamic Time Warping), HMM (Hidden Markov chain), ANN (Artificial Nural Network), or the like. According to the embodiment, the acoustic recognition unit 166 recognizes the first similarity degree between the pattern of the preprocessed acoustic pattern and the acoustic pattern having the highest similarity among the stored acoustic patterns, and the second similarity between the pattern of the preprocessed acoustic pattern and the stored acoustic pattern, It can be implemented to strictly treat the sound as being recognized only when the second similarity degree between the patterns has a difference of more than a predetermined level or more.

시각화 후처리부(168)는 인식된 음향에 해당하는 문자 또는 도형과 같은 영상 정보의 출력 레이아웃을 조정할 수 있다. 영상 정보의 출력 레이아웃에는 문자 또는 도형의 수, 표시 위치, 크기 및 색상 등이 포함될 수 있다. 출력 레이아웃에 관한 설정을 조정함으로써, 사용자가 음향 인식 결과가 변환된 영상 정보를 더욱 효과적으로 볼 수 있게 된다.The visualization post-processing unit 168 can adjust the output layout of the video information such as characters or graphics corresponding to the recognized sound. The output layout of the image information may include the number of characters or figures, the display position, the size, the color, and the like. By adjusting the settings relating to the output layout, the user can more effectively view the converted image information of the sound recognition result.

시각화 후처리부(168)는 인식된 음향의 발생 위치에 따라 투명 디스플레이(110)에 문자 또는 도형과 같은 영상 정보가 표시되는 위치를 조정할 수 있다. 예를 들면, 시각화 후처리부(168)는 음향이 착용자의 왼쪽 뒤편에서 발생한 경우 상응하는 정보를 투명 디스플레이(110)의 왼쪽 렌즈의 가장자리에 표시할 수 있으며, 왼쪽 수평면 상에서 발생한 경우 상응하는 정보를 투명 디스플레이(110)의 왼쪽 렌즈의 중간에 표시할 수 있다.  The post-visualization processor 168 can adjust the position of the transparent display 110 to display image information such as characters or graphics according to the position of the recognized sound. For example, the visualization post-processing unit 168 may display corresponding information at the edge of the left lens of the transparent display 110 when acoustic occurs at the back of the wearer's left side, And can be displayed in the middle of the left lens of the display 110.

시각화 후처리부(168)는 인식된 음향의 크기에 따라 투명 디스플레이(110)의 투명도를 조절할 수 있다. 시각화 후처리부(168)는 인식된 음향의 크기가 큰 경우 투명도를 낮게 하여 청각 장애자의 주의를 환기시킬 수 있다. 또한, 시각화 후처리부(168)는 인식된 음향 패턴과 음향의 크기가 미리 저장된 조건을 충족하면 투명 디스플레이(110)의 투명도를 조절하도록 설계될 수 있다. 예를 들어, 시각화 후처리부(168)는 인식된 음향 패턴이 “기차”와 같은 차량이고, 음향의 크기가 미리 정해진 기준 크기 이상이면 위험을 알릴 수 있도록 투명 디스플레이(110)의 투명도를 낮출 수 있다.The post-visualization processor 168 may adjust the transparency of the transparent display 110 according to the size of the recognized sound. The visualization post-processing unit 168 may lower the transparency when the size of the recognized sound is large, so as to call attention to the hearing-impaired person. In addition, the visualization post-processing unit 168 may be designed to adjust the transparency of the transparent display 110 if the recognized acoustic pattern and the size of the sound meet pre-stored conditions. For example, the visualization post-processing unit 168 may lower the transparency of the transparent display 110 so that the recognized sound pattern is a vehicle such as " train ", and the sound is notified of a danger if the size of the sound is equal to or greater than a predetermined reference size .

시각화 후처리부(168)는 인식된 음향의 크기 변화에 따라 투명 디스플레이(110)의 투명도가 바뀌는 속도의 단위시간당 변화율을 제어할 수 있다. 또한, 시각화 후처리부(168)는 인식된 음향 패턴과 인식된 음향의 크기 변화에 따라 투명도가 바뀌는 속도의 단위시간당 변화율을 제어할 수 있다. 예를 들어, 시각화 후처리부(168)는 인식된 음향 패턴이 “자동차”와 같은 차량이고, 음향의 크기 변화율이 미리 저장된 변화율보다 큰 경우 위험을 알릴 수 있도록 투명 디스플레이(110)의 투명도 변화율을 높일 수 있고, 음향의 크기 변화율이 미리 저장된 변화율보다 작은 경우 투명 디스플레이(110)의 투명도 변화율을 낮출 수 있다.The visualization post-processing unit 168 can control the rate of change per unit time of the rate of change of transparency of the transparent display 110 according to the size change of the recognized sound. In addition, the visualization post-processing unit 168 can control the rate of change per unit time of the rate of change of transparency according to the size change of the recognized sound pattern and the recognized sound. For example, the visualization post-processing unit 168 may increase the transparency change rate of the transparent display 110 so that the recognized sound pattern is a vehicle such as " automobile ", and when the size change rate of sound is greater than a previously stored change rate, And the rate of change of transparency of the transparent display 110 can be lowered when the rate of change of the magnitude of the sound is smaller than the previously stored rate of change.

도 4는 본 발명의 일실시예에 의한 안경에서 음향 정보를 시각 정보로 변환하여 출력하는 것을 설명하기 위한 도면이다.4 is a diagram for explaining conversion of sound information into visual information in spectacles according to an embodiment of the present invention.

음향 입력부(140)는 새로부터 출력되는 음향을 수신할 수 있다. 음향 입력부(140)는 수신된 새의 음향을 전기적 신호로 변환할 수 있다. 음향 시각화부(160)는 음향 입력부(140)에서 입력 받은 음향에 대한 신호 처리를 수행한 후, 기존에 저장된 음향 패턴을 이용하여 음향을 인식한다. 음향 시각화부(160)는 인식된 음향이 새이므로, 새를 투명 디스플레이(110)에 출력할 수 있다. 도 4에서는 새의 모양과 함께 음표를 출력하여 상쾌한 느낌을 받을 수 있게 하였다. The sound input unit 140 can receive a sound that is newly output. The sound input unit 140 may convert the received new sound into an electrical signal. The acoustic visualization unit 160 performs signal processing on the sound received from the sound input unit 140 and recognizes the sound using the previously stored sound pattern. The acoustic visualization unit 160 can output a bird to the transparent display 110 because the recognized sound is bird. In Fig. 4, notes are printed along with the shape of a bird so that a refreshing feeling can be obtained.

도 5는 본 발명의 일실시예에 의한 안경에서 음향 정보의 발생 위치에 따라 투명 디스플레이에 표시되는 영상 정보의 출력 위치가 달라지는 구성을 설명하기 위한 도면이다.5 is a view for explaining a configuration in which output positions of image information displayed on a transparent display vary depending on the location of acoustic information in a spectacle according to an embodiment of the present invention.

음향 입력부(140)는 기차로부터 출력되는 음향을 수신할 수 있다. 음향 입력부(140)는 상술한 것처럼, 복수 개의 마이크로폰을 포함할 수 있고, 복수 개의 마이크로폰에 소리가 도착하는 시간 지연 정보를 이용하여 음원의 위치를 추정할 수 있다. 음향 입력부(140)는 도착시간차(TDOA, Time Difference Of Arrival)를 이용하여 음원의 위치를 찾을 수 있다. 도 5를 참조하면, 음향 입력부(140)는 착용자의 우측 뒤편에서 기차 소리를 입력받아 전기적 신호로 변환하고, 전기적 신호로 변환된 기차 소리에 대한 정보와 기차 소리의 위치 정보(음원 위치 정보)를 음향 시각화부(160)에 전송할 수 있다.The sound input unit 140 may receive sound output from the train. As described above, the sound input unit 140 may include a plurality of microphones, and the position of the sound source may be estimated using time delay information in which sounds arrive at the plurality of microphones. The sound input unit 140 can find the position of the sound source using a time difference of arrival (TDOA). 5, the sound input unit 140 receives a train sound from the right rear side of the wearer and converts the sound into an electric signal, and outputs information about the train sound converted into the electric signal and position information (sound source position information) Can be transmitted to the acoustic visualization unit 160.

음향 시각화부(160)는 음향 입력부(140)에서 입력 받은 음향에 대한 신호 처리를 수행한 후, 기존에 저장된 음향 패턴을 이용하여 음향을 인식한다. 음향 시각화부(160)는 인식된 음향 패턴이 기차이고, 그 기차 소리의 위치 정보에 따라 안경(100)의 오른쪽 렌즈의 우측 가장 자리에 기차를 표시할 수 있다.The acoustic visualization unit 160 performs signal processing on the sound received from the sound input unit 140 and recognizes the sound using the previously stored sound pattern. The acoustic visualization unit 160 can display the train on the right edge of the right lens of the eyeglasses 100 according to the positional information of the train sound.

한편, 음원의 위치에 매핑되는 투명 디스플레이(110)의 위치는 설계자 또는 사용자에 의해 임의적으로 조정될 수 있다.On the other hand, the position of the transparent display 110 mapped to the position of the sound source can be arbitrarily adjusted by the designer or the user.

도 6은 본 발명의 일실시예에 의한 안경에서 음향의 크기에 따라 투명 디스플레이의 투명도를 조절하는 것을 설명하기 위한 도면이다.FIG. 6 is a view for explaining the transparency of a transparent display according to the size of sound in spectacles according to an embodiment of the present invention.

음향 시각화부(160)의 시각화 후처리부(168)는 인식된 음향의 크기에 따라 투명 디스플레이(110)의 투명도를 조절할 수 있다. 음향 시각화부(160)는 인식된 음향의 크기가 큰 경우 투명도를 낮게 하여 청각 장애자의 주의를 환기시킬 수 있다. 이하, 투명도의 레벨이 1부터 10까지라고 가정하고, 투명도를 조절하는 구성을 설명한다. The visualization post-processing unit 168 of the acoustic visualization unit 160 can adjust the transparency of the transparent display 110 according to the size of the recognized sound. The sound visualization unit 160 may reduce the transparency when the size of the recognized sound is large, so as to call attention to the hearing-impaired person. Hereinafter, a configuration for adjusting the transparency will be described on the assumption that the level of transparency is from 1 to 10.

도 6의 (a)를 참조하면, 안경(100)으로부터 거리가 200m에 위치한 기차의 음향을 수신하는 경우 투명 디스플레이(110)의 투명도가 8레벨로 조정될 수 있다. 도 6의 (b)를 참조하면, 안경(100)으로부터 거리가 100m에 위치한 기차의 음향을 수신하는 경우 투명 디스플레이(110)의 투명도가 5레벨로 조정될 수 있다. 도 6의 (c)를 참조하면, 안경(100)으로부터 거리가 50m에 위치한 기차의 음향을 수신하는 경우 투명 디스플레이(110)의 투명도가 2레벨로 조정될 수 있다. 도 6의 (a) 내지 (c)의 투명도 레벨을 보면, 기차가 가까워짐에 따라 즉, 기차의 소리가 커짐에 따라 안경(100)의 투명 디스플레이(110)의 투명도가 낮아지게 되어 착용자의 주의를 환기시킬 수 있다.Referring to FIG. 6A, the transparency of the transparent display 110 can be adjusted to 8 levels when receiving sound of a train located at a distance of 200 m from the glasses 100. Referring to FIG. 6B, the transparency of the transparent display 110 can be adjusted to five levels when receiving sound of a train located at a distance of 100 m from the glasses 100. Referring to FIG. 6C, the transparency of the transparent display 110 can be adjusted to two levels when the sound of the train located at a distance of 50 m from the glasses 100 is received. 6 (a) to 6 (c), the transparency of the transparent display 110 of the glasses 100 is lowered as the train approaches, that is, as the sound of the train becomes larger, It can be ventilated.

도 7은 본 발명의 일실시예에 의한 안경에서 음향 크기의 시간적 변화 속도에 따라 투명 디스플레이의 투명도의 변화율을 조절하는 것을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining the adjustment of the rate of change of transparency of a transparent display according to temporal rate of change of acoustical size in spectacles according to an embodiment of the present invention.

음향 시각화부(160)의 시각화 후처리부(168)는 인식된 음향의 크기 변화에 따라 투명 디스플레이(110)의 투명도의 단위시간당 변화율을 제어할 수 있다. 이하, 투명도의 단위 시간당 변화율 레벨이 1부터 10까지라고 가정하고, 투명도의 변화율을 조절하는 구성을 설명한다. The visualization post-processing unit 168 of the acoustic visualization unit 160 can control the rate of change per unit time of transparency of the transparent display 110 according to the size change of the recognized sound. Hereinafter, a configuration for adjusting the rate of change of transparency on the assumption that the rate of change per unit time of transparency is from 1 to 10 will be described.

도 7의 (a)를 참조하면, 속도가 100km/h인 기차가 접근하는 경우, 음향 입력부(140)는 100km/h 속도로 이동하는 기차로부터 발생하는 음향을 수신한다. 이 때, 음향 입력부(140)에 입력되는 음향의 크기 변화는 기차의 이동 속도에 비례하게 된다. 음향 시각화부(160)는 음향 입력부(140)로부터 음향 신호에 대한 전기적인 신호와, 음향의 크기 변화율에 대한 정보를 수신하고, 투명 디스플레이(110)의 투명도 변화율을 2로 하여 투명도를 자연스럽게 변화시킬 수 있다. 도 7의 (b)를 참조하면, 속도가 150km/h인 기차가 접근하는 경우, 음향 입력부(140)는 150km/h 속도로 이동하는 기차로부터 발생하는 음향을 수신한다. 음향 시각화부(160)는 음향 입력부(140)로부터 음향 신호에 대한 전기적인 신호와, 음향의 크기 변화율에 대한 정보를 수신하고, 투명 디스플레이(110)의 투명도 변화율을 5로 하여 투명도를 조금 빠르게 변화시킬 수 있다. 도 7의 (c)를 참조하면, 속도가 200km/h인 기차가 접근하는 경우, 음향 입력부(140)는 200km/h 속도로 이동하는 기차로부터 발생하는 음향을 수신한다. 음향 시각화부(160)는 음향 입력부(140)로부터 음향 신호에 대한 전기적인 신호와, 음향의 크기 변화율에 대한 정보를 수신하고, 투명 디스플레이(110)의 투명도 변화율을 8로 하여 투명도를 빠르게 변화시킬 수 있다.Referring to FIG. 7 (a), when a train having a speed of 100 km / h approaches, the acoustic input unit 140 receives sound generated from a train moving at a speed of 100 km / h. At this time, the change in the magnitude of the sound input to the acoustic input unit 140 is proportional to the moving speed of the train. The acoustic visualization unit 160 receives an electrical signal for the acoustic signal from the acoustic input unit 140 and information about the magnitude of the sound change rate and changes the transparency naturally by setting the transparency change rate of the transparent display 110 to 2 . Referring to FIG. 7 (b), when a train having a speed of 150 km / h approaches, the acoustic input unit 140 receives sound generated from a train moving at a speed of 150 km / h. The acoustic visualization unit 160 receives the electrical signal for the acoustic signal from the sound input unit 140 and information about the magnitude of the sound change rate and sets the transparency change rate of the transparent display 110 to 5, . Referring to FIG. 7 (c), when a train having a speed of 200 km / h approaches, the acoustic input unit 140 receives sound generated from a train moving at a speed of 200 km / h. The acoustic visualization unit 160 receives an electrical signal for the acoustic signal from the acoustic input unit 140 and information about the magnitude of the sound change rate and changes the transparency of the transparent display 110 to 8 .

한편, 도 6 내지 도 7에서는 안경(100) 주변의 음향에 대응하여 투명도의 크기와 변화율을 변화시키는 것으로 설명하였지만, 안경(100) 주변의 음향이 미리 저장된 음향 패턴 중 “차량”과 같이 주의해야 하는 물체에 대해서만 투명도의 크기와 변화율이 변화되도록 설정될 수 있음은 물론이다. 예를 들어, 안경(100)으로 입력되는 음향이 새로부터 발생한 경우 투명도의 크기나 변화율을 조정하지 않고, 안경(100)으로 입력되는 음향이 오토바이로부터 발생한 경우 투명도의 크기나 변화율이 조정될 수 있도록 설계될 수 있다. 여기서, 투명도의 크기나 변화율이 조정되는 음원은 미리 정해질 수 있으며 갱신될 수 있다.6 to 7 illustrate that the magnitude and the rate of change of transparency are changed in accordance with the sound around the glasses 100. However, it is necessary to pay attention to the sound pattern around the glasses 100 as the " vehicle " The size and the rate of change of the transparency may be changed only for the object to be displayed. For example, when the sound inputted to the glasses 100 is newly generated, the size and the rate of change of the transparency are adjusted so that when the sound inputted to the glasses 100 is generated from the motorcycle, . Here, the sound source whose size or rate of change of transparency is adjusted can be predetermined and can be updated.

도 8은 본 발명의 일실시예에 의한 안경의 투명도를 다양하게 조절하는 방법을 설명하기 위한 도면이다.8 is a view for explaining a method of variously adjusting transparency of spectacles according to an embodiment of the present invention.

도 8의 (a)를 참조하면, 안경(100)은 음향의 크기에 따라 투명 디스플레이(110)의 투명도 크기 및 투명도 변화율이 조정될 수 있으며, 그 변화되는 영역이 투명 디스플레이(110)의 일부분(L)일 수 있다. 이에 따라, 안경(100)의 착용자는 투명 디스플레이(110)의 투명도 변화여부에 관계없이 나머지 영역을 이용하여 전방을 용이하게 관찰할 수 있다.Referring to FIG. 8A, the glasses 100 can adjust the transparency magnitude and the transparency change rate of the transparent display 110 according to the size of the sound, and the changed area corresponds to a portion L of the transparent display 110 ). Accordingly, the wearer of the glasses 100 can easily observe the front using the remaining region regardless of whether the transparency of the transparent display 110 changes or not.

도 8의 (b)를 참조하면, 안경(100)은 음향의 크기에 따라 투명 디스플레이(110)의 투명도 크기 및 투명도 변화율이 조정될 수 있으며, 그 변화되는 영역이 투명 디스플레이(110)의 전체 영역(M)일 수 있다. 착용자는 투명 디스플레이(110)의 투명도가 낮아지더라도, 완전 불투명으로 변경되는 것이 아니기 때문에 남은 투명도를 활용해서 주변 환경을 관찰할 수 있다.Referring to FIG. 8B, the glasses 100 can adjust the transparency magnitude and the transparency change rate of the transparent display 110 according to the size of the sound, and the changed area corresponds to the entire area of the transparent display 110 M). Even if the transparency of the transparent display 110 becomes low, the wearer does not change the transparency to completely opaque, so that the user can observe the surrounding environment using the remaining transparency.

도 9는 본 발명의 일실시예에 의한 안경에서 음향의 크기에 따라 투명도의 크기를 조절하는 것을 설명하기 위한 제어흐름도이다.9 is a control flowchart for explaining the adjustment of the degree of transparency according to the size of sound in the spectacles according to the embodiment of the present invention.

음향 입력부(140)는 외부로부터 음향을 수신할 수 있다. 음향 입력부(140)는 수신된 음향을 전기적 신호로 변환할 수 있다.(200)The sound input unit 140 can receive sound from the outside. The sound input unit 140 may convert the received sound into an electrical signal.

음향 전처리부(162)는 음향 입력부(140)에서 입력 받은 음향 신호에 대하여 잡음제거 및 신호 보상을 수행한다. 음향 전처리부(162)는 잡음제거 및 신호 보상된 음향 신호에서 인식에 필요한 특징 벡터를 추출한다.(210) The acoustic preprocessor 162 performs noise cancellation and signal compensation on the acoustic signal input from the acoustic input unit 140. [ The acoustic preprocessor 162 extracts the feature vectors necessary for recognition in the noise canceled and signal compensated acoustic signals.

음향 인식부(166)는 저장된 음향 패턴을 이용하여 전처리된 음향을 인식한다. 음향 인식부(166)는 음향패턴 저장부(164)에 저장된 템플릿 음향 패턴과 전처리된 음향에서 추출된 특징 벡터 내지 끝점의 패턴을 비교하여, 음향패턴 저장부(164)에 저장된 음향 패턴 중 가장 정확도가 높은 음향 패턴을 인식결과로 선택하게 된다.(220)The sound recognition unit 166 recognizes the preprocessed sound using the stored sound pattern. The acoustic recognition unit 166 compares the template acoustic pattern stored in the acoustic pattern storage unit 164 with patterns of feature vectors or end points extracted from the preprocessed sound to determine the most accurate one of the acoustic patterns stored in the acoustic pattern storage unit 164 (220) selects a high acoustic pattern as a recognition result.

시각화 후처리부(168)는 인식된 음향의 발생 위치에 따라 투명 디스플레이(110)에 문자 또는 도형과 같은 영상 정보가 표시되는 위치를 조정할 수 있다. 즉, 시각화 후처리부(168)는 인식된 음향에 대한 영상 정보와, 음향의 위치 정보에 따라 투명 디스플레이(110)의 해당 위치에 영상을 출력할 수 있다.(230)The post-visualization processor 168 can adjust the position of the transparent display 110 to display image information such as characters or graphics according to the position of the recognized sound. That is, the visualization post-processing unit 168 may output the image to the corresponding position of the transparent display 110 according to the image information of the recognized sound and the position information of the sound.

도 10은 본 발명의 일실시예에 의한 안경에서 음향의 크기에 따라 투명도의 크기를 조절하는 것을 설명하기 위한 제어흐름도이다.FIG. 10 is a control flowchart for explaining the adjustment of the degree of transparency according to the size of sound in glasses according to an embodiment of the present invention.

음향 입력부(140)는 외부로부터 음향을 수신할 수 있다. 음향 입력부(140)는 수신된 음향을 전기적 신호로 변환할 수 있다.(300)The sound input unit 140 can receive sound from the outside. The sound input unit 140 may convert the received sound into an electrical signal.

음향 전처리부(162)는 음향 입력부(140)에서 입력 받은 음향 신호에 대하여 잡음제거 및 신호 보상을 수행한다. 음향 전처리부(162)는 잡음제거 및 신호 보상된 음향 신호에서 인식에 필요한 특징 벡터를 추출한다.(310) The acoustic preprocessor 162 performs noise cancellation and signal compensation on the acoustic signal input from the acoustic input unit 140. [ The acoustic preprocessing unit 162 extracts a feature vector necessary for recognition in the noise canceled and signal compensated acoustic signal (310)

음향 인식부(166)는 저장된 음향 패턴을 이용하여 전처리된 음향을 인식한다. 음향 인식부(166)는 음향패턴 저장부(164)에 저장된 템플릿 음향 패턴과 전처리된 음향에서 추출된 특징 벡터 내지 끝점의 패턴을 비교하여, 음향패턴 저장부(164)에 저장된 음향 패턴 중 가장 정확도가 높은 음향 패턴을 인식결과로 선택하게 된다.(320)The sound recognition unit 166 recognizes the preprocessed sound using the stored sound pattern. The acoustic recognition unit 166 compares the template acoustic pattern stored in the acoustic pattern storage unit 164 with patterns of feature vectors or end points extracted from the preprocessed sound to determine the most accurate one of the acoustic patterns stored in the acoustic pattern storage unit 164 As the recognition result,

시각화 후처리부(168)는 인식된 음향 패턴과 음향의 크기가 미리 저장된 조건을 충족하면 투명 디스플레이(110)의 투명도를 조절하도록 설계될 수 있다. 시각화 후처리부(168)는 인식된 음향이 미리 정해진 주의해야 하는 물체로부터 발생한 음향이면, 해당 영상을 출력하면서 투명도의 크기 및 투명도의 변화율을 조정할 수 있다.(330,340)The post-visualization processor 168 may be designed to adjust the transparency of the transparent display 110 if the recognized acoustic pattern and the size of the sound meet pre-stored conditions. The visualization post-processing unit 168 may adjust the magnitude of the transparency and the rate of change of the transparency while outputting the image if the recognized sound is sound generated from a predetermined predetermined object (330, 340).

시각화 후처리부(168)는 인식된 음향이 미리 정해진 주의해야 하는 물체로부터 발생한 음향이 아니면, 투명 디스플레이(110)를 통해 해당 영상을 출력할 수 있다.(330,350)The visualization post-processing unit 168 may output the corresponding image through the transparent display 110 if the recognized sound is not the sound generated from the predetermined object to be noticed (330, 350)

한편, 340 단계에서 해당 영상을 출력하면서 투명도의 크기 및 투명도의 변화율을 조정한다고 설명하였으나, 투명도의 크기만 조절하거나 투명도의 변화율만 조정할 수 있도록 설계될 수 있음은 물론이다.In the meantime, although the size of the transparency and the rate of change of transparency are adjusted while outputting the corresponding image in step 340, it is needless to say that it can be designed to adjust only the magnitude of transparency or adjust the rate of change of transparency.

비록 본 발명이 상기에서 언급한 바람직한 실시예와 관련하여 설명되어졌지만, 본 발명의 요지와 범위로부터 벗어남이 없이 다른 다양한 수정 및 변형이 가능한 것은 당업자라면 용이하게 인식할 수 있을 것이며, 이러한 변경 및 수정은 모두 첨부된 특허청구범위의 범위에 속함은 자명하다.
Although the present invention has been described in connection with the above-mentioned preferred embodiments, it will be appreciated by those skilled in the art that various other modifications and variations can be made without departing from the spirit and scope of the invention, Are all within the scope of the appended claims.

Claims (17)

삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 음향 입력부;
상기 음향에 대한 신호 처리를 수행하고, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 음향 시각화부; 및
상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 투명도가 조절되는 투명 디스플레이를 포함하고,
상기 음향 시각화부는 인식된 음향의 크기 변화에 따라 상기 투명 디스플레이의 투명도가 바뀌는 속도의 단위시간당 변화율을 제어하는 시각화 후처리부를 포함하는 안경.An acoustic input unit for receiving sound from outside and recognizing a position where the sound is generated;
An acoustic visualization unit for performing signal processing on the sound and comparing the pattern of the sound with a previously stored pattern to generate image information; And
And a transparent display for displaying the image information and adjusting the transparency according to the size of the sound,
Wherein the acoustic visualization unit comprises a visualization post-processing unit for controlling a rate of change per unit time of a rate at which the transparency of the transparent display changes according to a change in the size of the recognized sound. 제 7 항에 있어서,
상기 시각화 후처리부는 인식된 음향 패턴과 음향의 크기가 동시에 미리 저장된 조건을 충족하면 상기 투명 디스플레이의 투명도를 조절하는 안경. 8. The method of claim 7,
Wherein the visualization post-processing unit adjusts the transparency of the transparent display if the recognized acoustic pattern and the size of the sound meet the pre-stored conditions at the same time. 제 8 항에 있어서,
상기 시각화 후처리부는 상기 인식된 음향의 크기가 미리 정해진 기준보다 크고, 상기 음향의 패턴이 미리 정해진 물체로부터 발생한 것으로 판단되면, 상기 투명 디스플레이의 투명도를 조절하는 것인 안경.9. The method of claim 8,
Wherein the post-visualization processing unit adjusts the transparency of the transparent display when the size of the recognized sound is larger than a predetermined reference, and when it is determined that the pattern of sound is generated from a predetermined object. 삭제delete 삭제delete 삭제delete 외부로부터 음향을 입력받고, 상기 음향이 발생한 위치를 인식하는 단계;
상기 음향에 대한 신호 처리를 수행하고, 상기 음향의 패턴을 미리 저장된 패턴과 비교하여 영상 정보를 생성하는 단계;
투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기 및 음향의 패턴이 동시에 미리 저장된 조건을 만족하면 상기 투명 디스플레이의 투명도를 조절하는 단계; 및
인식된 음향의 크기 변화에 따라 투명 디스플레이의 투명도가 바뀌는 속도의 단위시간당 변화율을 제어하는 단계를 포함하는 안경의 제어방법.Receiving a sound from outside and recognizing a position where the sound is generated;
Performing signal processing on the sound, and generating image information by comparing the pattern of the sound with a previously stored pattern;
Displaying the image information on a transparent display and adjusting transparency of the transparent display if the size and acoustic pattern of the sound satisfy conditions pre-stored at the same time; And
And controlling the rate of change per unit time of the rate at which the transparency of the transparent display changes according to the size change of the recognized sound. 제 13 항에 있어서,
상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 상기 투명 디스플레이의 투명도가 조절되는 단계는,
상기 음향의 크기가 크면 상기 투명 디스플레이의 투명도를 낮추고, 상기 음향의 크기가 작으면 상기 투명 디스플레이의 투명도를 높이는 안경의 제어방법.14. The method of claim 13,
Displaying the image information on the transparent display and adjusting the transparency of the transparent display according to the size of the sound,
Wherein the transparency of the transparent display is lowered when the size of the sound is larger and the transparency of the transparent display is increased when the size of the sound is smaller. 제 13 항에 있어서,
상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기에 따라 상기 투명 디스플레이의 투명도가 조절되는 단계는,
상기 음향의 패턴을 미리 저장된 패턴과 비교하여 상기 음향의 패턴이 미리 정해진 물체로부터 발생된 것으로 인식되면, 상기 음향의 크기에 따라 상기 투명 디스플레이의 투명도가 조절되는 것인 안경의 제어방법.14. The method of claim 13,
Displaying the image information on the transparent display and adjusting the transparency of the transparent display according to the size of the sound,
Wherein the transparency of the transparent display is controlled according to a size of the sound when the pattern of the sound is recognized as being generated from a predetermined object by comparing the pattern of the sound with a previously stored pattern. 삭제delete 제 13 항에 있어서,
상기 투명 디스플레이에 상기 영상 정보를 표시하고, 상기 음향의 크기 및 음향의 패턴이 동시에 미리 저장된 조건을 만족하면 상기 투명 디스플레이의 투명도를 조절하는 단계는,
상기 음향의 패턴을 미리 저장된 패턴과 비교하여 상기 음향의 패턴이 미리 정해진 물체로부터 발생된 것으로 인식되면, 상기 음향의 크기 변화율에 비례하여 상기 투명 디스플레이의 투명도의 단위시간당 변화율이 조절되는 것인 안경의 제어방법.
14. The method of claim 13,
Displaying the image information on the transparent display and adjusting the transparency of the transparent display if the size and acoustic pattern of the sound satisfy conditions pre-
Wherein a change rate of the transparency per unit time of the transparent display is adjusted in proportion to a rate of change of the size of the sound when the pattern of the sound is recognized as being generated from a predetermined object by comparing the pattern of the sound with a previously stored pattern, Control method.
KR1020130003063A 2013-01-10 2013-01-10 Glasses and control method thereof KR101455830B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130003063A KR101455830B1 (en) 2013-01-10 2013-01-10 Glasses and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130003063A KR101455830B1 (en) 2013-01-10 2013-01-10 Glasses and control method thereof

Publications (2)

Publication Number Publication Date
KR20140091194A KR20140091194A (en) 2014-07-21
KR101455830B1 true KR101455830B1 (en) 2014-11-04

Family

ID=51738442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130003063A KR101455830B1 (en) 2013-01-10 2013-01-10 Glasses and control method thereof

Country Status (1)

Country Link
KR (1) KR101455830B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071053A (en) * 2014-12-11 2016-06-21 현대자동차주식회사 Method, system and computer-readable recording medium for removing active noise of car
KR20160072991A (en) 2014-12-16 2016-06-24 현대자동차주식회사 Telematics control system and there of method
JP7307748B2 (en) * 2018-04-13 2023-07-12 リム，ソン－キュ self-customized eyeglasses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110015276A (en) * 2009-08-07 2011-02-15 한국과학기술원 Glasses-type announcement visualization apparatus using photochromic lens and method thereof
KR101031113B1 (en) * 2010-04-06 2011-04-25 한국기계연구원 Ultra-small-size microphone based hearing aid apparatus
KR20110103726A (en) * 2010-03-15 2011-09-21 한국표준과학연구원 System for announce hearing-impaired persons including emotion information and method for announce using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110015276A (en) * 2009-08-07 2011-02-15 한국과학기술원 Glasses-type announcement visualization apparatus using photochromic lens and method thereof
KR20110103726A (en) * 2010-03-15 2011-09-21 한국표준과학연구원 System for announce hearing-impaired persons including emotion information and method for announce using the same
KR101031113B1 (en) * 2010-04-06 2011-04-25 한국기계연구원 Ultra-small-size microphone based hearing aid apparatus

Also Published As

Publication number Publication date
KR20140091194A (en) 2014-07-21

Similar Documents

Publication Publication Date Title
KR101668165B1 (en) Displaying sound indications on a wearable computing system
KR101421046B1 (en) Glasses and control method thereof
US11579837B2 (en) Audio profile for personalized audio enhancement
US20230045237A1 (en) Wearable apparatus for active substitution
CN105721983A (en) Hearing device with image capture capabilities
JP2007334149A (en) Head mount display apparatus for hearing-impaired persons
EP3220372B1 (en) Wearable device, display control method, and display control program
JP2017521902A (en) Circuit device system for acquired acoustic signals and associated computer-executable code
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
US11234092B2 (en) Remote inference of sound frequencies for determination of head-related transfer functions for a user of a headset
US20220066207A1 (en) Method and head-mounted unit for assisting a user
US11843926B2 (en) Audio system using individualized sound profiles
KR20220066911A (en) Method and system for adjusting the level of tactile content when providing audio content
KR101455830B1 (en) Glasses and control method thereof
US11290837B1 (en) Audio system using persistent sound source selection for audio enhancement
CN210294683U (en) Glasses with alarm function
KR20220062546A (en) Methods and systems for controlling tactile content
US11683634B1 (en) Joint suppression of interferences in audio signal
US20230196765A1 (en) Software-based user interface element analogues for physical device elements
US20230221583A1 (en) Smart glasses to assist those who are deaf or hard of hearing
WO2023076824A1 (en) Response to sounds in an environment based on correlated audio and user events

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181017

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 6