KR101062342B1 - 변색 렌즈를 이용한 안경형 안내방송 시각화 장치 - Google Patents

변색 렌즈를 이용한 안경형 안내방송 시각화 장치 Download PDF

Info

Publication number
KR101062342B1
KR101062342B1 KR1020090072914A KR20090072914A KR101062342B1 KR 101062342 B1 KR101062342 B1 KR 101062342B1 KR 1020090072914 A KR1020090072914 A KR 1020090072914A KR 20090072914 A KR20090072914 A KR 20090072914A KR 101062342 B1 KR101062342 B1 KR 101062342B1
Authority
KR
South Korea
Prior art keywords
voice
color
transparent
lens
character
Prior art date
Application number
KR1020090072914A
Other languages
English (en)
Other versions
KR20110015276A (ko
Inventor
박상현
김양희
장호종
강현민
윤영규
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090072914A priority Critical patent/KR101062342B1/ko
Publication of KR20110015276A publication Critical patent/KR20110015276A/ko
Application granted granted Critical
Publication of KR101062342B1 publication Critical patent/KR101062342B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/081Ophthalmic lenses with variable focal length
    • G02C7/083Electrooptic lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

본 발명은 특화된 인식대상을 상대로 안내방송에 대한 음성인식률을 향상시키고, 주변 환경에 따라 변색 렌즈의 바탕색이 변하도록 하여 음성인식 결과로 표시되는 문자의 가독성을 높인 안경형 안내방송 시각화 장치 및 방법에 관한 것이다. 본 발명의 일 측면은, 외부로부터 음성을 입력 받는 음성 입력부와, 상기 입력된 음성에 대하여 잡음제거 및 신호보상을 수행하는 음성 전처리부와, 기 설정된 음성패턴에 관한 정보를 저장하는 음성패턴 저장부와, 상기 음성패턴을 이용하여 상기 전처리된 음성을 인식하는 음성 인식부와, 상기 인식된 음성에 해당하는 문자의 출력 레이아웃을 조정하는 문자 후처리부와, 주변의 밝기에 따라 바탕색이 조절되는 변색 투명 렌즈, 및 상기 변색 투명 렌즈의 내측 표면에 상기 후처리된 문자를 출력하는 문자 표시부를 포함하는 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다. 본 발명에 따르면, 안내방송 시각화 장치의 휴대성과 음성인식률이 향상되며, 안정화된 문자 가독성을 제공할 수 있게 되는 효과가 있다.
음성인식, 시각화, 안내방송, 조광 렌즈, 전기변색

Description

변색 렌즈를 이용한 안경형 안내방송 시각화 장치{Glasses-type Announcement Visualization Apparatus Using Photochromic Lens}
본 발명은 변색 렌즈를 이용한 안경형 안내방송 시각화 장치에 관한 것이다. 구체적으로 본 발명은, 특화된 인식대상을 상대로 안내방송에 대한 음성인식률을 향상시키고, 주변 환경에 따라 변색 렌즈의 바탕색이 변하도록 하여 음성인식 결과로 표시되는 문자의 가독성을 높인 안경형 안내방송 시각화 장치에 관한 것이다.
인간은 다양한 수단을 사용하여 서로 정보전달 내지 의사소통을 하는데, 그 중 가장 널리 사용되는 수단은 바로 언어이다. 언어는 크게 음성언어와 문자언어로 나뉘며, 이들 각각은 고유한 특징을 지닌다. 청각에 의존하는 음성언어는 목소리를 내는 것만으로 정보를 전달할 수 있으므로 대면 상태에서 쉽고 빠른 의사전달이 가능하나, 이러한 실시간적인 특성 때문에 보존성이 약하다. 반면, 시각에 의존하는 문자언어는 문자화(literation) 과정을 거쳐야 하므로 의사전달의 즉시성은 떨어지 나, 상대적으로 보존성이 강하다는 특징이 있다.
해당 언어에 능숙한 일반인들은 음성언어와 문자언어 양쪽을 모두 어려움 없이 사용하나, 사람에 따라서는 이들 중 어느 한 쪽을 선호하거나 또는 어느 한 쪽에 의한 의사전달만이 가능한 경우가 있다. 예컨대 청각 장애인들은 음성언어에 의한 소통이 불가능하고, 시각 장애인들은 문자언어에 의한 소통이 불가능하다. 외국인 등 특정 언어의 이해속도가 느린 사람들은 실시간적 이해가 요구되는 음성언어보다 천천히 이해할 수 있는 문자언어를 선호하는 경우가 있다.
한편, 음성언어와 문자언어는 둘 중 어느 한 쪽만이 사용되는 경우보다 양자가 동시에 사용되는 경우에 의미를 더욱 강력하게 전달할 수 있다. 음성언어와 문자언어 양자의 이해에 어려움이 없는 일반인들도 양자가 동시에 전달될 경우 해당 메시지를 더욱 빠르고 확실하게 이해할 수 있게 된다. 일반인들을 대상으로 하는 방송이나 각종 멀티미디어 컨텐츠들이 동영상, 음성과 함께 자막을 전송하는 것은 이러한 이유가 크다. 일반인들도 정보의 홍수 속에서 중요한 음성 키워드(keyword)를 시각화하여 의미를 전달 받을 필요가 있기 때문이다.
음성언어만으로 전달되는 메시지를 인식하여 문자메시지 형태로 표시해 준다면, 청각 장애인은 물론 일반인들의 의사전달 효율성을 높일 수 있다. 이는 그 동안 청각 장애인용 보조장치 내지 음성 시각화 기술 분야에서 주로 연구되어 왔다. 이 분야의 종래기술로는 음성인식 및 디스플레이 기술을 결합한 청각 장애인용 보조 장치가 있다. 이러한 장치 중에는 음성인식 결과를 투명 렌즈에 문자로 표시하는 웨어러블 디바이스(Wearable Device)의 형태로 제안된 예도 있으나, 음성인식 률, 휴대성 및 비용 등의 문제로 아직 널리 사용되지는 못하고 있는 실정이다.
한편, 현재 음성인식 기술이 일부 상용화되고 있으나, 아직 모든 음성에 대하여 완벽한 수준의 인식을 제공하지는 못하고 있다. 또한, 일반적으로 음성인식 대상의 범위를 넓힐수록 더욱 방대한 용량의 데이터가 필요하게 되며, 이는 장치의 무게 및 부피 증가를 수반한다. 음성인식 대상의 범위와 음성인식률 및 휴대성 간에는 트레이드-오프(trade-off) 관계가 있어서, 음성인식 대상을 넓힐수록 음성인식률 및 휴대성은 일반적으로 낮아지며, 반대로 음성인식 대상을 한정할수록 한정된 대상에 대하여 높은 수준의 음성인식률 및 휴대성을 제공하기에 유리해 진다.
지하철, 기차, 비행기, 관공서, 사파리(safari), 미술관, 박물관, 여행지 등 다양한 장소에서 안내방송은 대부분 불특정 다수의 일반인들을 대상으로 하여 음성언어로만 전달된다. 이 때문에 청각 장애인들은 이러한 형태의 안내방송의 사각지대에 속해 왔으며, 일반인들 역시 음성과 문자 양자를 모두 이용한 더 효율적인 정보전달의 기회를 제공받지 못해 왔다. 음성 형태의 안내방송은 일상적인 대화와 달리 청각 장애인들이 수화, 독순술(독화법), 필담 등을 이용하여 그 내용을 파악하는 것이 불가능하고, 내용 면에서 일상적인 대화에 비하여 중요한 정보를 더 많이 포함하고 있다는 특성이 있다. 그럼에도 불구하고 종래의 기술들은 음성 시각화 시스템을 개발함에 있어서, 음성인식 대상의 범위를 특화하지 않음으로 인하여 휴대성과 음성인식률 양자를 실질적으로 동시에 만족시키는 보조 장치를 제공하지 못했다.
또한, 종래의 음성 시각화 기술은 밝은 곳과 어두운 곳에서 모두 동일한 방 식으로 문자를 표시한다는 점에서 주변 환경에 따라 사용자의 문자 가독성이 달라진다는 문제점이 있다. 음성언어는 입력 시기를 예측하기 어렵고 연속적으로 입력되는 특성이 있기 때문에, 휴대형 음성 표시 장치의 화면은 계속적으로 변화하게 된다. 음성언어의 이러한 특성에도 불구하고 주변의 밝기에 따라 그 인식결과인 문자의 가독성이 달라진다면, 입력되는 음성언어를 문자언어 형태로 전달 받는 사람의 입장에서 그 장치의 성능은 안정적이라고 보기 어렵다.
상기 문제점을 해결하기 위하여 본 발명은, 안내방송에 특화하여 음성인식 및 시각화 기술을 적용함으로써, 휴대성과 음성인식률을 향상시킨 안경형 안내방송 시각화 장치를 제공하는 것을 목적으로 한다.
또한, 주변의 밝기 변화에 따라 렌즈의 바탕색을 조절함으로써, 문자 가독성을 향상시킨 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 측면은, 외부로부터 음성을 입력 받는 음성 입력부와, 상기 입력된 음성에 대하여 잡음제거 및 신호보상을 수행하는 음성 전처리부와, 기 설정된 음성패턴에 관한 정보를 저장하는 음성패턴 저장부와, 상기 음성패턴을 이용하여 상기 전처리된 음성을 인식하는 음성 인식부와, 상기 인식된 음성에 해당하는 문자의 출력 레이아웃을 조정하는 문자 후처리부와, 주변의 밝기에 따라 바탕색이 조절되는 변색 투명 렌즈, 및 상기 변색 투명 렌즈의 내측 표면에 상기 후처리된 문자를 출력하는 문자 표시부를 포함하는 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다.
또한, 상기 음성패턴은 안내방송의 실제 음원(sound source)으로부터 추출한 음성패턴이며, 상기 음성 인식에는 화자종속 음성인식 기법이 사용되는 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다.
또한, 상기 변색 투명 렌즈는 감광(photochromic) 또는 전기변색(electrochromic) 물질을 포함하여 형성되며, 상기 문자 표시부는 투명 디스플레이 패널을 포함하여 형성되는 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다.
또한, 상기 투명 디스플레이 패널은, 투명 유전체로 형성된 상판 및 하판과, 유리로 형성된 격벽과, 투명한 나노 형광체와, 산화 인듐 주석(Indium Tin Oxide, ITO)으로 형성된 전극을 포함하는 투명 광자 발광 디스플레이 패널인 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다.
또한, 상기 문자 후처리부는, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하고, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하는 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다.
또한, 상기 음성 입력부는 복수 개로서 상기 안내방송 시각화 장치의 좌측과 우측에 배치되며, 상기 문자 후처리부는 상기 음성 입력부 중 상기 입력된 음성이 가장 강하게 감지되는 방향에 대응하는 상기 변색 투명 렌즈의 내측 표면에 상기 문자를 출력하는 변색 렌즈를 이용한 안경형 안내방송 시각화 장치를 제공한다.
상기 목적을 달성하기 위하여 본 발명의 다른 측면은, 외부로부터 음성을 입력 받는 음성입력 단계와, 상기 입력된 음성에 대하여 잡음제거 및 신호보상을 수행하는 음성전처리 단계와, 기 설정된 음성패턴에 관한 정보를 이용하여 상기 전처리된 음성을 인식하는 음성인식 단계와, 상기 인식된 음성에 해당하는 문자의 출력 레이아웃을 조정하는 문자후처리 단계와, 주변의 밝기에 따라 상기 문자가 출력될 변색 투명 렌즈의 바탕색을 조절하는 밝기조절 단계와, 상기 후처리된 문자를 상기 밝기조절된 변색 투명 렌즈의 내측 표면에 출력하는 문자표시 단계를 포함하는 안내방송 시각화 방법을 제공한다.
또한, 상기 음성패턴은 안내방송의 실제 음원(sound source)으로부터 추출한 음성패턴이며, 상기 음성 인식 단계에는 화자종속 음성인식 기법이 사용되는 안내방송 시각화 방법을 제공한다.
또한, 상기 문자 후처리 단계는, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하고, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하는 안내방송 시각화 방법을 제공한다.
본 발명의 실시예에 따르면, 음성인식 대상이 안내방송 형태에 특화되어 안내방송 시각화 장치의 휴대성과 음성인식률이 향상되는 효과가 있다.
또한, 외부의 밝기 변화에 따라 문자 표시부의 바탕색이 조절되어 안정화된 문자 가독성을 제공할 수 있게 되는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 안내방송 시각화 장치의 일 실시예의 구성을 도시한 것이다. 본 실시예는 안경 형태로 구현된 것으로, 변색 투명 렌즈(110), 안경 다리(120), 음성 입력부(130)로 구성되어 있으며, 안경 다리(120)의 내부에 전원부(140), 안내방송 시각화부(150)를 포함한다.
본 실시예에서 변색 투명 렌즈(110), 안경 다리(120) 및 음성 입력부(130)는 한 쌍(110a, 110b)(120a, 120b)(130a, 130b)으로 형성되어 있으나, 이는 하나로 합쳐지거나 셋 이상으로 분리되어 형성될 수도 있다. 또한, 전원부(140) 및 안내방송 시각화부(150)도 안경 다리(120)의 외부에 형성될 수 있다. 변색 투명 렌즈(110), 안경 다리(120), 음성 입력부(130) 등의 외부 소재는 착용에 불편함이 없도록 보통의 안경에 사용되는 소재 또는 그보다 가벼운 소재를 사용할 수 있으며, 전원부(140)와 안내방송 시각화부(150)는 안경 전체 구조의 무게 균형을 맞출 수 있도록 서로 다른 안경 다리(120)에 분산되어 장착될 수 있다. 전원부(140)에는 수은 전지 등의 통상의 소형 배터리, 또는 안경 다리(120)에 내장할 수 있도록 맞춤형으로 설계된 전용 배터리가 사용될 수 있다.
음성 입력부(130)는 외부로부터 음성을 입력 받는 역할을 하는 것으로, 감지된 음성 파동을 전기적 신호로 변환하는 역할을 한다. 음성 입력부(130)는 안경 본체에 장착된 소형 마이크(microphone) 또는 음성 감지 센서 등으로 구현되거나, 안경 본체와 분리되어 안내방송 시각화부(150)와 유무선 통신으로 음성 신호를 전달하는 별도의 모듈로 구현될 수 있다.
안내방송 시각화부(150)는 마이크로 프로세서(micro processor) 등의 하드웨어로 구현될 수 있으며, 음성 전처리부(152), 음성패턴 저장부(154), 음성 인식부(156), 문자 후처리부(158)를 포함할 수 있다. 안내방송 시각화부(150) 내부의 구성은 뒤에서 자세히 설명된다.
변색 투명 렌즈(110)는 주변의 밝기에 따라 바탕색이 조절되는 투과성 소재로 형성된 투명한 렌즈이다. 실시예에 따라 변색 투명 렌즈(110)는 감광(photochromic) 또는 전기변색(electrochromic) 물질을 포함하여 형성될 수 있다.
감광 물질을 포함하여 형성된 변색 투명 렌즈(110)의 실시예 중 대표적인 것으로는, 감광 렌즈(photochromic lens) 또는 코닝 렌즈(Corning lens)라고도 불리우는 조광 렌즈가 있다. 조광 렌즈는 유리나 플라스틱 표면에 화학기상증착(Chemical Vapor Deposition, CVD) 또는 스퍼터링(Sputtering) 기술을 사용하여, 감광 물질인 염화 은(AgCl), 브롬화 은(AgBr), 요오드화 은(AgI) 등 할로겐화 은(Ag) 계열의 산화 박막을 형성함으로써 제조된다. 조광 렌즈는 실내 등 주변의 밝기가 어두운 곳에서는 무색에 가까운 엷은 색을 나타내나, 실외 등 주변의 밝기가 밝은 곳에서는 짙은 농도로 색이 바뀌는 특징이 있다. 광선의 조사량에 따라 조광 렌즈의 색이 변하는 것은, 렌즈 재질에 미세한 결정으로 분산된 할로겐화 은이 자외선의 양에 따라 서로 가역 반응을 하기 때문이다. 할로겐화 은 계열의 화합물이 자외선을 받으면 은(Ag)과 할로겐 원소가 각각의 미립자로 유리되는 착색반응이 일어나고, 자외선이 차단되고 적외선이나 가시광선을 받으면 유리되어 있던 은(Ag)과 할로겐 원소가 이온화되어 할로겐화 은(Ag)으로 다시 결합하는 탈색반응이 일어나는 것이다.
또 다른 실시예로, 전기변색(electrochromic) 물질을 사용한 렌즈가 있는데, 이는 자외선 검출 시 유리나 플라스틱에 전기신호를 보내어 전기신호를 보낸 기판의 색이 외부의 빛에서도 시안성을 높일 수 있는 검은색 또는 갈색 등으로 바뀌는 현상을 이용한 것이다. 이러한 경우 안경에 자외선 감지 센서 등을 부착할 수 있다. 본 실시예에서는 산화 인듐 주석(Indium Tin Oxide, ITO) 계열의 유리판을 이용하여 화면부를 만들고 전기변색 소자 물질을 활용 하여 변색되도록 활용 할 수 있다. 예를 들면, 아래 화학식1과 같이 산화 텅스텐을 사용하고 기판에 일정 전압을 주어 전기적으로 증착시키는 방법이 사용될 수 있다.
W + H₂O₂→ WOx + H₂O + H₂O₂
문자 표시부(160)는 변색 투명 렌즈의 내측 표면에 상기 후처리된 문자를 출력하는 투명한 디스플레이 소자이다. 도 1을 참조하면, 본 실시예에서 문자 표시부(160)는 한쪽 변색 투명 렌즈(110b)의 내측 하단 표면에만 형성되는 것으로 도시되어 있으나, 실시예에 따라 문자 표시부(160)는 양쪽 변색 투명 렌즈(110)에 모두 형성될 수도 있고 형성되는 위치 및 면적도 다양하게 설정될 수 있다. 실시예에 따라 문자 표시부(160)는 투명 디스플레이 패널로 구현될 수 있는데, 투명 디스플레이 패널 형태의 문자 표시부(160)의 세부 구성은 뒤에서 자세히 설명된다.
도 2는 안내방송 시각화부의 일 실시예의 개략적인 구성을 도시한 블록도이다.
음성 전처리부(152)는 음성 입력부(130)에서 입력 받은 음성 신호에 대하여 잡음제거 및 신호보상을 수행하며, 인식에 필요한 특징 벡터 추출을 수행할 수 있다. 음성 전처리부(152)는 아날로그-디지털 변환기(Analog-Digital Converter) 및 디지털 신호처리기(digital signal processor) 등의 하드웨어를 포함할 수 있다. 음성 전처리부(152)에서 수행되는 전처리(preprocessing)는 음성 인식률을 높이기 위한 것으로, 프리-엠퍼시스(pre-emphasis), 윈도윙(windowing), 고속 푸리에 변환(Fast Fourier Transform, FFT), 에너지 분석 등을 통하여 수행되는 음성의 특징 벡터 내지 끝점 검출을 포함할 수 있다. 또한, 각종 필터링(filtering) 및 음성 신호처리(audio signal processing) 알고리즘을 적용하여 다양한 형태의 잡음제거 및 신호 보상(compensation)을 수행함으로써, 음성 인식부(156)가 순수하게 음성학적 특성에만 집중하여 음성인식을 수행하도록 지원할 수 있다. 음성 전처리부(154)가 잡음제거 및 신호보상을 통하여 입력 받은 음성 신호로부터 그 음성학적 특성만을 추출하는 기법으로는 LPC(Linear Predictive Coding), MFCC(Mel Frequency Cepstral Coefficients), 고역강조 추출법, 창 함수 추출법 등이 사용될 수 있다.
음성패턴 저장부(154)는 기 설정된 음성패턴에 관한 정보를 저장한다. 실시예에 따라 저장되는 음성패턴으로는 공공장소, 사파리(safari), 미술관, 박물관, 여행지 등에서 방송되는 안내방송의 음원(sound source) 또는 그것을 녹음한 음성으로부터 추출한 실제 음성패턴이 사용될 수 있다. 여기서 안내방송이라 함은 사람의 목소리뿐만 아니라 경보음 등 다양한 형태로 정보 또는 경고 메시지를 전달하는 모든 형태의 소리를 포함할 수 있다. 특정 대화자의 음성을 인식하는 화자종속(speaker-dependent) 음성인식 기술의 인식률은, 대화자가 누구인지에 관계 없이 입력된 음성을 인식하는 화자독립(speaker-independent) 음성인식 기술의 인식률보다 일반적으로 높다. 이러한 점을 감안할 때, 지하철, 기차, 비행기, 관공서 등의 공공장소에서 사용되는 안내방송의 실제 음원 자체를 음성패턴으로 저장할 경우, 전체 시스템의 음성인식률을 화자종속 음성인식 기술의 인식률 수준으로 높일 수 있다는 장점이 있다.
음성 인식부(156)는 저장된 음성패턴을 이용하여 전처리된 음성을 인식한다. 음성 인식 알고리즘으로는 화자종속 음성인식 기술에 기반한 템플릿 패턴 매칭(template pattern matching) 등 다양한 기법이 사용될 수 있다. 이러한 경우 음성 인식부(156)는 음성패턴 저장부(154)에 저장된 템플릿 음성패턴과 전처리된 음성에서 추출된 특징 벡터 내지 끝점의 패턴을 비교하여, 음성패턴 저장부(154)에 저장된 음성패턴 중 가장 정확도가 높은 음성패턴을 인식결과로 선택하게 된다. 템플릿 패턴 매칭 알고리즘으로는 DTW(Dynamic Time Warping), HMM(Hidden Markov chain), ANN(Artificial Nural Network) 등이 사용될 수 있다. 실시예에 따라 음성 인식부(156)는, 전처리된 음성의 패턴과 저장된 음성패턴 중 가장 유사도가 높은 음성패턴 간의 제1유사도와, 전처리된 음성의 패턴과 저장된 음성패턴 중 두 번째로 유사도가 높은 음성패턴 간의 제2유사도가, 기 설정된 일정 수준 이상의 차이를 가지는 경우에만 음성이 인식된 것으로 엄격하게 처리하도록 구현될 수도 있다.
문자 후처리부(158)는 인식된 음성에 해당하는 문자의 출력 레이아웃(layout)을 조정한다. 문자의 출력 레이아웃에는 한 줄에 표시되는 문자의 수 및 표시 위치, 표시되는 문자의 글꼴, 크기 및 색상 등이 포함될 수 있다. 문자의 출력 레이아웃에 관한 설정을 조정함으로써 사용자가 음성인식 결과가 변환된 문자를 더 효과적으로 볼 수 있게 된다. 실시예에 따라 문자 후처리부(158)는 주변 밝기의 변화에 따라 반응하는 변색 투명 렌즈(110)의 색상 변화와 연동되도록 구성할 수 있다. 이러한 경우, 예컨대 변색 투명 렌즈(110)가 어두운 색상으로 착색되었을 때에는 문자의 색상을 밝게 하고, 투명하게 탈색되었을 때에는 문자의 색상을 어둡게 함으로써, 주변 환경의 변화에 민감하지 않고 안정적인 문자 가독성을 확보할 수 있게 된다. 또 다른 실시예에서는, 변색 투명 렌즈(110)의 양쪽 모두에 문자 표시부(160)를 구비하고, 음성 입력부(130)에서 감지된 음성 중 한쪽 음성 입력부(130)에서 감지된 신호의 세기가 다른 쪽의 신호의 세기보다 강한 경우, 신호가 강하게 감지되는 방향의 변색 투명 렌즈(110)에 해당 음성이 인식된 결과에 대응하는 문자를 표시하도록 할 수 있다. 이러한 경우 음성인식의 결과뿐만 아니라 음성이 들려오는 방향에 관한 정보도 함께 전달할 수 있다는 장점이 있다.
도 3은 다양한 환경에서 본 발명의 안내방송 시각화 장치가 표시하는 화면을 도시한 것이다.
도 3a는 낮에 기차역의 승강장에서 사용된 경우의 화면이다. 주변 밝기가 밝은 낮이기 때문에 변색 투명 렌즈(110)가 착색되며, 사용자의 오른쪽에서 음성이 더 강하게 감지되기 때문에 오른쪽 변색 투명 렌즈(110a)의 문자 표시부(160)에는 인식된 음성에 대응하는 문자“기차가 들어옵니다”가 표시된다.
도 3b는 밤에 주차장에서 사용된 경우의 화면이다. 주변 밝기가 어두운 밤이기 때문에 변색 투명 렌즈(110)가 탈색되며, 사용자의 왼쪽에서 음성이 더 강하게 감지되기 때문에 왼쪽 변색 투명 렌즈(110b)의 문자 표시부(160)에는 인식된 음성에 대응하는 문자“주차권을 뽑아주세요”가 표시된다.
도 3c는 낮에 경보음이 울리는 장소에서 사용된 경우의 화면이다. 주변 밝기가 밝은 낮이기 때문에 변색 투명 렌즈(110)가 착색되며, 사용자의 왼쪽에서 음성이 더 강하게 감지되기 때문에 왼쪽 변색 투명 렌즈(110b)의 문자 표시부(160)에는 인식된 경보음에 대응하는 문자“[경보음] 삐- 삐-”가 표시된다. 실시예에 따라 인간의 음성이 아닌 경보음에 대해서는 별도의 표시를 하도록 구현할 수 있다.
도4는 문자 표시부에 사용되는 투명 디스플레이 패널의 일 실시예의 구성을 도시한 것이다. 상술한 바와 같이, 실시예에 따라 문자 표시부(160)는 투명 디스플레이 패널(Display Panel)로 구현될 수 있다. 구체적으로 투명 디스플레이 패널은, 도 4에 도시된 구조와 같이, 이산화 규소(SiO2)의 비율이 높은 투명 유전체 층(transparent dielectric layer)(414, 422)으로 형성된 상판(front plate)(410) 및 하판(rear plate)(420)과, 얇은 유리로 형성된 격벽(barrier rib)(미도시)과, 나노미터(nanometer, nm) 단위의 크기를 갖는 투명한 나노 형광체(phosphor)(424)와, 산화 인듐 주석(Indium Tin Oxide, ITO)으로 형성된 버스 전극(bus electrode)(414)을 포함하는 투명 광자발광 디스플레이 패널(Photoluminescence Display Panel)이 될 수 있다.
도 5는 본 발명의 안내방송 시각화 방법의 일 실시예를 도시한 흐름도이다.
본 발명의 일 실시예의 안내방송 시각화 방법은, 외부로부터 음성을 입력 받는 음성입력 단계(S100)와, 상기 입력된 음성에 대하여 잡음제거 및 신호보상을 수행하는 음성전처리 단계(S200)와, 기 설정된 음성패턴에 관한 정보를 이용하여 상기 전처리된 음성을 인식하는 음성인식 단계(S300)와, 상기 인식된 음성에 해당하는 문자의 출력 레이아웃을 조정하는 문자후처리 단계(S400)와, 주변의 밝기에 따라 상기 문자가 출력될 변색 투명 렌즈의 바탕색을 조절하는 밝기조절 단계(S500)와, 상기 후처리된 문자를 상기 밝기조절된 변색 투명 렌즈의 내측 표면에 출력하 는 문자표시 단계(S600)를 포함한다.
실시예에 따라, 음성패턴으로 공공장소의 안내방송의 음원으로부터 추출한 음성패턴이 사용되고, 음성 인식 단계(S300)에는 화자종속 음성인식 기법이 사용될 수 있다. 다른 실시예에 따르면, 문자 후처리 단계(S400)는, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하고, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하도록 하는 과정을 포함할 수 있다.
상술한 본 발명의 실시예의 안내방송 시각화 장치 및 방법은, 음성인식 대상을 안내방송에 특화하여 음성인식률을 높이고 변색렌즈를 이용하여 인식결과인 문자의 가독성을 높인 것으로서, 청각 장애인을 위한 용도에 한정되지 않는다. 본 발명의 실시예의 안내방송 시각화 장치 및 방법은 음성언어를 인식하여 변색렌즈 상에 문자언어로 표시함으로써, 청각 장애인은 물론 일반인들에게도 음성과 문자 모두에 의한 효율적인 의사전달을 구현하기 위한 기술로 넓게 해석되어야 할 것이다.
본 실시형태의 모듈, 기능 블록들 또는 수단들은 전자 회로, 집적 회로, ASIC (Application Specific Integrated Circuit) 등 공지된 다양한 소자들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수 있다.
이상과 같이 본 발명의 이해를 위하여 그 실시예를 기술하였으나, 당업자라면 알 수 있듯이, 본 발명은 본 명세서에서 기술된 특정 실시예에 한정되는 것이 아니라, 본 발명의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 변경 및 대체될 수 있다. 예를 들어, 문자 대신 기타 LCD 등 디스플레이에 의해 표시될 수 있 는 그림, 영상 등에도 본 발명의 기술이 적용될 수 있다. 따라서, 본 발명의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 특허청구범위에 의하여 모두 포괄하고자 한다.
도 1은 본 발명의 안내방송 시각화 장치의 일 실시예의 구성을 도시한 것이다.
도 2는 안내방송 시각화부의 일 실시예의 개략적인 구성을 도시한 블록도이다.
도 3은 다양한 환경에서 본 발명의 안내방송 시각화 장치가 표시하는 화면을 도시한 것이다.
도4는 문자 표시부에 사용되는 투명 디스플레이 패널의 일 실시예의 구성을 도시한 것이다.
도 5는 본 발명의 안내방송 시각화 방법의 일 실시예를 도시한 흐름도이다.

Claims (9)

  1. 외부로부터 음성을 입력 받는 좌측과 우측의 음성 입력부와,
    상기 입력된 음성에 대하여 잡음제거 및 신호보상을 수행하는 음성 전처리부와,
    기 설정된 음성패턴에 관한 정보를 저장하는 음성패턴 저장부와,
    상기 음성패턴을 이용하여 상기 전처리된 음성을 인식하는 음성 인식부와,
    상기 인식된 음성에 해당하는 문자의 출력 레이아웃을 조정하는 문자 후처리부와,
    주변의 밝기에 따라 바탕색이 조절되는 좌측과 우측의 변색 투명 렌즈, 및
    상기 변색 투명 렌즈의 내측 표면에 상기 후처리된 문자를 출력하는 문자 표시부를 포함하며,
    상기 문자 후처리부는 상기 좌측과 우측의 변색 투명 렌즈를 대상으로 하여 상기 좌측과 우측의 음성 입력부 중 상기 입력된 음성이 가장 강하게 감지되는 방향에 대응하는 상기 변색 투명 렌즈의 내측 표면에 상기 문자가 출력되도록 상기 출력 레이아웃을 조정하는
    변색 렌즈를 이용한 안경형 안내방송 시각화 장치.
  2. 제 1항에 있어서,
    상기 음성패턴은 안내방송의 실제 음원(sound source)으로부터 추출한 음성패턴이며,
    상기 음성 인식에는 화자종속 음성인식 기법이 사용되는
    변색 렌즈를 이용한 안경형 안내방송 시각화 장치.
  3. 제 1항에 있어서,
    상기 변색 투명 렌즈는 감광(photochromic) 또는 전기변색(electrochromic) 물질을 포함하여 형성되며,
    상기 문자 표시부는 투명 디스플레이 패널을 포함하여 형성되는
    변색 렌즈를 이용한 안경형 안내방송 시각화 장치.
  4. 제 3항에 있어서,
    상기 투명 디스플레이 패널은, 투명 유전체로 형성된 상판 및 하판과, 유리로 형성된 격벽과, 투명한 나노 형광체와, 산화 인듐 주석(Indium Tin Oxide, ITO)으로 형성된 전극을 포함하는 투명 광자 발광 디스플레이 패널인
    변색 렌즈를 이용한 안경형 안내방송 시각화 장치.
  5. 제 3항에 있어서,
    상기 문자 후처리부는, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하고, 상기 변색 투명 렌즈가 어두운 색으로 착색될 경우 상기 문자를 밝은 색상으로 출력하는
    변색 렌즈를 이용한 안경형 안내방송 시각화 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020090072914A 2009-08-07 2009-08-07 변색 렌즈를 이용한 안경형 안내방송 시각화 장치 KR101062342B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090072914A KR101062342B1 (ko) 2009-08-07 2009-08-07 변색 렌즈를 이용한 안경형 안내방송 시각화 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090072914A KR101062342B1 (ko) 2009-08-07 2009-08-07 변색 렌즈를 이용한 안경형 안내방송 시각화 장치

Publications (2)

Publication Number Publication Date
KR20110015276A KR20110015276A (ko) 2011-02-15
KR101062342B1 true KR101062342B1 (ko) 2011-09-05

Family

ID=43774128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090072914A KR101062342B1 (ko) 2009-08-07 2009-08-07 변색 렌즈를 이용한 안경형 안내방송 시각화 장치

Country Status (1)

Country Link
KR (1) KR101062342B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455830B1 (ko) * 2013-01-10 2014-11-04 숭실대학교산학협력단 안경 및 그 제어방법
KR20150010229A (ko) 2013-07-18 2015-01-28 삼성디스플레이 주식회사 투명 디스플레이를 적용한 안경 및 그 제어 방법
KR101869309B1 (ko) * 2014-07-24 2018-06-20 주식회사 네오펙트 공연용 발광다이오드 안경
US20210157167A1 (en) * 2018-04-13 2021-05-27 Seong Kyu Lim Sele-customized glasses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10123450A (ja) * 1996-10-15 1998-05-15 Sony Corp 音声認識機能付ヘッドアップディスプレイ装置
JP2005227208A (ja) * 2004-02-16 2005-08-25 Ricoh Co Ltd ナビゲーションシステム、表示システム、ナビゲーション方法、および、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10123450A (ja) * 1996-10-15 1998-05-15 Sony Corp 音声認識機能付ヘッドアップディスプレイ装置
JP2005227208A (ja) * 2004-02-16 2005-08-25 Ricoh Co Ltd ナビゲーションシステム、表示システム、ナビゲーション方法、および、プログラム

Also Published As

Publication number Publication date
KR20110015276A (ko) 2011-02-15

Similar Documents

Publication Publication Date Title
KR101668165B1 (ko) 웨어러블 컴퓨팅 시스템상에 사운드 표시들을 디스플레이
CN105527710B (zh) 一种智能抬头显示系统
US9779758B2 (en) Augmenting speech segmentation and recognition using head-mounted vibration and/or motion sensors
US10073201B2 (en) See through near-eye display
EP1083769B1 (en) Speech converting device and method
US6240392B1 (en) Communication device and method for deaf and mute persons
Wölfel et al. Distant speech recognition
EP2967324B1 (en) Enhanced optical and perceptual digital eyewear
US20130094682A1 (en) Augmented reality sound notification system
KR101062342B1 (ko) 변색 렌즈를 이용한 안경형 안내방송 시각화 장치
US20140236594A1 (en) Assistive device for converting an audio signal into a visual representation
US11435587B2 (en) Eyewear with integrated heads-up display
JP2016515897A5 (ko)
EP1864270A1 (fr) Dispositif pour la communication par des personnes handicapees de la parole et/ou de l'ouïe
JP2007334149A (ja) 聴覚障害者用ヘッドマウントディスプレイ装置
WO2018118420A1 (en) Method, system, and apparatus for voice and video digital travel companion
US20220066207A1 (en) Method and head-mounted unit for assisting a user
US4414431A (en) Method and apparatus for displaying speech information
JP2023519495A (ja) スマート・オーディオ・フォーカス制御を有する聴覚支援デバイス
KR20150026645A (ko) 패턴인식 기술을 이용한 음성 화상 인식 어플리케이션 프로그램.
CN1996092A (zh) 具虚拟键盘之焦距可调整的头戴式显示系统及用于该系统的装置
CN113409770A (zh) 发音特征处理方法、装置、服务器及介质
KR101455830B1 (ko) 안경 및 그 제어방법
WO2023150327A1 (en) Smart glass interface for impaired users or users with disabilities
US20040108981A1 (en) Novel mobile audio visual system for managing the information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140724

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee