KR101354927B1 - 청각장애인을 위한 머리 착용형 디스플레이장치 - Google Patents

청각장애인을 위한 머리 착용형 디스플레이장치 Download PDF

Info

Publication number
KR101354927B1
KR101354927B1 KR1020120057060A KR20120057060A KR101354927B1 KR 101354927 B1 KR101354927 B1 KR 101354927B1 KR 1020120057060 A KR1020120057060 A KR 1020120057060A KR 20120057060 A KR20120057060 A KR 20120057060A KR 101354927 B1 KR101354927 B1 KR 101354927B1
Authority
KR
South Korea
Prior art keywords
caption
subtitle
display
signal
processing
Prior art date
Application number
KR1020120057060A
Other languages
English (en)
Other versions
KR20130133932A (ko
Inventor
김정환
이영민
이영보
박영섭
Original Assignee
에이알비전 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이알비전 (주) filed Critical 에이알비전 (주)
Priority to KR1020120057060A priority Critical patent/KR101354927B1/ko
Publication of KR20130133932A publication Critical patent/KR20130133932A/ko
Application granted granted Critical
Publication of KR101354927B1 publication Critical patent/KR101354927B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Otolaryngology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 청각장애인을 위한 머리 착용형 디스플레이 장치에 관한 것으로, 음성신호나 소리신호를 문자 자막이나 기호 등으로 구분 표시하여 유사시 대응할 수 있게 하는 것이다.
이를 위하여 본 발명은 외부에서 수신되는 음원 신호를 신호처리 및 분석하여 소리신호의 방향과 종류에 따라 표시기호를 구동하거나 음성신호를 인식 및 자막으로 변환하여 유선을 통해 머리 착용형 표시기로 전송하는 자막처리 및 제어기, 마이크에서 입력되는 음원 신호를 자막처리 및 제어기로 전송하고 자막처리 및 제어기로부터 표시 제어신호를 입력받아 그에 대응하는 표시기호 또는 문자 자막을 출력하는 머리 착용형 표시기를 포함하는 청각장애인을 위한 머리 착용형 디스플레이 장치를 제공하여, 청각장애 또는 난청이 있는 사용자들이 유사시 위험상황을 인식할 수 있게 한다.

Description

청각장애인을 위한 머리 착용형 디스플레이장치 {A wearable type head mounted display device for hearing impaired person}
본 발명은 청각장애인을 위한 머리 착용형 디스플레이장치에 관한 것으로, 보다 상세하게는 음성신호나 소리신호를 수신하여 자막이나 기호로 각각 구분하여 표시할 수 있도록 함으로써, 위험 상황에 대처할 수 있으면서도 강의를 수강하거나 영화 또는 공연 관람시 음성 또는 소리의 주체를 바라보면서 자막을 읽을 수 있는 청각장애인을 위한 머리 착용형 표시장치에 관한 것이다.
디스플레이 소자의 소형화 추세에 따라 개인용 디스플레이장치의 수요가 증가하고 있는데, 소형화상표시소자에서 출력된 화상을 광학계를 이용하여 확대하고, 이에 따른 허상을 눈으로 보게 하면서 마치 일정한 거리에 대형의 스크린을 두고 화상을 보는 것과 동일한 효과를 주는 디스플레이장치가 개발되고 있다. 이러한 장치는 대부분 머리에 안경과 같은 방식으로 착용하는 형태로서, 머리 착용형 디스플레이 장치(Head Mounted Display; 이하 HMD라 칭함)라 하는데, 주로 영화관이나 공연장, 또는 강의실 등에서 문자 자막을 제공하기 위해 사용되고 있으며, 특히 청각 장애인이나 난청인에게 매우 유용하게 사용된다.
한편, 우리나라의 청각장애인과 난청인(노인 포함)은 전체 인구 중 10~20% 정도(대략 750 만명)가 있으며, 최근에는 이러한 난청인을 포함한 청각장애인들에게 위험상황을 인식시킬 수 있도록 문자 자막을 제공하는 많은 보조장치들이 개발되고 있다.
국내공개특허공보 제10-2008-0039590호 (명칭 : 시퀀스 제어를 통한 청각장애인용 인식장치, 2008.05.07 공개)에는, 일상 생활에서 발생하는 중요한 특정 생활음(일예 : 화재 통보기의 경보음，가스 누출 경보기의 경보음，휴대 전화기의 호출음, 팩시밀리 장치의 호출음, 전자레인지의 가열 종료 통보음，세탁기 그 밖의 전기 제품으로부터 발생한 통보음，방문자의 벨 소리)을 검출하여 위험 수위에 따라 순차적으로 통보하도록 구성된 청각장애인용 인식장치가 공지되어 있다.
그러나 상기 시퀀스 제어를 통한 청각장애인용 인식장치는 집안이나 사무실 내부에서 이루어지는 일상의 생활중 발생 가능한 특정 생활음에 대해서만 통보가 이루어지게 되기 때문에, 외출시 청각장애인이나 난청인에게 노출될 수 있는 위험 상황에 대응할 수 있는 용도로는 적용이 불가능하며, 또한 별도의 표시장치를 바라보아야만 해당 상황을 인식할 수 있게 되는 단점이 있다.
한편, 국내 공개특허공보 제10-2008-0004756호(명칭 : 청각장애인용 및 난청인용 상황별 인식장치, 2008.01.10.공개)에는, 청각장애 및 난청인 운전자가 운전중 철도 건널목 차단기의 경보음, 응급차량의 사이렌 소리, 충돌 및 급제동 소리에 대하여 눈과 몸으로 동시에 인식할 수 있도록 하여, 운전자가 안전하게 운전할 수 있도록 하는 장치가 공지되어 있다.
그러나 상기 청각 장애인용 및 난청인용 상황별 인식장치는 차량의 운전시에만 사용 가능하며, 또한 비상시 발생되는 소리음에 대해서만 반응하게 되므로 일상적인 생활에서는 적용이 불가능하게 되어 그 사용상의 한계가 있는 단점이 있다.
(특허 문헌1) KR 10-2008-0039590 A 2008.05.07 (특허 문헌2) KR 10-2008-0004756 A 2008.01.10
본 발명은 상기 종래기술이 갖는 문제점을 해결하기 위해 창출된 것으로서, 사람의 목소리 등과 같은 음성신호나 경보음 등과 같은 단순한 소리신호를 수신하여 이들을 문자 자막이나 기호 등으로 각각 구분하여 표시할 수 있도록 함으로써 청각장애 또는 난청이 있는 사용자들이 일상적인 대화시에 유용하게 사용할 수 있으면서도 유사시 위험상황을 인식하여 유연하게 대처할 수 있도록 하는 청각장애인을 위한 머리 착용형 디스플레이 장치를 제공하고자 하는 것이다.
또한 본 발명은, 사용자가 편리하게 휴대하고 안경처럼 간단하게 착용할 수 있도록 함으로써, 별도의 표시장치로 시선을 이동시키지 않고도 음성 또는 소리의 주체를 바라보면서 문자 자막 또는 기호를 인식할 수 있도록 하는 청각장애인을 위한 머리 착용형 디스플레이 장치를 제공하고자 하는 것이다.
또한 본 발명은, 자막 생성기로부터 출력되는 자막 데이터를 무선으로 수신하여 표시할 수 있도록 함으로써, 강의실이나 공연장 등에서 속기사 등에 의해 실시간으로 입력되는 문자 자막, 또는 영화관 등에서 미리 지정된 방식으로 제공되는 문자 자막 등을 편리하게 인식할 수 있도록 하는 청각장애인을 위한 머리 착용형 디스플레이 장치를 제공하고자 하는 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시 형태는, 머리 착용형 디스플레이 장치에 있어서, 외부에서 수신되는 음원 신호를 신호처리 및 분석하여 소리신호의 방향과 종류에 따라 표시기호를 구동하거나 음성신호를 인식 및 자막으로 변환하여 유선을 통해 머리 착용형 표시기로 전송하는 자막처리 및 제어기, 마이크에서 입력되는 음원 신호를 자막처리 및 제어기로 전송하고 자막처리 및 제어기로부터 표시 제어신호를 입력받아 그에 대응하는 표시기호 또는 문자 자막을 출력하는 머리 착용형 표시기를 포함하는 청각장애인을 위한 머리 착용형 디스플레이 장치이다.
상기 본 발명에서 머리 착용형 표시기는, 착용자의 시선 통과 및 시야 확보를 위한 HMD 렌즈가 전면에 구비된 안경 형상으로 이루어지며 음성신호에 대응하는 문자 자막 또는 소리신호의 방향과 종류에 따른 표시기호를 동시에 디스플레이할 수 있는 표시창이 착용자의 어느 한쪽 시선 또는 양쪽 시선이 통과하는 HMD 렌즈 상에 형성되는 특징을 갖는다.
또한 상기 본 발명에서 마이크는, 머리 착용형 표시기의 좌,우 양측에 일정간격 이격되게 설치되는 한 쌍의 스테레오 마이크로 이루어지며 자막처리 및 제어기에 유선을 통해 전기적으로 연결되는 특징을 갖는다.
또한 상기 본 발명에서 자막처리 및 제어기는, 유선으로 수신되는 외부의 음원 신호를 신호처리 및 분석하여 소리신호의 발생 방향과 종류를 구분하고 그 소리신호의 방향과 종류에 따른 표시기호를 디스플레이하기 위한 표시 제어신호를 출력하는 소리신호 처리부, 유선으로 수신되는 외부의 음원 신호를 신호처리 및 분석하여 음성신호를 인식하고 그 음성신호에 대응하는 문자 자막을 디스플레이하기 위한 표시 제어신호를 출력하는 음성신호 처리부, 및 소리신호 처리부 및 음성신호 처리부에서 출력되는 표시 제어신호에 따른 표시기호 또는 문자 자막의 표시동작을 제어하는 자막표시부를 포함하는 특징을 갖는다.
또한 상기 본 발명은 속기 키보드를 통해 키입력되는 문장을 실시간 자막으로 생성하여 무선으로 송신하는 하나의 자막 생성기에 자막처리 및 제어기가 다수 개 동시에 무선 통신 가능하게 연결되고, 이때의 각각의 자막처리 및 제어기는 자막 생성기로부터 문자 자막 데이터를 무선 수신하여 영상으로 변환 후 자막표시부로 전달하는 자막 수신부를 더 구비하여 구성할 수 있다. 이러한 자막 수신부는 영화관 또는 공연장에서 미리 지정된 방식으로 저장된 문자 자막을 데이터 베이스에서 독출하여 무선으로 송신하는 자막 전송기로부터 문자 자막을 무선 수신하여 영상으로 변환 후 상기 자막표시부로 전달하도록 구성할 수도 있다,
상기 본 발명에서 자막처리 및 제어기는, 제어기 내부의 각 부분으로 동작 전원을 직접 공급하며 유선을 통해 상기 머리 착용형 표시기로 동작 전원을 공급하는 전원 공급부를 더 포함하여 구성될 수도 있다.
본 발명에 의하면, 청각장애인이 듣지 못하는 일상의 대화나 위험상황에 따른 경보음을 개인형 디스플레이 장치인 HMD를 통해 문자 자막이나 기호로 표시할 수 있게 되므로, 경보음의 종류와 방향을 인지할 수 있도록 함으로써 유사시 위험 상황에 유연하게 대처하도록 도울 수 있는 이점이 있다.
또한, 본 발명에 의하면 청각장애인이 강의 등을 수강하게 될 때에 속기사가 키보드를 통해 입력하는 문장을 HMD를 통하여 바로 볼 수 있게 되므로, 별도의 자막용 디스플레이로 시선을 옮기지 않고도 강사에 시선을 둔 상태로 수업에 집중할 수 있게 하는 효과가 있다.
또한 본 발명에 의하면, 영화관, 공연장 등에서와 같이 미리 설정된 형태로 데이터 베이스에 저장된 문자 자막을 HMD를 통해 표출함으로써 별도의 표시장치로 시선을 이동하지 않고 디스플레이되는 대상을 바라보면서 자막을 읽을 수 있는 장점을 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치의 구성도이다.
도 2는 본 발명의 다른 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치의 개략 구성도이다.
도 3은 본 발명의 또 다른 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치의 구성도이다.
이하, 본 발명에 의한 청각장애인을 위한 머리 착용형 디스플레이장치의 구성 및 동작을 첨부 도면을 참조하여 상세히 설명한다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치의 구성도로서, 화재경보 또는 자동차 경적 등의 경보음이 발생되는 방향 및 종류를 구분하여 기호나 문자 자막으로 표시할 수 있는 유사시 대비장치이며, 자막처리 및 제어기(10)와 머리 착용형 표시기(20)로 구성한다.
먼저, 자막처리 및 제어기(10)에서는 외부에서 수신되는 음원 신호를 신호처리 및 분석하여, 소리신호의 방향과 종류에 따라 표시기호를 구동하거나 음성신호를 인식 및 자막으로 변환하여 유선(30)을 통해 머리 착용형 표시기(20)로 전송한다. 이러한 자막처리 및 제어기(10)는 소리신호 처리부(11), 음성신호 처리부(12), 자막표시부(13), 및 전원 공급부(14)를 포함하여 구성된다.
소리신호 처리부(11)는 유선(30)으로 수신되는 외부의 음원 신호가 소리신호인 경우 그 소리신호를 신호처리 및 분석하여 소리신호의 발생 방향과 종류를 구분하고, 그 소리신호의 방향과 종류에 따른 표시기호(도면에서는 좌우방향의 화살표로 표시되는 상태를 예로 들어 도시하였으나 이러한 표시기호는 초기 설정값 또는 필요에 따라 달라질 수 있음)를 디스플레이하기 위한 표시 제어신호를 자막표시부(13)로 출력한다.
음성신호 처리부(12)는 유선(30)으로 수신되는 외부의 음원 신호를 음성신호인 경우 그 음성신호를 신호처리 및 분석하여 음성신호를 인식하고 그 음성신호에 대응하는 문자 자막으로 변환하여 표시하기 위한 표시 제어신호를 자막표시부(13)로 출력한다.
자막표시부(13)는 소리신호 처리부(11) 및 음성신호 처리부(12)에서 각각 전달되는 표시 제어신호에 따라 유선(30)을 통해 머리 착용형 표시기(20)의 동작을 제어하여 표시기호 또는 문자 자막의 표시동작을 각각 제어한다.
다음으로, 머리 착용형 표시기(20)에서는 2개 이상의 음원 신호를 입력받기 위한 마이크를 구비하며, 마이크에서 입력되는 음원 신호를 자막처리 및 제어기(10)로 전송하고, 자막처리 및 제어기(10)로부터 표시 제어신호를 입력받아 그에 대응하는 표시기호 또는 문자 자막을 출력한다. 이러한 머리 착용형 표시기(20)는 도면에 도시된 바와 같이 착용자의 시선 통과 및 시야 확보를 위한 HMD 렌즈(21)가 전면에 구비된 안경 형상으로 이루어지며, 음성신호에 대응하는 문자 자막(23a) 또는 소리신호의 방향과 종류에 따른 표시기호(23b)를 동시에 디스플레이할 수 있는 표시창(23)이 착용자의 어느 한쪽 시선 또는 양쪽 시선이 통과하는 HMD 렌즈(21) 상에 형성된다. 특히 상기 마이크는 머리 착용형 표시기(20)의 좌,우 양측에 일정간격 이격되게 설치되는 스테레오 마이크(22a,22b)로 이루어지며, 자막처리 및 제어기(10)에 유선(30)을 통해 전기적으로 연결되어 구성된다. 이러한 스테레오 마이크(22a,22b)를 이용하게 되는 경우, 머리 착용형 표시기(20)의 좌, 우측에 각각 설치된 좌측 마이크와 우측 마이크를 통해 양방향으로 음원을 입력받을 수 있게 되므로, 소리신호 처리부(11)에서는 입력받은 음원 신호를 필터링한 후 좌측 음원신호와 우측 음원신호의 전력비를 산출하고, 이로부터 그 소리신호가 사용자를 중심으로 어느 방향에서 입력된 것인지를 판별할 수 있게 된다.
전원 공급부(14)는 배터리 등으로 구성될 수 있으며, 제어기 내부의 각 부분으로 동작 전원을 직접 공급하며, 유선(30)을 통해 머리 착용형 표시기(20)로 동작 전원을 공급한다.
도 2는 본 발명의 다른 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치의 개략적인 구성도로서, 강의실 등과 같은 장소에서 다수 개의 자막처리 및 제어기(10)가 무선 통신을 통해 하나의 자막 생성기(40)로부터 문자 자막을 동시에 수신할 수 있도록 연결되는 상태를 예시하고 있다.
도 2에 도시된 바와 같이, 본 발명의 다른 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치는, 다수 개의 자막처리 및 제어기(10)와 머리 착용형 표시기(20), 및 속기 키보드가 연결된 자막 생성기(40)로 구성된다.
자막 생성기(40)는 속기 키보드(41)를 통해 속기사에 의해 직접 키입력되는 문장을 실시간 자막 데이터로 생성하며, 무선 송신수단을 구비하여 속기 키보드(41)에서 키입력되는 문장의 실시간 자막을 무선으로 즉시 송출한다. 이로써 하나의 자막 생성기(40)에서 무선으로 송신되는 실시간 자막 데이터는 다수 개의 자막처리 및 제어기(10)에서 동시에 무선 수신할 수 있게 된다. 이때 상기 각각의 자막처리 및 제어기(10)는 자막 생성기(40)로부터 문자 자막 데이터를 무선 수신하여 영상으로 변환 후 자막표시부(13)로 전달하는 자막 수신부(15)를 소리신호 처리부(11)와 음성신호 처리부(12) 및 자막표시부(13)와 함께 포함하여 구성한다. 또한 이러한 구성에서도 제어기 내부의 각 부분으로 동작 전원을 직접 공급하며 유선(30)을 통해 상기 머리 착용형 표시기(20)로 동작 전원을 공급하는 전원 공급부(14)를 구비하는 것이 바람직하다.
도 3은 본 발명의 또 다른 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치의 구성도로서, 영화관이나 공연장 등과 같은 장소에서 미리 지정된 방식으로 문자 자막이 제공되는 시스템을 설명하기 위하여 예시한 도면이다.
도 3에 도시된 바와 같이, 본 발명의 또 다른 실시 형태에 따른 청각장애인을 위한 머리 착용형 디스플레이장치는, 자막처리 및 제어기(10)와 머리 착용형 표시기(20), 및 자막 데이터 베이스가 구비된 자막 전송기(50)로 구성된다.
자막 전송기(50)는 영화관 또는 공연장 등에서 미리 지정된 방식으로 제공될 문자 자막을 저장하고 있는 데이터 베이스를 구비하며, 무선 송신수단을 구비하여 데이터 베이스에서 문자 자막을 독출하여 무선으로 송출한다. 이때 각각의 자막처리 및 제어기(10)는 자막 전송기(50)로부터 문자 자막 데이터를 무선 수신하여 영상으로 변환 후 자막표시부(13)로 전달하는 자막 수신부(15)를 소리신호 처리부(11)와 음성신호 처리부(12) 및 자막표시부(13)와 함께 포함하여 구성한다. 아울러 이러한 구성에서도 제어기 내부의 각 부분으로 동작 전원을 직접 공급하며 유선(30)을 통해 상기 머리 착용형 표시기(20)로 동작 전원을 공급하는 전원 공급부(14)를 구비하는 것이 바람직하다.
한편, 상기 자막 수신부(15)는 자막 전송기(50)로부터 무선 전송되는 문자 자막 데이터와의 자동 동기화를 수행하여 문자 자막을 수신하는 것이 바람직하다.
이상과 같이 구성되는 본 발명의 동작은 다음과 같다.
먼저 도 1의 구성에서, 전원이 공급된 후 머리 착용형 표시기(20)에 부착된 두 개의 스테레오 마이크(22a,22b)를 통해 외부에서 음원 신호가 수신되면, 머리 착용형 표시기(20)에서는 마이크에서 입력되는 음원 신호를 유선(30)을 통해 자막처리 및 제어기(10)로 전송하고, 자막처리 및 제어기(10)에서는 소리신호 처리부(11)와 음성신호 처리부(12)를 통해 음원 신호를 신호처리 및 분석한다.
이때 소리신호 처리부(11)에서는 소리신호의 발생 방향과 종류를 구분하고, 그 소리신호의 방향과 종류에 따른 표시기호(좌측 화살표 기호 또는 우측 화살표 기호)를 디스플레이하기 위한 표시 제어신호를 자막표시부(13)로 출력한다.
아울러 음성신호 처리부(12)에서도 음성신호를 신호처리 및 분석하여 음성신호를 인식하고 그 음성신호에 대응하는 문자 자막으로 변환하여 표시하기 위한 표시 제어신호를 자막표시부(13)로 출력한다.
따라서 자막표시부(13)는 소리신호 처리부(11) 및 음성신호 처리부(12)에서 각각 전달되는 표시 제어신호에 따라 유선(30)을 통해 머리 착용형 표시기(20)의 동작을 제어하여 표시기호 또는 문자 자막의 표시동작을 각각 제어한다.
이어서 머리 착용형 표시기(20)에서는 자막처리 및 제어기(10)로부터 표시 제어신호를 입력받아 그에 대응하는 표시기호 또는 문자 자막을 출력한다. 예를 들어 소리신호가 화재경보음으로 분석되었을 경우 도면에 도시된 바와 같이 화재경보임을 알리는 문자 자막(23a)과 함께 경보음이 발생한 방향(23b)을 화살표로 표시할 수 있게 된다. 이때 음성신호에 대응하는 문자 자막(23a) 또는 소리신호의 방향과 종류에 따른 표시기호(23b)는 HMD 렌즈(21) 상에 형성된 표시창(23)을 통해 표시될 수 있게 되므로, HMD 착용자는 경보음의 종류와 방향을 신속하게 인지할 수 있게 될 것이며, 따라서 위험 상황에 유연하게 대처할 수 있을 것이다.
다음으로 도 2의 구성에서, 강의실 등과 같은 장소에서 강의를 수강하고자 하는 경우 청각장애 또는 난청인 사용자들은 각각 자막처리 및 제어기(10)를 구비하고 머리 착용형 표시기(20)를 착용하게 되며, 이들 각각의 자막처리 및 제어기는 무선 통신을 통해 하나의 자막 생성기(40)로부터 문자 자막을 동시에 수신할 수 있도록 연결된 상태에 있게 된다.
이후 강의가 시작되면, 속기사는 속기 키보드(41)를 통해 강의 내용을 직접 키입력하게 되며, 이렇게 키입력되는 문장은 자막 생성기(40)를 통해 즉시 실시간 자막 데이터로 생성된 후 무선 송신수단을 통해 실시간 자막으로 즉시 무선 송출된다. 이와 같이 하나의 자막 생성기(40)에서 무선으로 송신되는 실시간 자막 데이터는 각 사용자들이 착용한 개별 자막처리 및 제어기(10)에서 자막 수신부(15)를 통해 동시에 무선 수신할 수 있게 되며, 이러한 문자 자막은 머리 착용형 표시기(20)의 표시창을 통해 즉시 표출될 수 있게 된다. 이로써, 청각장애 또는 난청인은 강의 등을 수강하게 될 때에 속기사가 속기 키보드를 통해 입력하는 문장을 HMD를 통하여 바로 볼 수 있게 되므로, 별도의 자막용 디스플레이로 시선을 옮기지 않고도 강사에 시선을 둔 상태로 수업에 집중할 수 있게 하는 효과가 있다.
마지막으로 도 3의 구성에서, 영화관이나 공연장 등과 같은 장소에서 영화 또는 공연을 관람하고자 하는 경우 청각장애 또는 난청인 사용자들은 각각 자막처리 및 제어기(10)를 구비하고 머리 착용형 표시기(20)를 착용하게 된다. 이 상태에서 영화 또는 공연이 시작되면 자막 전송기(50)에서는 영화관 또는 공연장 등에서 미리 지정된 방식으로 제공될 문자 자막을 저장하고 있는 데이터 베이스로부터 문자 자막을 독출하여, 무선 송신수단을 통해 영화관 내부 또는 공연장 내부에 무선으로 송출한다. 이때 각각의 자막처리 및 제어기(10)에서는 자막 수신부(15)를 통해 문자 자막 데이터의 자동 동기화를 수행하고, 아울러 자막 전송기(50)로부터 문자 자막 데이터를 무선 수신하여 영상으로 변환 후 자막표시부(13)로 전달한다. 따라서 이러한 문자 자막은 머리 착용형 표시기(20)의 표시창을 통해 즉시 표출될 수 있게 된다. 이로써 청각장애 또는 난청인은 영화관, 공연장 등에서 영화 또는 공연을 관람하게 될 때에 데이터 베이스에 저장된 문자 자막을 HMD를 통해 표출함으로써 별도의 표시장치로 시선을 이동하지 않고 디스플레이되는 대상을 바라보면서 자막을 읽을 수 있는 장점을 제공할 수 있게 된다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 자막처리 및 제어기 11 : 소리신호 처리부
12 : 음성신호 처리부 13 : 자막표시부
14 : 전원 공급부 15 : 자막 수신부
20 : 머리 착용형 표시기 21 : HMD 렌즈
22a,22b : 스테레오 마이크 23 : 표시창
23a : 문자 자막 23b : 표시기호
30 : 유선 40 : 자막 생성기
41 : 속기 키보드 50 : 자막 전송기

Claims (6)

  1. 머리 착용형 디스플레이 장치에 있어서,
    외부에서 수신되는 음원 신호를 신호처리 및 분석하여, 소리신호의 방향과 종류에 따른 표시기호를 구동하거나 음성신호를 인식 및 자막으로 변환하여 유선을 통해 머리 착용형 표시기로 전송하는 자막처리 및 제어기;
    2개 이상의 음원 신호를 입력받기 위한 스테레오 마이크를 구비하며, 상기 스테레오 마이크에서 입력되는 음원 신호를 상기 자막처리 및 제어기로 전송하고, 상기 자막처리 및 제어기로부터 표시 제어신호를 입력받아 그에 대응하는 표시기호 또는 문자 자막을 출력하는 머리 착용형 표시기;를 포함하여 이루어지며,
    상기 자막처리 및 제어기는, 유선으로 수신되는 외부의 음원 신호를 신호처리 및 분석하여 소리신호의 발생 방향과 종류를 구분하고, 그 소리신호의 방향과 종류에 따른 표시기호를 디스플레이하기 위한 표시 제어신호를 출력하는 소리신호 처리부; 유선으로 수신되는 외부의 음원 신호를 신호처리 및 분석하여 음성신호를 인식하고 그 음성신호에 대응하는 문자 자막을 디스플레이하기 위한 표시 제어신호를 출력하는 음성신호 처리부; 및 상기 소리신호 처리부 및 음성신호 처리부에서 출력되는 표시 제어신호에 따른 표시기호 또는 문자 자막의 표시동작을 제어하는 자막표시부로 이루어지며,
    속기 키보드를 통해 키입력되는 문장을 실시간 자막으로 생성하여 무선으로 송신하는 하나의 자막 생성기에 상기 자막처리 및 제어기가 다수 개 동시에 무선통신 가능하게 연결되고,
    상기 각각의 자막처리 및 제어기는, 상기 자막 생성기로부터 문자 자막 데이터를 무선 수신하여 영상으로 변환 후 상기 자막표시부로 전달하는 자막 수신부를 더 구비하는 것을 특징으로 하는 청각장애인을 위한 머리 착용형 디스플레이 장치.
  2. 제1항에 있어서, 상기 머리 착용형 표시기는,
    착용자의 시선 통과 및 시야 확보를 위한 HMD 렌즈가 전면에 구비된 안경 형상으로 이루어지며,
    상기 음성신호에 대응하는 문자 자막 또는 소리신호의 방향과 종류에 따른 표시기호를 동시에 디스플레이할 수 있는 표시창;이 착용자의 두 시선 중 어느 한 쪽 또는 양쪽 시선이 통과하는 상기 HMD 렌즈 상에 형성되는 것을 특징으로 하는 청각장애인을 위한 머리 착용형 디스플레이 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 자막 수신부는,
    영화관 또는 공연장에서 미리 지정된 방식으로 저장된 문자 자막을 데이터 베이스에서 독출하여 무선으로 송신하는 자막 전송기로부터 문자 자막을 무선 수신하여 영상으로 변환 후 상기 자막표시부로 전달하는 것을 특징으로 하는 청각장애인을 위한 머리 착용형 디스플레이 장치.
  6. 제5항에 있어서, 상기 자막 수신부는,
    상기 자막 전송기로부터 무선 전송되는 문자 자막 데이터와의 자동 동기화를 수행하여 문자 자막을 수신하는 것을 특징으로 하는 청각장애인을 위한 머리 착용형 디스플레이 장치.
KR1020120057060A 2012-05-30 2012-05-30 청각장애인을 위한 머리 착용형 디스플레이장치 KR101354927B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120057060A KR101354927B1 (ko) 2012-05-30 2012-05-30 청각장애인을 위한 머리 착용형 디스플레이장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120057060A KR101354927B1 (ko) 2012-05-30 2012-05-30 청각장애인을 위한 머리 착용형 디스플레이장치

Publications (2)

Publication Number Publication Date
KR20130133932A KR20130133932A (ko) 2013-12-10
KR101354927B1 true KR101354927B1 (ko) 2014-01-27

Family

ID=49981633

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120057060A KR101354927B1 (ko) 2012-05-30 2012-05-30 청각장애인을 위한 머리 착용형 디스플레이장치

Country Status (1)

Country Link
KR (1) KR101354927B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108538153A (zh) * 2018-06-11 2018-09-14 北京佳珥医学科技有限公司 音频转换设备
KR102071882B1 (ko) * 2018-06-22 2020-02-03 씨제이올리브네트웍스 주식회사 스마트 안경 및 스마트 안경을 이용하여 자막을 제공하는 방법
WO2019245205A1 (en) * 2018-06-22 2019-12-26 Cj Olivenetworks Co., Ltd Smart glasses and method of providing subtitles using same
KR101990826B1 (ko) * 2019-03-18 2019-06-19 영화진흥위원회 청각장애인의 관람 환경 개선용 시각 제공장치
KR102633725B1 (ko) 2022-01-12 2024-02-05 동의대학교 산학협력단 청각장애인을 위한 스마트 글래스 시스템 및 이의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000166960A (ja) 1998-12-08 2000-06-20 Kyoto Process Kogeisha:Kk 聴力障害者用音声感知装置
KR20070001499A (ko) * 2005-06-29 2007-01-04 주식회사 소리자바 영화 자막 시스템
KR20070045853A (ko) * 2005-10-28 2007-05-02 한국과학기술연구원 청각 장애인용 착용형 단말 장치
KR20110103726A (ko) * 2010-03-15 2011-09-21 한국표준과학연구원 감성정보를 포함하는 청각장애인용 안내 시스템 및 그를 이용한 안내방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000166960A (ja) 1998-12-08 2000-06-20 Kyoto Process Kogeisha:Kk 聴力障害者用音声感知装置
KR20070001499A (ko) * 2005-06-29 2007-01-04 주식회사 소리자바 영화 자막 시스템
KR20070045853A (ko) * 2005-10-28 2007-05-02 한국과학기술연구원 청각 장애인용 착용형 단말 장치
KR20110103726A (ko) * 2010-03-15 2011-09-21 한국표준과학연구원 감성정보를 포함하는 청각장애인용 안내 시스템 및 그를 이용한 안내방법

Also Published As

Publication number Publication date
KR20130133932A (ko) 2013-12-10

Similar Documents

Publication Publication Date Title
KR101354927B1 (ko) 청각장애인을 위한 머리 착용형 디스플레이장치
US6240392B1 (en) Communication device and method for deaf and mute persons
CN108028957B (zh) 信息处理装置、信息处理方法和机器可读介质
CN108957761B (zh) 显示装置及其控制方法、头戴式显示装置及其控制方法
US9095423B2 (en) Apparatus and method for providing failed-attempt feedback using a camera on glasses
CN105303770A (zh) 利用头戴式显示器的驾驶员瞌睡警报装置及方法
KR102047988B1 (ko) 시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법
US20020158816A1 (en) Translating eyeglasses
CN112506336A (zh) 具有触觉输出的头戴式显示器
KR100748432B1 (ko) 청각 장애인용 착용형 단말 장치
KR20170037753A (ko) 청각장애인용 알림 장치
KR20210014931A (ko) 스마트 글라스
KR20150055262A (ko) 모바일기기를 이용한 소리의 시각화 표시방법
CN111128180A (zh) 一种听力障碍者的辅助对话系统
KR20160079363A (ko) 청각장애인용 호출 시스템
RU198673U1 (ru) Портативное устройство распознавания речи и звуковых сигналов
KR101455830B1 (ko) 안경 및 그 제어방법
JP2016036419A (ja) 触覚情報を伝達メディアとして利用したアイウェア
KR102334091B1 (ko) 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
US20170018281A1 (en) Method and device for helping to understand an auditory sensory message by transforming it into a visual message
KR101833030B1 (ko) 청각 장애인용 알림 서비스 제공 방법 및 이를 실행하는 장치
KR20150137831A (ko) 청각장애인용 휴대 단말기 및 그 제어방법
JP2016095819A (ja) 音声表示装置
KR20200102152A (ko) 이동통신 단말기를 이용한 의사소통 도움 서비스 시스템
US20230221583A1 (en) Smart glasses to assist those who are deaf or hard of hearing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee