KR101394168B1 - 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법 - Google Patents

청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법 Download PDF

Info

Publication number
KR101394168B1
KR101394168B1 KR1020130018291A KR20130018291A KR101394168B1 KR 101394168 B1 KR101394168 B1 KR 101394168B1 KR 1020130018291 A KR1020130018291 A KR 1020130018291A KR 20130018291 A KR20130018291 A KR 20130018291A KR 101394168 B1 KR101394168 B1 KR 101394168B1
Authority
KR
South Korea
Prior art keywords
impaired person
sound source
hearing impaired
hearing
face
Prior art date
Application number
KR1020130018291A
Other languages
English (en)
Inventor
정연모
김태완
박형수
조재식
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020130018291A priority Critical patent/KR101394168B1/ko
Application granted granted Critical
Publication of KR101394168B1 publication Critical patent/KR101394168B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive loop type

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Electromagnetism (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법에 관한 것으로서, 더욱 상세하게는 청각장애인의 모자에 구비된 마이크로폰 어레이를 통해 주변의 소리를 감지하고 음원방향을 산출하며, 산출된 음원방향으로 카메라를 제어하여 영상을 촬영하고, 촬영된 영상에서 얼굴이 검출될 경우 청각 장애인의 휴대용 단말기로 산출된 음원방향과 함께 촬영된 영상화면을 제공하는 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법에 관한 것이다.
본 발명은 적어도 한개 이상의 마이크로폰이 구비되어 청각장애인 주변의 소리를 인지하는 마이크로폰 어레이; 화상 카메라를 구비하여 피사체를 촬영하는 카메라모듈; 상기 청각장애인의 휴대용 단말기와 무선 근거리 통신을 담당하기 위한 통신모듈; 및 상기 마이크로폰 어레이를 통해 인지한 소리의 음원방향을 검출하고, 검출된 음원방향으로 상기 카메라모듈을 제어하여 피사체를 촬영하며, 촬영된 영상에 얼굴 검출 알고리즘을 적용하여 얼굴이 검출될 경우, 상기 검출된 음원방향 및 촬영된 얼굴 영상을 상기 통신모듈을 통해 상기 청각장애인의 휴대용 단말기로 전송하는 제어모듈을 포함하여 구성되어, 상기 청각장애인의 휴대용 단말기를 통해 상기 청각장애인을 부르는 사람의 얼굴 영상 및 음원 방향을 디스플레이하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템을 제공한다.

Description

청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법{A face information providing system and the face information providing service method for a hearing-impaired person}
본 발명은 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법에 관한 것으로서, 더욱 상세하게는 청각장애인의 모자에 구비된 마이크로폰 어레이를 통해 주변의 소리를 감지하고 음원방향을 산출하며, 산출된 음원방향으로 카메라를 제어하여 영상을 촬영하고, 촬영된 영상에서 얼굴이 검출될 경우 청각 장애인의 휴대용 단말기로 산출된 음원방향과 함께 촬영된 영상화면을 제공하는 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법에 관한 것이다.
최근 우리나라는 정보화가 급진전 되었지만 아직도 정보화 취약계층에 대한 사회적 배려는 부족한 형편이다. 특히, 장애인의 정보접근성은 비장애인의 1/3 수준에도 미치지 못하고 있는데, 장애인들이 지니고 있는 사회경제적, 인구학적 특성이 정보 및 통신의 접근에 매우 불리하게 작용하고 있다.
그러나, 그보다 더 중요한 것은 사회 경제학적, 인구학적 특성(고연령, 저학력, 저소득 등) 뿐만 아니라 장애 그 자체가 직접적으로 정보의 습득과 활용에 매우 큰 영향을 끼치고 있다는 사실이다. 정보 사회에서 정보 및 통신의 접근이 보장되지 않는다면 이미 물리적 세계에서 접근이 제한적인 장애인들은 더욱 소외되고 차별 받을 수밖에 없다. 따라서, 장애인들에게 정보와 통신에 대한 접근 방법과 기회를 제공하는 것은 이들의 소외와 차별을 해소하고 사회적 참여를 보장하기 위한 중요한 요소이다.
특히, 청각장애는 말을 이루는 소리를 듣는 청각기관에 이상이 생기거나 또는 들은 소리를 뜻 있는 말로 해석하는 중추기관에 이상이 생겨 의사소통에 지장이 있는 경우를 일컫는 것으로, 이때, 소리를 전혀 들을 수 없거나 잔존 청력이 있다 하더라도 소리만으로는 의사 소통이 불가능한 경우를 농(聾)이라 하고, 보청기와 같은 기구의 도움으로 잔존 청력을 사용하여 의사소통이 가능한 경우를 난청이라 한다.
청각 장애인에게 환경 소리의 인식 또는 음성을 통한 정보의 전달은 불가능하더라도 본인의 시야 내에서는 소리가 들리지 않아도 본인에 능력에 따라 주변의 현재 상황을 어느 정도는 파악할 수 있다. 그러나, 청각장애인을 위한 보조도구로는 주로 보청기만 이용되고 있으며, 청력손실이 심한 농에 가까운 장애인의 경우 음의 전달이 불가능한 문제점이 있다. 따라서, 가정이나 직장 등에서 자신을 호칭하는 경우에 자신을 호칭하는지 유무에 대한 변별력을 같지 못하는 등의 문제점이 있다.
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉 본 발명의 목적은, 청각장애인의 모자에 구비된 마이크로폰 어레이를 통해 주변의 소리를 감지하고 음원방향을 산출하며, 산출된 음원방향으로 카메라를 제어하여 영상을 촬영하고, 촬영된 영상에서 얼굴이 검출될 경우 청각 장애인의 휴대용 단말기로 산출된 음원방향과 함께 촬영된 영상화면을 제공하는 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 적어도 한개 이상의 마이크로폰이 구비되어 청각장애인 주변의 소리를 인지하는 마이크로폰 어레이; 화상 카메라를 구비하여 피사체를 촬영하는 카메라모듈; 상기 청각장애인의 휴대용 단말기와 무선 근거리 통신을 담당하기 위한 통신모듈; 및 상기 마이크로폰 어레이를 통해 인지한 소리의 음원방향을 검출하고, 검출된 음원방향으로 상기 카메라모듈을 제어하여 피사체를 촬영하며, 촬영된 영상에 얼굴 검출 알고리즘을 적용하여 얼굴이 검출될 경우, 상기 검출된 음원방향 및 촬영된 얼굴 영상을 상기 통신모듈을 통해 상기 청각장애인의 휴대용 단말기로 전송하는 제어모듈;을 포함하여 구성되어, 상기 청각장애인의 휴대용 단말기를 통해 상기 청각장애인을 부르는 사람의 얼굴 영상 및 음원 방향을 디스플레이하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템을 제공한다.
또한, 본 발명은 마이크로폰 어레이를 통해 청각장애인 주변의 소리를 인지하는 단계와; 인지한 소리를 분석하여 음원의 방향을 검출하는 단계와; 검출된 음원의 방향으로 카메라를 제어하여 음원방향의 피사체를 촬영하는 단계와; 촬영된 영상에 얼굴 검출 알고리즘을 적용하는 단계; 및 촬영된 영상에서 얼굴이 검출될 경우, 검출된 음원방향과 촬영한 얼굴 영상을 청각장애인의 휴대용 단말기로 전송하는 단계;를 포함하여 구성되는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 서비스 방법을 제공한다.
본 발명에 따른 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법은, 청각장애인의 주변에서 발생하는 소리를 분석하여 해당 음원방향으로 카메라를 제어하여 촬영하며, 얼굴 검출 기능을 통해 사물과 사람의 목소리를 구분하고, 사람의 목소리일 경우 청각장애인의 휴대용 단말기에 음원방향과 얼굴정보를 디스플레이 함으로써, 청각장애인이 자신을 부르는 사람 및 그 사람이 위치한 방향을 정확하게 인지할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 얼굴 정보 제공 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 모자에 장착된 마이크로폰 어레이의 예시도.
도 3은 본 발명의 일실시예에 따른 얼굴 정보 제공 서비스 방법을 나타내는 순서도.
도 4는 본 발명의 일실시예에 따른 얼굴 정보 제공 화면의 예시도.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 얼굴 정보 제공 시스템의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 얼굴 정보 제공 시스템(100)은 무선 근거리 통신망을 통해 청각장애인의 휴대용 단말기(200)와 연결되며, 청각장애인 주변에서 발생하는 소리를 인지하여 소리가 발생된 지점의 음원방향을 검출하고, 검출된 음원방향으로 카메라를 제어하여 피사체를 촬영하며, 촬영된 영상에서 얼굴 검출을 수행하여 사람의 목소리인지, 사물의 목소리인지 판단하고, 사람의 목소리로 판단된 경우 해당 음원방향 및 검출된 얼굴영상을 청각장애인의 휴대용 단말기(200)로 전송한다.
이에 따라, 청각장애인은 자신의 휴대용 단말기(200)를 통해 자신의 주변에서 자신을 부르는 사람 및 그 사람이 위치한 방향을 정확하게 인지할 수 있게 된다.
본 발명의 휴대용 단말기(200)는, 얼굴 정보 제공 시스템(100)과 무선 근거리 통신이 가능한 휴대용 컴퓨터 장치로서, 노트북, 이동통신 단말기, PDA(Personal Digital Assistant) 등을 포함한다. 또한, 본 발명에 따른 휴대용 단말기(200)는 얼굴 정보 제공 시스템으로부터 전송받은 음원방향 및 검출된 얼굴영상을 디스플레이하고, 이를 제어할 수 있는 전용 어플리케이션이 설치되어 있는 것이 바람직하다. 더불어, 휴대용 단말기(200)는 얼굴 정보 제공 시스템(100)으로부터 전송받은 음원방향 및 검출된 얼굴영상을 디스플레이할 경우 별도의 진동을 통해 휴대용 단말기(200)를 보고 있지 않은 청각장애인에게 이를 인지시킬 수도 있다.
무선 근거리 통신망은 WiFi, 지그비(Zig-Bee), 적외선 통신(Infrared Radiation), 블루투스(Bluetooth), 펨토셀 등과 같은 다양한 무선 근거리 통신 방식을 사용할 수 있으며, 본 발명에서는 블루투스를 이용한 무선 근거리 통신망을 사용하는 것이 바람직하다. 이를 위해, 청각장애인의 휴대용 단말기(200) 내에는 무선 근거리 통신망 전용 칩이 장착되며, 동시에 일정범위의 무선 근거리 통신망을 형성하여 휴대용 단말기가 해당 범위에 포착되면 무선 근거리 통신을 가능하도록 하기 위해 얼굴 정보 제공 시스템(100) 내에도 무선 근거리 통신망 전용 칩이 구비된다.
얼굴 정보 제공 시스템(100)은 청각장애인 주변에서 발생하는 소리를 인지하여 소리가 발생된 지점의 음원방향을 검출하고, 검출된 음원방향으로 카메라를 제어하여 피사체를 촬영하며, 촬영된 영상에서 얼굴 검출을 수행하여 사람의 목소리인지, 사물의 목소리인지 판단하고, 사람의 목소리로 판단된 경우 해당 음원방향 및 검출된 얼굴정보를 청각장애인의 휴대용 단말기(100)로 전송한다. 이를 위해, 얼굴 정보 제공 시스템은 마이크로폰 어레이(110)와, 카메라 모듈(120), 제어모듈(130) 및 통신모듈(140)을 포함하여 구성된다.
마이크로폰 어레이(110)는 청각장애인 주변의 소리를 인지하여 소리가 발생된 지점의 음원방향을 검출하기 위한 수단으로서, 제어모듈(130)은 음성인식 기술 및 음원국지화기술을 이용하여 마이크로폰 어레이(110)를 통해 들어온 신호를 분석하여 소리발생의 유/무 및 음원의 방향을 검출한다. 이러한 음성인식 기술 및 음원국지화 기술은, 이미 넓게 쓰이고 있는 음성 인식 기술로 여기에서는 그에 대한 상세한 설명은 생략하기로 한다.
이와 같이, 본 발명에서는 마이크로폰 어레이(110)를 통해 청각장애인 주변의 소리를 인식하고, 소리의 음원 방향을 검출하는데 이를 위해 청각장애인이 착용 가능한 모자에 다수의 마이크로폰이 설치된다. 이러한 마이크로폰의 설치는 청각장애인이 착용한 모자를 중심으로 음원 존재 가능 영역을 각각 나누고, 각각의 영역을 인식할 수 있도록 마이크로폰을 설치한다. 예를 들어, 도 2에 도시된 바와 같이, 모자의 상부 꼭지점을 중심으로 음원 존재 가능 영역을 8(A~H)개로 가정하였을 경우, 모자의 상부 꼭지점을 중심으로 4개의 마이크로 폰을 십자 형상으로 모자의 전방(MF), 후방(MB), 좌측(ML) 및 우측(MR)에 배치함으로써, 각각의 영역을 4개의 마이크로폰을 이용하여 인식할 수 있도록 구현할 수 있다. 이에 따라, 청각장애인이 어떠한 방향을 향해 서있든 상관없이 청각장애인이 위치한 방향을 중심으로 음원방향 정보 제공이 가능하다.
또한, 청각장애인의 주변에 사람이 혼잡할 경우에는 모든 소리에 대한 검출 및 이를 촬영하는 오작동을 방지하기 위하여, 음성인식 기술을 통해 마이크로폰 어레이를 기 설정된 특정 단어에만 반응하여 청각장애인을 호칭한 사람의 음원 방향을 검출시키도록 구현할 수도 있으며, 청각장애인의 주변 환경에 따라 기 설정된 소리크기(db) 이상으로 인지될 때에만 마이크로폰 어레이가 반응하도록 구현될 수도 있다.
카메라 모듈(120)은 검출된 음원방향의 피사체를 촬영하도록 화상 카메라가 구비되며, 상술한 마이크로폰 어레이(110)를 통해 검출된 음원방향으로 카메라가 이동 또는 회전하여 피사체를 촬영할 수 있도록 제어모듈(130)에 의해 제어가능 하도록 구성된다.
통신모듈(140)은 청각장애인의 휴대용 단말기(200)와 무선 근거리 통신을 수행하기 위한 네트워크 인터페이스를 제공하며, 카메라 모듈(120)을 통해 촬영되는 영상 및 마이크로폰 어레이(110)를 통해 검출된 음원방향을 청각장애인의 휴대용 단말기(200)로 실시간 전송한다.
제어모듈(130)은 마이크로폰 어레이(110)를 통해 청각장애인 주변에서 발생하는 소리를 인지하여 음원 방향을 검출하고, 검출된 음원 방향으로 카메라모듈(120)을 제어하여 피사체를 촬영한다. 이때, 촬영된 영상에 얼굴 검출 알고리즘을 적용하여 얼굴이 검출되었을 경우, 제어모듈(130)은 검출된 음원방향 정보 및 촬영된 영상을 캡쳐하여 통신모듈(140)을 통해 청각장애인의 휴대용 단말기(200)로 전송한다.
본 발명에 따른 얼굴 정보 제공 시스템은 청각장애인이 언제 어디서든 휴대가 가능하며, 장착 및 탈착이 용이하도록 구성되는 것이 바람직하다. 이를 위해, 본 발명에 따른 얼굴 정보 제공 시스템은 청각장애인이 착용 가능한 모자에 장착 및 내장될 수 있다. 즉, 4개의 마이크로폰이 모자의 전방, 후방, 좌측 및 우측에 배치되어 청각장애인을 중심으로 360°의 주변 음원을 인식하며, 검출된 음원방향으로 이동 및 회전이 가능한 카메라가 모자의 상부에 구비되고, 제어모듈 및 근거리 통신망 칩이 모자 내측에 장착되어 구성될 수 있다.
또한, 다수의 마이크로폰은 모자에 배치되고, 검출된 음원방향으로 이동 및 회전이 가능한 카메라와 근거리 통신망 칩 및 제어모듈은 별도의 벨트 또는 멜빵 후방에 장착되어 구성될 수도 있다.
도 3은 본 발명의 일실시예에 따른 얼굴 정보 제공 서비스 방법을 나타낸 순서도이다.
먼저, 제어모듈은 마이크로폰 어레이를 통해 청각장애인 주변에서 소리를 인지할 경우(S210), 마이크로폰을 통해 들어온 신호를 분석하여 음원의 방향을 검출한다(S220). 이어서, 제어모듈은 검출된 음원의 방향으로 카메라모듈을 제어하여 촬영하며(S230), 촬영된 영상에 얼굴 검출 알고리즘을 적용하여 얼굴이 검출되는지 판단한다(S240).
이때, 제어모듈은 얼굴이 검출될 경우(S250) 검출된 음원 방향과 촬영된 영상화면을 캡쳐하여 통신모듈을 통해 무선 근거리 통신으로 청각장애인의 휴대용 단말기로 전송하며(S260), 청각장애인의 휴대용 단말기는 이를 전송받아 검출된 음원 방향과 영상화면을 청각장애인이 인지할 수 있도록 디스플레이한다. 이때, 검출된 음원 방향은 청각장애인이 인지하기 쉽도록 도 4에 도시된 바와 같이 소리방향에 따른 화살표로 표시되는 것이 바람직하다.
상술한 바와 같이, 본 발명에 따른 얼굴 정보 제공 서비스를 이용하는 청각장애인은, 자신의 휴대용 단말기를 통해 자신의 주변에서 자신을 호칭하는 사람 및 그 사람이 위치한 방향을 정확하게 인지하여, 그에 따른 대응을 수행할 수 있게 된다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 취한, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.
100 : 얼굴 정보 제공 시스템 110 : 마이크로폰 어레이
120 : 카메라 모듈 130 : 제어모듈
140 : 통신모듈 200 : 휴대용 단말기

Claims (15)

  1. 청각장애인의 휴대용 단말기와 무선 근거리 통신으로 연결되어 얼굴 정보를 제공하는 얼굴 정보 제공 시스템에 있어서,
    적어도 한개 이상의 마이크로폰이 구비되어 청각장애인 주변의 소리를 인지하는 마이크로폰 어레이;
    화상 카메라를 구비하여 피사체를 촬영하는 카메라모듈;
    상기 청각장애인의 휴대용 단말기와 무선 근거리 통신을 담당하기 위한 통신모듈; 및
    상기 마이크로폰 어레이를 통해 인지한 소리의 음원방향을 검출하고, 검출된 음원방향으로 상기 카메라모듈을 제어하여 피사체를 촬영하며, 촬영된 영상에 얼굴 검출 알고리즘을 적용하여 얼굴이 검출될 경우, 상기 검출된 음원방향 및 촬영된 얼굴 영상을 상기 통신모듈을 통해 상기 청각장애인의 휴대용 단말기로 전송하는 제어모듈;
    을 포함하여 구성되어,
    상기 청각장애인의 휴대용 단말기를 통해 상기 청각장애인을 부르는 사람의 얼굴 영상 및 음원 방향을 디스플레이하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  2. 제 1항에 있어서,
    무선 근거리 통신은,
    블루투스 방식을 이용하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  3. 제 1항에 있어서,
    상기 마이크로폰 어레이는,
    착용가능한 모자에 구비되는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  4. 제 3항에 있어서,
    상기 마이크로폰 어레이는,
    모자의 상부 꼭지점을 중심으로 4개의 마이크로 폰을 십자 형상으로 모자의 전방, 후방, 좌측 및 우측에 배치하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  5. 제 1항에 있어서,
    상기 카메라 모듈은,
    착용가능한 모자의 상부 외측에 구비되며,
    상기 통신모듈 및 제어모듈은,
    상기 모자의 내측에 구비되는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  6. 제 1항에 있어서,
    상기 카메라 모듈, 통신모듈 및 제어모듈은,
    벨트 또는 맬빵 후방에 장착되는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  7. 제 1항에 있어서,
    상기 마이크로폰 어레이는,
    기 설정된 단어에만 반응하여 소리를 인지하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  8. 제 1항에 있어서,
    상기 마이크로폰 어레이는,
    기 설정된 소리크기 이상일 때 소리를 인지하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  9. 제 1항에 있어서,
    상기 카메라 모듈은,
    상기 검출된 음원방향의 피사체를 촬영하도록 제어모듈에 의해 카메라가 이동 또는 회전할 수 있도록 구성되는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  10. 제 1항에 있어서,
    상기 제어모듈은,
    상기 촬영된 얼굴 영상을 캡쳐하여 상기 청각장애인의 휴대용 단말기로 전송하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 시스템.
  11. 청각장애인의 휴대용 단말기와 무선 근거리 통신으로 얼굴 정보 제공 시스템을 이용하여 얼굴 정보를 제공하는 서비스 방법에 있어서,
    마이크로폰 어레이를 통해 청각장애인 주변의 소리를 인지하는 단계와;
    인지한 소리를 분석하여 음원의 방향을 검출하는 단계와;
    검출된 음원의 방향으로 카메라를 제어하여 음원방향의 피사체를 촬영하는 단계와;
    촬영된 영상에 얼굴 검출 알고리즘을 적용하는 단계; 및
    촬영된 영상에서 얼굴이 검출될 경우, 검출된 음원방향과 촬영한 얼굴 영상을 청각장애인의 휴대용 단말기로 전송하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 서비스 방법.
  12. 제 11항에 있어서,
    상기 청각장애인 주변의 소리를 인지하는 단계에서는,
    기 설정된 단어에만 반응하여 소리를 인지하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 서비스 방법.
  13. 제 11항에 있어서,
    상기 청각장애인 주변의 소리를 인지하는 단계에서는,
    기 설정된 소리크기 이상일 경우에만 반응하여 소리를 인지하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 서비스 방법.
  14. 제 11항에 있어서,
    상기 검출된 음원방향과 촬영한 얼굴 영상을 청각장애인의 휴대용 단말기로 전송하는 단계에서는,
    촬영한 얼굴 영상을 캡쳐하여 청각장애인의 휴대용 단말기로 전송하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 서비스 방법.
  15. 제 11항에 있어서,
    상기 검출된 음원방향과 촬영한 얼굴 영상을 청각장애인의 휴대용 단말기로 전송하는 단계에서는,
    상기 검출된 음원방향이 음원방향에 따른 화살표로 표시될 수 있도록 전송하는 것을 특징으로 하는 청각장애인을 위한 얼굴 정보 제공 서비스 방법.
KR1020130018291A 2013-02-20 2013-02-20 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법 KR101394168B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130018291A KR101394168B1 (ko) 2013-02-20 2013-02-20 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130018291A KR101394168B1 (ko) 2013-02-20 2013-02-20 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법

Publications (1)

Publication Number Publication Date
KR101394168B1 true KR101394168B1 (ko) 2014-05-15

Family

ID=50893863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018291A KR101394168B1 (ko) 2013-02-20 2013-02-20 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법

Country Status (1)

Country Link
KR (1) KR101394168B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097561A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Electronic device for controlling microphone parameter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198656A (ja) 2002-12-17 2004-07-15 Japan Science & Technology Agency ロボット視聴覚システム
KR20070096028A (ko) * 2005-01-21 2007-10-01 로렌스 케이츠 청각장애인을 위한 관리 및 보조 시스템
KR101031113B1 (ko) 2010-04-06 2011-04-25 한국기계연구원 초소형 마이크로폰 기반 청각 보조장치
KR20110103726A (ko) * 2010-03-15 2011-09-21 한국표준과학연구원 감성정보를 포함하는 청각장애인용 안내 시스템 및 그를 이용한 안내방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198656A (ja) 2002-12-17 2004-07-15 Japan Science & Technology Agency ロボット視聴覚システム
KR20070096028A (ko) * 2005-01-21 2007-10-01 로렌스 케이츠 청각장애인을 위한 관리 및 보조 시스템
KR20110103726A (ko) * 2010-03-15 2011-09-21 한국표준과학연구원 감성정보를 포함하는 청각장애인용 안내 시스템 및 그를 이용한 안내방법
KR101031113B1 (ko) 2010-04-06 2011-04-25 한국기계연구원 초소형 마이크로폰 기반 청각 보조장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018097561A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Electronic device for controlling microphone parameter
US10321227B2 (en) 2016-11-25 2019-06-11 Samsung Electronics Co., Ltd. Electronic device for controlling microphone parameter

Similar Documents

Publication Publication Date Title
US9491553B2 (en) Method of audio signal processing and hearing aid system for implementing the same
US11825012B2 (en) Server, client terminal, control method, and storage medium
WO2017181769A1 (zh) 一种人脸识别方法、装置和系统、设备、存储介质
JP4870130B2 (ja) イア・バイオメトリックスを使用してハンドヘルド・オーディオ・デバイス（ｈａｎｄｈｅｌｄａｕｄｉｏｄｅｖｉｃｅ）を設定する方法および装置
CN107408028A (zh) 信息处理设备、控制方法以及程序
KR20130118510A (ko) 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법
KR101421046B1 (ko) 안경 및 그 제어방법
TWI706270B (zh) 身分識別方法、裝置和電腦可讀儲存媒體
WO2022193989A1 (zh) 电子设备的操作方法、装置和电子设备
CN109061903B (zh) 数据显示方法、装置、智能眼镜及存储介质
KR102047988B1 (ko) 시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법
KR20160008448A (ko) 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
TW201521415A (zh) 通訊裝置及其來電管理方法
KR20160015142A (ko) 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램
KR101569880B1 (ko) 영상 신호 생성을 위한 웨어러블 장치 및 그 제어를 위한 시스템
KR101394168B1 (ko) 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법
KR20130131511A (ko) 시각 장애인용 안내장치
KR20160011302A (ko) 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법
KR20150083614A (ko) 방문자 감시장치 및 이를 포함한 방문자 알림 서비스 시스템 및 그 방법
KR20110137469A (ko) 얼굴 검출을 이용한 지능형 영상출입장치 및 그 출입제어방법
JP7360775B2 (ja) スマートグラス、プログラム及び表示制御方法
KR101720762B1 (ko) 장애인용 홈네트워크 시스템
US20230046710A1 (en) Extracting information about people from sensor signals
CN111325083B (zh) 记录考勤信息的方法和装置
KR20170040974A (ko) 상체 보호용 재킷을 이용한 시각장애인 보호시스템

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee