KR102479025B1 - 청각 장애인을 위한 가정용 소셜 로봇 장치 - Google Patents

청각 장애인을 위한 가정용 소셜 로봇 장치 Download PDF

Info

Publication number
KR102479025B1
KR102479025B1 KR1020200134966A KR20200134966A KR102479025B1 KR 102479025 B1 KR102479025 B1 KR 102479025B1 KR 1020200134966 A KR1020200134966 A KR 1020200134966A KR 20200134966 A KR20200134966 A KR 20200134966A KR 102479025 B1 KR102479025 B1 KR 102479025B1
Authority
KR
South Korea
Prior art keywords
information
sound
detection sensor
user
received
Prior art date
Application number
KR1020200134966A
Other languages
English (en)
Other versions
KR20220051866A (ko
Inventor
한재권
유호연
배종학
이현우
김민우
황지원
최수진
Original Assignee
한양대학교 에리카산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to KR1020200134966A priority Critical patent/KR102479025B1/ko
Publication of KR20220051866A publication Critical patent/KR20220051866A/ko
Application granted granted Critical
Publication of KR102479025B1 publication Critical patent/KR102479025B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

청각 장애인을 위한 가정용 소셜 로봇 장치가 개시된다. 청각 장애인을 위한 가정용 소셜 로봇 장치는 휠이 장착된 바디; 상기 바디에 결합되고 주변 사물을 감지하는 사물 감지 센서; 상기 바디에 결합되고, 주변 공간에 대한 상기 바디의 상대 위치 정보를 감지하는 위치 감지 센서; 상기 바디에 결합되고, 주변에서 발생하는 소리 정보를 감지하는 소리 감지 센서; 상기 바디에 결합되고, 상기 휠을 구동시키는 구동부; 상기 바디에 결합하고, 사용자 단말기와 통신가능한 통신부; 및 인공 지능 알고리즘을 이용하여, 상기 사물 감지 센서에서 수신된 상기 주변 사물의 정보로부터 사용자를 인지하고, 상기 위치 감지 센서로부터 수신된 상기 상대 위치 정보로부터 상기 바디의 위치 정보와 상기 사용자의 위치 정보를 인지하고, 상기 소리 감지 센서에서 수신된 상기 소리 정보를 분석하여 상기 사용자의 인지가 요구되는 알람 요청 정보인지를 판단하고, 상기 알람 요청 정보로 판단될 경우 상기 통신부를 통해 상기 소리 정보의 종류 및 발생 위치 정보를 상기 사용자 단말기에 전송하는 제어부를 포함한다.

Description

청각 장애인을 위한 가정용 소셜 로봇 장치{Home social robot for the hearing impaired}
본 발명은 청각 장애인을 위한 가정용 소셜 로봇 장치에 관한 것으로, 소리 정보를 시각적으로 표시하여 청각 장애인을 보조할 수 있는 가정용 소셜 로봇 장치를 제공한다.
청각 장애인은 소리 정보를 쉽게 인지하지 못하여 위험에 처하거나 생활에 불편함을 겪는 경우가 빈번하게 발생되고 있다. 특히 가정 내에서 발생할 수 있는 위험들은 소리 정보를 통해 즉각적으로 대응함으로써 예방할 수 있으나, 청각 정애인들은 이러한 능력이 부족하여 위험에 쉽게 처하는 문제가 발생한다.
이러한 문제를 해결하기 위하여 청각 장애인들의 생활을 보조하기 위해 다양한 기기들이 개발되고 있다. 기존의 기기들은 마이크가 장착된 센서를 집안 곳곳에 부착하고, 센서에서 측정된 소리를 청각 장애인들에게 알려준다.
이러한 부착형 기기들은 센서를 집안 곳곳에 설치해야 하는 번거로움과 부착된 기기에 대한 추가적인 관리, 그리고 유지 비용에 대한 부담으로 널리 보급이 이루어지지 못하고 있는 실정이다. 또한, 미처 예상하지 못하는 곳에서 소리가 발생할 수 있는 사각지대에 대한 염려 또한 존재하여 사용자가 신경 써야하는 부분이 다량 존재하는 한계가 있다.
본 발명은 청각 장애인에게 소리 정보의 발생을 효과적으로 전달할 수 있는 청각 장애인을 위한 가정용 소셜 로봇 장치를 제공한다.
본 발명에 따른 청각 장애인을 위한 가정용 소셜 로봇 장치는 휠이 장착된 바디; 상기 바디에 결합되고 주변 사물을 감지하는 사물 감지 센서; 상기 바디에 결합되고, 주변 공간에 대한 상기 바디의 상대 위치 정보를 감지하는 위치 감지 센서; 상기 바디에 결합되고, 주변에서 발생하는 소리 정보를 감지하는 소리 감지 센서; 상기 바디에 결합되고, 상기 휠을 구동시키는 구동부; 상기 바디에 결합하고, 사용자 단말기와 통신가능한 통신부; 및 인공 지능 알고리즘을 이용하여, 상기 사물 감지 센서에서 수신된 상기 주변 사물의 정보로부터 사용자를 인지하고, 상기 위치 감지 센서로부터 수신된 상기 상대 위치 정보로부터 상기 바디의 위치 정보와 상기 사용자의 위치 정보를 인지하고, 상기 소리 감지 센서에서 수신된 상기 소리 정보를 분석하여 상기 사용자의 인지가 요구되는 알람 요청 정보인지를 판단하고, 상기 알람 요청 정보로 판단될 경우 상기 통신부를 통해 상기 소리 정보의 종류 및 발생 위치 정보를 상기 사용자 단말기에 전송하는 제어부를 포함한다.
또한, 상기 바디에 결합하고, 상기 소리 정보의 종류를 화상으로 표시하는 디스플레이부를 더 포함할 수 있다.
또한, 상기 바디에 결합하고, 상기 사용자의 터치에 의해 조절되는 스위치부를 더 포함하되, 상기 제어부는 상기 스위치부로부터 신호가 수신되면, 상기 소리 정보의 발생 위치로 상기 바디가 이동하도록 상기 구동부를 제어할 수 있다.
또한, 상기 제어부는 상기 통신부를 통해 상기 소리 정보의 종류 및 발생 위치 정보를 상기 사용자 단말기에 전송하고, 기 설정된 시간 동안 상기 스위치로부터 신호가 수신되지 않을 경우, 상기 바디가 상기 사용자의 위치 정보에 해당하는 지점으로 이동하고, 상기 사용자의 위치 정보에 해당하는 지점에서 전진과 후퇴를 반복하도록 상기 구동부를 제어할 수 있다.
또한, 상기 바디에 장착되며, 충돌을 감지하는 충돌 감지 센서를 더 포함하되, 상기 제어부는 상기 바디가 상기 사용자의 위치 정보에 해당하는 지점에서 전진과 후퇴를 반복하는 동안, 상기 충돌 감지 센서로부터 충돌 신호를 수신하되, 상기 충돌 신호가 기 설정된 횟수로 수신되는 경우, 상기 바디의 전진 및 후퇴 이동이 중단되도록 상기 구동부를 제어할 수 있다.
본 발명에 의하면, 가정용 소셜 로봇 장치가 자율 주행으로 실내를 배회하는 동안 소리 발생을 인지하고, 소리 정보를 사용자 단말기에 전송함으로써 청각 장애인에게 소리 정보의 발생을 신속하게 인지시킬 수 있다.
또한, 본 발명에 의하면, 청각 장애인이 사용자 단말기를 통해 소리 정보를 확인하지 못한 경우, 청각 장애인의 위치로 가정용 소셜 로봇 장치가 이동하고, 청각 장애인과의 충돌로 소리 정보의 발생을 청각 장애인에게 인지시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 청각 장애인을 위한 가정용 소셜 로봇 장치를 나타내는 사시도이다.
도 2는 도 1의 청각 장애인을 위한 가정용 소셜 로봇 장치의 구성을 나타내는 블록도이다.
도 3 내지 도 5는 본 발명에 따른 가정용 소셜 로봇 장치가 청각 장애인의 생활을 보조하는 과정을 순차적으로 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.
명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 청각 장애인을 위한 가정용 소셜 로봇 장치를 나타내는 사시도이고, 도 2는 도 1의 청각 장애인을 위한 가정용 소셜 로봇 장치의 구성을 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 청각 장애인을 위한 가정용 소셜 로봇 장치(100)는 실내에서 발생하는 소리의 종류 및 발생 위치를 파악하고, 이를 청각장애인에게 전달하여 청각장애인이 소리에 대응할 수 있도록 보조한다. 청각 장애인을 위한 가정용 소셜 로봇 장치(100)는 바디(110), 사물 감지 센서(120), 위치 감지 센서(130), 소리 감지 센서(140), 충돌 감지 센서(150), 스위치부(160), 구동부(170), 통신부(180), 디스플레이부(190), 그리고 제어부(200)를 포함한다.
바디(110)는 소정 형상을 가지며, 가정용 소셜 로봇 장치(100)의 몸체를 구성한다. 실시 예에 의하면, 바디(110)는 육면체 형상을 가질 수 있다. 도면에는 도시하지 않았지만, 바디(110)의 저면에는 휠이 제공된다. 휠은 지면을 따라 굴러 바디(110)를 이동시킬 수 있고, 바디(110)의 방향을 전환시킬 수 있다.
사물 감지 센서(120)는 바디(110)의 전면에 결합한다. 사물 감지 센서(120)는 바디(110) 주변을 촬영하여 사물을 감지한다. 사물 감시 센서(120)는 바디(110)에 대한 사물의 상대적 위치 정보와 사물의 형상 정보를 감지할 수 있다. 사물 감지 센서(120)는 깊이 지각 카메라가 사용될 수 있다.
위치 감지 센서(130)는 바디(110)의 전면에 결합한다. 위치 감지 센서(130)는 주변 공간에 대한 바디(110)의 상대 위치 정보를 감지한다. 위치 감지 센서(130)는 주변 공간을 스캐닝하여 주변 공간의 3차원 정보를 획득할 수 있다.
소리 감지 센서(140)는 바디(110)와 결합하며, 주변에서 발생하는 소리 정보를 감지한다. 소리 정보는 실내에서 발생할 수 있는 다양한 소리를 포함한다. 소리 감지 센서(140)는 마이크로폰 어레이 센서가 사용될 수 있다.
충돌 감지 센서(150)는 바디(110)와 결합하며, 바디(110)의 충돌 여부를 감지한다. 충돌 감지 센서(150)는 진동 감지 센서 또는 가속도 센서가 사용될 수 있다.
스위치부(160)는 바디(110)와 결합하며, 바디(110)의 외부에 노출된다. 스위치부(160)는 사용자의 터치 또는 조작으로 스위칭 신호를 발생시킨다.
구동부(170))는 바디(110)의 내부에 제공되며, 휠을 구동시킨다.
통신부(180)는 바디(110)의 내부에 제공되며, 사용자 단말기(20)와 통신 가능하다.
디스플레이부(190)는 바디(110)의 상면에 결합하며, 소리 감지 센서(140)에서 측정된 소리 정보를 시각적으로 표시한다.
제어부(200)는 사물 감지 센서(120), 위치 감지 센서(130), 소리 감지 센서(140), 충돌 감지 센서(150), 그리고 스위치부(160)로부터 정보를 수신하고, 수신된 정보를 인공지능 알고리즘으로 분석한다.
구체적으로, 제어부(200)는 사물 감지 센서(120)로부터 바디(110) 주변의 이미지 정보를 수신하고, 이미지 정보를 분석하여 사용자의 위치 정보와 사용자의 형상 정보를 생성한다. 여기서 사용자란, 실내에서 거주하는 사람으로써, 바람직하게는 청각 장애인을 일컫는다. 실내에 다수의 사람이 거주하는 경우, 이중 청각 장애인의 형상 정보(키, 체형, 머리 스타일 등)가 초기 설정 시 데이터 저장부에 저장되고, 제어부는 수신된 이미지 정보를 분석하여 청각 장애인의 형상 정보와 일치하는 대상체를 청각 장애인으로 판단하고, 청각 장애인의 위치 정보를 생성한다.
제어부(200)는 위치 감지 센서(130)로부터 주변 공간의 3차원 정보와 바디(110)의 위치 정보를 수신한다. 제어부(200)는 주변 공간의 3차원 정보와 바디의(110) 위치 정보를 분석하여, 로봇 장치(100)의 자율 주행 경로를 산출한다.
제어부(200)는 소리 감지 센서(140)로부터 소리 정보를 수신하고, 소리 정보를 분석하여, 해당 소리가 사용자의 인지가 요구되는 알람 요청 정보인지 판단한다. 알람 요청 정보에 해당하는 소리는 사용자에 의해 미리 설정될 수 있다. 알람 요청 정보는 사용자가 해당 소리를 인지할 경우 즉각적인 조치가 요구되는 생활 속 다양한 소리 정보를 의미한다. 실시 예에 의하면, 알람 요청 정보는 물 소리, 물 끓는 소리, 아기 울음 소리, 노크 소리, 초인종 소리, 화재 알람 소리 등을 포함한다.
제어부(200)는 소리 감지 센서(140)로부터 수신된 소리 정보가 알람 요청 정보로 판단되는 경우, 로봇 장치(100)의 현재 위치 정보와, 소리 정보의 종류와 발생 위치 정보를 디스플레부(190)에 전송한다. 디스플레이부(190)는 로봇 장치(100)의 현재 위치 정보와, 소리 정보의 종류와 발생 위치 정보를 시각적으로 표시한다.
제어부(200)는 소리 감지 센서(140)로부터 수신된 소리 정보가 알람 요청 정보로 판단되는 경우, 수신된 소리 정보의 종류와 발생 위치 정보를 통신부(180)를 통해 사용자 단말기(20)에 전송한다. 사용자 단말기(20)는 스마트폰, 개인용 PC, 그리고 테블릿 PC 등을 포함하며, 문자 메시지, SNS 메시지, 웹페이지 알람 등으로 사용자 단말기(20)에 전송될 수 있다.
제어부(200)는 소리 정보의 종류와 발생 위치 정보를 사용자 단말기(20)에 전송 후, 기 설정된 시간 동안 스위치부(160)로부터 스위칭 신호가 수신되지 않은 경우, 로봇 장치(100)가 청각 장애인의 위치 정보에 해당하는 지점으로 이동하도록 구동부(170)를 제어한다. 그리고 제어부(200)는 청각 장애인의 위치 정보에 해당하는 지점으로 바디(110)가 전진 및 후퇴를 반복하도록 구동부(170)를 제어한다. 이 과정에서 바디(110)는 청각 장애인과 충돌한다. 충돌 과정에서 충돌 감지 센서(150)에 측정된 신호는 제어부(200)에 전송되며, 제어부(200)는 바디(110)의 충돌 여부 및 충돌 횟수를 산출한다. 바디(110)의 충돌 회수는 사용자에 의해 미리 설정되며, 기 설정된 회수로 바디(110)가 충돌하게 되면, 제어부(200)는 구동부(170)의 구동을 정지시킨다. 이와 달리, 제어부(200)는 스위치부(160)로부터 스위칭 신호가 수신되면, 구동부(170)의 구동을 정지시킬 수 있다. 바디(110)가 청각 장애인과 충돌하는 동안, 디스플레이부(190)에는 로봇 장치(100)의 현재 위치 정보와, 소리 정보의 종류와 발생 위치 정보가 시각적으로 표시된다.
제어부(200)는 스위치부(160)로부터 스위칭 신호가 수신되면, 소리 정보의 발생 위치 정보에 대응하는 지점으로 로봇 장치(100)가 이동하도록 구동부(170)를 제어한다.
이하, 상술한 가정용 소셜 로봇 장치가 청각 장애인의 생활을 보조하는 과정에 대해 자세하게 설명한다.
도 3 내지 도 5는 본 발명에 따른 가정용 소셜 로봇 장치가 청각 장애인의 생활을 보조하는 과정을 순차적으로 나타내는 도면이다.
도 3을 참조하면, 로봇 장치(100)는 사물 감지 센서(120)로부터 바디(110) 주변의 이미지 정보를 수신하고, 이미지 정보를 분석하여 사용자(30)의 위치 정보와 사용자(30)의 형상 정보를 생성한다. 사용자(30)의 형상 정보가 기 저장된 청각 장애인의 형상 정보와 일치하는 경우, 청각 장애인(30)의 위치 정보를 저장한다.
로봇 장치(100)는 위치 감지 센서(130)로부터 수신된 주변 공간의 3차원 정보와 바디(110)의 위치 정보를 분석하여, 자율 주행 경로(40)를 산출하고, 산출된 경로를 따라 실내 공간을 배회한다.
소리 감지 센서(140)에 주변 소리 정보(50)가 수신되면, 소리 정보(50)는 제어부(200)에 전달된다. 제어부(200)는 수신된 소리 정보(50)가 알람 요청 정보에 해당하는지 분석한다. 수신된 소리 정보(50)가 알람 요청 정보에 해당한다고 판단될 경우, 제어부(200)는 로봇 장치(100)의 현재 위치 정보, 소리 정보(50)의 종류와 소리 발생 위치 정보를 통신부(180)를 통해 사용자 단말기(20)에 전송한다.
청각 장애인(30)은 사용자 단말기(20)에 수신된 정보를 통해 소리 정보의 발생을 확인할 수 있다. 청각 장애인(30)이 사용자 단말기(20)를 통해 소리 정보를 확인하고, 스위치부(160)를 터치하거나 누를 경우, 스위칭 신호가 제어부(200)에 전송된다. 제어부(200)는 스위칭 신호가 수신되면, 로봇 장치(100)가 소리 정보의 발생 위치 정보에 해당하는 지점으로 이동하도록 구동부(170)를 제어한다. 청각 장애인(30)은 로봇 장치(100)를 따라 이동함으로써 발생된 소리 정보에 대해 즉각적인 조치를 취할 수 있다.
한편, 청각 장애인(30)이 사용자 단말기(20)에 수신된 정보를 확인하지 못할 수 있다. 제어부(200)는 로봇 장치(100)의 현재 위치 정보와, 소리 정보의 종류와 소리 발생 위치 정보를 사용자 단말기(20)에 전송 후 기 설정된 시간 동안 스위칭 신호가 발생되지 않을 경우, 청각 장애인(30)이 사용자 단말기(20)에 수신된 정보를 확인하지 못한 것으로 판단하고, 청각 장애인(30)이 위치하고 있는 지점으로 이동한다. 제어부(200)는 사물 감지 센서(120)로부터 수신된 이미지 정보를 분석하여 해당 지점에 청각 장애인(30)이 위치하고 있는 것으로 판단되면, 청각 장애인(30)의 위치 정보에 해당하는 지점으로 바디(110)가 전진 및 후퇴를 반복하도록 구동부(170)를 제어한다. 이 과정에서 바디(110)는 청각 장애인(30)과 충돌하므로, 청각 장애인(30)이 소리 정보의 발생을 인지할 수 있게 된다. 소리 정보의 발생을 인지한 청각 장애인(30)이 스위치부(160)를 터치하거나 누를 경우, 스위칭 신호가 제어부(200)에 전송된다. 제어부(200)는 스위칭 신호가 수신되면, 로봇 장치(100)가 소리 정보의 발생 위치 정보에 해당하는 지점으로 이동하도록 구동부(170)를 제어한다. 청각 장애인(30)은 로봇 장치(100)를 따라 이동함으로써 발생된 소리 정보(50)에 대해 즉각적으로 대응할 수 있다.
청각 장애인(30)이 로봇 장치(100)에 저장된 위치 정보에서 다른 지점으로 이동할 경우, 로봇 장치(100)는 자율 주행 경로(40)를 따라 이동하고, 사물 감지 센서(120)로부터 수신된 이미지 정보를 분석하여 청각 장애인(30)의 위치를 찾는다. 청각 장애인(30)이 발견되면, 청각 장애인(30)이 위치하는 지점으로 이동 후 상술한 과정으로 청각 장애인(30)와 충돌한다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
100: 청각 장애인을 위한 가정용 소셜 로봇 장치
110: 바디
120: 사물 감지 센서
130: 위치 감지 센서
140: 소리 감지 센서
150: 충돌 감지 센서
160: 스위치부
170: 구동부
180: 통신부
190: 디스플레이부
200: 제어부

Claims (5)

  1. 휠이 장착된 바디;
    상기 바디에 결합되고, 상기 바디의 주변을 촬영하여 상기 바디에 대한 주변 사물의 상대적 위치 정보와 상기 주변 사물의 형상 정보를 감지하는 사물 감지 센서;
    상기 바디에 결합되고, 주변 공간을 3차원 스캐닝하여 상기 주변 공간에 대한 상기 바디의 상대 위치 정보를 감지하는 위치 감지 센서;
    상기 바디에 결합되고, 주변에서 발생하는 소리 정보를 감지하는 소리 감지 센서;
    상기 바디에 결합하고, 상기 소리 정보의 종류를 화상으로 표시하는 디스플레이부;
    상기 바디에 결합하고, 사용자의 터치에 의해 조절되는 스위치부;
    상기 바디에 장착되며, 충돌을 감지하는 충돌 감지 센서;
    상기 바디에 결합되고, 상기 휠을 구동시키는 구동부;
    상기 바디에 결합하고, 사용자 단말기와 통신가능한 통신부; 및
    인공 지능 알고리즘을 이용하여, 상기 사물 감지 센서에서 수신된 상기 주변 사물의 형상 정보로부터 사용자를 인지하고, 상기 위치 감지 센서로부터 수신된 상기 상대 위치 정보로부터 상기 바디의 위치 정보와 상기 사용자의 위치 정보를 인지하고, 상기 소리 감지 센서에서 수신된 상기 소리 정보를 분석하여 상기 사용자의 인지가 요구되는 알람 요청 정보인지를 판단하고, 상기 알람 요청 정보로 판단될 경우 상기 통신부를 통해 상기 소리 정보의 종류 및 발생 위치 정보를 상기 사용자 단말기에 전송하는 제어부를 포함하되,
    상기 제어부는,
    상기 주변 사물의 형상 정보와 초기 설정 시 데이터 저장부에 저장된 청각 장애인의 형상 정보(키, 체형, 머리 스타일을 포함)를 비교하고 일치하는 대상체를 상기 사용자로 인지하고,
    상기 소리 감지 센서로부터 수신된 소리 정보를 분석하여 해당 소리가 사용자의 인지가 요구되는 알람 요청 정보인지 판단하고, 상기 소리 정보가 상기 알람 요청 정보에 해당할 경우 상기 소리 정보의 종류 및 발생 위치 정보를 상기 사용자 단말기에 전송 후 기 설정된 시간 동안 상기 스위치로부터 신호가 수신되지 않을 경우, 상기 바디가 상기 사용자의 위치 정보에 해당하는 지점으로 이동하고, 상기 사용자의 위치 정보에 해당하는 지점에서 전진과 후퇴를 반복하도록 상기 구동부를 제어하고,
    상기 전진과 후퇴를 반복하는 동안 상기 충돌 감지 센서로부터 충돌 신호를 수신하되, 상기 충돌 신호가 기 설정된 횟수로 수신되는 경우, 상기 바디의 전진 및 후퇴 이동이 중단되도록 상기 구동부를 제어하며,
    상기 충돌 신호가 수신되는 동안, 상기 바디의 위치 정보, 상기 소리 정보의 종류와 발생 위치 정보가 상기 디스플레이부에 표시되도록 제어하는 청각 장애인을 위한 가정용 소셜 로봇 장치.
  2. 제 1 항에 있어서,
    상기 사물 감지 센서는 깊이 지각 카메라가 사용되는 청각 장애인을 위한 가정용 소셜 로봇 장치.
  3. 제 1 항에 있어서,
    상기 제어부는 상기 스위치부로부터 신호가 수신되면, 상기 소리 정보의 발생 위치로 상기 바디가 이동하도록 상기 구동부를 제어하는 청각 장애인을 위한 가정용 소셜 로봇 장치.
  4. 삭제
  5. 삭제
KR1020200134966A 2020-10-19 2020-10-19 청각 장애인을 위한 가정용 소셜 로봇 장치 KR102479025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200134966A KR102479025B1 (ko) 2020-10-19 2020-10-19 청각 장애인을 위한 가정용 소셜 로봇 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200134966A KR102479025B1 (ko) 2020-10-19 2020-10-19 청각 장애인을 위한 가정용 소셜 로봇 장치

Publications (2)

Publication Number Publication Date
KR20220051866A KR20220051866A (ko) 2022-04-27
KR102479025B1 true KR102479025B1 (ko) 2022-12-19

Family

ID=81391124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200134966A KR102479025B1 (ko) 2020-10-19 2020-10-19 청각 장애인을 위한 가정용 소셜 로봇 장치

Country Status (1)

Country Link
KR (1) KR102479025B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012061932A1 (en) * 2010-11-12 2012-05-18 Crosswing Inc. Customizable robotic system
WO2018010006A1 (en) 2016-07-13 2018-01-18 Crosswing Inc. Mobile robot
KR102106303B1 (ko) * 2018-12-27 2020-05-04 경희대학교 산학협력단 이동형 로봇 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101758057B1 (ko) * 2015-08-03 2017-07-26 김대수 청각 장애인 부모를 위한 유아 모니터링 시스템 및 방법
KR101975384B1 (ko) * 2017-06-09 2019-05-07 (주)클래시스 독거인 관리용 로봇, 이를 이용한 독거인 관리 장치 및 독거인 관리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012061932A1 (en) * 2010-11-12 2012-05-18 Crosswing Inc. Customizable robotic system
WO2018010006A1 (en) 2016-07-13 2018-01-18 Crosswing Inc. Mobile robot
KR102106303B1 (ko) * 2018-12-27 2020-05-04 경희대학교 산학협력단 이동형 로봇 장치

Also Published As

Publication number Publication date
KR20220051866A (ko) 2022-04-27

Similar Documents

Publication Publication Date Title
JP6694442B2 (ja) 自律走行式掃除機の動作方法
KR102314637B1 (ko) 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
KR102104896B1 (ko) 로봇청소기 및 이를 이용한 휴먼 케어방법
EP1293184B1 (en) Walking auxiliary for person with dysopia
US20220032482A1 (en) Information processing device and storage medium
US20210289290A1 (en) Sound reproduction device and sound reproduction system
EP2369436B1 (en) Robot apparatus, information providing method carried out by the robot apparatus and computer storage media
JP2019510288A (ja) 盗難防止監視装置、システム及び方法
US20130338525A1 (en) Mobile Human Interface Robot
CN105844209B (zh) 基于红外辐射探测的访客识别
WO2018028200A1 (zh) 电子机器设备
CN107328408A (zh) 导盲机器狗
JP2007152470A (ja) 自己診断機能付きロボット
US20220016757A1 (en) Information processing device, information processing method, and program
KR101196973B1 (ko) 로봇을 이용한 영유아 돌보기 방법
JP4793904B2 (ja) コミュニケーションロボットシステムおよびコミュニケーションロボット
JP2006231447A (ja) 指示位置または特定物の確認方法及び座標獲得方法並びに装置
KR102479025B1 (ko) 청각 장애인을 위한 가정용 소셜 로봇 장치
JP2020168040A (ja) ロボット
KR101412793B1 (ko) 보안기능이 구비된 인형
KR100699108B1 (ko) 다기능 홈 로봇
EP3992987A1 (en) System and method for continously sharing behavioral states of a creature
KR20150009047A (ko) 청소 로봇 및 그 제어 방법
CN116481529A (zh) 导航装置
JP2006263874A (ja) コミュニケーションロボット

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant