KR102637180B1 - 시각 장애인용 안내 시스템 - Google Patents

시각 장애인용 안내 시스템 Download PDF

Info

Publication number
KR102637180B1
KR102637180B1 KR1020220061057A KR20220061057A KR102637180B1 KR 102637180 B1 KR102637180 B1 KR 102637180B1 KR 1020220061057 A KR1020220061057 A KR 1020220061057A KR 20220061057 A KR20220061057 A KR 20220061057A KR 102637180 B1 KR102637180 B1 KR 102637180B1
Authority
KR
South Korea
Prior art keywords
mobile terminal
visually impaired
handle
unit
cane
Prior art date
Application number
KR1020220061057A
Other languages
English (en)
Other versions
KR20230161587A (ko
Inventor
김동한
김태현
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020220061057A priority Critical patent/KR102637180B1/ko
Publication of KR20230161587A publication Critical patent/KR20230161587A/ko
Application granted granted Critical
Publication of KR102637180B1 publication Critical patent/KR102637180B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B3/00—Sticks combined with other objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/068—Sticks for blind persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01F—MAGNETS; INDUCTANCES; TRANSFORMERS; SELECTION OF MATERIALS FOR THEIR MAGNETIC PROPERTIES
    • H01F7/00—Magnets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0119—Support for the device
    • A61H2201/0153—Support for the device hand-held
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0157—Constructive details portable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5097—Control means thereof wireless

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Vascular Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명의 실시예는 시각 장애인용 보행 보조수단인 지팡이에 방향 전환이 자유로운 촬영부를 구비하고 사용자의 이동 단말기와 서버를 통해 촬영된 정보를 공유하여 촬영부로부터 촬영된 영상으로부터 장애물의 존재 여부에 대한 정확한 정보를 시각 장애인에게 신속하게 전달할 수 있는 시각 장애인용 안내 시스템을 제공하기 위한 것이다. 본 발명의 실시예에 따른 시각 장애인용 안내 시스템은 길이방향을 따라 길게 구비되며, 상부에 손잡이부가 구비된 지팡이, 손잡이부의 일측에 회동 결합구조로 구비되는 조절부, 조절부의 일측에 결합되어 조절부의 회동 움직임에 연동되며, 지팡이 주변의 장애물 정보와 관련된 영상을 촬영하는 촬영부, 촬영부에 통신 연결되어 촬영부로부터 촬영된 영상 신호를 공급받는 이동 단말기, 그리고 이동 단말기와 통신 연결되어 촬영부로부터 전달된 장애물 정보를 산출하며, 산출된 장애물 정보에 따른 처리 데이터와 이를 기초로 생성된 보행 안내 신호를 이동 단말기에 전달하는 서버를 포함한다.

Description

시각 장애인용 안내 시스템{GUIDING SYSTEM FOR VISUALLY IMPAIRED PERSON}
본 발명은 시각 장애인용 안내 시스템에 관한 것이다.
일반적으로, 시각 장애인들은 주변 환경에 대한 정보를 얻기 어려워 보행이 제한되며, 장애물 등 위험요소에 대해 대처가 어렵다. 이러한 시각장애인들의 불편함을 해소하기 위해 보행 보조수단인 지팡이가 시각 장애인들에게 도움을 제공한다. 그러나, 지팡이를 통해 장애물과 지형의 변화에 적절한 대응을 제공하지는 못하는 어려움이 있다.
최근에는 이와 같은 문제점을 해결하고자 카메라와 방향 센서 등을 이용하여 시각 장애인의 장애물 인식을 보조하는 장치가 개발되고 있다. 예를 들어, 기존의 지팡이에 카메라 등의 추가적인 센서를 부착하고 있으나 대부분이 지팡이의 손잡이에 고정된 형태라는 점에서 한계가 있다. 이와 같이, 종래 기술은 주로 고정된 카메라에 의해 획득된 영상 등을 기초로 장애물의 존재 여부를 인식하여 획득된 영상만으로 장애물의 존재 여부를 확실하게 인식하기 어려우며, 시각 장애인 주변의 장애물과 지형의 변화에 대한 정확한 정보를 제공할 수 있는 기술개발이 요구되고 있다.
본 발명의 실시예는 시각 장애인용 보행 보조수단인 지팡이에 방향 전환이 자유로운 촬영부를 구비하고 사용자의 이동 단말기와 서버를 통해 촬영된 정보를 공유하여 촬영부로부터 촬영된 영상으로부터 장애물의 존재 여부에 대한 정확한 정보를 시각 장애인에게 신속하게 전달할 수 있는 시각 장애인용 안내 시스템을 제공하기 위한 것이다.
본 발명의 실시예에 따른 시각 장애인용 안내 시스템은 길이방향을 따라 길게 구비되며, 상부에 손잡이부가 구비된 지팡이, 손잡이부의 일측에 회동 결합구조로 구비되는 조절부, 조절부의 일측에 결합되어 조절부의 회동 움직임에 연동되며, 지팡이 주변의 장애물 정보와 관련된 영상을 촬영하는 촬영부, 촬영부에 통신 연결되어 촬영부로부터 촬영된 영상 신호를 공급받는 이동 단말기, 그리고 이동 단말기와 통신 연결되어 촬영부로부터 전달된 장애물 정보를 산출하며, 산출된 장애물 정보에 따른 처리 데이터와 이를 기초로 생성된 보행 안내 신호를 이동 단말기에 전달하는 서버를 포함한다.
조절부는 구형상으로 구비되어 손잡이부에 일부 회동 결합되는 회동부, 회동부의 일측에 연결되어 촬영부가 내측에 안착 결합되도록 적어도 일측이 개구된 형상으로 형성되는 결합부, 그리고 회동부의 타측에서 일측이 결합부와 미리 설정된 경사각도를 갖고 손잡이부의 일면으로부터 상향 경사지게 연결되며, 타측으로 전달된 외력을 회동부로 전달하는 파지부를 포함할 수 있다.
손잡이부는 회동부의 일부가 볼 조인트 결합구조로 안착되도록 안착홈을 갖고 손잡이부의 일면으로부터 돌출 형성되는 지지부를 더 포함할 수 있다.
회동부와 안착홈은 자석 결합구조로 결합될 수 있다.
촬영부는 깊이 카메라(Depth Camera)를 포함할 수 있다.
시각 장애인이 보행 시에 사용하는 지팡이를 이동 단말기와 연동되어 보행보조 안내가 가능하며 한 손으로 방향을 제어 가능한 촬영부가 탑재되도록 개선하여 보다 다양한 환경에서 높은 정확성을 지니고 시각 장애인의 보행을 보조할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 시각 장애인용 안내 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 조절부가 지팡이에 회동 연결구조로 결합된 상태를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 조절부와 지팡이의 분리된 상태를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 촬영부와 이동 단말기의 연결된 상태를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 촬영부를 통해 촬영된 영상을 기초로 산출된 데이터를 화면상에 표시한 상태를 도시한 도면이다.
여기서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도 1은 본 발명의 실시예에 따른 시각 장애인용 안내 시스템을 도시한 도면이며, 도 2는 본 발명의 실시예에 따른 조절부가 지팡이에 회동 연결구조로 결합된 상태를 도시한 도면이고, 도 3은 본 발명의 실시예에 따른 조절부와 지팡이의 분리된 상태를 도시한 도면이다. 도 4는 본 발명의 실시예에 따른 촬영부와 이동 단말기의 연결된 상태를 도시한 도면이며, 도 5는 본 발명의 실시예에 따른 촬영부를 통해 촬영된 영상을 기초로 산출된 데이터를 화면상에 표시한 상태를 도시한 도면이다. 도 1 내지 도 5를 참조하면, 본 발명의 실시예에 따른 시각 장애인용 안내 시스템은 지팡이(100), 조절부(110), 촬영부(120), 이동 단말기(200), 서버(300)를 포함하며, 시각 장애인용 보행 보조수단인 지팡이(100)에 방향 전환이 자유로운 촬영부(120)를 구비하고 사용자의 이동 단말기(200)와 서버(300)를 통해 촬영된 정보를 공유하여 촬영부(120)로부터 촬영된 영상으로부터 장애물의 존재 여부에 대한 정확한 정보를 시각 장애인에게 신속하게 전달할 수 있다.
지팡이(100)는 길이방향을 따라 길게 구비되며, 본체(102)의 상부에 손잡이부(104)가 구비될 수 있다. 지팡이(100)는 이동 단말기(200)와 연동되어 보행보조 안내가 가능하며 사용자가 한 손으로 방향 제어 가능한 촬영부(120)가 탑재될 수 있다. 지팡이(100)는 시각 장애인용 흰 지팡이를 포함한다.
조절부(110)는 회동부(114), 결합부(112), 파지부(116)를 포함하며, 손잡이부(104)의 일측에 회동 결합구조로 구비될 수 있다. 회동부(114)는 구형상으로 구비되어 손잡이부(104)에 일부 회동 결합될 수 있다. 회동부(114)는 볼 조인트 결합구조를 포함할 수 있다. 즉, 조절부(110)와 손잡이부(104)가 볼 조인트 결합구조로 결합되어 촬영부(120)의 방향을 사용자가 원하는 방향으로 자유롭게 변경할 수 있다. 손잡이부(104)는 회동부(114)의 일부가 볼 조인트 결합구조로 안착되도록 안착홈(106a)을 갖고 손잡이부(104)의 일면으로부터 돌출 형성되는 지지부(106)를 더 포함할 수 있다. 여기서, 회동부(114)와 안착홈(106a)은 볼 조인트의 결합구조 이외에 자석 결합구조를 포함할 수 있다. 즉, 회동부(114)와 안착홈(106a)은 자석 결합구조로 결합될 수 있다. 자석 결합구조는 적어도 볼 조인트 결합되는 안착홈(106a) 또는 회동부(114)의 표면이 자성체로 형성될 수 있다. 지지부(106)의 일면에서 회동부(114)의 하부와 대응되는 면에 오목하게 구비되는 안착홈(106a)에는 자력 결합에 반응하는 회동부(114)의 볼 조인트 부분을 선택적으로 용이하게 탈부착시키기 위한 자성체 결합구조가 구비될 수 있다.
안착홈(106a)과 회동부(114)는 자석과　자석 또는　자석과 금속 구조의 선택적인 조합으로 구비되어 자력을 이용한 분리 결합구조를 다양한 형태로 형성할 수 있다. 예를 들어, 안착홈(106a)의 표면에 자석이 구비되고 회동부(114)에 금속이 구비되면, 회동부(114)를 안착홈(106a)에 선택적으로 탈부착하여 회동 움직임을 지지할 수 있다. 그리고 회동부(114)가 안착홈(106a)의 내면에 결합된 상태에서 사용자의 조작 편의성이 더 개선될 수 있다.
한편, 안착홈(106a)의 내면에 탄성을 갖고 결합되어 회동부(114)를 일부 감싸는 형상의 부시를 더 포함할 수 있다. 이러한 경우, 안착홈(106a)의 재질과 부시의 재질은 서로 다르게 형성될 수 있다. 예를 들어, 안착홈(106a)의 재질은 비자성체로 형성될 수 있다. 그리고 부시는 자성체 또는 금속 재질로 구비될 수 있다.
회동부(114)에 자성체가 결합되는 경우, 회동부(114)의 외면에 자성체가 코팅형태로 구비될 수 있다. 그리고 회동부(114) 내부에 자석이 구비될 수도 있다.
또한, 안착홈(106a)과 회동부(114)는 자체 탄성을 갖고 억지 끼워맞춤 구조로 결합될 수 있다. 필요에 따라 안착홈(106a)은 적절한 간격을 갖는 절개구조로 구비되어 회동부(114)가 안착홈(106a)에 결합되거나 또는 회동부(114)가 안착홈(106a)으로부터 분리되는 경우, 안착홈(106a)의 내부가 외측으로 확장될 수 있다. 이와는 달리, 회동부(114)가 안착홈(106a)에 결합된 상태에서 안착홈(106a)의 내부가 외측으로 확장된 상태에서 다시 내측으로 수축되어 회동부(114)의 결합된 상태를 보다 견고하게 지지할 수 있다.
결합부(112)와 손잡이부(104) 사이에 연결부가 구비될 수 있다. 여기서, 연결부는 탄성을 갖는 스프링이 포함될 수 있다. 결합부(112)와 손잡이부(104) 사이에 연결부가 구비되어 회동부(114)의 회동시 회동부(114)의 이탈을 방지하며 결합부(112)의 움직임을 더 안정되게 지지할 수 있다. 그리고 파지부(116)와 손잡이부(104) 사이에도 연결부가 구비될 수 있다. 파지부(116)와 손잡이부(104) 사이에 연결부가 구비되어 회동부(114)의 회동시 회동부(114)의 이탈을 방지하며 파지부(116)의 움직임을 더 안정되게 지지할 수 있다. 또한, 파지부(116)의 조작이 완료된 상태에서 사용자가 파지부(116)에서 손가락을 떼면 파지부(116)에 가해지는 외력이 제거됨에 따라 결합부(112)와 손잡이부(104) 사이, 그리고 파지부(116)와 손잡이부(104) 사이에 각각 구비되는 연결부의 탄성 복원력으로 조절부(110)가 제자리에 용이하게 위치될 수 있다.
결합부(112)는 회동부(114)의 일측에 연결되어 촬영부(120)가 내측에 안착 결합되도록 적어도 일측이 개구된 형상으로 형성될 수 있다. 촬영부(120)는 결합부(112)의 개구된 전방을 주시하고 결합부(112)의 내측에서 안전하게 보호되면서 외부 영상을 촬영할 수 있다. 결합부(112)는 회동부(114)의 일측에서 일측이 회동부(114)와 미리 설정된 경사각도를 갖고 손잡이부(104)의 일면으로부터 상향 경사지게 연결될 수 있다. 촬영부(120)는 손잡이부(104)로부터 상향 경사진 상태를 유지하면서 지팡이(100)의 전방을 향하도록 경사지게 구비될 수 있다. 결합부(112)는 지팡이(100)의 손잡이부(104)에 회동부(114)로 연결되며, 촬영부(120)는 결합부(112)에 구비되어 촬영방향을 자유롭게 조절할 수 있다. 촬영부(120)는 지팡이(100)와 볼 조인트 구조의 회동부(114)를 통해서 연결되며, 촬영부(120)의 방향을 제어하기 쉽도록 회동부(114)에 파지부(116)가 결합될 수 있다.
파지부(116)는 회동부(114)의 타측에서 일측이 결합부(112)와 미리 설정된 경사각도를 갖고 손잡이부(104)의 일면으로부터 상향 경사지게 연결되며, 타측으로 전달된 외력을 회동부(114)로 전달할 수 있다.
상기한 바와 같이 안착홈(106a)에 회동부(114)가 결합되고, 회동부(114)에 연결된 결합부(112)에 촬영부(120)가 지지된다. 이러한 상태에서 사용자는 지지부(106)에 회동 결합된 조절부(110)의 파지부(116)를 한손으로 쉽게 방향 조절하여 결합부(112)에 지지된 촬영부(120)의 촬영방향을 용이하게 조절할 수 있다. 촬영부(120)는 조절부(110)의 일측에 결합되어 조절부(110)의 회동 움직임에 연동되며, 지팡이(100) 주변의 장애물 정보와 관련된 영상을 촬영할 수 있다. 촬영부(120)는 깊이 카메라(Depth Camera)를 포함할 수 있다. 촬영부(120)는 인텔(Intel)의 리얼센스(Realsense) D435 모델의 깊이 카메라를 포함할 수 있다. 촬영부(120)에는 통신모듈이 구비되어 지팡이(100)와 이동 단말기(200), 서버(300) 또는 관제 센터와 시각 장애인용 안내와 관련된 데이터를 통신망을 통해 송수신할 수 있다. 여기서, 통신망은 인터넷 등의 유선 통신망 또는 이동통신 등의 무선 통신망을 포함할 수 있다.
이동 단말기(200)는 촬영부(120)에 통신 연결되어 촬영부(120)로부터 촬영된 영상 신호를 공급받을 수 있다. 이동 단말기(200)는 스마트폰을 포함할 수 있다. 도 4는 본 발명의 실시예에 따른 촬영부(120)와 이동 단말기(200)의 연결된 상태를 도시한 도면이다. 도 4를 참조하면, 촬영부(120)와 이동 단말기(200)는 케이블(130)을 통해서 연결될 수 있다. 케이블(130)은 USB 3.0 Type C 케이블을 포함할 수 있다. 촬영부(120) 기준 기본 제공되는 케이블(130)의 길이가 1m 정도이므로 이동 단말기(200) 등이 옷 주머니에 들어가 있으면 지팡이(100)의 운용에는 큰 문제가 없다.
지팡이(100)에 부착된 촬영부(120)를 통해 RGB 데이터와 깊이(Depth) 데이터를 받아 이를 케이블(130)을 통해 이동 단말기(200)에 전송하고 이동 단말기(200)가 서버(300)와 통신하여 해당 이미지 데이터들(RGB 이미지와 깊이 이미지)을 보내면 서버(300)에서 ROS를 이용하여 두 데이터를 통해 추출한 값(각각 객체 인식 데이터와 객체의 위치 데이터)을 통합시킨 후 이를 토대로 나온 결과값을 다시 이동 단말기(200)로 보내 이동 단말기(200)의 스피커를 통해 시각 장애인의 보조에 필요한 부가적인 정보들을 안내해줄 수 있다.
촬영부(120) 측에서 기본 제공하는 SDK를 통해서 촬영부(120)를 통해 얻은 깊이 이미지와 RGB 이미지를 이동 단말기(200)에서 확인할 수 있다. 여기서, SDK는 Software Development Kit의 약자로 개발 도구의 집합을 말한다. SDK는 어플리케이션 프로그래밍 인터페이스(API), 컴파일러(Compiler), 디버거(Debugger)를 포함하고 그 외에 프레임워크(Framework), 라이브러리(Library), 런타임(Runtime), 문서 등을 포함한다. 촬영부(120)를 통해 받은 RGB 이미지를 딥러닝 기반 객체 탐지 알고리즘인 YOLO(You Only Look Once)를 이용하여 탐지할 수 있다.
서버(300)는 이동 단말기(200)와 통신 연결되어 촬영부(120)로부터 전달된 장애물 정보를 산출하며, 산출된 장애물 정보에 따른 처리 데이터와 이를 기초로 생성된 보행 안내 신호를 이동 단말기(200)에 전달할 수 있다. 서버(300)는 입력된 촬영 데이터를 분석하여 관련된 장애물 정보를 산출하여 산출된 장애물 정보를 이동 단말기(200)로 전송하는 제어부를 포함할 수 있다. 제어부는 정보 처리 장치의 프로세서에 의하여 연산, 처리 등이 되는 것으로, 컴퓨터에서 특정한 기능을 수행하는 프로그램의 논리적인 일부분을 뜻하며, 소프트웨어, 하드웨어 등으로 구현될 수 있다. 예를 들어, 정보 처리 장치는 제어패널, 노트북, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등의 제어 컴퓨터를 포함할 수 있다. 제어부는 메모리에 저장되는 정보를 기반으로 시각 장애인의 주변 장애물 정보를 분석하고 관련 장애물 정보의 전송과 관련된 전반적인 제어동작을 구현할 수 있다. 예를 들어, 제어부는 이동 단말기(200)로부터 수신된 촬영 데이터를 분석하여 시각 장애인의 주변에 장애물을 감지하여 장애물과의 거리 또는 크기를 계산할 수 있다.
도 5는 본 발명의 실시예에 따른 촬영부(120)를 통해 촬영된 영상을 기초로 산출된 데이터를 화면상에 표시한 상태를 도시한 도면이다. 도 5를 참조하면, 촬영부(120)를 통해 탐지된 각각의 객체를 깊이 이미지를 통하여 촬영부(120) 위치에서부터의 거리를 구한 후 ROS를 통해 객체 정보값과 통합시켜서 화면상에 표시할 수 있다. 예를 들어, 알비즈(Rviz)에 표시할 수 있다.
일반적으로 시각 장애인은 지팡이를 촉각을 연장하는 도구로써 이용하여 보도에 깔린 타일들을 읽고 그 정보를 받아들여 보행에 활용한다. 하지만 지팡이와 보도에 깔린 시각 장애인용 타일들을 이용한 보행은 어떠한 장애물로 인해 타일이 가려지거나, 타일자체가 파손되거나, 혹은 아예 타일이 설치되지 않은 구역에서는 불가능하다. 그리고 종래기술에 따른 지팡이에 탑재된 센서들은 지팡이 내에 추가적으로 탑재한 칩셋들로 처리한다.
본 발명의 실시예는 이동 단말기(200)와 서버(300)를 통해 지팡이(100) 주변의 촬영된 정보를 외부 데이터 처리 및 분석할 수 있다. 먼저, 지팡이(100)에 촬영부(120)를 사용자가 용이하게 조작 가능하게 회동 가능한 구조로 설치한다. 그리고 촬영부(120)를 통해 외부 환경 데이터를 촬영하고 이를 케이블(130)에 의해 연결된 이동 단말기(200)에서 중계하여 깊이 이미지와 RGB이미지를 서버(300)로 넘긴 후에 서버(300)에서 ROS를 통해 두 데이터를 통합하여 처리할 수 있다. 그리고 서버(300)에서 처리된 정보를 이동 단말기(200)의 스피커를 통해 알려줌으로써 보다 다양한 환경에서 시각 장애인의 보행을 보조할 수 있다.
상기한 바와 같이 본 발명의 실시예는 지팡이(100)에 회동 결합된 촬영부(120)에서 제공되는 RGB 데이터와 깊이 데이터들을 케이블(130)로 연결된 이동 단말기(200)를 통해 서버(300)로 중계하고, 실질적인 데이터 처리는 서버(300)에서 이루어진 후, 이에 대한 결과를 이동 단말기(200)를 통해 사용자에게 알려주는 형태이기 때문에 시각 장애인의 보행에 큰 도움을 줄 수 있다.
서버(300)에서의 데이터 처리는 ROS(Robot Operating System)를 통해서 구현될 수 있다. ROS는 로봇 응용 프로그램 등을 개발할 때 필요한 하위 디바이스 제어, 프로세스 간의 메시지 통신과 개발환경에 필요한 다양한 라이브러리, 디버깅 도구 등을 제공하는 운영체제이다. ROS는 그 자체 특성상 다양한 센서를 부착하였을 때 각 센서간의 분배(Distribution)와 동기화(Synchronize) 문제가 쉽게 해결되기 때문에 촬영부(120)에서 이동 단말기(200)를 통해 전달된 RGB 이미지를 통해 추출된 사물 인식 데이터와 깊이 이미지를 통해 추출된 위치(Position) 값을 통합시키기가 쉽다.
도 1 내지 도 5를 참조하여 본 발명의 실시예에 따른 시각 장애인용 안내 시스템을 이용하여 지팡이(100) 주변의 장애물을 인식하는 과정을 구체적으로 설명한다.
먼저, 사용자는 필요에 따라 지팡이(100)에 구비되어 촬영부(120)를 지지하는 조절부(110)를 적절하게 회동시키며 지팡이(100) 주변을 촬영한다. 그러면, 촬영부(120)는 촬영된 데이터를 이동 단말기(200)로 전송한다. 즉, 촬영부(120)는 지팡이(100) 주변의 장애물 정보와 관련된 촬영 데이터를 발생하여 이동 단말기(200)로 전송한다. 촬영부(120)를 통해 촬영된 정보는 이동 단말기(200)를 통해 서버(300)로 전송될 수 있다. 이동 단말기(200)는 촬영부(120)로부터 수신한 촬영 데이터를 서버(300)로 전송한다. 서버(300)는 이동 단말기(200)로부터 수신한 촬영 데이터를 이용하여 지팡이(100) 주변의 장애물 정보를 산출한다. 그리고 제어부는 산출된 장애물 관련 정보를 이동 단말기(200)로 전송할 수 있다. 즉, 서버(300)를 통해 시각 장애인의 주변 장애물 정보를 분석하고, 관련 장애물 정보를 이동 단말기(200)로 전송하여 음성 출력으로 안내하도록 할 수 있다. 이동 단말기(200)는 설정된 음성 정보로 스피커부를 통해 장애물 관련 정보를 사용자에게 전달할 수 있다. 사용자는 이동 단말기(200)의 스피커부를 통해 출력되는 음성 안내로 장애물 관련 정보 서비스를 받을 수 있다.
이상을 통해 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 여기에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 다양하게 변형하여 실시하는 것이 가능하고, 이것도 또한 본 발명의 범위에 속하는 것은 당연하다.
100 ; 지팡이 102 ; 본체
104 ; 손잡이부 106 ; 지지부
106a ; 안착홈 110 ; 조절부
112 ; 결합부 114 ; 회동부
116 ; 파지부 120 ; 촬영부
130 ; 케이블 200 ; 이동 단말기
300 ; 서버

Claims (5)

  1. 길이방향을 따라 길게 구비되며, 상부에 손잡이부가 구비된 지팡이,
    상기 손잡이부의 일측에 회동 결합구조로 구비되는 조절부,
    상기 조절부의 일측에 결합되어 상기 조절부의 회동 움직임에 연동되며, 상기 지팡이 주변의 장애물 정보와 관련된 영상을 촬영하는 촬영부,
    상기 촬영부에 통신 연결되어 상기 촬영부로부터 촬영된 영상 신호를 공급받는 이동 단말기, 그리고
    상기 이동 단말기와 통신 연결되어 상기 촬영부로부터 전달된 장애물 정보를 산출하며, 산출된 장애물 정보에 따른 처리 데이터와 이를 기초로 생성된 보행 안내 신호를 상기 이동 단말기에 전달하는 서버
    를 포함하며,
    상기 조절부는
    구형상으로 구비되어 상기 손잡이부에 일부 회동 결합되는 회동부,
    상기 회동부의 일측에 연결되어 상기 촬영부가 내측에 안착 결합되도록 적어도 일측이 개구된 형상으로 형성되는 결합부, 그리고
    상기 회동부의 타측에서 일측이 상기 결합부와 미리 설정된 경사각도를 갖고 상기 손잡이부의 일면으로부터 상향 경사지게 연결되며, 타측으로 전달된 외력을 상기 회동부로 전달하는 파지부
    를 포함하는 시각 장애인용 안내 시스템.
  2. 삭제
  3. 제1항에서,
    상기 손잡이부는 상기 회동부의 일부가 볼 조인트 결합구조로 안착되도록 안착홈을 갖고 상기 손잡이부의 일면으로부터 돌출 형성되는 지지부를 더 포함하는 시각 장애인용 안내 시스템.
  4. 제3항에서,
    상기 회동부와 상기 안착홈은 자석 결합구조로 결합되는 시각 장애인용 안내 시스템.
  5. 제1항에서,
    상기 촬영부는 깊이 카메라(Depth Camera)를 포함하는 시각 장애인용 안내 시스템.
KR1020220061057A 2022-05-18 2022-05-18 시각 장애인용 안내 시스템 KR102637180B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220061057A KR102637180B1 (ko) 2022-05-18 2022-05-18 시각 장애인용 안내 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220061057A KR102637180B1 (ko) 2022-05-18 2022-05-18 시각 장애인용 안내 시스템

Publications (2)

Publication Number Publication Date
KR20230161587A KR20230161587A (ko) 2023-11-28
KR102637180B1 true KR102637180B1 (ko) 2024-02-14

Family

ID=88957884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220061057A KR102637180B1 (ko) 2022-05-18 2022-05-18 시각 장애인용 안내 시스템

Country Status (1)

Country Link
KR (1) KR102637180B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101091437B1 (ko) * 2009-08-24 2011-12-07 성균관대학교산학협력단 시각장애인 보행 안내 시스템
KR101878263B1 (ko) * 2017-02-10 2018-07-13 울산과학기술원 시각 장애인용 지팡이
KR102025832B1 (ko) * 2017-09-28 2019-09-26 선문대학교 산학협력단 스마트 지팡이
JP6597745B2 (ja) 2017-10-03 2019-10-30 カシオ計算機株式会社 支持装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101091437B1 (ko) * 2009-08-24 2011-12-07 성균관대학교산학협력단 시각장애인 보행 안내 시스템
KR101878263B1 (ko) * 2017-02-10 2018-07-13 울산과학기술원 시각 장애인용 지팡이
KR102025832B1 (ko) * 2017-09-28 2019-09-26 선문대학교 산학협력단 스마트 지팡이
JP6597745B2 (ja) 2017-10-03 2019-10-30 カシオ計算機株式会社 支持装置

Also Published As

Publication number Publication date
KR20230161587A (ko) 2023-11-28

Similar Documents

Publication Publication Date Title
US20230212064A1 (en) Methods for camera movement compensation
WO2018107679A1 (zh) 一种动态三维图像获取的方法和设备
WO2019205842A1 (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
CN113220139B (zh) 控制大屏设备显示的方法、移动终端及第一系统
WO2019196581A1 (zh) 人体姿态预测方法、装置、设备及存储介质
US10083539B2 (en) Control system for navigation in virtual reality environment
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
US9691152B1 (en) Minimizing variations in camera height to estimate distance to objects
CN106027952B (zh) 摄像机系统相对于车辆的自动方向估算
WO2013149586A1 (zh) 一种腕上手势操控系统和方法
CN108304506B (zh) 检索方法、装置及设备
US10782780B2 (en) Remote perception of depth and shape of objects and surfaces
US9411412B1 (en) Controlling a computing device based on user movement about various angular ranges
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
Grewal et al. Autonomous wheelchair navigation in unmapped indoor environments
KR102637180B1 (ko) 시각 장애인용 안내 시스템
US6297803B1 (en) Apparatus and method for image display
WO2019156990A1 (en) Remote perception of depth and shape of objects and surfaces
JP2023099603A (ja) オブジェクト姿勢制御プログラムおよびオブジェクト姿勢制御システム
US20170115737A1 (en) Gesture control using depth data
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
JP7272521B2 (ja) ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラム
Silva et al. PHYS. IO: Wearable hand tracking device
TWI779332B (zh) 擴增實境系統與其錨定顯示虛擬物件的方法
JP2004219847A (ja) 小型携帯端末

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant