KR101646503B1 - 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 - Google Patents
시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 Download PDFInfo
- Publication number
- KR101646503B1 KR101646503B1 KR1020140182494A KR20140182494A KR101646503B1 KR 101646503 B1 KR101646503 B1 KR 101646503B1 KR 1020140182494 A KR1020140182494 A KR 1020140182494A KR 20140182494 A KR20140182494 A KR 20140182494A KR 101646503 B1 KR101646503 B1 KR 101646503B1
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- information
- image
- distance
- sensor signal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000001771 impaired effect Effects 0.000 claims abstract description 48
- 230000003190 augmentative effect Effects 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100018027 Pisum sativum HSP70 gene Proteins 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0269—System arrangements wherein the object is to detect the exact location of child or item using a navigation satellite system, e.g. GPS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5007—Control means thereof computer controlled
- A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5048—Audio interfaces, e.g. voice or music controlled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5058—Sensors or detectors
- A61H2201/5079—Velocity sensors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S116/00—Signals and indicators
- Y10S116/17—Tactile
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Veterinary Medicine (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- General Business, Economics & Management (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Vascular Medicine (AREA)
- Child & Adolescent Psychology (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Emergency Management (AREA)
- Rehabilitation Therapy (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상과, 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 대한 주변 장애물과의 거리를 산출하고 이에 대한 안내정보를 음성으로 제공함과 더불어 사용자의 시선방향에 대한 객체의 증강현실 정보를 음성으로 제공할 수 있도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법에 관한 것이다.
본 발명에 따른 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 장애물 안내시스템 및 그 방법은 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따른 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 장애물 안내시스템 및 그 방법은 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되는 것을 특징으로 한다.
Description
본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상과, 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 대한 주변 장애물과의 거리를 산출하고 이에 대한 안내정보를 음성으로 제공함과 더불어 사용자의 시선방향에 대한 객체의 증강현실 정보를 음성으로 제공할 수 있도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법에 관한 것이다.
일반적으로 시각장애인들은 시각적인 장애를 극복하기 위해 맹인견이나 지팡이에 의지하여 바닥면에 설치된 점자블럭을 인식함으로써, 실외로 외출을 행하게 된다.
즉, 시각장애인들은 다수의 점자블럭으로 이루어진 점자블럭 유도라인을 따라 보행함에 있어서, 각 점자블럭의 에지성분을 지팡이로 여러번 접촉시키거나 또는 발바닥 느낌을 통해 인식함으로써 보행하게 된다.
그러나, 시각장애인들이 지팡이나 발바닥을 통한 자신의 감각만으로 점자블럭을 인지하여 보행을 하기에는 많은 시간이 소요됨은 물론, 점자블럭이 파손되는 등의 이유로 이동상황 판단에 따른 스트레스가 발생되는 문제가 있게 된다.
이에, 최근에는 시각장애인의 주변을 카메라로 촬영하고, 그 촬영정보를 분석하여 점자블럭에 대응되는 보행정보를 음성으로 제공해 주는 장치가 제안되었다.
그러나 상기한 시각장애인을 위한 보행정보 안내시스템은 통상적으로 카메라를 통해 촬영된 바닥면에 형성된 점자블럭을 근거로 보행방향만을 음성으로 제공하여 주는 것으로, 주변에 고정되거나 또는 근접하게 이동하는 장애물에 대한 정보를 제공하지 않기 때문에 시각장애인이 자유롭게 보행하기에 다소 위험성이 있게 된다.
[선행문헌]
1. 한국공개특허 제2011-0120626호 (발명의 명칭 : 시각장애인용 실외 장소인식 및 보행유도 시스템과 그 방법)
2. 한국등록특허 제1954025호 (발명의 명칭 : 시각장애인 보행 안내방법 및 그 시스템)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 스테레오 비젼을 통해 제공되는 3차원 영상 및 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 위치하는 주변 장애물에 대한 안내 정보를 음성출력함으로써, 보다 안정적인 보행이 가능하도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치 및 그 방법을 제공함에 기술적 목적이 있다.
또한, 본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상 및 IMU 센서를 통해 제공되는 센서신호를 근거로 시각장애인에게 이동방향에 위치하는 3차원 장애물과의 충돌 안내 음성을 제공함과 더불어, 시선방향에 위치하는 객체의 증강현실 정보를 음성제공함으로써, 시각장애인이 보다 현실적인 감각으로 보행할 수 있도록 해 주는 시각장애인을 위한 3차원 주위 정보 안내시스템 및 그 방법을 제공함에 또 다른 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 의하면, 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되되, 상기 제어수단은 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향과 시선방향을 판단하여, 이동방향에 대응되는 3차원 영상에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 시선방향 3차원 영상에서 이동방향 3차원 영상 영역을 제외한 영역에 대해 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 방향정보와 위치정보를 포함하여 구성되는 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호에 대해 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 상기 좌우 카메라로부터 제공되는 좌우 영상 각각에 대한 카메라 왜곡에 따른 캘리브레이션처리를 수행하고, 캘리브레이션 처리된 좌우 영상을 이용하여 3차원 영상을 생성하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 감지수단은 자이로센서와 가속도센서를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
삭제
또한, 상기 제어수단은 관심영역에서 장애물과의 거리가 일정 거리 이내 범위인 장애물 충돌 위험 영상을 데이터메모리에 저장하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또다른 일측면에 의하면, 시각장애인을 위한 장애물 안내 서비스를 제공하는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하기 위한 위치정보 제공서버와 통신하도록 구성되고, 상기 사용자단말은 상기 장애물 안내장치와 통신하기 위한 제1 통신모듈과, 위치 정보의 수신을 위한 GPS 수신기 및, 상기 위치정보 제공서버와 통신하기 위한 제2 통신모듈을 포함하여 구성됨과 더불어, 증강현실 서비스 제공을 위한 어플리케이션이 설치되도록 구성되어, 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 상기 GPS 수신기로부터 제공되는 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보 제공서버로 제공하고, 이에 대해 위치정보 제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하도록 구성되며, 상기 장애물 안내장치는 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하면서, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우, 시선방향 정보를 추출하여 상기 사용자단말로 제공하고, 이에 대해 사용자단말로부터 제공되는 객체정보를 음성출력수단을 통해 음성출력하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
삭제
또한, 상기 감지수단은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU 센서로 구성되어, 속도와 이동방향, 시선방향 및 절대 방향에 대응되는 센서신호를 상기 제어수단으로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
또한, 상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호를 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또다른 일측면에 의하면, 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 시각장애인을 위한 3차원 장애물 안내장치의 장애물 안내방법에 있어서, 상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제5 단계는 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,
상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제5 단계는 관심영역에서 장애물과의 거리가 기 설정된 일정 거리 이내인 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제5 단계는 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상의 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또다른 일측면에 의하면, 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하는 위치정보 제공서버와 통신하도록 구성되는 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 주위 정보 안내 방법에 있어서, 상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계 및, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 위험 안내 단계와, 상기 장애물 안내장치에서 상기 감지수단으로부터 제공되는 방향정보를 상기 사용자단말로 제공하는 제21 단계와, 상기 사용자단말에서 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 GPS 수신기로부터 획득한 현재 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보제공서버로 제공하는 제22 단계, 상기 위치정보 제공서버에서 해당 위치 및 방향에 대응되는 객체정보를 검색하여 상기 사용자단말로 제공하는 제23 단계, 상기 사용자단말에서 상기 위치정보제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하는 제24 단계 및, 상기 장애물 안내장치에서 상기 사용자단말로부터 제공되는 객체정보를 음성출력하는 제25 단계를 포함하여 구성되는 증강현실 구현단계로 이루어지는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 증강현실 구현단계는 상기 장애물 안내장치의 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우에 한하여 수행되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제5 단계는 상기 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제5 단계는 장애물과의 거리가 기 설정된 일정 거리 이내인 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제5 단계는 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상에 존재하는 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
본 발명에 의하면 스테레오 비젼을 통해 제공되는 3차원 영상을 이용하여 주변 장애물과의 거리를 산출하고 이에 대한 안내 정보를 음성출력하되, 사용자의 이동방향에 대한 장애물과의 거리를 근거로 장애물 안내정보를 제공하도록 함으로써, 시각장애인이 자유롭게 움직이면서 보다 안정감있게 보행할 수 있게 된다.
또한, 본 발명에 의하면 스테레오 비젼을 통해 제공되는 3차원 영상을 이용하여 시각장애인의 시선방향에 대한 객체정보를 음성제공하여 줌으로써, 시각장애인이 보다 현실적인 감각으로 보행하는 것이 가능하게 된다.
또한, 본 발명에 의하면 충돌 위험 상태의 영상을 소정 데이터메모리에 저장하도록 함으로써, 보행시 발생되는 충돌에 따른 시비 판단시 객관적인 정보를 제공할 수 있게 된다.
도1은 본 발명의 제1 실시예에 따른 시각장애인을 위한 3차원 장애물 안내장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도
도2는 도1에 도시된 제어수단(600)의 장애물 안내 과정을 설명하기 위한 도면.
도3은 도1에 도시된 시각장애인을 위한 3차원 장애물 안내장치의 동작을 설명하기 위한 도면.
도4는 도3에서 이동방향과 시선방향이 상이한 경우 발생되는 장애물 검출 문제상황을 예시한 도면.
도5는 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템의 개략적인 구성을 나타낸 도면.
도6은 도4에 도시된 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 증강현실 정보 안내 방법을 설명하기 위한 도면.
도2는 도1에 도시된 제어수단(600)의 장애물 안내 과정을 설명하기 위한 도면.
도3은 도1에 도시된 시각장애인을 위한 3차원 장애물 안내장치의 동작을 설명하기 위한 도면.
도4는 도3에서 이동방향과 시선방향이 상이한 경우 발생되는 장애물 검출 문제상황을 예시한 도면.
도5는 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템의 개략적인 구성을 나타낸 도면.
도6은 도4에 도시된 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 증강현실 정보 안내 방법을 설명하기 위한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
먼저, 본 발명에 따른 시각장애인을 위한 3차원 장애물 안내장치는 기본적으로 시각 장애인(이하에서는 사용자라 칭함), 즉, 사용자의 전방에 대한 영상을 확보하여 이에 대한 정보를 제공하는 것으로, 바람직하게는 사용자가 직접 착용할 수 있는 안경 등의 형상으로 구성되거나 또는 사용자의 머리부분에 착용 가능한 각종 물체, 예컨대 모자 등에 장착 가능한 형상으로 구성될 수 있다.
또한, 본 발명은 시각장애인을 위한 공지된 보행안내시스템에 추가적으로 적용하여 실시할 수 있음은 물론이다.
도1은 본 발명의 제1 실시예에 따른 시각장애인을 위한 3차원 장애물 안내장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도1에 도시된 바와 같이 시각장애인을 위한 3차원 장애물 안내장치는 전방 영상을 촬영하기 위한 촬영수단(100)과, 사용자의 방향 및 속도에 대응되는 센서신호를 출력하는 감지수단(200), 각종 안내정보를 음성출력하는 음성출력수단(300), 사용자의 명령을 입력하기 위한 정보입력수단(400), 3차원 장애물 안내관련 각종 정보가 저장되는 데이터메모리(500), 3차원 장애물 안내관련 전반적인 제어동작을 수행하는 제어수단(600) 및 본 장치의 구동을 위한 공급전원을 제공하기 위한 전원수단(700)을 포함하여 구성된다.
상기 촬영수단(100)은 거리 측정이 가능한 스테레오 비젼, 즉 스테레오 카메라를 포함하여 구성될 수 있다. 즉, 상기 촬영수단(100)은 좌 카메라(110)와 우 카메라(120)가 일정 거리 이격되게 배치되어 구성된다. 이는 좌 카메라(110)와 우 카메라(120)으로 제공되는 각 촬영 영상간의 변이(Disparity)를 이용하여 목적하는 객체, 즉, 장애물과의 거리정보를 산출하기 위함이다.
상기 감지수단(200)은 자이로센서와 가속도센서를 포함하여 구성될 수 있으며, 상기 자이로센서와 가속도센서는 사용자의 이동방향과 시선방향 및 이동 속도에 대응되는 센서신호를 상기 제어수단(600)으로 제공한다. 이때, 상기 감지수단(200)은 가속도센서와 자이로센서 및 지자기센서로 구성되어 보다 정밀한 방향정보와 속도정보에 대응되는 센서신호를 제공하는 IMU(inertial measurement unit) 센서로 구성되는 것도 가능하다.
상기 음성출력수단(300)은 각종 안내 정보 특히, 주변 장애물 안내 관련 정보를 음성으로 출력하기 위한 것으로, 예컨대 스피커 또는 이어폰 등으로 구성될 수 있다. 이때, 상기 음성출력수단(300)은 사용자가 안내음성을 보다 명확하게 청취할 수 있도록 하기 위해 상기 제어수단(600)과 무선 또는 유선으로 결합되어 일정 거리 이격되게 배치될 수 있다. 예컨대, 사용자는 유선 또는 무선 이어폰을 자신의 귀에 꽂은 상태로 용이하게 장애물 안내 관련 안내음성을 청취할 수 있게 된다. 여기서, 상기 유선 또는 무선 이어폰은 골전도 이어폰으로 구성할 수 있다. 이는 이어폰의 음성으로 주위 소리를 듣지 못하는 것을 방지하여 장애물 안내 관련 안내음성과 주위 소리를 모두 청취할 수 있도록 하기 위함이다.
상기 정보입력수단(400)은 장애물 안내장치의 환경 설정정보를 입력하기 위한 각종 기능키 등을 포함하여 구성되는 것으로, 예컨대, 사용자가 상기 음성출력수단(300)의 볼륨레벨을 업/다운(UP/DOWN) 하거나, 온/오프(ON/OFF) 키를 이용하여 동작상태를 설정할 수 있도록 구성된다. 이때, 정보입력수단(400)은 마이크로 구성되어 음성입력을 통해 장애물 안내장치 관련 환경설정을 수행하도록 구성되는 것도 가능하다.
상기 데이터메모리(500)는 거리에 따른 적어도 하나 이상의 서로 다른 장애물 안내 메시지와, 최대 위험 영역 및 위험 영역을 설정하기 위한 기준영역정보, 위험 장애물 설정을 위한 장애물 기준 거리, 위험 장애물 설정을 클리어시키기 위한 기준 조건 정보 및, 상기 제어수단(600)에서 처리되는 각종 처리정보를 포함하는 정보가 저장된다. 여기서, 상기 제어수단(600)의 처리정보는 예컨대, 충돌 발생 전후 일정 시간동안의 촬영 영상과, 감지수단(200)으로부터 제공되는 센서 신호 등을 포함할 수 있다.
상기 제어수단(600)은 사용자가 정보입력수단(400)을 통해 동작요구를 수행하게 되면, 이를 근거로 전원수단(700)을 제어하여 공급전원을 각 수단으로 제공하도록 함과 더불어, 상기 촬영수단(100)으로부터 제공되는 촬영영상 및 상기 감지수단(200)으로부터 제공되는 이동 및 방향 관련 센서 신호를 근거로 사용자 주변 장애물을 검출하고, 검출된 장애물과의 거리를 산출하여 거리 정보에 대응되는 충돌 위험 상태 정보를 상기 음성출력수단(300)을 통해 음성출력하도록 제어한다.
상기 전원수단(700)은 상기 촬영수단(100)과 감지수단(200) 및 음성출력수단(300)을 포함하는 각 수단을 동작시키기 위한 공급전원(Vcc)을 제공한다. 이때, 상기 전원수단(700)은 휴대 가능한 배터리 형태로 구성되는 것이 바람직하다.
한편, 도2는 도1에 도시된 제어수단(600)의 장애물 충돌 위험 안내 처리 과정을 기능별로 블럭화하여 나타낸 도면이다. 도2에 도시된 바와 같이 제어수단(600)은 3차원 영상처리블럭(610)과, 관심영역 설정처리블럭(620) 및 장애물 알림처리블럭(630)을 통해 장애물 안내정보를 제공하도록 구성된다.
1. 3차원 영상처리블럭(610)
3차원 영상처리블럭(610)은 좌우 카메라(110,120)로부터 제공되는 좌우 영상 각각에 대해 카메라 왜곡변수를 산출하고, 이 왜곡변수를 근거로 좌우 카메라 각각에 대한 캘리브레이션 처리를 수행한다. 즉, 좌우 단일 카메라에 대한 보정처리는 예컨대, 실세계 좌표계에서 정의된 특징 점 좌표와 좌우 카메라(110,120)를 통해 촬영된 보정판(미도시) 촬영 영상에서 산출된 특징 점 좌표의 일대일 대응관계를 이용하여 공지기술인 비선형 최소자승법을 통해 내외부 카메라 변수 및 렌즈 왜곡 변수를 산출함으로써, 좌우 영상에 대한 보정처리를 수행할 수 있다. 또한, 상술한 바와 같이 보정처리된 좌우 영상을 이용하여 3차원 영상을 생성한다. 이때, 상기 3차원 영상은 사용자의 시선방향에 대응되는 영상으로, 사용자의 움직임에 따라 이동방향과 시선방향은 동일하거나 또는 상이할 수 있다.
2. 관심영역 설정처리블럭(620)
관심영역 설정처리블럭(620)은 상기 감지수단(200)으로부터 제공되는 이동방향 및 속도에 대응되는 센서 신호를 안정화하여 출력하고, 안정화된 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영상으로 설정한다. 이때, 상기 관심영역 설정처리블럭(620)은 해당 시점의 이동방향과 3차원 영상이 일치하는 경우에는 현재의 3차원 영상을 장애물 검출을 위한 관심영상으로 설정하고, 이동방향과 시선방향이 일치하지 않는 경우에는 이전 이동방향에 대응되는 3차원 영상을 관심영상으로 설정할 수 있다.
한편, 사용자가 움직임에 따라 상기 감지수단(200)으로부터 제공되는 센서신호는 이동방향 뿐만 아니라 흔들림에 따른 회전 관련 신호 등의 노이즈 신호도 포함하게 되는 바, 관심영역 설정처리블럭(620)은 감지수단(200)으로부터 제공되는 센서신호에서 보다 정밀한 이동방향 정보를 추정하기 위하여, 저역통과필터링 방법이나 최소자승법을 이용한 알고리즘을 이용하여 안정적인 센서신호를 출력하도록 구성될 수 있다. 특히, 저역통과필터(미도시)를 통해 노이즈 성분을 필터링하는 방법은 사용자가 직선방향으로 이동하는 상태에서의 센서신호, 보다 상세하게는 사용자의 초당 보폭수에 해당하는 주파수를 근거로 저역통과필터의 컷오프 주파수(cut-off)를 설정할 수 있다. 바람직하게는 상기 컷오프 주파수는 사용자의 초당 보폭수에 해당하는 주파수의 1/2배 이하범위로 설정할 수 있다.
또한, 상기 관심영역 설정처리블럭(620)은 안정화된 센서신호를 근거로 이동방향과 시선방향을 검출하고, 이동방향에 대응되는 관심영역을 설정한다. 즉, 상기 관심영역 설정처리블럭(620)은 방향정보에 대응되는 센서 좌표계에서의 센서 신호 좌표를 3차원 영상에서의 영상 좌표계의 영상 좌표로 변환하여, 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 이동방향에 해당하는 관심영역으로 설정한다. 또한, 상기 센서 신호는 3개의 방향정보와 3개의 위치정보로 구성되는 바, 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단한다. 이때, 센서 좌표계와 영상 좌표계간의 상호 변환처리는 좌표계 간의 맵핑 테이블을 이용하거나 변환 프로그램을 이용하는 등의 각종 방법으로 변환할 수 있다. 예컨대, 영상좌표계의 (0,0,1)에 해당하는 영상좌표는 센서좌표계의 (0.100,-0.200, 0.776)에 해당하는 센서좌표가 될 수 있다. 여기서, 센서좌표계와 영상좌표계가 일치하는 이상적인 상태에서는 관심영역 설정을 위한 센서 좌표의 영상좌표로의 변환처리는 생략된다.
또한, 상기 관심영역 설정처리블럭(620)은 이동방향에 대응되는 3차원 영상은 제1 관심영역으로 설정하고, 이동방향과 상이한 시선방향에 대응되는 3차원 영상중 제1 관심영역을 제외한 영역을 제2 관심영역으로 설정한다.
3. 장애물 알림처리블럭(630)
장애물 알림처리블럭(630)은 상기 3차원 영상처리블럭(610)으로부터 제공되는 3차원 영상에서 장애물과의 거리를 근거로 충돌 위험 알림정보를 음성출력수단(300)을 통해 출력한다. 이때, 상기 장애물 알림처리블럭(630)은 이동방향 3차원 영상과 시선방향 3차원 영상의 장애물에 대해 서로 다른 충돌 위험 알림메시지를 출력할 수 있다.
즉, 상기 장애물 알림처리블럭(630)은 이동방향에 대응되는 제1 관심영역의 3차원 영상에서 충돌 위험 장애물이 존재하는 경우, 사용자가 이동하는 방향에 존재하는 장애물과의 거리에 따른 능동적 충돌 위험 장애물에 대응되는 제1 충돌 위험 알림메시지를 음성출력한다. 또한, 상기 장애물 알림처리블럭(630)은 시선방향에 대응되는 3차원 영상에서 충돌 위험 장애물이 존재하는 경우, 타 객체가 사용자를 향하는 방향으로 이동하는 상태의 수동적 충돌 위험 장애물에 대응되는 제2 충돌 위험 알림메시지를 음성출력한다. 여기서, 상기 제2 충돌 위험 알림메시지를 제공하는 3차원 영상 영역은 이동방향의 제1 관심영역과, 이동방향과 상이한 시선방향의 제2 관심영역을 모두 포함하는 3차원 영상 전체 영역이 될 수 있다.
또한, 상기 장애물 알림처리블럭(630)은 장애물 위험 안내메시지 출력과 더불어 해당 3차원 영상을 데이터메모리(500)에 저장함과 더불어, 해당 장애물을 추적하여 3차원 영상에서 존재하지 않게 되는 경우, 데이터메모리(500)에 저장된 3차원 영상을 클리어시킨다. 이때, 상기 제어수단(600)은 장애물 위험 알림메시지의 송출 이후, 장애물과의 거리가 최소 기준 거리, 예컨대 5cm 이하로 충돌이 발생되었다고 판단되는 경우, 해당 충돌 발생 이전 일정 시간부터 일정 시간 이후 까지의 영상, 보다 상세하게는 좌측 영상 또는 우측 영상 중 하나의 촬영 영상을 데이터메모리(500)에 저장할 수 있다. 이 경우 외부장치(미도시)와의 통신을 수행하기 위한 통신포트 등의 정보출력수단(미도시)을 추가로 구비하여 데이터메모리(500)에 저장된 충돌 관련 촬영 영상을 외부장치로 출력하도록 제공함으로써, 블랙박스 기능으로 활용하는 것이 가능하다. 이는 장애물로 판단된 객체와의 충돌 발생에 따른 시비 판단시 객관적인 자료로서 이용하도록 하기 위함이다.
이어, 상기한 구성으로 된 시각장애인을 위한 3차원 장애물 안내장치의 동작을 도3을 참조하여 설명한다.
먼저, 제어수단(600)은 상기 좌우 카메라(110,120)로부터 제공되는 좌우 영상 각각에 대해 산출된 왜곡변수를 근거로 좌우 카메라 각각에 대한 캘리브레이션 처리를 수행함으로써, 좌우 영상에 대한 보정처리를 수행한 후 보정 처리된 좌우 영상을 이용하여 3차원 영상을 생성한다(ST10). 이때, 본 발명에 따른 장애물 안내장치가 사용자의 머리 부분에 착용되는 것을 고려할 때, 상기 좌우 영상은 사용자의 시선방향에 대해 촬영된 영상이 된다.
또한, 상기 제어수단(600)은 감지수단(200)으로부터 방향 관련 센서 신호를 근거로 사용자의 현재 이동방향이 시선방향과 일치하는지를 확인한다(ST20).
상기 ST20단계에서 상기 제어수단(600)은 사용자의 이동방향과 시선방향이 일치한다고 판단되면, 해당 3차원 영상을 관심영역으로 설정한다(ST30).
이후, 상기 제어수단(600)은 상기 ST10 단계에서 생성된 3차원 영상과 상기 ST30 단계에서 설정된 관심 영역에서의 장애물을 검출한다(ST40). 여기서, 상기 제어수단(600)은 현재 3차원 영상과 이전 3차원 영상을 비교하여 이동성이 없는 고정물 또는 움직임이 있는 이동물을 포함하는 각종 객체에 대한 장애물 검출처리를 수행한다.
이어, 상기 제어수단(600)은 관심영역으로 설정된 3차원 영상에서 검출된 장애물과의 거리를 산출한다(ST50). 즉, 제어수단(600)은 3차원 공간상의 한 점에 대응성을 근거로 해당 대응점에서의 좌우 영상의 변이(Disparity)를 산출하고, 산출된 변이에 대응되는 거리정보를 산출하는 방법을 통해 3차원 영상 전체 영역 및 관심영역에 대한 장애물과의 거리정보를 각각 산출할 수 있다.
또한, 상기 제어수단(600)는 상기 ST50단계에서 산출한 장애물과의 거리가 기 설정된 일정 거리 이하인 경우에는 사용자와 장애물이 충돌 위험이 있다고 판단하여 장애물 위험 안내메시지를 음성출력수단(300)을 통해 음성출력한다(ST60,ST70). 이때, 상기 제어수단(600)은 상기 3차원 영상 전체에 대한 장애물과의 충돌 위험 판단에 대해서는 수동적 충돌 위험 알림을 포함하는 제2 충돌 위험 알림메시지를 출력하고, 관심영역에 대한 장애물과의 충돌 위험판단에 대해서는 능동적 충돌 위험 알림을 위한 제1 충돌 위험 알림메시지를 출력한다.
여기서, 상기 제어수단(600)은 제1 및 제2 영역 충돌 위험 알림 메시지 송출시 해당 3차원 영상을 데이터 메모리(500)에 저장하고, 3차원 영상에서 해당 장애물이 검출되지 않거나 일정 시간이 경과하는 경우 또는 사용자가 정보입력수단(400)을 통해 요구하는 경우, 데이터메모리(500)에 저장된 해당 영상을 클리어시킬 수 있다.
또한, 상기 제어수단(600)은 장애물 위험 안내 음성을 음성출력수단(300)을 통해 제공함에 있어서, 장애물과의 거리에 따라 서로 다른 안내 음성을 출력하도록 실시할 수 있다. 예컨대, 장애물과의 거리가 1m 이내인 경우 안내 음성과 함께 경보음을 함께 송출함으로써 사용자로 하여금 보다 주의를 요하도록 실시할 수 있다.
한편, 상기 ST20단계에서 상기 제어수단(600)은 사용자의 이동방향과 시선방향이 일치하지 않는다고 판단되면, 현재 사용자가 이동중인지를 판단한다(ST80). 즉, 상기 제어수단(600)은 상기 감지수단(200)으로부터 제공되는 센서신호를 근거로 현재 속도가 일정 기준값 이상의 값을 갖는 경우, 이동중이라고 판단한다.
상기 ST80단계에서 상기 제어수단(600)은 현재 사용자가 이동중이라고 판단되면, 센서신호를 근거로 사용자의 이동방향 및 이동 속도를 근거로 이전 이동방향 관심영역에 대한 장애물과의 거리를 산출하여 장애물과의 거리에 대응되는 장애물 위험안내정보를 음성출력한다(ST90). 이는 도4에 도시된 바와 같이 사용자(P)가 이동하면서 고개를 돌리는 등의 이유로 이동방향과 시선방향이 일정 각도(θ) 이상 차이나는 경우, 이동방향 영상(F1)에 존재하던 장애물(1)이 시선방향 영상(F2)에서는 검출되지 않음으로 인해 사용자가 시선방향과 달리 이동방향을 달리하면서 이동함에 따라 장애물 충돌 위험안내서비스가 제대로 수행되지 못하는 것을 방지하기 위함이다.
즉, 상기 실시예에 의하면 카메라 왜곡에 따른 보정을 통해 보다 정밀한 3차원 영상을 생성함과 더불어, 이동방향 센서 신호를 근거로 사용자의 이동방향에 대한 3차원 영상에서의 관심영역을 설정하여 장애물과의 거리를 산출하여 그 거리에 따른 위험 안내정보를 음성출력하도록 구성된다.
한편, 도5는 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템의 개략적인 구성을 도시한 도면이다.
도5에 도시된 바와 같이 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템은 장애물 안내장치(1000)가 사용자단말(10)과 통신하도록 구성되고, 사용자단말(10)은 위치정보에 대응되는 객체에 대한 정보를 제공하기 위한 위치정보제공서버(20)와 결합하도록 구성되어, 장애물 안내장치(1000)에서의 검출된 시선방향 영상에 대응되는 증강현실 정보를 음성제공하도록 구성된다.
이때, 상기 장애물 안내장치(1000)는 기본적으로 도1 내지 도4를 통해 설명한 바와 같이 3차원 영상을 생성함과 더불어, 센서 신호를 근거로 사용자의 이동방향에 대한 3차원 영상에서의 장애물과의 거리를 산출하여 그 거리에 따른 위험 안내정보를 음성출력하는 충돌 위험 안내정보를 제공하도록 구성됨과 더불어, 상기 사용자단말(10)과 통신하기 위한 통신수단(1001)을 추가로 구비하여 구성된다. 여기서, 상기 장애물 안내장치(1000)는 상기 사용자단말(10)과 무선통신, 바람직하게는 블루투스 통신을 수행하도록 구성될 수 있다.
또한, 상기 사용자단말(10)은 기본적으로 상기 장애물 안내장치(1000)와 통신하기 위한 예컨대 블루투스 통신모듈(11)과, 위치 정보의 수신을 위한 GPS 수신기(12) 및, 상기 위치정보제공서버(20)와 통신하기 위한 서버 통신모듈(13)을 포함하여 구성됨과 더불어, 본 증강현실 서비스 제공을 위한 어플리케이션이 설치되어 상기 장애물 안내장치(1000)와 위치정보제공서버(20) 간의 신호 중계처리를 수행하도록 구성되는 예컨대 스마트 단말을 포함하는 각종 휴대 단말로 구성될 수 있다. 여기서, 상기 어플리케이션은 상기 위치정보제공서버(20) 또는 본 장애물 안내장치(1000)와 관련된 서버(미도시)로부터 제공받아 설치되어 질 수 있다.
또한, 상기 위치정보제공서버(20)는 상기 사용자단말(10)과 연동하여 사용자단말(10)로부터 제공되는 위치정보에 대응되는 객체, 즉, 건물 등에 대한 건물명, 층 수, 입점 업체명, 현재 위치에서의 거리 등을 포함하는 상세정보를 사용자단말(10)로 제공한다.
즉, 상기 시각장애인을 위한 3차원 주위 정보 안내시스템은 장애물 안내장치(1000)를 통해 사용자의 이동방향 영상을 근거로 장애물에 대한 위험 안내 음성출력처리를 수행함과 더불어, 사용자의 시선방향 영상을 근거로 시선방향에 위치하는 객체에 대한 증강현실 정보를 음성출력하도록 구성된다.
이때, 상기 장애물에 대한 위험 안내 음성출력처리는 상술한 바와 동일한 방법으로 이루어지는 바, 도6을 참조하여 상기 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 증강현실 정보제공방법을 설명한다.
먼저, 제어수단(600)은 상기 감지수단(200)으로부터 제공되는 속도 관련 센서신호를 근거로 사용자의 현재 속도정보를 확인한다(ST210).
상기 ST210단계에서 현재 이동속도가 기 설정된 기준속도 미만이라고 판단되는 경우(ST220), 상기 제어수단(600)은 상기 감지수단(200)으로부터 제공되는 센서 신호를 근거로 시선방향 정보 및 현재 위치에 대응되는 절대방향 정보를 추출하여 상기 통신모듈(1001)을 통해 사용자단말(10)로 제공한다(ST230). 이때, 상기 감지수단(200)은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU센서로 구성되어, 속도와 방향 및 중력정보를 포함하는 센서신호를 제공하도록 구성되는 바, 지자기센서 신호를 근거로 사용자의 절대방향정보를 획득할 수 있다. 또한, 상기 사용자단말(10)은 해당 어플리케이션을 실행상태로 설정한다.
상기한 상태에서 사용자단말(10)은 상기 GPS 수신기(12)를 통해 현재 위치정보를 획득한 후(ST240), 위치정보와 방향정보를 포함하는 증강현실 요청정보를 상기 위치정보제공서버(20)로 제공한다(ST250).
상기 위치정보제공서버(20)는 상기 사용자단말(10)로 제공되는 해당 위치와 방향정보에 대응되는 객체, 예컨대 건물에 대한 상세정보를 검색하여, 해당 객체정보를 사용자단말(10)로 제공하고(ST260), 사용자단말(10)은 위치정보제공서버(20)로부터 제공되는 객체정보를 상기 장애물 안내장치(1000)로 제공한다(ST270).
상기 장애물 안내장치(1000)는 사용자단말(10)로부터 제공되는 객체정보를 음성출력수단(300)을 통해 음성출력함으로써, 사용자의 시선방향에 위치하는 객체에 대한 증강현실서비스를 제공하게 된다.
비록, 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허등록청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
100 : 촬영수단, 200 : 감지수단,
300 : 음성출력수단, 400 : 정보입력수단,
500 : 데이터메모리, 600 : 제어수단,
700 : 전원수단.
300 : 음성출력수단, 400 : 정보입력수단,
500 : 데이터메모리, 600 : 제어수단,
700 : 전원수단.
Claims (22)
- 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과,
사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단,
충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및,
상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되되,
상기 제어수단은 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향과 시선방향을 판단하여, 이동방향에 대응되는 3차원 영상에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 시선방향 3차원 영상에서 이동방향 3차원 영상 영역을 제외한 영역에 대해 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치. - 제1항에 있어서,
상기 제어수단은 방향정보와 위치정보를 포함하여 구성되는 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치. - 제1항 또는 제2항에 있어서,
상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호에 대해 저역 통과 필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치. - 제1항에 있어서,
상기 제어수단은 상기 좌우 카메라로부터 제공되는 좌우 영상 각각에 대한 카메라 왜곡에 따른 캘리브레이션처리를 수행하고, 캘리브레이션 처리된 좌우 영상을 이용하여 3차원 영상을 생성하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치. - 제1항에 있어서,
상기 감지수단은 자이로센서와 가속도센서를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치. - 삭제
- 제1항에 있어서,
상기 제어수단은 관심영역에서 장애물과의 거리가 일정 거리 이내 범위인 장애물 충돌 위험 영상을 데이터메모리에 저장하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치. - 시각장애인을 위한 장애물 안내 서비스를 제공하는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하기 위한 위치정보 제공서버와 통신하도록 구성되고,
상기 사용자단말은 상기 장애물 안내장치와 통신하기 위한 제1 통신모듈과, 위치 정보의 수신을 위한 GPS 수신기 및, 상기 위치정보 제공서버와 통신하기 위한 제2 통신모듈을 포함하여 구성됨과 더불어, 증강현실 서비스 제공을 위한 어플리케이션이 설치되도록 구성되어, 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 상기 GPS 수신기로부터 제공되는 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보 제공서버로 제공하고, 이에 대해 위치정보 제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하도록 구성되며,
상기 장애물 안내장치는 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하면서, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우, 시선방향 정보를 추출하여 상기 사용자단말로 제공하고, 이에 대해 사용자단말로부터 제공되는 객체정보를 음성출력수단을 통해 음성출력하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템. - 삭제
- 제8항에 있어서,
상기 감지수단은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU 센서로 구성되어, 속도와 이동방향, 시선방향 및 절대 방향에 대응되는 센서신호를 상기 제어수단으로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템. - 제8항 또는 제10항에 있어서,
상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호를 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템. - 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 시각장애인을 위한 3차원 장애물 안내장치의 장애물 안내방법에 있어서,
상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와,
상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계,
상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계,
상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계,
상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법. - 제12항에 있어서,
상기 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법. - 제12항에 있어서,
상기 제5 단계는 제4 단계에서 설정된 이동방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,
상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법. - 제12항에 있어서,
상기 제5 단계는 관심영역에서 장애물과의 거리가 기 설정된 일정 거리 이내인 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법. - 제12항에 있어서,
상기 제5 단계는 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상의 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법. - 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하는 위치정보 제공서버와 통신하도록 구성되는 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 주위 정보 안내 방법에 있어서,
상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계 및, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 위험 안내 단계와,
상기 장애물 안내장치에서 상기 감지수단으로부터 제공되는 방향정보를 상기 사용자단말로 제공하는 제21 단계와, 상기 사용자단말에서 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 GPS 수신기로부터 획득한 현재 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보제공서버로 제공하는 제22 단계, 상기 위치정보 제공서버에서 해당 위치 및 방향에 대응되는 객체정보를 검색하여 상기 사용자단말로 제공하는 제23 단계, 상기 사용자단말에서 상기 위치정보제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하는 제24 단계 및, 상기 장애물 안내장치에서 상기 사용자단말로부터 제공되는 객체정보를 음성출력하는 제25 단계를 포함하여 구성되는 증강현실 구현단계로 이루어지는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법. - 제17항에 있어서,
상기 증강현실 구현단계는 상기 장애물 안내장치의 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우에 한하여 수행되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법. - 제17항에 있어서,
상기 위험 안내 단계에서 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법. - 제17항에 있어서,
상기 위험 안내 단계에서 제5 단계는 상기 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,
상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법. - 제17항에 있어서,
상기 위험 안내 단계에서 제5 단계는 장애물과의 거리가 기 설정된 일정 거리 이내인 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법. - 제17항에 있어서,
상기 위험 안내 단계에서 제5 단계는 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상에 존재하는 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140182494A KR101646503B1 (ko) | 2014-12-17 | 2014-12-17 | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 |
| PCT/KR2015/013117 WO2016099052A1 (ko) | 2014-12-17 | 2015-12-03 | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140182494A KR101646503B1 (ko) | 2014-12-17 | 2014-12-17 | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160074736A KR20160074736A (ko) | 2016-06-29 |
| KR101646503B1 true KR101646503B1 (ko) | 2016-08-09 |
Family
ID=56126875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140182494A KR101646503B1 (ko) | 2014-12-17 | 2014-12-17 | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101646503B1 (ko) |
| WO (1) | WO2016099052A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018147506A1 (ko) * | 2017-02-08 | 2018-08-16 | 조현홍 | 시각 장애인용 로봇 견 |
| KR20190036703A (ko) | 2017-09-28 | 2019-04-05 | 선문대학교 산학협력단 | 스마트 지팡이 |
| KR102130168B1 (ko) | 2019-03-25 | 2020-07-03 | 주식회사 열림정보기술 | 지하철 역사에서 교통 약자 에스코트 시스템 및 방법 |
| WO2022265251A1 (ko) * | 2021-06-17 | 2022-12-22 | 삼성전자주식회사 | 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106309089B (zh) * | 2016-08-29 | 2019-03-01 | 深圳市爱思拓信息存储技术有限公司 | Vr视力矫正方法及装置 |
| KR101866797B1 (ko) * | 2016-12-16 | 2018-06-12 | 주식회사 큐버 | IoT 디바이스를 활용한 촬영지 위치정보 마킹 기반의 미디어 콘텐츠의 액티브 푸시 제공 방법 |
| KR102649720B1 (ko) * | 2016-12-22 | 2024-03-20 | 에스케이플래닛 주식회사 | 정보안내장치 및 그 동작 방법 |
| KR102009448B1 (ko) | 2018-06-15 | 2019-08-09 | 신한대학교 산학협력단 | 사물정보제공장치 및 그 장치의 구동방법 |
| KR102135137B1 (ko) * | 2018-10-02 | 2020-07-17 | (주)네모 | 시각 장애인의 독립보행 도움 서비스 단말. |
| CN109931977A (zh) * | 2019-01-02 | 2019-06-25 | 孔维强 | 一种自行移动检测空气参数并生成三维图像的设备 |
| KR102242681B1 (ko) * | 2019-02-25 | 2021-04-27 | 주식회사 모플래닛 | 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템 |
| CN111198549B (zh) * | 2020-02-18 | 2020-11-06 | 湖南伟业动物营养集团股份有限公司 | 一种基于大数据的家禽养殖监测管理系统 |
| KR102502913B1 (ko) * | 2020-11-27 | 2023-02-23 | 가천대학교 산학협력단 | 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템 |
| US20220187906A1 (en) * | 2020-12-16 | 2022-06-16 | Starkey Laboratories, Inc. | Object avoidance using ear-worn devices and image sensors |
| KR102291296B1 (ko) * | 2021-05-12 | 2021-08-20 | 방윤 | 시각 장애인 보행 보조 시스템 |
| CN114200938B (zh) * | 2021-12-10 | 2024-03-19 | 北京云迹科技股份有限公司 | 引领机器人周围障碍物的语音提醒方法、装置和机器人 |
| KR102476742B1 (ko) * | 2022-07-29 | 2022-12-14 | 충북대학교 산학협력단 | 보행자 신호등 및 장애물 감지가 가능한 시각장애인용 지팡이 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100405636B1 (ko) * | 2000-05-23 | 2003-11-15 | 이성환 | 시각 장애인용 착용 가능 보행 안내 장치 및 방법 |
| JP2006305214A (ja) * | 2005-05-02 | 2006-11-09 | Daysys:Kk | 歩行支援装置及び歩行支援方法 |
| WO2008020362A2 (en) * | 2006-08-15 | 2008-02-21 | Philips Intellectual Property & Standards Gmbh | Assistance system for visually handicapped persons |
| KR101644421B1 (ko) * | 2008-12-23 | 2016-08-03 | 삼성전자주식회사 | 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법 |
| KR101091437B1 (ko) * | 2009-08-24 | 2011-12-07 | 성균관대학교산학협력단 | 시각장애인 보행 안내 시스템 |
| KR101295714B1 (ko) * | 2010-06-30 | 2013-08-16 | 주식회사 팬택 | 3차원 증강 현실 제공 장치 및 방법 |
| JP2013123153A (ja) * | 2011-12-12 | 2013-06-20 | Sony Corp | 画像処理装置、その制御方法およびプログラム |
-
2014
- 2014-12-17 KR KR1020140182494A patent/KR101646503B1/ko active IP Right Grant
-
2015
- 2015-12-03 WO PCT/KR2015/013117 patent/WO2016099052A1/ko active Application Filing
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018147506A1 (ko) * | 2017-02-08 | 2018-08-16 | 조현홍 | 시각 장애인용 로봇 견 |
| KR20190036703A (ko) | 2017-09-28 | 2019-04-05 | 선문대학교 산학협력단 | 스마트 지팡이 |
| KR102130168B1 (ko) | 2019-03-25 | 2020-07-03 | 주식회사 열림정보기술 | 지하철 역사에서 교통 약자 에스코트 시스템 및 방법 |
| WO2022265251A1 (ko) * | 2021-06-17 | 2022-12-22 | 삼성전자주식회사 | 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160074736A (ko) | 2016-06-29 |
| WO2016099052A1 (ko) | 2016-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101646503B1 (ko) | 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 | |
| US9370459B2 (en) | System and method for alerting visually impaired users of nearby objects | |
| US9801778B2 (en) | System and method for alerting visually impaired users of nearby objects | |
| US10024667B2 (en) | Wearable earpiece for providing social and environmental awareness | |
| KR20210154814A (ko) | 패스 쓰루 이미징을 갖는 헤드 마운트 디스플레이 | |
| EP2893867B1 (en) | Detecting visual inattention based on eye convergence | |
| US9922236B2 (en) | Wearable eyeglasses for providing social and environmental awareness | |
| US20160025499A1 (en) | Intelligent mobility aid device and method of navigating and providing assistance to a user thereof | |
| TWI474173B (zh) | 行走輔助系統及行走輔助方法 | |
| US20170255267A1 (en) | Operation apparatus | |
| US9774978B2 (en) | Position determination apparatus, audio apparatus, position determination method, and program | |
| WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN111819521A (zh) | 信息处理装置、信息处理方法和程序 | |
| WO2020012955A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR20190111262A (ko) | 시각 장애인을 위한 장애물 거리 측정 단말기 | |
| JP5246162B2 (ja) | センシング装置、システム、制御方法、及び制御プログラム | |
| JP2021060627A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN106920260B (zh) | 立体惯性导盲方法及装置和系统 | |
| JP5002068B1 (ja) | 環境情報伝達装置 | |
| JP2019159193A (ja) | 視覚障がい者用行動支援装置 | |
| US20210303258A1 (en) | Information processing device, information processing method, and recording medium | |
| CN109791436B (zh) | 用于提供虚拟场景的装置及方法 | |
| US20190026939A1 (en) | Systems and methods for blind and visually impaired person environment navigation assistance | |
| US20210400234A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2022186346A (ja) | 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190725 Year of fee payment: 4 |