KR101878263B1

KR101878263B1 - Walking Stick for Visually Impaired Person

Info

Publication number: KR101878263B1
Application number: KR1020170018572A
Authority: KR
Inventors: 강현덕; 곽도연; 최선호; 유승민; 백호성
Original assignee: 울산과학기술원
Priority date: 2017-02-10
Filing date: 2017-02-10
Publication date: 2018-07-13

Abstract

The present invention relates to a stick for blind people, which comprises: a gyro sensor which measures an angle formed by the stick and the horizontal plane; a 3D depth camera which photographs images in real time; and a control unit which determines existence of an object based on sensing values of the gyro sensor and the images photographed by the depth camera. The control unit is able to determine the existence of the object by comparing an initial value of the angle measured by the gyro sensor with a changed angle according to changes in terrain. Therefore, the stick for blind people is able to deliver accurate information on existence of an obstacle to blind people by recognizing the existence of the obstacle from sensing values measured by a gyro sensor and/or images photographed by a depth camera. In addition, additional features, characteristics, and advantages of the present invention become further clear by attached drawings and descriptions on desirable embodiments.

Description

{Walking Stick for Visually Impaired Person}

본 발명은 시각 장애인용 지팡이에 관한 것으로서, 상세하게는 깊이 카메라와 자이로 센서를 구비하고, 이로부터 촬영된 영상과 지팡이와 지평면이 이루는 각도의 변화에 따라 전방의 장애물의 존재 여부를 판단하는 시각 장애인용 지팡이에 관한 것이다.[0001] The present invention relates to a cane for a visually impaired person, and more particularly to a cane having a depth camera and a gyro sensor, and a visually handicapped person who can judge the presence of an obstacle in front of the cane, It is about a dragon cane.

시각 장애인들은 외부 환경에 대한 정보를 쉽게 획득하기 어렵기 때문에 보행이 매우 제한되어 있으며, 장애물 등 위험요소에 대해 적절한 대처를 하기 어렵다. 이에 시각장애인들에게 있어 가장 보편적인 보행 보조수단인 지팡이는 시각 장애인들에게 많은 도움을 주고 있으나, 계단 등의 장애물에 의한 지형의 변화가 있는 경우 그에 대한 적절한 단서를 제공하지는 못하고 있다.Walking is very limited because visually impaired people can not easily obtain information about external environment, and it is difficult to cope with dangerous factors such as obstacles properly. Therefore, the most common walking aid for the visually impaired is helping the visually impaired, but it does not provide adequate clues to the change of the terrain due to obstacles such as stairs.

이와 같은 문제점을 해결하고자, 깊이 카메라와 방향 센서로부터 전방의 깊이 영상 및 장치의 방향 정보를 측정하는 보도 정보를 생성하여 촉각 장치 등 출력 장치로 알려주는 시각 장애인을 위한 장애물 인식 장치[특허문헌 1]가 제시된다. In order to solve the problems, the depth camera and the obstacle recognition device for the visually impaired tell from the direction sensor to the front depth image and an output device such as to generate a report information for measuring the orientation of a device touch device of Patent Document 1 .

또한, GPS모듈이 구비되고, 이에 더하여 사물을 인지하여 돌발상황에 대처할 수 있도록 주변의 사물을 탐지하는 초음파 모듈과, 사물인식용 카메라부와 상기 카메라부의 흔들림을 보정하는 자이로스코프를 구비하는 시각장애인용 사물인식 지팡이[특허문헌 2]가 제시된다.In addition, there is provided an ultrasonic diagnostic apparatus comprising a GPS module, an ultrasonic module for detecting an object in the vicinity so as to recognize an object and cope with an unexpected situation, a gyroscope for correcting the shaking of the camera unit, A device recognition stick [ Patent Document 2 ] is presented.

그러나, 이와 같은 종래 기술들은 주로 카메라에 의해 획득된 영상 등을 기초로 장애물의 존재 여부를 인식하고, 자이로 센서는 카메라부의 흔들림을 보정하거나 장애물의 좌표를 보정하는 역할을 함에 그친다. 즉, 카메라에 의해 획득된 영상만으로 장애물의 존재 여부를 인식하기 어려운 상황에서는 시각 장애인에게 적절한 정보를 제공하지 못하는 문제점을 가지고 있다.However, such conventional techniques recognize the presence of an obstacle mainly based on an image obtained by a camera, and the gyro sensor corrects the shaking of the camera unit or corrects the coordinates of the obstacle. That is, there is a problem that it is not possible to provide appropriate information to a visually impaired person in a situation where it is difficult to recognize existence of an obstacle by only the image acquired by the camera.

[특허문헌 1] 한국공개특허 10-2016-0028891[Patent Document 1] Korean Patent Laid-Open No. 10-2016-0028891 [특허문헌 2] 한국등록특허 10-1575776[Patent Document 2] Korean Patent No. 10-1575776

본 발명은 전술한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 시각 장애인용 보행 보조수단인 지팡이에 자이로 센서가 구비되고, 이에 더하여 3차원 공간 정보를 촬영하는 깊이 카메라와, 자이로 센서로부터 측정된 센싱값 및/또는 깊이 카메라로부터 촬영된 영상으로부터 장애물의 존재 여부를 인식하는 제어부를 구비하여, 장애물의 존재에 대한 보다 정확한 정보를 시각 장애인에게 전달할 수 있는 시각 장애인용 지팡이를 제공하기 위함이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a gyro sensor for a walking assistant means for a visually impaired person, and a depth camera for photographing three- And a control unit for recognizing presence or absence of an obstacle from the sensed image and / or the image taken from the depth camera. The present invention provides a cane for a visually impaired person who can transmit more accurate information about the presence of an obstacle to a visually impaired person.

본 발명의 일 실시 예에 따른 시각 장애인용 지팡이는, 상기 지팡이와 지평면이 이루는 각도를 측정하는 자이로 센서; 실시간으로 영상을 촬영하는 깊이 카메라(3D Depth Camera); 및 상기 자이로 센서의 센싱값과 상기 깊이 카메라에서 촬영된 영상의 이미지에 기반하여 객체의 유무를 판단하는 제어부를 포함하고, 상기 제어부는, 상기 자이로 센서에서 측정된 각도의 초기값과 상기 지형의 변화에 따라 변화된 각도를 비교하여 상기 객체의 유무를 판단할 수 있다.A cane for a visually impaired person according to an embodiment of the present invention includes a gyro sensor for measuring an angle formed by the cane and the ground surface; A 3D Depth Camera that captures images in real time; And a controller for determining the presence or absence of an object on the basis of the sensing value of the gyro sensor and the image of the image photographed by the depth camera, wherein the control unit controls the initial value of the angle measured by the gyro sensor, The presence or absence of the object can be determined by comparing the changed angles.

상기 제어부에는, 상기 객체를 표현하는 삼차원 이미지 패턴이 내장될 수 있다.The control unit may include a three-dimensional image pattern expressing the object.

상기 제어부는, 상기 삼차원 이미지 패턴과 상기 촬영된 영상의 이미지를 비교하여, 상기 삼차원 이미지 패턴과 상기 촬영된 영상의 이미지와의 유사성을 측정하여 상기 객체의 유무를 판단할 수 있다.The control unit may compare the three-dimensional image pattern with the image of the photographed image, and determine the presence or absence of the object by measuring the similarity between the three-dimensional image pattern and the photographed image.

상기 시각 장애인용 지팡이는, 상기 지팡이의 일단부에 마련되어, 상기 지팡이가 지평면에 접촉하는 것을 인식하기 위한 제1 스위치를 더 포함할 수 있다.The cane for the visually impaired may further include a first switch provided at one end of the cane to recognize that the cane touches the ground surface.

상기 시각 장애인용 지팡이는, 상기 각도의 초기값을 설정하기 위한 제2 스위치를 더 포함할 수 있다.The cane for the visually impaired may further include a second switch for setting an initial value of the angle.

상기 시각 장애인용 지팡이는, 사용자가 잡을 수 있는 손잡이를 더 포함하고, 상기 제2 스위치는, 상기 손잡이 상에 마련될 수 있다.The wand for a visually impaired person may further include a handle that can be held by a user, and the second switch may be provided on the handle.

상기 시각 장애인용 지팡이는, 상기 객체의 유무에 따라 진동하는 진동모터를 더 포함할 수 있다.The cane for the visually impaired may further include a vibration motor that vibrates according to the presence or absence of the object.

상기 시각 장애인용 지팡이는, 사용자가 잡을 수 있는 손잡이를 더 포함하고, 상기 진동모터는, 상기 손잡이의 내측에 마련될 수 있다.The wand for a visually impaired person may further include a handle that can be held by a user, and the vibration motor may be provided inside the handle.

상기 제어부는, 상기 객체의 유무의 판단 결과에 따라 상기 진동모터를 동작시킬 수 있다.The control unit may operate the vibration motor according to the determination result of the presence or absence of the object.

본 발명의 일 실시 예에 따른 시각 장애인용 지팡이에 의하면, 자이로 센서로부터 측정된 센싱값 및/또는 깊이 카메라로부터 촬영된 영상으로부터 장애물의 존재 여부를 인식하여, 장애물의 존재에 대해 보다 정확한 정보를 시각 장애인에게 전달할 수 있는 효과가 있다.According to the cane for a visually impaired person according to the embodiment of the present invention, the sensing value measured from the gyro sensor and / or the existence of the obstacle from the image taken from the depth camera are recognized, There is an effect that can be delivered to a disabled person.

또한, 다양한 돌발상황에 대처하여 사용자의 독립보행을 지원하는 면에 초점을 두어, 시각 장애인의 일상생활의 편의를 제공하는 효과가 있다.In addition, the present invention has an effect of providing convenience of daily life of the visually impaired by focusing on the aspect of supporting the independent walking by coping with various unexpected situations.

도 1은 본 발명의 일 실시 예에 따른 시각 장애인용 지팡이의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 시각 장애인용 지팡이의 구성을 도시한 블록도이다.1 is a view showing a configuration of a cane for a visually impaired person according to an embodiment of the present invention.
2 is a block diagram illustrating the configuration of a cane for a visually impaired person according to an embodiment of the present invention.

본 명세서에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있으나, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 아니 된다. 즉, 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된 것으로 이해되어야 한다.The terms first and / or second in this specification may be used to describe various components, but the components are not to be limited by the terms. That is, the terms should be understood to be used solely for the purpose of distinguishing one element from another.

본 명세서에서 '포함하다' 라는 표현으로 언급되는 구성요소, 특징 및 단계는 해당 구성요소, 특징 및 단계가 존재함을 의미하나, 하나 이상의 다른 구성요소, 특징, 단계 및 이와 동등한 것을 배제하지 않는 것으로 이해되어야 한다. 또한, 본 명세서에서 단수형으로 특정되어 언급되지 아니하는 한, 복수의 형태를 포함한다. 즉, 본 명세서에서 '포함하다' 라는 표현으로 언급된 구성요소 등은 하나 이상의 다른 구성요소 등의 존재나 추가를 의미할 수 있다.The components, features, and steps referred to in the specification as " comprising " in this specification are meant to include the presence of that component, feature, and step, but do not preclude the presence of one or more other components, features, steps, and the like Should be understood. In addition, unless the context clearly dictates otherwise, the present invention includes plural forms. That is, an element or the like referred to in the present specification may mean the presence or addition of one or more other elements or the like.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함하여 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의하여 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined herein .

이하 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 도면에서 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략하였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to clearly illustrate the present invention, parts not related to the description are omitted.

도 1은 본 발명의 일 실시 예에 따른 시각 장애인용 지팡이의 구성을 도시한 도면이고, 도 2는 본 발명의 일 실시 예에 따른 시각 장애인용 지팡이의 구성을 도시한 블록도이다.FIG. 1 is a block diagram of a cane for a visually impaired person according to an exemplary embodiment of the present invention. FIG. 2 is a block diagram illustrating a cane for a visually impaired person according to an exemplary embodiment of the present invention.

도 1 및 도 2에서 보는 것과 같이, 본 발명의 일 실시 예에 따른 시각 장애인용 지팡이(100)는, 깊이 카메라(10), 제어부(20), 자이로 센서(30) 및 본체부(40)를 포함할 수 있다. 또한, 시각 장애인용 지팡이(100)는, 제1 스위치(50), 제2 스위치(60), 진동모터(70), 및 손잡이(미도시)를 더 포함할 수 있다.1 and 2, a wand 100 for a visually impaired person according to an embodiment of the present invention includes a depth camera 10, a control unit 20, a gyro sensor 30, and a body unit 40 . The wand 100 for a visually impaired person may further include a first switch 50, a second switch 60, a vibration motor 70, and a handle (not shown).

깊이 카메라(10)는 3차원 공간 정보를 수집할 수 있는 카메라를 말한다. 즉, 깊이 카메라(10)는 영상을 실시간으로 촬영한다. 촬영된 영상은 제어부(20)로 전송될 수 있다. 이러한 깊이 카메라(10)는 본체부(40)에 마련될 수 있다.The depth camera 10 refers to a camera capable of collecting three-dimensional spatial information. That is, the depth camera 10 captures an image in real time. The photographed image can be transmitted to the control unit 20. The depth camera 10 may be provided in the main body unit 40.

자이로 센서(30)는 회전하는 물체의 각가속도를 측정하는 센서로서, 움직이는 물체의 방향 또는 기울기를 측정할 수 있다. 본 발명에서, 자이로 센서(30)는 시각 장애인용 지팡이(100)와 지평면이 이루는 각도를 측정하여 제어부(20)로 센싱값을 전달할 수 있다. 제어부(20)는 전달된 센싱값 - 시각 장애인용 지팡이(100)와 지평면이 이루는 각도 - 을 통하여 지형의 변화를 인식할 수 있다. 이러한 자이로 센서(30)는 본체부(40)에 마련될 수 있다.The gyro sensor 30 is a sensor for measuring the angular acceleration of a rotating object, and can measure the direction or tilt of a moving object. In the present invention, the gyro sensor 30 can measure the angle formed by the cane for the visually handicapped 100 and the horizontal plane, and transmit the sensed value to the controller 20. The control unit 20 can recognize the change of the terrain through the transmitted sensing value-the angle between the cane for the visually impaired 100 and the horizontal plane. The gyro sensor 30 may be provided in the main body 40.

제어부(20)는 깊이 카메라(10)로부터 촬영된 영상 및/또는 자이로 센서(30)로부터 측정된 각도를 입력 받아, 사용자의 정면 방향에 객체의 존재 유무를 판단할 수 있다. 객체가 존재하는지 아닌지에 대한 판단을 위하여, 제어부(20) 내부에는 객체를 표현하는 삼차원 이미지 패턴이 내장될 수 있다. 또한, 제어부(20) 내부에는 사용자가 기설정한 삼차원 이미지 패턴이 내장될 수 있다. The control unit 20 receives the image photographed from the depth camera 10 and / or the measured angle from the gyro sensor 30, and can determine the presence or absence of the object in the front direction of the user. In order to judge whether an object exists or not, a three-dimensional image pattern expressing an object may be embedded in the control unit 20. In addition, a three-dimensional image pattern preset by the user may be embedded in the controller 20. [

이때, 객체는 계단, 바위 등 보행을 방해하는 장애물일 수 있다. 한편, 바람직하게는, 제어부(20)는 마이크로프로세서와 입출력 모듈이 하나의 칩으로 만들어진 마이크로컨트롤러 및/또는 휴대용 소형 컴퓨터로 구성될 수 있다.At this time, the object may be an obstacle obstructing walking such as stairs, rocks, and the like. Preferably, the control unit 20 may include a microcontroller and / or a portable small computer in which a microprocessor and an input / output module are formed as a single chip.

시각 장애인용 지팡이(100)는 지팡이가 지평면에 접촉하는 것을 인식하기 위한 제1 스위치(50)를 포함할 수 있다. 바람직하게는, 제1 스위치(50)는 시각 장애인용 지팡이(100)의 일단부에 마련될 수 있다. 더욱 바람직하게는, 제1 스위치(50)는 시각 장애인용 지팡이(100)의 양단 중에서, 지평면과 접촉하게 되는 일단부에 마련될 수 있다. The visually handicapped staff 100 may include a first switch 50 for recognizing that the staff contacts the ground surface. Preferably, the first switch 50 may be provided at one end of the wand 100 for the visually impaired. More preferably, the first switch 50 may be provided at one end of the both ends of the wand 100 for the visually impaired to be in contact with the horizontal plane.

또한, 시각 장애인용 지팡이(100)는 사용자가 지팡이를 잡을 수 있는 손잡이(미도시)를 포함할 수 있다.In addition, the wand for the visually handicapped person 100 may include a handle (not shown) for the user to hold the wand.

시각 장애인용 지팡이(100)는 자이로 센서(30)에서 측정되는 시각 장애인용 지팡이(100)와 지평면이 이루는 각도의 초기값을 설정하기 위한 제2 스위치(60)를 더 포함할 수 있다. 이때, 제2 스위치(60)는 시각 장애인용 지팡이(100)의 손잡이(미도시) 상에 마련될 수 있다.The wand for a visually-impaired person 100 may further include a second switch 60 for setting an initial value of an angle formed by the wand 100 and the ground surface measured by the gyro sensor 30. At this time, the second switch 60 may be provided on the handle (not shown) of the wand 100 for the visually impaired.

시각 장애인용 지팡이(100)는 제어부(20)에서 판단한 객체의 존재 유무를 진동을 통하여 사용자에게 알리는 진동모터(70)를 포함할 수 있다. 바람직하게는, 진동모터(70)는 손잡이(미도시)의 내측에 마련될 수 있다. 더욱 바람직하게는, 진동모터(70)는 손잡이(미도시) 내측의 상부와 하부에 각각 마련될 수 있다.The wand for a visually impaired person 100 may include a vibration motor 70 for informing a user of the presence or absence of an object determined by the controller 20 through vibration. Preferably, the vibration motor 70 may be provided inside the handle (not shown). More preferably, the vibration motor 70 may be provided on the upper and lower portions inside the handle (not shown), respectively.

다음으로, 본 발명의 일 실시 예에 따른 시각 장애인용 지팡이가 장애물을 인식하는 과정을 도 1 및 도 2를 참조하여 구체적으로 설명한다.Next, a process of recognizing an obstacle by a staff for a visually impaired person according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2. FIG.

우선, 사용자가 제2 스위치(60)를 누르면, 자이로 센서(30)는 시각 장애인용 지팡이(100)와 지평면이 이루는 각도를 측정하고, 측정된 제1 센싱값을 제어부(20)로 전송한다. 제어부(20)는 제1 센싱값을 시각 장애인용 지팡이(100)와 지평면이 이루는 각도의 초기값으로 설정한다. 바람직하게는, 사용자는 시각 장애인용 지팡이(100)의 일단부가 지평면과 접촉할 때 제2 스위치(60)를 누르는 것이 필요하다.First, when the user presses the second switch 60, the gyro sensor 30 measures the angle formed by the cane for the visually handicapped 100 and the horizontal plane, and transmits the measured first sensing value to the control unit 20. The controller 20 sets the first sensing value to the initial value of the angle formed by the wand 100 for the visually impaired and the horizontal plane. Preferably, the user needs to press the second switch 60 when one end of the wand 100 for the visually impaired contacts the horizon.

다음으로, 자이로 센서(30)는 사용자가 시각 장애인용 지팡이(100)를 사용하면서 보행할 때 시각 장애인용 지팡이(100)와 지평면이 이루는 각도를 측정하고, 측정된 제2 센싱값을 제어부(20)로 전송한다. 바람직하게는, 자이로 센서(30)는 제1 스위치(50)와 지평면이 접촉할 때, 시각 장애인용 지팡이(100)와 지평면이 이루는 각도를 측정하고, 측정된 제2 센싱값을 제어부(20)로 전송한다.Next, the gyro sensor 30 measures the angle formed by the wand 100 for the visually impaired and the ground plane when the user walks while using the wand 100 for the visually impaired, and outputs the measured second sensed value to the controller 20 ). Preferably, the gyro sensor 30 measures an angle formed by the cane for a visually impaired person 100 and a horizontal plane when the first switch 50 is in contact with the ground plane, and outputs the measured second sensing value to the control unit 20, Lt; / RTI >

다음으로, 제어부(20)는 초기값으로 설정된 제1 센싱값과 보행을 하면서 측정된 제2 센싱값을 비교하여 변화된 정도를 측정한다. 이로써, 제어부(20)는 변화된 정도에 따라 사용자의 전방에 장애물이 존재하는지 여부를 판단한다.Next, the controller 20 compares the first sensing value set to the initial value with the measured second sensing value while walking, and measures the changed level. Thus, the control unit 20 determines whether an obstacle exists in front of the user according to the changed degree.

한편, 깊이 카메라(10)는 사용자의 전방의 실시간 영상을 촬영하여 상기 제어부(20)로 전송한다. 제어부(20)는 촬영된 실시간 영상의 이미지와 삼차원 이미지 패턴과의 유사성을 측정한다. 즉, 제어부(20)는 기설정된 삼차원 이미지 패턴과 촬영된 실시간 영상의 이미지가 매칭되는지 여부를 판단하여 촬영된 실시간 영상의 이미지가 장애물인지를 판단하는 것이다. 제어부(20)는 이 유사성을 바탕으로 사용자의 전방에 장애물이 존재하는지 여부를 판단한다.On the other hand, the depth camera 10 captures a real time image in front of the user and transmits the captured image to the controller 20. The control unit 20 measures the similarity between the image of the photographed real-time image and the three-dimensional image pattern. That is, the controller 20 determines whether the image of the captured real-time image is an obstacle by determining whether the predetermined three-dimensional image pattern matches the captured real-time image. Based on the similarity, the control unit 20 determines whether an obstacle exists in front of the user.

즉, 본 발명은 자이로 센서(30)로부터의 센싱값을 이용하여 장애물을 인식하는 동시에, 깊이 카메라(10)로 촬영된 영상을 이용하여 장애물을 인식하는 바, 사용자에게 좀 더 정확한 정보를 전달할 수 있는 이점이 있다.That is, the present invention recognizes an obstacle by using the sensing value from the gyro sensor 30, recognizes an obstacle by using the image photographed by the depth camera 10, and transmits more accurate information to the user There is an advantage.

또한, 제어부(20)는 장애물의 존재 여부에 따라 진동모터(70)를 동작시킬 수 있다. 구체적으로, 장애물이 존재하지 않는다면, 제어부(20)는 진동모터(70)를 동작시키지 않으나, 장애물이 존재한다면, 제어부(20)는 진동모터(70)를 동작시킨다. 따라서, 사용자는 진동모터(70)의 진동으로부터 전방 장애물의 존재를 인식할 수 있다.In addition, the control unit 20 can operate the vibration motor 70 according to the presence or absence of an obstacle. Specifically, if no obstacle is present, the control unit 20 does not operate the vibration motor 70, but if there is an obstacle, the control unit 20 operates the vibration motor 70. [ Thus, the user can recognize the presence of the front obstacle from the vibration of the vibration motor 70. [

예를 들어, 본 발명의 또 다른 일 실시 예로서, 사용자가 계단을 오르내릴 때 시각 장애인용 지팡이(100)의 동작을 설명한다.For example, as another embodiment of the present invention, the operation of the wand 100 for the visually impaired will be described when the user moves up and down the stairs.

우선, 사용자가 계단을 올라갈 때 시각 장애인용 지팡이(100)의 동작을 설명한다. 사용자가 제2 스위치(60)를 누르면, 자이로 센서(30)는 시각 장애인용 지팡이(100)와 지평면이 이루는 각도를 측정하고, 측정된 제3 센싱값을 제어부(20)로 전송한다. 제어부(20)는 제3 센싱값을 시각 장애인용 지팡이(100)와 지평면이 이루는 각도의 초기값으로 설정한다.First, the operation of the wand 100 for the visually impaired will be described when the user goes up the stairs. When the user presses the second switch 60, the gyro sensor 30 measures the angle formed by the cane for the visually handicapped 100 and the horizontal plane, and transmits the measured third sensing value to the control unit 20. The controller 20 sets the third sensing value to the initial value of the angle formed by the cane for the visually impaired 100 and the horizontal plane.

다음으로, 사용자가 계단을 오르면서, 제1 스위치(50)가 계단의 표면과 접촉하는 경우, 자이로 센서(30)는 시각 장애인용 지팡이(100)와 상기 계단의 표면이 이루는 각도를 측정하고, 측정된 제4 센싱값을 제어부(20)로 전송한다. 제어부(20)는 초기값으로 설정된 제3 센싱값과 제4 센싱값을 비교하여 변화된 정도를 측정한다. 이로써, 제어부(20)는 사용자의 전방에 계단이 존재한다고 판단할 수 있다.Next, when the user climbs the stairs and the first switch 50 makes contact with the surface of the step, the gyro sensor 30 measures the angle formed by the stick 100 for the visually impaired and the surface of the step, And transmits the measured fourth sensing value to the controller 20. The controller 20 compares the third sensing value set to the initial value with the fourth sensing value and measures the changed level. Thus, the control unit 20 can determine that a step exists in front of the user.

한편, 사용자가 계단을 올라갈 때, 깊이 카메라(10)는 사용자의 전방의 실시간 영상을 촬영하여 제어부(20)로 전송한다. 제어부(20)는, 촬영된 실시간 영상의 이미지와 기저장된 계단의 삼차원 이미지 패턴과의 유사성을 측정한다. 제어부(20)는 이 유사성을 바탕으로 사용자의 전방에 계단이 존재한다고 판단할 수 있다.On the other hand, when the user goes up the stairs, the depth camera 10 picks up a real time image in front of the user and transmits it to the control unit 20. The control unit 20 measures the similarity between the image of the photographed real-time image and the three-dimensional image pattern of the previously stored step. Based on the similarity, the control unit 20 can determine that a step exists in front of the user.

또한, 제어부(20)는 계단이 존재한다고 판단한 후, 진동모터(70)를 동작시킬 수 있다. 진동모터(70)의 진동으로부터 사용자는 전방에 계단이 존재한다는 것을 인식할 수 있다. 한편, 진동모터(70)는 손잡이의 내측의 상부와 하부에 각각 마련되어 있을 수 있다. 이때, 제어부(20)는 상부에 마련된 진동모터(70)만을 동작시킬 수 있다. 따라서, 사용자는 계단이 올라가는 방향으로 형성되어 있다는 것을 인식할 수 있다.Further, the control unit 20 can operate the vibration motor 70 after determining that a step is present. From the vibration of the vibration motor 70, the user can recognize that a step is present ahead. On the other hand, the vibration motor 70 may be provided on the upper and lower portions of the inside of the handle. At this time, the control unit 20 can operate only the vibration motor 70 provided at the upper part. Thus, the user can recognize that the stairs are formed in the direction of climbing.

반면, 사용자가 계단을 내려갈 때의 시각 장애인용 지팡이(100)의 동작을 설명한다. 이 경우, 계단이 내려가는 방향으로 형성되어 있으므로, 깊이 카메라(10)에는 이미 저장된 계단의 삼차원 이미지 패턴과 대응하는 객체는 촬영되지 아니할 수 있다. 다만, 사용자가 제2 스위치(60)를 누르면, 자이로 센서(30)는 시각 장애인용 지팡이(100)와 지평면이 이루는 각도를 측정하고, 측정된 제5 센싱값을 제어부(20)로 전송한다. 제어부(20)는 제5 센싱값을 시각 장애인용 지팡이(100)와 지평면이 이루는 각도의 초기값으로 설정한다.On the other hand, the operation of the blind staff 100 when the user goes down the stairs is described. In this case, since the step is formed in the descending direction, the object corresponding to the three-dimensional image pattern of the stair already stored in the depth camera 10 may not be photographed. However, when the user presses the second switch 60, the gyro sensor 30 measures the angle formed by the cane for the visually handicapped 100 and the horizontal plane, and transmits the measured fifth sensing value to the control unit 20. The controller 20 sets the fifth sensing value to the initial value of the angle formed by the wand 100 for the visually impaired and the horizontal plane.

다음으로, 사용자가 계단을 내려가면서, 제1 스위치(50)가 계단의 표면과 접촉하는 경우, 자이로 센서(30)는 시각 장애인용 지팡이(100)와 계단의 표면이 이루는 각도를 측정하고, 측정된 제6 센싱값을 제어부(20)로 전송한다. 제어부(20)는 초기값으로 설정된 제5 센싱값과 제6 센싱값을 비교하여 변화된 정도를 측정한다. 이로써, 제어부(20)는 사용자의 전방에 계단이 존재한다고 판단할 수 있다.Next, when the first switch 50 comes into contact with the surface of the step while the user is descending the step, the gyro sensor 30 measures the angle between the stepped cane 100 and the surface of the step, And transmits the sensed sixth sensing value to the controller 20. The controller 20 compares the fifth sensing value and the sixth sensing value, which are set as initial values, and measures the degree of the change. Thus, the control unit 20 can determine that a step exists in front of the user.

즉, 본 발명은 자이로 센서(30)의 센싱값을, 단순히 상기 깊이 카메라(10)로부터 촬영된 영상의 이미지와 상기 삼차원 이미지 패턴과의 유사성을 바탕으로 객체의 유무를 판단함에 있어 보정하는 용도로 사용하는 것이 아니라, 자이로 센서(30)의 센싱값 자체만으로도 사용자 전방의 객체의 존재 여부를 판단할 수 있는 이점이 있다.That is, the present invention is intended to correct the sensing value of the gyro sensor 30 in determining the presence or absence of an object on the basis of the similarity between the image of the image photographed from the depth camera 10 and the three-dimensional image pattern There is an advantage that the presence or absence of an object ahead of the user can be determined by the sensing value itself of the gyro sensor 30 alone.

또한, 제어부(20)는 계단이 존재한다고 판단한 후, 진동모터(70)를 동작시킬 수 있다. 진동모터(70)의 진동으로부터 사용자는 전방에 계단이 존재한다는 것을 인식할 수 있다. 한편, 진동모터(70)는 손잡이의 내측의 상부와 하부에 각각 마련되어 있을 수 있다. 이때, 제어부(20)는 하부에 마련된 진동모터(70)만을 동작시킬 수 있다. 따라서, 사용자는 계단이 내려가는 방향으로 형성되어 있다는 것을 인식할 수 있다.Further, the control unit 20 can operate the vibration motor 70 after determining that a step is present. From the vibration of the vibration motor 70, the user can recognize that a step is present ahead. On the other hand, the vibration motor 70 may be provided on the upper and lower portions of the inside of the handle. At this time, the controller 20 can operate only the vibration motor 70 provided at the lower part. Therefore, the user can recognize that the step is formed in the descending direction.

이상 설명된 본 발명의 실시 예는 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것에 불과하며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 잘 알 수 있을 것이다. 따라서 본 발명의 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의하여 정해질 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 변형물과 균등물 및 대체물을 모두 포함하는 것으로 이해되어야 한다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention. It will be appreciated that embodiments are possible. Therefore, the technical scope of the present invention will be determined by the technical idea of the appended claims. It is also to be understood that the invention includes both modifications and equivalents of the invention as defined by the appended claims.

100 : 지팡이
10 : 깊이 카메라
20 : 제어부
30 : 자이로 센서
40 : 본체부
50 : 제1 스위치
60 : 제2 스위치
70 : 진동모터100: Staff
10: Depth camera
20:
30: Gyro sensor
40:
50: first switch
60: second switch
70: Vibration motor

Claims

A cane for a visually impaired person having a handle,
A first switch provided at one end of both ends of the walking stick to be in contact with the ground;
A gyro sensor for measuring an angle between the cane and the ground when the first switch is in contact with the ground;
A depth camera (3D Depth Camera) for capturing a forward image in real time;
A plurality of vibration motors provided on the inside of the handle to be spaced apart from each other; And
Determining a presence or absence of an object on the basis of the amount of change between the predetermined initial value and the measured angle and the photographed image,
And a control unit for selectively operating one or more vibration motors corresponding to the type of the object among the vibration motors when it is determined that the object exists.
Cane for the visually impaired.

The method according to claim 1,
Wherein the controller includes a three-dimensional image pattern representing the object,
Cane for the visually impaired.

3. The method of claim 2,
Wherein the control unit compares the three-dimensional image pattern with the image of the photographed image to determine the presence or absence of the object by measuring the similarity between the three-dimensional image pattern and the photographed image,
Cane for the visually impaired.

delete

The method according to claim 1,
And a second switch provided on the handle,
Cane for the visually impaired.

6. The method of claim 5,
The gyro sensor includes:
And measuring an angle between the cane and the ground when the second switch is operated,
Cane for the visually impaired.

The method according to claim 6,
Wherein,
And setting an angle formed between the cane and the ground measured when the second switch is operated to the initial value,
Cane for the visually impaired.

delete