WO2016099052A1 - 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 - Google Patents

시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 Download PDF

Info

Publication number
WO2016099052A1
WO2016099052A1 PCT/KR2015/013117 KR2015013117W WO2016099052A1 WO 2016099052 A1 WO2016099052 A1 WO 2016099052A1 KR 2015013117 W KR2015013117 W KR 2015013117W WO 2016099052 A1 WO2016099052 A1 WO 2016099052A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
image
information
sensor signal
guide
Prior art date
Application number
PCT/KR2015/013117
Other languages
English (en)
French (fr)
Inventor
양승한
박성령
송영철
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of WO2016099052A1 publication Critical patent/WO2016099052A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0269—System arrangements wherein the object is to detect the exact location of child or item using a navigation satellite system, e.g. GPS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5079—Velocity sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S116/00—Signals and indicators
    • Y10S116/17—Tactile

Definitions

  • the present invention calculates the distance from the obstacle around the user's moving direction by using the 3D image and the sensor signal corresponding to the direction / speed information provided through the stereo vision, and provides the guidance information by voice
  • the present invention relates to a three-dimensional obstacle guidance device for the visually impaired, which provides an augmented reality information of an object with respect to a user's gaze direction, a surrounding information guidance system using the same, and a method thereof.
  • the visually impaired people walk along a braille block guide line consisting of a plurality of braille blocks, by touching the edge component of each braille block several times with a stick or recognizing through the soles of the feet.
  • the pedestrian information guide system for the visually impaired typically provides only a walking direction based on a braille block formed on the bottom surface photographed by a camera. Because it does not provide information, it is somewhat dangerous for the blind to walk freely.
  • the present invention was created in view of the above circumstances, and guide information about a peripheral obstacle located in a moving direction of a user using a sensor signal corresponding to a 3D image and direction / speed information provided through a stereo vision. It is a technical object to provide a three-dimensional obstacle guide device and a method for the visually impaired to enable a more stable walking by the voice output.
  • the present invention provides the visually impaired voice guidance guidance with the three-dimensional obstacle in the moving direction based on the three-dimensional image provided through the stereo vision and the sensor signal provided through the IMU sensor,
  • Another object of the present invention is to provide a 3D surrounding information guide system and a method for the visually impaired, by providing the augmented reality information of the object to be located, so that the visually impaired can walk with a more realistic sense.
  • the left camera and the right camera are arranged to be spaced apart by a predetermined distance to shoot the front image respectively, and the sensor signal for the direction and speed corresponding to the user's movement
  • a three-dimensional image including distance information is generated by using a sensing means for outputting, an audio output means for audio outputting guide information on a collision risk obstacle, and left and right photographed images provided by the photographing means, and provided from the sensing means.
  • the 3D image corresponding to the moving direction is set as the ROI based on the sensor signal, and the distance to the obstacle in the ROI is calculated to determine the distance of the obstacle within the predetermined distance. It characterized in that it comprises a control means for controlling to output the obstacle hazard guidance information through the voice
  • the 3-D obstacle guide device for visually impaired users who are provided.
  • control means is a three-dimensional obstacle guide device for the visually impaired, characterized in that configured to determine the moving direction and the visual direction by comparing the current sensor signal and the previous sensor signal comprising the direction information and location information Is provided.
  • control means is provided with a three-dimensional obstacle guide device for the visually impaired, characterized in that configured to determine the moving direction and the gaze direction by low pass filtering the sensor signal provided from the sensing means.
  • the control means may be configured to perform a calibration process according to camera distortion for each of the left and right images provided from the left and right cameras, and generate a 3D image using the calibrated left and right images.
  • a three-dimensional obstacle guide device Provided is a three-dimensional obstacle guide device.
  • the sensing means is provided with a three-dimensional obstacle guide device for the visually impaired, characterized in that it comprises a gyro sensor and an acceleration sensor.
  • control means determines the moving direction and the visual direction based on the sensor signal provided from the sensing means, the first collision when the distance between the obstacle detected in the three-dimensional image corresponding to the moving direction is within a certain range
  • the second collision risk guidance is output if the danger guidance message is output through the audio output means and the distance between the obstacle detected in an area except the moving direction 3D image area in the visual 3D image different from the moving direction is within a certain range.
  • a three-dimensional obstacle guidance device for the visually impaired which is configured to output a message through the voice output means.
  • control means is provided with a three-dimensional obstacle guide device for the visually impaired, characterized in that configured to store the obstacle collision danger image in a data memory.
  • the obstacle guide device for providing an obstacle guide service for the visually impaired is configured to perform wireless communication with the user terminal of the visually impaired, the user terminal Is configured to communicate with a location information providing server for providing object information corresponding to the location information, the user terminal comprising: a first communication module for communicating with the obstacle guide device; a GPS receiver for receiving location information; And a second communication module for communicating with the location information providing server, and configured to install an application for providing augmented reality service, and the direction information and the GPS provided from the obstacle guide device according to the execution of the application.
  • Augmented reality request information including location information provided from the receiver It provides to the location information providing server, the object information provided from the location information providing server is configured to provide to the obstacle guide device, the obstacle guide device is the left camera and the right camera are arranged at a predetermined distance apart from the front image Photographing means for respectively photographing, sensing means for outputting a sensor signal corresponding to a direction and speed corresponding to a user's movement, sound output means for sounding out guide information on a collision risk obstacle, and left and right provided from the photographing means
  • the 3D image including the distance information is generated using the captured image, and the 3D image corresponding to the moving direction is set as the ROI based on the sensor signal provided from the sensing means, and the obstacle in the ROI.
  • the visual direction information is extracted and provided to the user terminal based on the sensor signal provided from the detection means, and the object information provided from the user terminal is outputted to the voice terminal.
  • a three-dimensional ambient information guide system for the visually impaired comprising a control means for outputting voice through the means.
  • the control means may be configured to provide visual direction information to the user terminal when the current moving speed is less than a predetermined speed based on a sensor signal from the sensing means. This is provided.
  • the sensing means is composed of an IMU sensor consisting of an acceleration sensor, a gyro sensor, and a geomagnetic sensor, characterized in that configured to provide a sensor signal corresponding to the speed and movement direction, the line of sight and absolute direction to the control means.
  • IMU sensor consisting of an acceleration sensor, a gyro sensor, and a geomagnetic sensor, characterized in that configured to provide a sensor signal corresponding to the speed and movement direction, the line of sight and absolute direction to the control means.
  • control means is provided with a three-dimensional peripheral information guide system for the visually impaired, characterized in that configured to determine the moving direction and the gaze direction by low pass filtering the sensor signal provided from the sensing means.
  • an obstacle guiding method of a three-dimensional obstacle guide apparatus for a visually impaired person configured to transmit a guide voice for an obstacle, comprising: generating a three-dimensional image including distance information by using left and right images provided from the left and right cameras; Step 1, the second step of removing and outputting the noise component of the sensor signal provided from the sensing means, 3 generated in the first step of the sensor signal coordinates of the sensor coordinate system for the sensor signal from which the noise component is removed.
  • the second step is provided with a three-dimensional obstacle guide method for the visually impaired, characterized in that configured to output the sensor signal of the low frequency band through the low pass filter.
  • the first collision risk guide message is output through the voice output means.
  • the 3D image generated in the first step moves.
  • the fifth step is to provide a three-dimensional obstacle guide method for the visually impaired, characterized in that for storing the obstacle collision risk image in a data memory.
  • the image coordinate converted by comparing the 3D image generated in the first step with the image coordinates of the sensor signal generated in the third step does not exist in the 3D image.
  • the distance from the obstacle in the previous three-dimensional moving direction image based on the current moving speed of the user to calculate the collision risk guidance message for this Obstacle guidance is provided.
  • the position in the moving direction photographed image on the basis of the sensor signal for the direction and speed provided from the photographed image and the sensing means provided from the left camera and the right camera is configured to perform wireless communication with the user terminal of the visually impaired, and the user terminal communicates with the location information providing server providing the object information corresponding to the location information.
  • a method for guiding surrounding information in a three-dimensional surrounding information guide system for a visually impaired comprising: a first step of generating a three-dimensional image including distance information by using left and right images provided from the left and right cameras; Output by removing noise component of sensor signal provided from sensing means A second step of converting the sensor signal coordinates of the sensor coordinate system for the sensor signal from which the noise component is removed to the image coordinates of the image coordinate system corresponding to the 3D image generated in the first step; A fourth step of setting the 3D image as a region of interest when the converted image coordinate exists in the 3D image by comparing the 3D image generated in the step with the image coordinates of the sensor signal generated in the third step; And a fifth step of detecting an obstacle in the ROI set in the fourth step, and outputting a collision risk guidance voice for the obstacle when the distance to the corresponding obstacle is within a preset predetermined distance; A twenty-first step of providing direction information provided from the sensing means to the user terminal in the obstacle guide device; Step 22, augmented reality request information including
  • the augmented reality implementation step is a three-dimensional ambient information guide method for the visually impaired, characterized in that performed only if the current movement speed is less than a certain speed based on the sensor signal provided from the sensing means of the obstacle guide device Is provided.
  • the second step in the risk guidance step is to provide a three-dimensional ambient information guide method for the visually impaired, characterized in that configured to output the sensor signal of the low frequency band through the low pass filter.
  • a first collision danger guide message is output through the voice output means, and the first If the converted video coordinates are not present in the 3D image by comparing the 3D image generated in the step with the image coordinates of the sensor signal generated in the third step, the moving direction ROI in the 3D image generated in the first step And an image region except for the visual region of interest, and output a second collision danger guide message through the voice output means when the distance detected from the visual region of interest is within a certain range.
  • a three-dimensional information guide method for the visually impaired are provided.
  • the fifth step in the risk guidance step is provided with a three-dimensional ambient information guide method for the visually impaired, characterized in that for storing the obstacle collision danger image in a data memory.
  • the fifth step of the risk guidance step may be performed by comparing the 3D image generated in the first step with the image coordinates of the sensor signal generated in the third step, without converting the image coordinates into the 3D image.
  • a distance from the obstacle present in the previous 3D moving direction image is calculated based on the current moving speed of the user, and a collision risk guide message is output.
  • a three-dimensional ambient information guidance method for the visually impaired is provided.
  • the distance between the obstacles is calculated using the three-dimensional image provided through the stereo vision, and voice information is output for the guide obstacles, and the obstacle guide information is based on the distance to the obstacles in the moving direction of the user.
  • the present invention by providing the voice information of the visually impaired object information using the three-dimensional image provided through the stereo vision, it is possible for the visually impaired person to walk in a more realistic sense.
  • the present invention by storing the image of the collision risk state in a predetermined data memory, it is possible to provide objective information when determining the fertilization according to the collision generated during walking.
  • Figure 1 is a block diagram showing the functional separation of the internal configuration of the three-dimensional obstacle guide device for the blind according to the first embodiment of the present invention
  • FIG. 2 is a view for explaining the obstacle guide process of the control means 600 shown in FIG.
  • FIG. 3 is a view for explaining the operation of the three-dimensional obstacle guide device for the visually impaired shown in FIG.
  • FIG. 4 is a diagram illustrating an obstacle detection problem situation that occurs when the moving direction and the line of sight in FIG. 3 are different.
  • FIG. 5 is a view showing a schematic configuration of a three-dimensional ambient information guide system for the blind according to the present invention.
  • FIG. 6 is a view for explaining a method of guiding augmented reality information in a three-dimensional ambient information guide system for the visually impaired shown in FIG. 4;
  • FIG. 6 is a view for explaining a method of guiding augmented reality information in a three-dimensional ambient information guide system for the visually impaired shown in FIG. 4;
  • the three-dimensional obstacle guide apparatus for the visually impaired is basically to provide information about the visually impaired (hereinafter referred to as the user), that is, to obtain an image of the front of the user, preferably It may be configured in the shape of glasses or the like that can be worn directly by the user, or may be configured in a shape that can be mounted on various objects, such as a hat, that can be worn on the user's head.
  • the user may be configured in the shape of glasses or the like that can be worn directly by the user, or may be configured in a shape that can be mounted on various objects, such as a hat, that can be worn on the user's head.
  • the present invention can be carried out by additionally applied to a known walking guidance system for the visually impaired.
  • FIG. 1 is a block diagram showing functionally separated internal configuration of the three-dimensional obstacle guide apparatus for the visually impaired according to the first embodiment of the present invention.
  • the 3D obstacle guide device for the visually impaired includes a photographing means 100 for photographing a front image, a sensing means 200 for outputting a sensor signal corresponding to a direction and a speed of a user, and various Voice output means 300 for outputting guide information, information input means 400 for inputting a user's command, data memory 500 for storing various information related to 3D obstacle guidance, and overall control related to 3D obstacle guidance It comprises a control means 600 for performing the operation and a power supply means 700 for providing a supply power for driving the apparatus.
  • the photographing means 100 may include a stereo vision capable of distance measurement, that is, a stereo camera. That is, the photographing means 100 is configured such that the left camera 110 and the right camera 120 are spaced apart from each other by a predetermined distance. This is to calculate distance information of a target object, that is, an obstacle, by using a disparity between respective captured images provided to the left camera 110 and the right camera 120.
  • a stereo vision capable of distance measurement that is, a stereo camera. That is, the photographing means 100 is configured such that the left camera 110 and the right camera 120 are spaced apart from each other by a predetermined distance. This is to calculate distance information of a target object, that is, an obstacle, by using a disparity between respective captured images provided to the left camera 110 and the right camera 120.
  • the sensing means 200 may include a gyro sensor and an acceleration sensor, and the gyro sensor and the acceleration sensor may transmit sensor signals corresponding to a moving direction, a visual direction, and a moving speed of the user to the control means 600. to provide.
  • the sensing means 200 may be configured as an IMU (inertial measurement unit) sensor is composed of an acceleration sensor, a gyro sensor and a geomagnetic sensor to provide a sensor signal corresponding to more accurate direction information and speed information.
  • IMU intial measurement unit
  • the voice output means 300 is for outputting various guide information, in particular, surrounding obstacle guide-related information by voice.
  • the voice output means 300 may include a speaker or an earphone.
  • the voice output means 300 may be arranged to be spaced apart from each other by a wireless or wired connection with the control means 600 in order to allow the user to hear the guidance voice more clearly.
  • the user can easily listen to the guide sound associated with the obstacle guide while the wired or wireless earphone is plugged into his or her ear.
  • the wired or wireless earphone may be configured as a bone conduction earphone. This is to prevent the user from hearing the ambient sound by the voice of the earphone so that both the guide voice and the ambient sound related to the obstacle guide can be heard.
  • the information input means 400 is configured to include a variety of function keys for inputting the environment setting information of the obstacle guide device, for example, the user up / down the volume level of the voice output means (300) / DOWN) or ON / OFF key to set the operation status.
  • the information input means 400 may be configured to be configured to perform a configuration related to the obstacle guide device through a microphone input through the microphone.
  • the data memory 500 may be configured to clear at least one or more different obstacle guidance messages according to distances, reference area information for setting a maximum danger area and a danger area, an obstacle reference distance for setting a danger obstacle, and setting a danger obstacle.
  • Information including reference condition information and various types of processing information processed by the control means 600 is stored.
  • the processing information of the control means 600 may include, for example, a photographed image for a predetermined time before and after the collision occurs, and a sensor signal provided from the sensing means 200.
  • control means 600 controls the power supply means 700 based on this to provide the supply power to each means, and the photographing means Detecting obstacles around the user based on the captured image provided from the 100 and the movement and direction-related sensor signals provided from the sensing means 200, and calculating the distance to the detected obstacles, and thus the collision risk corresponding to the distance information. Controls the state information to be output through the voice output means 300.
  • the power supply means 700 provides a power supply Vcc for operating each means including the photographing means 100, the sensing means 200, and the audio output means 300.
  • the power source 700 is preferably configured in the form of a portable battery.
  • Figure 2 is a block diagram showing the obstacle collision risk guidance process of the control means 600 shown in Figure 1 by block diagram.
  • the control unit 600 is configured to provide obstacle guidance information through the 3D image processing block 610, the ROI setting processing block 620, and the obstacle notification processing block 630.
  • the 3D image processing block 610 calculates camera distortion variables for each of the left and right images provided from the left and right cameras 110 and 120, and performs a calibration process for each of the left and right cameras based on the distortion variables. That is, the correction processing for the single left and right cameras is performed using, for example, a one-to-one correspondence between feature point coordinates defined in a real world coordinate system and feature point coordinates calculated from a correction plate (not shown) photographed image photographed through the left and right cameras 110 and 120.
  • correction processing for left and right images can be performed.
  • a 3D image is generated using the left and right images corrected as described above. In this case, the 3D image is an image corresponding to the user's gaze direction, and the moving direction and the gaze direction may be the same or different according to the movement of the user.
  • the ROI setting processing block 620 stabilizes and outputs a sensor signal corresponding to the moving direction and the speed provided from the sensing means 200, and interests the 3D image corresponding to the moving direction based on the stabilized sensor signal. Set to video. In this case, the ROI setting processing block 620 sets the current 3D image as the ROI image for obstacle detection when the moving direction and the 3D image coincide with the corresponding viewpoint, and the moving direction and the gaze direction do not coincide. If not, the 3D image corresponding to the previous movement direction may be set as the image of interest.
  • the sensor signal provided from the sensing means 200 includes not only a moving direction but also a noise signal such as a rotation related signal due to shaking
  • the ROI setting processing block 620 is a sensing means.
  • it may be configured to output a stable sensor signal using an algorithm using a low pass filtering method or a least squares method.
  • a method for filtering noise components through a low pass filter (not shown) is based on a sensor signal in a state in which the user moves in a linear direction, more specifically, a low pass filter based on a frequency corresponding to the number of strides per second of the user.
  • the cutoff frequency may be set in a range of 1/2 times or less of a frequency corresponding to the number of strides per second of the user.
  • the ROI setting processing block 620 detects a moving direction and a gaze direction based on the stabilized sensor signal, and sets a ROI corresponding to the moving direction. That is, the ROI setting processing block 620 converts the sensor signal coordinates of the sensor coordinate system corresponding to the direction information into the image coordinates of the image coordinate system in the 3D image, so that the converted image coordinates exist in the 3D image. In this case, the 3D image is set as the ROI corresponding to the moving direction.
  • the sensor signal is composed of three direction information and three position information, and compares the previous sensor signal and the current sensor signal to determine the moving direction and the eye direction.
  • the mutual conversion process between the sensor coordinate system and the image coordinate system may be converted by various methods such as using a mapping table between coordinate systems or using a conversion program.
  • an image coordinate corresponding to (0,0,1) of the image coordinate system may be a sensor coordinate corresponding to (0.100, -0.200, 0.776) of the sensor coordinate system.
  • the process of converting the sensor coordinates to the image coordinates for setting the ROI is omitted.
  • the ROI setting processing block 620 sets a 3D image corresponding to the moving direction as the first ROI, and removes an area except the first ROI from the 3D image corresponding to the gaze direction different from the moving direction. Set as the second ROI.
  • the obstacle notification processing block 630 outputs collision danger notification information through the voice output means 300 based on the distance from the obstacle in the 3D image provided from the 3D image processing block 610.
  • the obstacle notification processing block 630 may output different collision risk notification messages for obstacles of the moving direction 3D image and the visual direction 3D image.
  • the obstacle notification processing block 630 is active collision risk according to the distance to the obstacle in the direction in which the user moves, if there is a collision risk obstacle in the 3D image of the first ROI corresponding to the moving direction
  • the first collision danger notification message corresponding to the obstacle is voice output.
  • the obstacle notification processing block 630 may correspond to a second collision corresponding to a passive collision danger obstacle in which another object moves in a direction toward the user.
  • a voice alert message is output.
  • the 3D image area providing the second collision risk notification message may be the entire 3D image area including both the first ROI in the moving direction and the second ROI in the visual direction different from the moving direction. .
  • the obstacle notification processing block 630 stores the corresponding 3D image in the data memory 500 together with the obstacle danger guide message output, and tracks the obstacle so that the obstacle notification message does not exist in the 3D image. Clear the 3D image stored at 500.
  • the control means 600 is determined that the collision with the obstacle is less than the minimum reference distance, for example, 5cm or less after the transmission of the obstacle danger notification message, from the predetermined time before the collision occurs after a certain time
  • An image more specifically, a captured image of a left image or a right image may be stored in the data memory 500.
  • an information output means such as a communication port for performing communication with an external device (not shown) by providing a collision-related photographed image stored in the data memory 500 to the external device, It can be used as a black box function. This is to be used as an objective data when judging fertilization due to collision with an object determined as an obstacle.
  • control unit 600 performs a calibration process for each of the left and right cameras based on the distortion variable calculated for each of the left and right images provided from the left and right cameras 110 and 120 to perform correction processing on the left and right images.
  • a 3D image is generated using the corrected left and right images (ST10).
  • the left and right images are images captured with respect to the user's gaze direction.
  • control means 600 checks whether the current movement direction of the user matches the visual direction based on the direction-related sensor signal from the sensing means 200 (ST20).
  • step ST20 if it is determined that the moving direction and the gaze direction of the user match, the control means 600 sets the corresponding 3D image as the ROI (ST30).
  • control means 600 detects an obstacle in the ROI set in step ST30 and the 3D image generated in step ST10 (ST40).
  • the control means 600 compares the current 3D image and the previous 3D image and performs obstacle detection processing for various objects including a fixed object having no movement or a moving object.
  • the control unit 600 calculates a distance from the obstacle detected in the 3D image set as the ROI (ST50). That is, the control means 600 calculates the disparity of the left and right images at the corresponding points based on the correspondence to one point in the three-dimensional space, and calculates the distance information corresponding to the calculated deviation. Distance information with obstacles for the entire 3D image area and the ROI may be calculated.
  • control means 600 determines that there is a risk of collision between the user and the obstacle when the distance between the obstacle calculated in step ST50 is less than or equal to a predetermined distance, the obstacle danger guide message through the voice output means 300. Audio output (ST60, ST70). At this time, the control means 600 outputs a second collision risk notification message including a passive collision risk notification for the collision risk determination with respect to the entire 3D image, the risk of collision with the obstacle for the region of interest In response to the determination, the first collision danger notification message for the active collision danger notification is output.
  • control means 600 stores the corresponding 3D image in the data memory 500 when the first and second region collision danger notification messages are sent, and the obstacle is not detected in the 3D image or a predetermined time elapses. In this case, or when the user requests through the information input means 400, the corresponding image stored in the data memory 500 may be cleared.
  • control means 600 may be provided to output a different guide voice according to the distance to the obstacle in providing the obstacle danger guide voice through the voice output means 300. For example, when the distance to the obstacle is within 1m, the user can be alerted by sending out an alarm sound together with the guide voice.
  • step ST20 determines whether the control means 600 does not coincide with the moving direction of the user. That is, the control means 600 determines that the current speed is moving based on the sensor signal provided from the sensing means 200 when the current speed has a value equal to or greater than a predetermined reference value.
  • step ST80 when it is determined that the user is currently moving, the control means 600 calculates the distance between the obstacle and the obstacle in the previous moving direction ROI based on the sensor direction based on the sensor signal. Sounds obstacle guidance information corresponding to the distance of the voice (ST90).
  • ST90 Sounds obstacle guidance information corresponding to the distance of the voice
  • the obstacle 1 that is present in the moving direction image F 1 is different from the moving direction F 1 when the moving direction and the gaze direction differ by more than a predetermined angle ⁇ . This is to prevent the obstacle collision risk guidance service from being properly performed as the user moves while moving in a different direction from the visual direction because the visual direction image F 2 is not detected.
  • a more precise three-dimensional image is generated through correction according to camera distortion, and an area of interest in the three-dimensional image with respect to the moving direction of the user is set based on the moving direction sensor signal. It is configured to calculate the distance of the voice guidance information according to the distance.
  • Figure 5 is a diagram showing a schematic configuration of a three-dimensional ambient information guide system for the blind according to the present invention.
  • the 3D ambient information guide system for the visually impaired is configured such that the obstacle guide device 1000 communicates with the user terminal 10, and the user terminal 10 corresponds to the position information. It is configured to be coupled with the location information providing server 20 for providing information on the object, which is configured to provide augmented reality information corresponding to the detected visual direction image from the obstacle guide device 1000.
  • the obstacle guide apparatus 1000 basically generates a three-dimensional image as described with reference to FIGS. 1 to 4, and based on a sensor signal, the obstacle guide apparatus 1000 may be used as an obstacle in the three-dimensional image with respect to the moving direction of the user. It is configured to provide a collision risk guide information for calculating the distance and voice output the danger guide information according to the distance, and further comprises a communication means 1001 for communicating with the user terminal (10).
  • the obstacle guide device 1000 may be configured to perform wireless communication, preferably Bluetooth communication with the user terminal 10.
  • the user terminal 10 is basically a Bluetooth communication module 11 for communicating with the obstacle guide device 1000, a GPS receiver 12 for receiving location information, and the location information providing server ( 20) and a server communication module 13 for communicating with the application, the application for providing the augmented reality service is installed to perform signal relay processing between the obstacle guidance device 1000 and the location information providing server 20. It may be configured with various portable terminals including, for example, smart terminals configured to perform.
  • the application may be provided by being provided from the server (not shown) associated with the location information providing server 20 or the obstacle guide device 1000.
  • the location information providing server 20 is linked to the user terminal 10, the object corresponding to the location information provided from the user terminal 10, that is, the building name for the building, the number of floors, the name of the company, the current location Provides detailed information including the distance from the user terminal 10, and the like.
  • the risk guidance voice output processing for the obstacle is made in the same manner as described above, with reference to Figure 6 describes a method for providing augmented reality information in the three-dimensional surrounding information guide system for the visually impaired.
  • control means 600 checks the current speed information of the user based on the speed-related sensor signal provided from the sensing means 200 (ST210).
  • the control means 600 corresponds to the gaze direction information and the current position based on the sensor signal provided from the sensing means 200.
  • the extracted absolute direction information is provided to the user terminal 10 through the communication module 1001 (ST230).
  • the sensing means 200 is composed of an acceleration sensor, an gyro sensor, and an IMU sensor composed of a geomagnetic sensor, and configured to provide a sensor signal including speed, direction, and gravity information, based on a geomagnetic sensor signal. Absolute direction information of can be obtained.
  • the user terminal 10 sets the application to an execution state.
  • the user terminal 10 acquires current location information through the GPS receiver 12 (ST240), and then provides the augmented reality request information including location information and direction information to the location information providing server 20. Provided by (ST250).
  • the location information providing server 20 searches for detailed information about an object, for example, a building, corresponding to the location and direction information provided to the user terminal 10, and provides the object information to the user terminal 10.
  • the user terminal 10 provides the object information provided from the location information providing server 20 to the obstacle guide apparatus 1000 (ST270).
  • the obstacle guide device 1000 provides augmented reality service for the object located in the user's gaze direction by voice outputting the object information provided from the user terminal 10 through the voice output means 300.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Emergency Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상과, 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 대한 주변 장애물과의 거리를 산출하고 이에 대한 안내정보를 음성으로 제공함과 더불어 사용자의 시선방향에 대한 객체의 증강현실 정보를 음성으로 제공할 수 있도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법에 관한 것이다.

Description

시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상과, 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 대한 주변 장애물과의 거리를 산출하고 이에 대한 안내정보를 음성으로 제공함과 더불어 사용자의 시선방향에 대한 객체의 증강현실 정보를 음성으로 제공할 수 있도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법에 관한 것이다.
일반적으로 시각장애인들은 시각적인 장애를 극복하기 위해 맹인견이나 지팡이에 의지하여 바닥면에 설치된 점자블럭을 인식함으로써, 실외로 외출을 행하게 된다.
즉, 시각장애인들은 다수의 점자블럭으로 이루어진 점자블럭 유도라인을 따라 보행함에 있어서, 각 점자블럭의 에지성분을 지팡이로 여러번 접촉시키거나 또는 발바닥 느낌을 통해 인식함으로써 보행하게 된다.
그러나, 시각장애인들이 지팡이나 발바닥을 통한 자신의 감각만으로 점자블럭을 인지하여 보행을 하기에는 많은 시간이 소요됨은 물론, 점자블럭이 파손되는 등의 이유로 이동상황 판단에 따른 스트레스가 발생되는 문제가 있게 된다.
이에, 최근에는 시각장애인의 주변을 카메라로 촬영하고, 그 촬영정보를 분석하여 점자블럭에 대응되는 보행정보를 음성으로 제공해 주는 장치가 제안되었다.
그러나 상기한 시각장애인을 위한 보행정보 안내시스템은 통상적으로 카메라를 통해 촬영된 바닥면에 형성된 점자블럭을 근거로 보행방향만을 음성으로 제공하여 주는 것으로, 주변에 고정되거나 또는 근접하게 이동하는 장애물에 대한 정보를 제공하지 않기 때문에 시각장애인이 자유롭게 보행하기에 다소 위험성이 있게 된다.
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 스테레오 비젼을 통해 제공되는 3차원 영상 및 방향/속도정보에 대응되는 센서신호를 이용하여 사용자의 이동방향에 위치하는 주변 장애물에 대한 안내 정보를 음성출력함으로써, 보다 안정적인 보행이 가능하도록 해 주는 시각장애인을 위한 3차원 장애물 안내장치 및 그 방법을 제공함에 기술적 목적이 있다.
또한, 본 발명은 스테레오 비젼을 통해 제공되는 3차원 영상 및 IMU 센서를 통해 제공되는 센서신호를 근거로 시각장애인에게 이동방향에 위치하는 3차원 장애물과의 충돌 안내 음성을 제공함과 더불어, 시선방향에 위치하는 객체의 증강현실 정보를 음성제공함으로써, 시각장애인이 보다 현실적인 감각으로 보행할 수 있도록 해 주는 시각장애인을 위한 3차원 주위 정보 안내시스템 및 그 방법을 제공함에 또 다른 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 의하면, 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 방향정보와 위치정보를 포함하여 구성되는 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호에 대해 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 상기 좌우 카메라로부터 제공되는 좌우 영상 각각에 대한 카메라 왜곡에 따른 캘리브레이션처리를 수행하고, 캘리브레이션 처리된 좌우 영상을 이용하여 3차원 영상을 생성하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 감지수단은 자이로센서와 가속도센서를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향과 시선방향을 판단하여, 이동방향에 대응되는 3차원 영상에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 이동방향과 상이한 시선방향 3차원 영상에서 이동방향 3차원 영상 영역을 제외한 영역에 대해 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 제어수단은 상기 장애물 충돌 위험 영상을 데이터메모리에 저장하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치가 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또다른 일측면에 의하면, 시각장애인을 위한 장애물 안내 서비스를 제공하는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하기 위한 위치정보 제공서버와 통신하도록 구성되고, 상기 사용자단말은 상기 장애물 안내장치와 통신하기 위한 제1 통신모듈과, 위치 정보의 수신을 위한 GPS 수신기 및, 상기 위치정보 제공서버와 통신하기 위한 제2 통신모듈을 포함하여 구성됨과 더불어, 증강현실 서비스 제공을 위한 어플리케이션이 설치되도록 구성되어, 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 상기 GPS 수신기로부터 제공되는 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보 제공서버로 제공하고, 이에 대해 위치정보 제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하도록 구성되며, 상기 장애물 안내장치는 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하면서, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 시선방향정보를 추출하여 상기 사용자단말로 제공하고, 이에 대해 사용자단말로부터 제공되는 객체정보를 음성출력수단을 통해 음성출력하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
또한, 상기 제어수단은 상기 감지수단으로부터 센서신호를 근거로 현재 이동속도가 일정 속도 미만인 경우, 시선방향 정보를 상기 사용자단말로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
또한, 상기 감지수단은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU 센서로 구성되어, 속도와 이동방향, 시선방향 및 절대 방향에 대응되는 센서신호를 상기 제어수단으로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
또한, 상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호를 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템이 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또다른 일측면에 의하면, 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 시각장애인을 위한 3차원 장애물 안내장치의 장애물 안내방법에 있어서, 상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제5 단계는 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,
상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제5 단계는 상기 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 제5 단계는 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상의 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법이 제공된다.
또한, 상기 목적을 달성하기 위한 본 발명의 또다른 일측면에 의하면, 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하는 위치정보 제공서버와 통신하도록 구성되는 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 주위 정보 안내 방법에 있어서, 상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계 및, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 위험 안내 단계와, 상기 장애물 안내장치에서 상기 감지수단으로부터 제공되는 방향정보를 상기 사용자단말로 제공하는 제21 단계와, 상기 사용자단말에서 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 GPS 수신기로부터 획득한 현재 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보제공서버로 제공하는 제22 단계, 상기 위치정보 제공서버에서 해당 위치 및 방향에 대응되는 객체정보를 검색하여 상기 사용자단말로 제공하는 제23 단계, 상기 사용자단말에서 상기 위치정보제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하는 제24 단계 및, 상기 장애물 안내장치에서 상기 사용자단말로부터 제공되는 객체정보를 음성출력하는 제25 단계를 포함하여 구성되는 증강현실 구현단계로 이루어지는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 증강현실 구현단계는 상기 장애물 안내장치의 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우에 한하여 수행되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제5 단계는 상기 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제5 단계는 상기 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
또한, 상기 위험 안내 단계에서 제5 단계는 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상에 존재하는 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법이 제공된다.
본 발명에 의하면 스테레오 비젼을 통해 제공되는 3차원 영상을 이용하여 주변 장애물과의 거리를 산출하고 이에 대한 안내 정보를 음성출력하되, 사용자의 이동방향에 대한 장애물과의 거리를 근거로 장애물 안내정보를 제공하도록 함으로써, 시각장애인이 자유롭게 움직이면서 보다 안정감있게 보행할 수 있게 된다.
또한, 본 발명에 의하면 스테레오 비젼을 통해 제공되는 3차원 영상을 이용하여 시각장애인의 시선방향에 대한 객체정보를 음성제공하여 줌으로써, 시각장애인이 보다 현실적인 감각으로 보행하는 것이 가능하게 된다.
또한, 본 발명에 의하면 충돌 위험 상태의 영상을 소정 데이터메모리에 저장하도록 함으로써, 보행시 발생되는 충돌에 따른 시비 판단시 객관적인 정보를 제공할 수 있게 된다.
도1은 본 발명의 제1 실시예에 따른 시각장애인을 위한 3차원 장애물 안내장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도
도2는 도1에 도시된 제어수단(600)의 장애물 안내 과정을 설명하기 위한 도면.
도3은 도1에 도시된 시각장애인을 위한 3차원 장애물 안내장치의 동작을 설명하기 위한 도면.
도4는 도3에서 이동방향과 시선방향이 상이한 경우 발생되는 장애물 검출 문제상황을 예시한 도면.
도5는 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템의 개략적인 구성을 나타낸 도면.
도6은 도4에 도시된 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 증강현실 정보 안내 방법을 설명하기 위한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
먼저, 본 발명에 따른 시각장애인을 위한 3차원 장애물 안내장치는 기본적으로 시각 장애인(이하에서는 사용자라 칭함), 즉, 사용자의 전방에 대한 영상을 확보하여 이에 대한 정보를 제공하는 것으로, 바람직하게는 사용자가 직접 착용할 수 있는 안경 등의 형상으로 구성되거나 또는 사용자의 머리부분에 착용 가능한 각종 물체, 예컨대 모자 등에 장착 가능한 형상으로 구성될 수 있다.
또한, 본 발명은 시각장애인을 위한 공지된 보행안내시스템에 추가적으로 적용하여 실시할 수 있음은 물론이다.
도1은 본 발명의 제1 실시예에 따른 시각장애인을 위한 3차원 장애물 안내장치의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도1에 도시된 바와 같이 시각장애인을 위한 3차원 장애물 안내장치는 전방 영상을 촬영하기 위한 촬영수단(100)과, 사용자의 방향 및 속도에 대응되는 센서신호를 출력하는 감지수단(200), 각종 안내정보를 음성출력하는 음성출력수단(300), 사용자의 명령을 입력하기 위한 정보입력수단(400), 3차원 장애물 안내관련 각종 정보가 저장되는 데이터메모리(500), 3차원 장애물 안내관련 전반적인 제어동작을 수행하는 제어수단(600) 및 본 장치의 구동을 위한 공급전원을 제공하기 위한 전원수단(700)을 포함하여 구성된다.
상기 촬영수단(100)은 거리 측정이 가능한 스테레오 비젼, 즉 스테레오 카메라를 포함하여 구성될 수 있다. 즉, 상기 촬영수단(100)은 좌 카메라(110)와 우 카메라(120)가 일정 거리 이격되게 배치되어 구성된다. 이는 좌 카메라(110)와 우 카메라(120)으로 제공되는 각 촬영 영상간의 변이(Disparity)를 이용하여 목적하는 객체, 즉, 장애물과의 거리정보를 산출하기 위함이다.
상기 감지수단(200)은 자이로센서와 가속도센서를 포함하여 구성될 수 있으며, 상기 자이로센서와 가속도센서는 사용자의 이동방향과 시선방향 및 이동 속도에 대응되는 센서신호를 상기 제어수단(600)으로 제공한다. 이때, 상기 감지수단(200)은 가속도센서와 자이로센서 및 지자기센서로 구성되어 보다 정밀한 방향정보와 속도정보에 대응되는 센서신호를 제공하는 IMU(inertial measurement unit) 센서로 구성되는 것도 가능하다.
상기 음성출력수단(300)은 각종 안내 정보 특히, 주변 장애물 안내 관련 정보를 음성으로 출력하기 위한 것으로, 예컨대 스피커 또는 이어폰 등으로 구성될 수 있다. 이때, 상기 음성출력수단(300)은 사용자가 안내음성을 보다 명확하게 청취할 수 있도록 하기 위해 상기 제어수단(600)과 무선 또는 유선으로 결합되어 일정 거리 이격되게 배치될 수 있다. 예컨대, 사용자는 유선 또는 무선 이어폰을 자신의 귀에 꽂은 상태로 용이하게 장애물 안내 관련 안내음성을 청취할 수 있게 된다. 여기서, 상기 유선 또는 무선 이어폰은 골전도 이어폰으로 구성할 수 있다. 이는 이어폰의 음성으로 주위 소리를 듣지 못하는 것을 방지하여 장애물 안내 관련 안내음성과 주위 소리를 모두 청취할 수 있도록 하기 위함이다.
상기 정보입력수단(400)은 장애물 안내장치의 환경 설정정보를 입력하기 위한 각종 기능키 등을 포함하여 구성되는 것으로, 예컨대, 사용자가 상기 음성출력수단(300)의 볼륨레벨을 업/다운(UP/DOWN) 하거나, 온/오프(ON/OFF) 키를 이용하여 동작상태를 설정할 수 있도록 구성된다. 이때, 정보입력수단(400)은 마이크로 구성되어 음성입력을 통해 장애물 안내장치 관련 환경설정을 수행하도록 구성되는 것도 가능하다.
상기 데이터메모리(500)는 거리에 따른 적어도 하나 이상의 서로 다른 장애물 안내 메시지와, 최대 위험 영역 및 위험 영역을 설정하기 위한 기준영역정보, 위험 장애물 설정을 위한 장애물 기준 거리, 위험 장애물 설정을 클리어시키기 위한 기준 조건 정보 및, 상기 제어수단(600)에서 처리되는 각종 처리정보를 포함하는 정보가 저장된다. 여기서, 상기 제어수단(600)의 처리정보는 예컨대, 충돌 발생 전후 일정 시간동안의 촬영 영상과, 감지수단(200)으로부터 제공되는 센서 신호 등을 포함할 수 있다.
상기 제어수단(600)은 사용자가 정보입력수단(400)을 통해 동작요구를 수행하게 되면, 이를 근거로 전원수단(700)을 제어하여 공급전원을 각 수단으로 제공하도록 함과 더불어, 상기 촬영수단(100)으로부터 제공되는 촬영영상 및 상기 감지수단(200)으로부터 제공되는 이동 및 방향 관련 센서 신호를 근거로 사용자 주변 장애물을 검출하고, 검출된 장애물과의 거리를 산출하여 거리 정보에 대응되는 충돌 위험 상태 정보를 상기 음성출력수단(300)을 통해 음성출력하도록 제어한다.
상기 전원수단(700)은 상기 촬영수단(100)과 감지수단(200) 및 음성출력수단(300)을 포함하는 각 수단을 동작시키기 위한 공급전원(Vcc)을 제공한다. 이때, 상기 전원수단(700)은 휴대 가능한 배터리 형태로 구성되는 것이 바람직하다.
한편, 도2는 도1에 도시된 제어수단(600)의 장애물 충돌 위험 안내 처리 과정을 기능별로 블럭화하여 나타낸 도면이다. 도2에 도시된 바와 같이 제어수단(600)은 3차원 영상처리블럭(610)과, 관심영역 설정처리블럭(620) 및 장애물 알림처리블럭(630)을 통해 장애물 안내정보를 제공하도록 구성된다.
1. 3차원 영상처리블럭(610)
3차원 영상처리블럭(610)은 좌우 카메라(110,120)로부터 제공되는 좌우 영상 각각에 대해 카메라 왜곡변수를 산출하고, 이 왜곡변수를 근거로 좌우 카메라 각각에 대한 캘리브레이션 처리를 수행한다. 즉, 좌우 단일 카메라에 대한 보정처리는 예컨대, 실세계 좌표계에서 정의된 특징 점 좌표와 좌우 카메라(110,120)를 통해 촬영된 보정판(미도시) 촬영 영상에서 산출된 특징 점 좌표의 일대일 대응관계를 이용하여 공지기술인 비선형 최소자승법을 통해 내외부 카메라 변수 및 렌즈 왜곡 변수를 산출함으로써, 좌우 영상에 대한 보정처리를 수행할 수 있다. 또한, 상술한 바와 같이 보정처리된 좌우 영상을 이용하여 3차원 영상을 생성한다. 이때, 상기 3차원 영상은 사용자의 시선방향에 대응되는 영상으로, 사용자의 움직임에 따라 이동방향과 시선방향은 동일하거나 또는 상이할 수 있다.
2. 관심영역 설정처리블럭(620)
관심영역 설정처리블럭(620)은 상기 감지수단(200)으로부터 제공되는 이동방향 및 속도에 대응되는 센서 신호를 안정화하여 출력하고, 안정화된 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영상으로 설정한다. 이때, 상기 관심영역 설정처리블럭(620)은 해당 시점의 이동방향과 3차원 영상이 일치하는 경우에는 현재의 3차원 영상을 장애물 검출을 위한 관심영상으로 설정하고, 이동방향과 시선방향이 일치하지 않는 경우에는 이전 이동방향에 대응되는 3차원 영상을 관심영상으로 설정할 수 있다.
한편, 사용자가 움직임에 따라 상기 감지수단(200)으로부터 제공되는 센서신호는 이동방향 뿐만 아니라 흔들림에 따른 회전 관련 신호 등의 노이즈 신호도 포함하게 되는 바, 관심영역 설정처리블럭(620)은 감지수단(200)으로부터 제공되는 센서신호에서 보다 정밀한 이동방향 정보를 추정하기 위하여, 저역통과필터링 방법이나 최소자승법을 이용한 알고리즘을 이용하여 안정적인 센서신호를 출력하도록 구성될 수 있다. 특히, 저역통과필터(미도시)를 통해 노이즈 성분을 필터링하는 방법은 사용자가 직선방향으로 이동하는 상태에서의 센서신호, 보다 상세하게는 사용자의 초당 보폭수에 해당하는 주파수를 근거로 저역통과필터의 컷오프 주파수(cut-off)를 설정할 수 있다. 바람직하게는 상기 컷오프 주파수는 사용자의 초당 보폭수에 해당하는 주파수의 1/2배 이하범위로 설정할 수 있다.
또한, 상기 관심영역 설정처리블럭(620)은 안정화된 센서신호를 근거로 이동방향과 시선방향을 검출하고, 이동방향에 대응되는 관심영역을 설정한다. 즉, 상기 관심영역 설정처리블럭(620)은 방향정보에 대응되는 센서 좌표계에서의 센서 신호 좌표를 3차원 영상에서의 영상 좌표계의 영상 좌표로 변환하여, 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 이동방향에 해당하는 관심영역으로 설정한다. 또한, 상기 센서 신호는 3개의 방향정보와 3개의 위치정보로 구성되는 바, 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단한다. 이때, 센서 좌표계와 영상 좌표계간의 상호 변환처리는 좌표계 간의 맵핑 테이블을 이용하거나 변환 프로그램을 이용하는 등의 각종 방법으로 변환할 수 있다. 예컨대, 영상좌표계의 (0,0,1)에 해당하는 영상좌표는 센서좌표계의 (0.100,-0.200, 0.776)에 해당하는 센서좌표가 될 수 있다. 여기서, 센서좌표계와 영상좌표계가 일치하는 이상적인 상태에서는 관심영역 설정을 위한 센서 좌표의 영상좌표로의 변환처리는 생략된다.
또한, 상기 관심영역 설정처리블럭(620)은 이동방향에 대응되는 3차원 영상은 제1 관심영역으로 설정하고, 이동방향과 상이한 시선방향에 대응되는 3차원 영상중 제1 관심영역을 제외한 영역을 제2 관심영역으로 설정한다.
3. 장애물 알림처리블럭(630)
장애물 알림처리블럭(630)은 상기 3차원 영상처리블럭(610)으로부터 제공되는 3차원 영상에서 장애물과의 거리를 근거로 충돌 위험 알림정보를 음성출력수단(300)을 통해 출력한다. 이때, 상기 장애물 알림처리블럭(630)은 이동방향 3차원 영상과 시선방향 3차원 영상의 장애물에 대해 서로 다른 충돌 위험 알림메시지를 출력할 수 있다.
즉, 상기 장애물 알림처리블럭(630)은 이동방향에 대응되는 제1 관심영역의 3차원 영상에서 충돌 위험 장애물이 존재하는 경우, 사용자가 이동하는 방향에 존재하는 장애물과의 거리에 따른 능동적 충돌 위험 장애물에 대응되는 제1 충돌 위험 알림메시지를 음성출력한다. 또한, 상기 장애물 알림처리블럭(630)은 시선방향에 대응되는 3차원 영상에서 충돌 위험 장애물이 존재하는 경우, 타 객체가 사용자를 향하는 방향으로 이동하는 상태의 수동적 충돌 위험 장애물에 대응되는 제2 충돌 위험 알림메시지를 음성출력한다. 여기서, 상기 제2 충돌 위험 알림메시지를 제공하는 3차원 영상 영역은 이동방향의 제1 관심영역과, 이동방향과 상이한 시선방향의 제2 관심영역을 모두 포함하는 3차원 영상 전체 영역이 될 수 있다.
또한, 상기 장애물 알림처리블럭(630)은 장애물 위험 안내메시지 출력과 더불어 해당 3차원 영상을 데이터메모리(500)에 저장함과 더불어, 해당 장애물을 추적하여 3차원 영상에서 존재하지 않게 되는 경우, 데이터메모리(500)에 저장된 3차원 영상을 클리어시킨다. 이때, 상기 제어수단(600)은 장애물 위험 알림메시지의 송출 이후, 장애물과의 거리가 최소 기준 거리, 예컨대 5cm 이하로 충돌이 발생되었다고 판단되는 경우, 해당 충돌 발생 이전 일정 시간부터 일정 시간 이후 까지의 영상, 보다 상세하게는 좌측 영상 또는 우측 영상 중 하나의 촬영 영상을 데이터메모리(500)에 저장할 수 있다. 이 경우 외부장치(미도시)와의 통신을 수행하기 위한 통신포트 등의 정보출력수단(미도시)을 추가로 구비하여 데이터메모리(500)에 저장된 충돌 관련 촬영 영상을 외부장치로 출력하도록 제공함으로써, 블랙박스 기능으로 활용하는 것이 가능하다. 이는 장애물로 판단된 객체와의 충돌 발생에 따른 시비 판단시 객관적인 자료로서 이용하도록 하기 위함이다.
이어, 상기한 구성으로 된 시각장애인을 위한 3차원 장애물 안내장치의 동작을 도3을 참조하여 설명한다.
먼저, 제어수단(600)은 상기 좌우 카메라(110,120)로부터 제공되는 좌우 영상 각각에 대해 산출된 왜곡변수를 근거로 좌우 카메라 각각에 대한 캘리브레이션 처리를 수행함으로써, 좌우 영상에 대한 보정처리를 수행한 후 보정 처리된 좌우 영상을 이용하여 3차원 영상을 생성한다(ST10). 이때, 본 발명에 따른 장애물 안내장치가 사용자의 머리 부분에 착용되는 것을 고려할 때, 상기 좌우 영상은 사용자의 시선방향에 대해 촬영된 영상이 된다.
또한, 상기 제어수단(600)은 감지수단(200)으로부터 방향 관련 센서 신호를 근거로 사용자의 현재 이동방향이 시선방향과 일치하는지를 확인한다(ST20).
상기 ST20단계에서 상기 제어수단(600)은 사용자의 이동방향과 시선방향이 일치한다고 판단되면, 해당 3차원 영상을 관심영역으로 설정한다(ST30).
이후, 상기 제어수단(600)은 상기 ST10 단계에서 생성된 3차원 영상과 상기 ST30 단계에서 설정된 관심 영역에서의 장애물을 검출한다(ST40). 여기서, 상기 제어수단(600)은 현재 3차원 영상과 이전 3차원 영상을 비교하여 이동성이 없는 고정물 또는 움직임이 있는 이동물을 포함하는 각종 객체에 대한 장애물 검출처리를 수행한다.
이어, 상기 제어수단(600)은 관심영역으로 설정된 3차원 영상에서 검출된 장애물과의 거리를 산출한다(ST50). 즉, 제어수단(600)은 3차원 공간상의 한 점에 대응성을 근거로 해당 대응점에서의 좌우 영상의 변이(Disparity)를 산출하고, 산출된 변이에 대응되는 거리정보를 산출하는 방법을 통해 3차원 영상 전체 영역 및 관심영역에 대한 장애물과의 거리정보를 각각 산출할 수 있다.
또한, 상기 제어수단(600)는 상기 ST50단계에서 산출한 장애물과의 거리가 기 설정된 일정 거리 이하인 경우에는 사용자와 장애물이 충돌 위험이 있다고 판단하여 장애물 위험 안내메시지를 음성출력수단(300)을 통해 음성출력한다(ST60,ST70). 이때, 상기 제어수단(600)은 상기 3차원 영상 전체에 대한 장애물과의 충돌 위험 판단에 대해서는 수동적 충돌 위험 알림을 포함하는 제2 충돌 위험 알림메시지를 출력하고, 관심영역에 대한 장애물과의 충돌 위험판단에 대해서는 능동적 충돌 위험 알림을 위한 제1 충돌 위험 알림메시지를 출력한다.
여기서, 상기 제어수단(600)은 제1 및 제2 영역 충돌 위험 알림 메시지 송출시 해당 3차원 영상을 데이터 메모리(500)에 저장하고, 3차원 영상에서 해당 장애물이 검출되지 않거나 일정 시간이 경과하는 경우 또는 사용자가 정보입력수단(400)을 통해 요구하는 경우, 데이터메모리(500)에 저장된 해당 영상을 클리어시킬 수 있다.
또한, 상기 제어수단(600)은 장애물 위험 안내 음성을 음성출력수단(300)을 통해 제공함에 있어서, 장애물과의 거리에 따라 서로 다른 안내 음성을 출력하도록 실시할 수 있다. 예컨대, 장애물과의 거리가 1m 이내인 경우 안내 음성과 함께 경보음을 함께 송출함으로써 사용자로 하여금 보다 주의를 요하도록 실시할 수 있다.
한편, 상기 ST20단계에서 상기 제어수단(600)은 사용자의 이동방향과 시선방향이 일치하지 않는다고 판단되면, 현재 사용자가 이동중인지를 판단한다(ST80). 즉, 상기 제어수단(600)은 상기 감지수단(200)으로부터 제공되는 센서신호를 근거로 현재 속도가 일정 기준값 이상의 값을 갖는 경우, 이동중이라고 판단한다.
상기 ST80단계에서 상기 제어수단(600)은 현재 사용자가 이동중이라고 판단되면, 센서신호를 근거로 사용자의 이동방향 및 이동 속도를 근거로 이전 이동방향 관심영역에 대한 장애물과의 거리를 산출하여 장애물과의 거리에 대응되는 장애물 위험안내정보를 음성출력한다(ST90). 이는 도4에 도시된 바와 같이 사용자(P)가 이동하면서 고개를 돌리는 등의 이유로 이동방향과 시선방향이 일정 각도(θ) 이상 차이나는 경우, 이동방향 영상(F1)에 존재하던 장애물(1)이 시선방향 영상(F2)에서는 검출되지 않음으로 인해 사용자가 시선방향과 달리 이동방향을 달리하면서 이동함에 따라 장애물 충돌 위험안내서비스가 제대로 수행되지 못하는 것을 방지하기 위함이다.
즉, 상기 실시예에 의하면 카메라 왜곡에 따른 보정을 통해 보다 정밀한 3차원 영상을 생성함과 더불어, 이동방향 센서 신호를 근거로 사용자의 이동방향에 대한 3차원 영상에서의 관심영역을 설정하여 장애물과의 거리를 산출하여 그 거리에 따른 위험 안내정보를 음성출력하도록 구성된다.
한편, 도5는 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템의 개략적인 구성을 도시한 도면이다.
도5에 도시된 바와 같이 본 발명에 따른 시각장애인을 위한 3차원 주위 정보 안내시스템은 장애물 안내장치(1000)가 사용자단말(10)과 통신하도록 구성되고, 사용자단말(10)은 위치정보에 대응되는 객체에 대한 정보를 제공하기 위한 위치정보제공서버(20)와 결합하도록 구성되어, 장애물 안내장치(1000)에서의 검출된 시선방향 영상에 대응되는 증강현실 정보를 음성제공하도록 구성된다.
이때, 상기 장애물 안내장치(1000)는 기본적으로 도1 내지 도4를 통해 설명한 바와 같이 3차원 영상을 생성함과 더불어, 센서 신호를 근거로 사용자의 이동방향에 대한 3차원 영상에서의 장애물과의 거리를 산출하여 그 거리에 따른 위험 안내정보를 음성출력하는 충돌 위험 안내정보를 제공하도록 구성됨과 더불어, 상기 사용자단말(10)과 통신하기 위한 통신수단(1001)을 추가로 구비하여 구성된다. 여기서, 상기 장애물 안내장치(1000)는 상기 사용자단말(10)과 무선통신, 바람직하게는 블루투스 통신을 수행하도록 구성될 수 있다.
또한, 상기 사용자단말(10)은 기본적으로 상기 장애물 안내장치(1000)와 통신하기 위한 예컨대 블루투스 통신모듈(11)과, 위치 정보의 수신을 위한 GPS 수신기(12) 및, 상기 위치정보제공서버(20)와 통신하기 위한 서버 통신모듈(13)을 포함하여 구성됨과 더불어, 본 증강현실 서비스 제공을 위한 어플리케이션이 설치되어 상기 장애물 안내장치(1000)와 위치정보제공서버(20) 간의 신호 중계처리를 수행하도록 구성되는 예컨대 스마트 단말을 포함하는 각종 휴대 단말로 구성될 수 있다. 여기서, 상기 어플리케이션은 상기 위치정보제공서버(20) 또는 본 장애물 안내장치(1000)와 관련된 서버(미도시)로부터 제공받아 설치되어 질 수 있다.
또한, 상기 위치정보제공서버(20)는 상기 사용자단말(10)과 연동하여 사용자단말(10)로부터 제공되는 위치정보에 대응되는 객체, 즉, 건물 등에 대한 건물명, 층 수, 입점 업체명, 현재 위치에서의 거리 등을 포함하는 상세정보를 사용자단말(10)로 제공한다.
즉, 상기 시각장애인을 위한 3차원 주위 정보 안내시스템은 장애물 안내장치(1000)를 통해 사용자의 이동방향 영상을 근거로 장애물에 대한 위험 안내 음성출력처리를 수행함과 더불어, 사용자의 시선방향 영상을 근거로 시선방향에 위치하는 객체에 대한 증강현실 정보를 음성출력하도록 구성된다.
이때, 상기 장애물에 대한 위험 안내 음성출력처리는 상술한 바와 동일한 방법으로 이루어지는 바, 도6을 참조하여 상기 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 증강현실 정보제공방법을 설명한다.
먼저, 제어수단(600)은 상기 감지수단(200)으로부터 제공되는 속도 관련 센서신호를 근거로 사용자의 현재 속도정보를 확인한다(ST210).
상기 ST210단계에서 현재 이동속도가 기 설정된 기준속도 미만이라고 판단되는 경우(ST220), 상기 제어수단(600)은 상기 감지수단(200)으로부터 제공되는 센서 신호를 근거로 시선방향 정보 및 현재 위치에 대응되는 절대방향 정보를 추출하여 상기 통신모듈(1001)을 통해 사용자단말(10)로 제공한다(ST230). 이때, 상기 감지수단(200)은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU센서로 구성되어, 속도와 방향 및 중력정보를 포함하는 센서신호를 제공하도록 구성되는 바, 지자기센서 신호를 근거로 사용자의 절대방향정보를 획득할 수 있다. 또한, 상기 사용자단말(10)은 해당 어플리케이션을 실행상태로 설정한다.
상기한 상태에서 사용자단말(10)은 상기 GPS 수신기(12)를 통해 현재 위치정보를 획득한 후(ST240), 위치정보와 방향정보를 포함하는 증강현실 요청정보를 상기 위치정보제공서버(20)로 제공한다(ST250).
상기 위치정보제공서버(20)는 상기 사용자단말(10)로 제공되는 해당 위치와 방향정보에 대응되는 객체, 예컨대 건물에 대한 상세정보를 검색하여, 해당 객체정보를 사용자단말(10)로 제공하고(ST260), 사용자단말(10)은 위치정보제공서버(20)로부터 제공되는 객체정보를 상기 장애물 안내장치(1000)로 제공한다(ST270).
상기 장애물 안내장치(1000)는 사용자단말(10)로부터 제공되는 객체정보를 음성출력수단(300)을 통해 음성출력함으로써, 사용자의 시선방향에 위치하는 객체에 대한 증강현실서비스를 제공하게 된다.
비록, 본 발명이 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허등록청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.

Claims (22)

  1. 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과,
    사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단,
    충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및,
    상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하도록 제어하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  2. 제1항에 있어서,
    상기 제어수단은 방향정보와 위치정보를 포함하여 구성되는 이전 센서 신호와 현재 센서 신호를 비교하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  3. 제1항 또는 제2항에 있어서,
    상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호에 대해 저역 통과 필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  4. 제1항에 있어서,
    상기 제어수단은 상기 좌우 카메라로부터 제공되는 좌우 영상 각각에 대한 카메라 왜곡에 따른 캘리브레이션처리를 수행하고, 캘리브레이션 처리된 좌우 영상을 이용하여 3차원 영상을 생성하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  5. 제1항에 있어서,
    상기 감지수단은 자이로센서와 가속도센서를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  6. 제1항에 있어서,
    상기 제어수단은 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향과 시선방향을 판단하여, 이동방향에 대응되는 3차원 영상에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고, 시선방향 3차원 영상에서 이동방향 3차원 영상 영역을 제외한 영역에 대해 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  7. 제1항에 있어서,
    상기 제어수단은 상기 장애물 충돌 위험 영상을 데이터메모리에 저장하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내장치.
  8. 시각장애인을 위한 장애물 안내 서비스를 제공하는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하기 위한 위치정보 제공서버와 통신하도록 구성되고,
    상기 사용자단말은 상기 장애물 안내장치와 통신하기 위한 제1 통신모듈과, 위치 정보의 수신을 위한 GPS 수신기 및, 상기 위치정보 제공서버와 통신하기 위한 제2 통신모듈을 포함하여 구성됨과 더불어, 증강현실 서비스 제공을 위한 어플리케이션이 설치되도록 구성되어, 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 상기 GPS 수신기로부터 제공되는 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보 제공서버로 제공하고, 이에 대해 위치정보 제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하도록 구성되며,
    상기 장애물 안내장치는 좌 카메라와 우 카메라가 일정 거리 이격되게 배치되어 전방 영상을 각각 촬영하는 촬영수단과, 사용자의 움직임에 대응되는 방향 및 속도에 대한 센서 신호를 출력하는 감지수단, 충돌 위험 장애물에 대한 안내정보를 음성출력하는 음성출력수단 및, 상기 촬영수단으로부터 제공되는 좌우 촬영영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하고, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 이동방향에 대응되는 3차원 영상을 관심영역으로 설정함과 더불어, 관심영역에서의 장애물에 대한 거리를 산출하여 장애물과의 거리가 일정 거리 이내범위인 경우 상기 음성출력수단을 통해 장애물 위험 안내정보를 음성출력하면서, 상기 감지수단으로부터 제공되는 센서 신호를 근거로 시선방향정보를 추출하여 상기 사용자단말로 제공하고, 이에 대해 사용자단말로부터 제공되는 객체정보를 음성출력수단을 통해 음성출력하는 제어수단을 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템.
  9. 제8항에 있어서,
    상기 제어수단은 상기 감지수단으로부터 센서신호를 근거로 현재 이동속도가 일정 속도 미만인 경우, 시선방향 정보를 상기 사용자단말로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템.
  10. 제8항에 있어서,
    상기 감지수단은 가속도센서와 자이로센서 및 지자기센서로 이루어지는 IMU 센서로 구성되어, 속도와 이동방향, 시선방향 및 절대 방향에 대응되는 센서신호를 상기 제어수단으로 제공하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템.
  11. 제8항 또는 제10항에 있어서,
    상기 제어수단은 상기 감지수단으로부터 제공되는 센서신호를 저역 통과필터링 처리하여 이동방향과 시선방향을 판단하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내시스템.
  12. 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 시각장애인을 위한 3차원 장애물 안내장치의 장애물 안내방법에 있어서,
    상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와,
    상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계,
    상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계,
    상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계,
    상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법.
  13. 제12항에 있어서,
    상기 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법.
  14. 제12항에 있어서,
    상기 제5 단계는 제4 단계에서 설정된 이동방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,
    상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법.
  15. 제12항에 있어서,
    상기 제5 단계는 상기 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법.
  16. 제12항에 있어서,
    상기 제5 단계는 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상의 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 장애물 안내방법.
  17. 좌 카메라와 우 카메라로부터 제공되는 촬영영상과 감지수단으로부터 제공되는 방향 및 속도에 대한 센서신호를 근거로 이동방향 촬영영상에 위치하는 장애물에 대한 안내음성을 송출하도록 구성되는 장애물 안내장치가 시각장애인의 사용자 단말과 무선통신을 수행하도록 구성됨과 더불어, 상기 사용자 단말은 위치정보에 대응되는 객체 정보를 제공하는 위치정보 제공서버와 통신하도록 구성되는 시각장애인을 위한 3차원 주위 정보 안내시스템에서의 주위 정보 안내 방법에 있어서,
    상기 좌우 카메라로부터 제공되는 좌우 영상을 이용하여 거리정보를 포함하는 3차원 영상을 생성하는 제1 단계와, 상기 감지수단으로부터 제공되는 센서 신호에 대한 노이즈성분을 제거하여 출력하는 제2 단계, 상기 노이즈성분이 제거된 센서신호에 대한 센서 좌표계의 센서신호 좌표를 상기 제1 단계에서 생성되는 3차원 영상에 대응되는 영상 좌표계의 영상 좌표로 변환하는 제3 단계, 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하는 경우 해당 3차원 영상을 관심영역으로 설정하는 제4 단계 및, 상기 제4 단계에서 설정된 관심 영역에서 장애물을 검출하고, 해당 장애물과의 거리가 기 설정된 일정 거리 이내인 경우 장애물에 대한 충돌 위험 안내 음성을 출력하는 제5 단계를 포함하여 구성되는 위험 안내 단계와,
    상기 장애물 안내장치에서 상기 감지수단으로부터 제공되는 방향정보를 상기 사용자단말로 제공하는 제21 단계와, 상기 사용자단말에서 어플리케이션의 실행에 따라 상기 장애물 안내장치로부터 제공되는 방향정보와 GPS 수신기로부터 획득한 현재 위치정보를 포함하는 증강현실 요구정보를 상기 위치정보제공서버로 제공하는 제22 단계, 상기 위치정보 제공서버에서 해당 위치 및 방향에 대응되는 객체정보를 검색하여 상기 사용자단말로 제공하는 제23 단계, 상기 사용자단말에서 상기 위치정보제공서버로부터 제공되는 객체정보를 상기 장애물 안내장치로 제공하는 제24 단계 및, 상기 장애물 안내장치에서 상기 사용자단말로부터 제공되는 객체정보를 음성출력하는 제25 단계를 포함하여 구성되는 증강현실 구현단계로 이루어지는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
  18. 제17항에 있어서,
    상기 증강현실 구현단계는 상기 장애물 안내장치의 감지수단으로부터 제공되는 센서 신호를 근거로 현재 이동속도가 일정 속도 미만인 경우에 한하여 수행되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
  19. 제17항에 있어서,
    상기 위험 안내 단계에서 제2 단계는 저역통과필터를 통해 저주파 대역의 센서신호를 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
  20. 제17항에 있어서,
    상기 위험 안내 단계에서 제5 단계는 상기 제4 단계에서 설정된 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제1 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하고,
    상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면, 제1 단계에서 생성된 3차원 영상 중 이동방향 관심영역을 제외한 영상영역을 시선방향 관심영역으로 설정하고, 시선방향 관심영역에서 검출된 장애물과의 거리가 일정 이내 범위인 경우 제2 충돌 위험 안내 메시지를 음성출력수단을 통해 출력하도록 구성되는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
  21. 제17항에 있어서,
    상기 위험 안내 단계에서 제5 단계는 상기 장애물 충돌 위험 영상을 데이터메모리에 저장하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
  22. 제17항에 있어서,
    상기 위험 안내 단계에서 제5 단계는 상기 제1 단계에서 생성된 3차원 영상과 상기 제3 단계에서 생성된 센서 신호의 영상좌표를 비교하여 변환된 영상좌표가 3차원 영상내에 존재하지 않으면서, 이전 3차원 영상에서 장애물이 검출된 경우, 사용자의 현재 이동 속도를 근거로 이전 3차원 이동방향 영상에 존재하는 장애물과의 거리를 산출하여, 이에 대한 충돌 위험 안내메시지를 음성출력하는 것을 특징으로 하는 시각장애인을 위한 3차원 주위 정보 안내 방법.
PCT/KR2015/013117 2014-12-17 2015-12-03 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법 WO2016099052A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140182494A KR101646503B1 (ko) 2014-12-17 2014-12-17 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
KR10-2014-0182494 2014-12-17

Publications (1)

Publication Number Publication Date
WO2016099052A1 true WO2016099052A1 (ko) 2016-06-23

Family

ID=56126875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013117 WO2016099052A1 (ko) 2014-12-17 2015-12-03 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101646503B1 (ko)
WO (1) WO2016099052A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106309089A (zh) * 2016-08-29 2017-01-11 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
CN109931977A (zh) * 2019-01-02 2019-06-25 孔维强 一种自行移动检测空气参数并生成三维图像的设备
KR20200038017A (ko) * 2018-10-02 2020-04-10 (주)네모 시각 장애인의 독립보행 도움 서비스 단말.
CN111198549A (zh) * 2020-02-18 2020-05-26 陈文翔 一种基于大数据的家禽养殖监测管理系统
CN114200938A (zh) * 2021-12-10 2022-03-18 北京云迹科技股份有限公司 引领机器人周围障碍物的语音提醒方法、装置和机器人
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101866797B1 (ko) * 2016-12-16 2018-06-12 주식회사 큐버 IoT 디바이스를 활용한 촬영지 위치정보 마킹 기반의 미디어 콘텐츠의 액티브 푸시 제공 방법
KR102649720B1 (ko) * 2016-12-22 2024-03-20 에스케이플래닛 주식회사 정보안내장치 및 그 동작 방법
KR20180092103A (ko) * 2017-02-08 2018-08-17 (주)아이로보테크 시각 장애인용 로봇 견
KR102025832B1 (ko) 2017-09-28 2019-09-26 선문대학교 산학협력단 스마트 지팡이
KR102009448B1 (ko) 2018-06-15 2019-08-09 신한대학교 산학협력단 사물정보제공장치 및 그 장치의 구동방법
KR102242681B1 (ko) * 2019-02-25 2021-04-27 주식회사 모플래닛 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템
KR102130168B1 (ko) 2019-03-25 2020-07-03 주식회사 열림정보기술 지하철 역사에서 교통 약자 에스코트 시스템 및 방법
KR102502913B1 (ko) * 2020-11-27 2023-02-23 가천대학교 산학협력단 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템
KR102291296B1 (ko) * 2021-05-12 2021-08-20 방윤 시각 장애인 보행 보조 시스템
KR20220168793A (ko) * 2021-06-17 2022-12-26 삼성전자주식회사 사용자 위험시 주변 소리를 제공하는 전자 장치 및 방법
KR102476742B1 (ko) * 2022-07-29 2022-12-14 충북대학교 산학협력단 보행자 신호등 및 장애물 감지가 가능한 시각장애인용 지팡이

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305214A (ja) * 2005-05-02 2006-11-09 Daysys:Kk 歩行支援装置及び歩行支援方法
JP2010500681A (ja) * 2006-08-15 2010-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視覚障害者に対する支援システム
KR20100073493A (ko) * 2008-12-23 2010-07-01 삼성전자주식회사 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법
KR20110020566A (ko) * 2009-08-24 2011-03-03 성균관대학교산학협력단 시각장애인 보행 안내 시스템
KR20140109868A (ko) * 2011-12-12 2014-09-16 소니 주식회사 화상 처리 장치, 화상 처리 방법, 및 비일시적 컴퓨터 판독가능 기억 매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100405636B1 (ko) * 2000-05-23 2003-11-15 이성환 시각 장애인용 착용 가능 보행 안내 장치 및 방법
KR101295714B1 (ko) * 2010-06-30 2013-08-16 주식회사 팬택 3차원 증강 현실 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305214A (ja) * 2005-05-02 2006-11-09 Daysys:Kk 歩行支援装置及び歩行支援方法
JP2010500681A (ja) * 2006-08-15 2010-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視覚障害者に対する支援システム
KR20100073493A (ko) * 2008-12-23 2010-07-01 삼성전자주식회사 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법
KR20110020566A (ko) * 2009-08-24 2011-03-03 성균관대학교산학협력단 시각장애인 보행 안내 시스템
KR20140109868A (ko) * 2011-12-12 2014-09-16 소니 주식회사 화상 처리 장치, 화상 처리 방법, 및 비일시적 컴퓨터 판독가능 기억 매체

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106309089A (zh) * 2016-08-29 2017-01-11 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
KR20200038017A (ko) * 2018-10-02 2020-04-10 (주)네모 시각 장애인의 독립보행 도움 서비스 단말.
KR102135137B1 (ko) * 2018-10-02 2020-07-17 (주)네모 시각 장애인의 독립보행 도움 서비스 단말.
CN109931977A (zh) * 2019-01-02 2019-06-25 孔维强 一种自行移动检测空气参数并生成三维图像的设备
CN111198549A (zh) * 2020-02-18 2020-05-26 陈文翔 一种基于大数据的家禽养殖监测管理系统
CN111198549B (zh) * 2020-02-18 2020-11-06 湖南伟业动物营养集团股份有限公司 一种基于大数据的家禽养殖监测管理系统
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
CN114200938A (zh) * 2021-12-10 2022-03-18 北京云迹科技股份有限公司 引领机器人周围障碍物的语音提醒方法、装置和机器人
CN114200938B (zh) * 2021-12-10 2024-03-19 北京云迹科技股份有限公司 引领机器人周围障碍物的语音提醒方法、装置和机器人

Also Published As

Publication number Publication date
KR20160074736A (ko) 2016-06-29
KR101646503B1 (ko) 2016-08-09

Similar Documents

Publication Publication Date Title
WO2016099052A1 (ko) 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
KR101250929B1 (ko) 진동패턴 알림 기능을 가지는 양귀 삽입형 보청기
WO2016086440A1 (zh) 针对全盲人群的可穿戴式引导设备
US9801778B2 (en) System and method for alerting visually impaired users of nearby objects
EP2214425A1 (en) Binaural audio guide
KR20160001178A (ko) 글래스 타입 단말기 및 이의 제어방법
WO2021006491A1 (ko) 음원 시각화 장치 및 방법
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2020130689A1 (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
WO2017022875A1 (ko) 웨어러블 디바이스
WO2018093193A1 (en) System and method for producing audio data to head mount display device
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
US9996730B2 (en) Vision-assist systems adapted for inter-device communication session
KR20190111262A (ko) 시각 장애인을 위한 장애물 거리 측정 단말기
WO2015102280A1 (ko) 스테레오 카메라 장치 및 그의 렉티피케이션 방법
JP2019159193A (ja) 視覚障がい者用行動支援装置
JP2013017555A (ja) 環境情報伝達装置
WO2019147034A1 (ko) 사운드를 제어하는 전자 장치 및 그 동작 방법
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
WO2020171548A1 (ko) 사용자 입력 처리 방법 및 이를 지원하는 전자 장치
WO2016006731A1 (ko) 촬영 모드를 제어하는 포터블 디바이스 및 그 제어 방법
WO2012165718A1 (ko) 아이 트래킹을 이용한 컨버전스 자동 조절 장치 및 그 방법
KR20130131511A (ko) 시각 장애인용 안내장치
WO2019098729A1 (ko) 차량용 모니터링 방법 및 장치
WO2019151734A1 (ko) 카메라 구동 방식 변경 기반의 음성 및 얼굴 인식 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15870219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15870219

Country of ref document: EP

Kind code of ref document: A1