WO2019231216A1 - 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법 - Google Patents

시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법 Download PDF

Info

Publication number
WO2019231216A1
WO2019231216A1 PCT/KR2019/006393 KR2019006393W WO2019231216A1 WO 2019231216 A1 WO2019231216 A1 WO 2019231216A1 KR 2019006393 W KR2019006393 W KR 2019006393W WO 2019231216 A1 WO2019231216 A1 WO 2019231216A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
visual
acquired
mode
Prior art date
Application number
PCT/KR2019/006393
Other languages
English (en)
French (fr)
Inventor
임동희
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to US17/059,368 priority Critical patent/US11475663B2/en
Publication of WO2019231216A1 publication Critical patent/WO2019231216A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Definitions

  • the present invention relates to a visual aid device and a visual aid method for a user using the visual aid device. More particularly, an image photographing a user's forward situation is analyzed through execution of a learning model for extracting features in an image.
  • the present invention relates to a visual aid and a visual aid using the visual aid to provide a user with a notification signal based on sensing information measured from objects in front.
  • Visually impaired people include both blind and low vision people.
  • diseases that cause visual impairment and the appearances may vary depending on the living standards of the society, the environment in which they are located, and changes according to the changes of the times.
  • diseases related to blindness among the types of visual impairments, and in some cases, it is unclear where such diseases cannot be clearly distinguished, and sometimes it is not possible to know where the cause is.
  • the present invention has been made to solve the above problems, and an object of the present invention is to propose a visual aid device for users with various disorders related to visual impairment as well as visual impairment. Optimum visual aid is achieved.
  • a visual assistance device may be provided.
  • an apparatus for assisting a vision may include an image acquisition unit acquiring an image photographing a front situation watched by a user, a sensor unit acquiring sensing information about objects located in front of the user, and an image acquisition unit.
  • the controller acquires a notification signal for the front situation based on the analysis result of the image and the sensing information acquired from the sensor unit, and an output unit in which the notification signal generated by the controller is provided to the user in the form of a sound.
  • the control unit may execute a predetermined learning model for extracting features from the acquired image, and analyze the image by classifying objects in a forward situation based on the extracted features using the learning model.
  • the visual aiding apparatus may further include a display unit for outputting an auxiliary image for visual aid of a user generated through correction of an image acquired by the image acquisition unit.
  • the visual aiding apparatus may further include a mode selector for selecting an operation mode according to a user.
  • An operation mode of the visual aiding apparatus may include a blind mode.
  • the sensor unit may measure a distance value from the object to the user.
  • a notification signal may be output through the output unit.
  • the operation mode of the visual aiding apparatus may include a low vision mode, and when the low vision mode is selected as the operation mode, the display unit may include contrast data, color data, and focus data in the acquired image.
  • the auxiliary image generated by adjusting at least one of brightness data and size data may be output.
  • An operation mode of the visual aid device may include a glaucoma mode, and when the glaucoma mode is selected as the operation mode, the image acquisition unit captures a fisheye image captured by a fish-eye lens.
  • the display unit may output an auxiliary image formed by remapping the fisheye image in the tunnel vision of the user.
  • the operation mode of the visual aid device may include a macular hole mode, and when the macular hole mode is selected as the operation mode, the display part may have a missing portion due to a dark spot generated in the center of the user's field of view.
  • An auxiliary image formed by separately displaying a peripheral portion adjacent to the center of view of the user may be output.
  • An operation mode of a visual aid device may include a strabismus mode.
  • the auxiliary image includes a first auxiliary image for the left eye of the user and a right eye for the user's right eye.
  • the second auxiliary image may be included, and the display unit may include a first auxiliary image and a second auxiliary image formed by shifting an image acquired by the image acquisition unit based on the viewing angle of the left eye of the user and the viewing angle of the right eye of the user.
  • An image may be output.
  • the operation mode of the visual aid device may include an auditory assist mode, and when the auditory assist mode is selected as the operation mode, the controller analyzes sound information from the object acquired by the sensor unit to determine the object.
  • An image signal may be generated, and an auxiliary image formed by displaying the image signal generated by the controller on the image acquired by the image acquisition unit may be output through the display unit.
  • a visual aiding method of a user using a visual aiding apparatus may be provided.
  • a method for visual aid of a user using a visual aid device comprising: acquiring an image of a front situation watched by a user; acquiring sensing information about objects located in front of the user; And analyzing the acquired image, generating a notification signal for the front situation through analysis results of the acquired image, and acquired sensing information, and providing the generated notification signal to the user in the form of sound.
  • the analyzing of the acquired image may include extracting features of the acquired image by executing a predetermined learning model and classifying objects in a forward situation based on the extracted features.
  • a visual aiding method of a user using a visual aid device may be provided to a user before performing a step of generating a notification signal for a forward situation through an analysis result of the acquired image and acquired sensing information.
  • a step of selecting an operation mode according to the operation is performed, and the generated notification signal is provided to the user in the form of a sound, and a step of displaying an auxiliary image for visual aid of the user generated through correction of the acquired image is performed.
  • a computer-readable recording medium having recorded thereon a program for implementing the above-described method may be provided.
  • the present invention it is possible to provide the user with the visual impairment and the related disease causing the visual impairment to provide an optimal visual aid device for each type.
  • a notification signal for visual assistance may be provided.
  • a visual aid module that can be attached to the headset or other devices as well as goggles and eyeglasses visual aids can be provided in the form of a vision aid suitable for the user.
  • FIG. 1 is a block diagram illustrating a visual aiding apparatus according to an exemplary embodiment.
  • FIG. 2 is an exemplary view illustrating a visual aid device in the form of goggles according to an embodiment of the present invention.
  • FIG 3 is an exemplary view illustrating a state in which a visual aid device in a pack form is coupled to eyeglasses according to an embodiment of the present invention.
  • FIG. 4A is a front view of a visual aid in the form of a headset according to an embodiment of the present invention
  • FIG. 4B is a perspective view of the visual aid in the form of a headset according to an embodiment of the present invention.
  • FIG. 5A is a view showing an image captured by the image acquisition unit of the visual aid according to an embodiment of the present invention
  • FIG. 5B is a view taken by the image acquisition unit of the visual assistance device according to an embodiment of the present invention. It is an exemplary view showing that the image is analyzed by the controller.
  • FIG. 6 is an exemplary diagram illustrating that a visual aid device is interlocked with a user device according to an exemplary embodiment.
  • FIG. 7 is an exemplary view illustrating a rear side of a visual aid device according to an exemplary embodiment including a display unit.
  • FIG. 8 is an exemplary diagram illustrating that an operation mode of a visual aid device is selected through a user device according to an exemplary embodiment.
  • 9 is an exemplary view showing a field of view according to the degree of glaucoma progression of the user.
  • FIG. 10 is an exemplary diagram illustrating a state in which a fisheye image of a visual aid device according to an embodiment of the present invention is remapping into a tunnel field of a user.
  • FIG. 11 is an exemplary view illustrating that a visual field of a user is separately displayed when the visual aid device is operated in the macular hole mode according to an embodiment of the present disclosure.
  • FIG. 12 illustrates an image signal generated in a display unit when the visual assistance device is operated in the hearing assist mode according to an exemplary embodiment.
  • FIG. 13 is a flowchart illustrating a user visual aiding method using the visual aiding apparatus according to an exemplary embodiment.
  • FIG. 14 is a flowchart illustrating an exemplary process of analyzing an image by a visual aid apparatus according to an exemplary embodiment.
  • 15 is a flowchart illustrating an exemplary process of displaying an auxiliary image by a visual aid apparatus according to an exemplary embodiment.
  • a visual assistance device may be provided.
  • an apparatus for assisting a vision may include an image acquisition unit acquiring an image photographing a front situation watched by a user, a sensor unit acquiring sensing information about objects located in front of the user, and an image acquisition unit.
  • the controller acquires a notification signal for the front situation based on the analysis result of the image and the sensing information acquired from the sensor unit, and an output unit in which the notification signal generated by the controller is provided to the user in the form of a sound.
  • the control unit may execute a predetermined learning model for extracting features from the acquired image, and analyze the image by classifying objects in a forward situation based on the extracted features using the learning model.
  • the visual aiding apparatus may further include a display unit for outputting an auxiliary image for visual aid of a user generated through correction of an image acquired by the image acquisition unit.
  • the visual aiding apparatus may further include a mode selector for selecting an operation mode according to a user.
  • An operation mode of the visual aiding apparatus may include a blind mode.
  • the sensor unit may measure a distance value from the object to the user.
  • a notification signal may be output through the output unit.
  • the operation mode of the visual aiding apparatus may include a low vision mode, and when the low vision mode is selected as the operation mode, the display unit may include contrast data, color data, and focus data in the acquired image.
  • the auxiliary image generated by adjusting at least one of brightness data and size data may be output.
  • An operation mode of the visual aid device may include a glaucoma mode, and when the glaucoma mode is selected as the operation mode, the image acquisition unit captures a fisheye image captured by a fish-eye lens.
  • the display unit may output an auxiliary image formed by remapping the fisheye image in the tunnel vision of the user.
  • the operation mode of the visual aid device may include a macular hole mode, and when the macular hole mode is selected as the operation mode, the display part may have a missing portion due to a dark spot generated in the center of the user's field of view.
  • An auxiliary image formed by separately displaying a peripheral portion adjacent to the center of view of the user may be output.
  • An operation mode of a visual aid device may include a strabismus mode.
  • the auxiliary image includes a first auxiliary image for the left eye of the user and a right eye for the user's right eye.
  • the second auxiliary image may be included, and the display unit may include a first auxiliary image and a second auxiliary image formed by shifting an image acquired by the image acquisition unit based on the viewing angle of the left eye of the user and the viewing angle of the right eye of the user.
  • An image may be output.
  • the operation mode of the visual aid device may include an auditory assist mode, and when the auditory assist mode is selected as the operation mode, the controller analyzes sound information from the object acquired by the sensor unit to determine the object.
  • An image signal may be generated, and an auxiliary image formed by displaying the image signal generated by the controller on the image acquired by the image acquisition unit may be output through the display unit.
  • a visual aiding method of a user using a visual aiding apparatus may be provided.
  • a method for visual aid of a user using a visual aid device comprising: acquiring an image of a front situation watched by a user; acquiring sensing information about objects located in front of the user; And analyzing the acquired image, generating a notification signal for the front situation through analysis results of the acquired image, and acquired sensing information, and providing the generated notification signal to the user in the form of sound.
  • the analyzing of the acquired image may include extracting features of the acquired image by executing a predetermined learning model and classifying objects in a forward situation based on the extracted features.
  • a visual aiding method of a user using a visual aid device may be provided to a user before performing a step of generating a notification signal for a forward situation through an analysis result of the acquired image and acquired sensing information.
  • a step of selecting an operation mode according to the operation is performed, and the generated notification signal is provided to the user in the form of a sound, and a step of displaying an auxiliary image for visual aid of the user generated through correction of the acquired image is performed.
  • a computer-readable recording medium having recorded thereon a program for implementing the above-described method may be provided.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • the terms “... unit”, “module”, etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .
  • a part of the specification is “connected” to another part, this includes not only “directly connected”, but also “connected with other elements in the middle”.
  • the visual aiding apparatus 10 may include an image acquisition unit 100 for acquiring an image of a front situation watched by a user, and objects located in front of the user.
  • the sensor unit 200 and the image acquisition unit 100 in which the sensing information is acquired, are analyzed, and the notification signal for the front situation is obtained through the analysis result of the image and the sensing information acquired by the sensor unit 200.
  • the controller 300 may be generated, and the output unit 400 in which the notification signal generated by the controller 300 is provided to the user in the form of a sound may be included.
  • the visual aid 10 may further include a power supply unit for supplying power to the visual aid 10.
  • the image acquisition unit 100 of the visual aiding apparatus 10 stores at least one photographing module and an image photographed by the photographing module for photographing a forward situation watched by a user. Modules may be included.
  • the photographing module of the image acquisition unit 100 may be positioned near the left eye of the user and near the right eye of the user so that a situation in which the left eye and the right eye of the user observes may be photographed.
  • the photographing module may photograph a user's forward situation through a sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • an object detecting module 210 capable of detecting an object located around a user and a distance between an obstacle located in front of the user At least one of the distance measuring module 230 can be measured, the position measuring module 220 can be measured the current position of the user, the speed measuring module can be measured the movement speed of the user. That is, any sensor module capable of acquiring information about an object or obstacle located around the user may be included.
  • the object detecting module 210 may include at least one of an infrared sensor, a proximity sensor, an ultrasonic sensor, and a motion sensor.
  • the distance measuring module 230 may include at least one of an infrared sensor, an ultrasonic sensor, a light detection and ranging (LIDAR), and a radar sensor (Radio detection and ranging).
  • the position measurement module 220 may include at least one of a global positioning system (GPS) module, a wireless fidelity (WiFi) module, and an inertial measurement unit.
  • the speed measuring module may include at least one of an acceleration sensor, a gyro sensor, and an inertial measurement module.
  • Each sensor module may further include a control circuit for controlling at least one sensor included in the sensor module.
  • an image acquired by the image acquisition unit is analyzed, and the image is forwarded through the analysis result of the image and the sensing information acquired by the sensor unit 200.
  • a notification signal for the situation may be generated.
  • the controller 300 may execute a predetermined learning model for extracting features from the acquired image, and analyze the image by classifying objects in a forward situation based on the extracted features using the learning model.
  • the controller 300 controls the overall operation of the visual assistance device 10. That is, in the controller 300, the image acquisition unit 100, the sensor unit 200, the output unit 400, the mode selection unit 500, the power supply unit 700, and the communication unit 600, as shown in FIG. At least some of the components may be controlled through the connection. In addition, the controller 300 may operate in combination with at least two of the components included in the visual aid 10 in order to operate the visual aid 10.
  • a notification signal for visual assistance of the user generated by the controller 300 may be provided in the form of a sound.
  • the output unit 400 may be located in the vicinity of at least one of the left ear and the right ear of the user so that the user may easily recognize the visual aid information.
  • the sound of the notification signal provided from the output unit 400 may be preset by the user, and the sound setting may be changed through interworking with the user device 30.
  • the sound there is no limitation on the sound that can be preset by the user, but the user can select a sound suitable as a notification signal to the user.
  • the notification signal may be provided through a voice of a person who is familiar with the user or the user's favorite entertainer.
  • the sound providing period may be differently set according to the front situation of the user, such that a notification signal may be provided.
  • the voice when the sound is provided in a voice form, the voice may be provided in various languages such as English, Japanese, and Chinese as well as Korean.
  • power may be supplied for the operation of the visual assistance apparatus 10. That is, various components of the visual assistance device 10 may be operated by supplying power from the power supply unit 700.
  • the power supply 700 may be formed in various forms including a power supply device. As shown in FIG. 2, the power switch 710 may be attached, and thus the power supply may be adjusted according to the user's detachment of the visual aid 10.
  • the power switch 710 includes a touch sensor module using a capacitive touch sensor or a pressure sensitive touch sensor in the power switch 710 so that power is supplied when the user wears the visual aid 10. When the user releases the visual aid 10, the supply of power may be stopped.
  • the image capturing by the image acquisition unit 100 may be controlled through the control unit 300.
  • the power switch 710 contacts the head of the user, whereby the image may be captured by the photographing module of the image acquisition unit 100. Releases the visual aid 10, the power switch 710 is dropped from the head of the user so that the power supply of the power supply 700 is interrupted and the image capturing by the image acquisition unit 100 may be stopped. have.
  • FIG. 2 is an exemplary view showing a goggle type visual aid 10 according to an embodiment of the present invention
  • FIG. 3 is a visual aid device in a pack form according to an embodiment of the present invention
  • 10 is an exemplary view showing a state in which the eyeglasses are coupled to the glasses
  • FIG. 4A is a front view of the visual aid device 10 in the form of a headset according to an embodiment of the present invention
  • FIG. 4B is an embodiment of the present invention.
  • FIG. 10 is a perspective view illustrating a visual aid 10 in the form of a headset.
  • the visual assistance device 10 may be provided in various forms as shown in FIGS. 2 to 4B. That is, it may be provided in the form of a conventional glasses or goggles as shown in FIG. 2, or may be provided in a form that can be attached to a conventional glasses or goggles by modularizing as shown in FIG. 3, in the form of a headset as shown in FIGS. Can be provided. In addition, it may be provided in the form of being attached to the user, such as earrings, headbands or necklaces, may be attached to the user's articles, and may be attached to the user's items, such as forms that can be grabbed by the user It may be provided in any form.
  • an object in front of the first photographing module 110 in which a front image of a direction in which the user's left eye is gazing is acquired.
  • the object detection module 210 for detecting the position and the position measurement module 220 for measuring the position of the user are obtained in the front image of the direction of the user's right eye gaze on the upper left of the goggles of the visual aid 10.
  • the distance measurement module 230 in which the distance from the photographing module 120 and the object located in front of the user is measured may be located on the upper right side of the protective glasses of the visual aid 10.
  • the output unit 400 that provides a notification signal in the form of sound to the user may be located near the ear of the user.
  • the output unit 400 may be located in only one of the left and right ears of the user, but may also be located in both ears of the user.
  • the visual aid device 10 in the form of glasses or goggles of FIG. 2 is merely an example, and includes a sensor, such as an arrangement of an imaging module, an object sensing module 210, a position measuring module 220, and a distance measuring module 230.
  • the arrangement of the modules may be variously arranged for visual aid of the user.
  • the shape of the goggles itself may be formed in various forms, unlike the visual aid 10 of FIG. 2.
  • the first photographing module 110, the object sensing module 210, and the position measuring module 220 are arranged in a rectangular module.
  • the components of the visual aiding apparatus 10 for visual aid of the user, such as the output unit 400, are modularized.
  • the pack-type visual aid 10 of FIG. 3 is merely an example, and arrangement of components of the visual aid 10 such as a photographing module and a sensor module may vary.
  • the pack visual aid 10 is mounted only on one frame 20 of the glasses through the fastening member 800, but may be mounted on both frames 20.
  • the visual aid device in the form of a pack may be provided in any form as long as it is not only mounted on the glasses but also attached to the user's body or the user's article as a module to assist the user's vision.
  • the visual aid 10 may be provided in the form of a headset as shown in FIG. 4.
  • the first photographing module 110, the second photographing module 120, the object sensing module 210, and the output unit 400 are modularized so that a visual aid in the form of a user's headset is provided. It may be formed to be located in the ear portion when the device 10 is worn. That is, when the user's headset-type visual aid 10 is worn as shown in FIG. 4A, the first photographing module 110 and the second photographing module 120 are formed toward the front of the headset to photograph the user's front situation.
  • the headset form may be attached to the headset in any form as long as it is possible to photograph the situation in front of the user.
  • the object detection module 210 is formed toward the front of the headset to detect the object in front of the user, in addition to any form that can detect the object in front of the user may be formed in any form in the headset.
  • have. 4B is a perspective view of the visual aid device 10 in the form of a headset, and is configured to allow the output unit 400 to directly contact the user's ear when the user wears the visual aid 10 in the form of a headset. Can be formed.
  • the headset form may be formed in various forms, unlike FIGS. 4A and 4B.
  • FIG. 5A is a view showing an image captured by the image acquisition unit 100 of the visual aid 10 according to an embodiment of the present invention
  • Figure 5b is a visual aid 10 according to an embodiment of the present invention Is an exemplary view showing that the image captured by the image acquisition unit 100 of the analysis is analyzed by the control unit 300.
  • FIGS. 5A and 5B objects in front of a user are classified through analysis of an image obtained by executing a learning model in the control unit 300 of the visual aiding apparatus 10 according to an embodiment of the present invention. By looking at the visual aid of the user will be described.
  • the image analysis in the controller 300 may be performed through an image learning model, and the learning model may be a model based on a machine learning or deep learning algorithm.
  • the learning model based on the machine learning or deep learning algorithm may be a model trained or trained using previously acquired training data.
  • the location and type of the objects may be distinguished from the acquired image.
  • the learning model executed by the control unit 300 includes R-CNN (Regions with Convolution Neural Network), Fast R-CNN, Faster R-CNN, and Mask R-CNN among deep learning models for classifying objects in an image. Can be.
  • FIG. 5A In the image acquired by the image acquisition unit 100 as shown in Figure 5a it can be seen that a woman walking in the park by hanging a dog on the neck.
  • FIG. 5A the image of FIG. 5A is analyzed through an R-CNN-based learning model with reference to FIG. 5B and looks at the objects classified into women, puppies, and collars in the image.
  • a bounding box may be set on objects in an image acquired by the image acquisition unit 100.
  • Selective search algorithms can be used to set this area box.
  • an area box may be set in such a manner that adjacent pixels similar in color or image intensity pattern are combined in an image.
  • a woman region box 111 for a woman a neck region box 112 for a collar, and a dog region box 113 for a puppy may be set.
  • the size of the area box can be unified so that the area box can be injected into the input of a convolutional neural network.
  • the unified image 311 in which the set puppy area box 113 is changed to a predetermined size may be confirmed.
  • the predetermined size may be set in consideration of the set number of area boxes, a convolutional neural network model, and the like.
  • the unified image 311 is input to the convolutional neural network 310, and the convolutional layer and the max-pooling layer in the convolutional neural network 310 are formed. And a spatial feature in the unified image 311 may be extracted through a fully connected layer.
  • a support vector machine is used through the extracted feature to classify the unified image 311 so that objects in the image may be classified.
  • FIG. 5B it may be confirmed that the unified image 311 input to the convolutional neural network 310 is classified as a puppy.
  • a pre-processing technique may be performed in advance to detect an object in the image.
  • the preprocessing technique may include any technique that can more easily detect an object in the image, such as a technique for converting the photographed image into a gray scale image and a binary image.
  • the visual assistance device 10 may be linked with the user device 30 as shown in FIG. 6.
  • the user device 30 is not limited as long as the user can assist the user's vision by interworking with the visual aid 10 using the user device 30 such as a smartphone, a mobile phone, a PDA, or a tablet PC. .
  • the communicator 600 may be provided in the visual assistance apparatus 10 in order for the visual assistance apparatus 10 according to an embodiment of the present invention to interwork with the user device 30.
  • the communication unit 600 is a component for transmitting or receiving various data with the user device 30.
  • the power supply of the visual assistance device 10 may be adjusted through the user device 30.
  • an operation of the image acquisition unit 100 of the visual assistance apparatus 10 may be controlled through the user device 30.
  • a signal for operation of various components of the visual aid 10 may be received from the user device 30, or a signal regarding an operating state of various components of the visual aid 10 may be sent to the user device 30. I can send it.
  • the communication unit 600 may include various wireless communication modules that can exchange data with the user device 30 wirelessly.
  • the communication unit 600 includes wireless communication using various communication methods such as Bluetooth, Wi-Fi (Wireless Fidelity), Near Field Communication (NFC), and Long Term Evolution (LTE).
  • Communication module may be included.
  • the visual aiding apparatus 10 may include a display as shown in FIG. 7.
  • the display unit may be formed of a first display unit 411 for the left eye and a second display unit 412 for the right eye.
  • the display unit may be formed of one display panel.
  • the display unit may be implemented as various display devices such as a liquid crystal display (LCD), a light emitting diode (LED), and an organic light emitting diode (OLED).
  • LCD liquid crystal display
  • LED light emitting diode
  • OLED organic light emitting diode
  • it may be implemented as a transparent organic light emitting diode device.
  • the display unit may correct an image acquired by the image acquisition unit 100 to output an auxiliary image for visual aid of the user.
  • the display unit may include an image processing module for correcting an image acquired by the image acquisition unit 100.
  • Image correction may be applied to image correction by the image processing module to generate an auxiliary image for visual aid of a user, such as color conversion of image data or enlargement and reduction of image data.
  • the visual aiding apparatus 10 may further include a mode selector 500 for selecting an operation mode according to a user.
  • the mode selector 500 may be attached to the visual assistance device 10 in the form of a button or a switch to select a mode by the user.
  • the mode selection unit 500 may be provided with a touch sensor module using a capacitive touch sensor or a pressure sensitive touch sensor, such that an operation mode may be selected through user contact.
  • the mode selection unit 500 may be provided.
  • a mode selector 500 may be provided on the side of the pack as shown in FIG. 3.
  • the mode selector 500 may be located at the side of the headset as shown in FIGS. 4A and 4B.
  • the mode selector 500 provided in the visual aiding apparatus 10 may be formed in various forms, and is not limited to the form in which the mode selector 500 is represented in FIGS. 2 to 4B.
  • the visual aid device 10 uses the user device 30 as shown in FIG. 8.
  • An operation mode of the visual assistance device 10 may be selected. That is, the user may select an operation mode of the visual assistance device 10 through manipulation of the user device 30, such as touching a screen of the user device 30 or pressing a button provided in the user device 30.
  • the operation mode of the visual aid 10 may include blind mode, low vision mode, glaucoma mode, macular hole mode, strabismus mode, and hearing assist mode.
  • various operation modes may be included for visual aid of the user according to the type of visual impairment or the type of eye disease.
  • the blind mode which is an operation mode that may be applied when the user is blind.
  • Blindness refers to a state in which vision is lost due to anomalies or neurological causes. It is a state in which things cannot be distinguished through the eye. When the user is blind, visual assistance for the user may be difficult even if the auxiliary image is output by the display unit of the visual assistance device 10.
  • the visual aiding apparatus 10 adjusts the manner in which a notification signal in the form of a sound is provided to the user. Can be.
  • the object detection module 210, the position measurement module 220, and the distance measurement module (attached to the visual aid 10) 230 may be used to adjust the manner in which the notification signal is provided.
  • an object in front of the user may be detected by the object detecting module 210, and the distance from the user to the object in front of the user may be measured by the distance measuring module 230.
  • the controller 300 may measure The notification signal may be provided only when it is determined that the distance is within a predetermined reference value.
  • the photographing module of the image acquisition unit 100 may be operated only when it is determined that the measured distance from the user to the front object is within a predetermined reference value.
  • a notification signal may be provided based only on the current location of the user measured by the location measuring module 220.
  • the object detecting module 210 of the visual aiding apparatus 10 may detect a pedestrian in front of the user as an object and may determine that the distance from the user to the pedestrian is within 2 meters (m) by the distance measuring module 230. have.
  • the image acquisition unit 100 may acquire an image photographing the situation in front of the user, and the photographed image may be analyzed by the controller 300 to classify the pedestrian as an object. In this way, a notification signal indicating that the pedestrian is walking toward the user may be provided to the user in the form of a sound, thereby providing visual assistance for the user.
  • the sensing signal for the object in front of the user may be detected by the sensor unit 200 to analyze the image acquired by the image acquisition unit 100. Accordingly, the image is analyzed by the controller 300 and a notification signal for visual aid of the user may be provided in the form of a sound.
  • the volume, language, etc. of the notification signal provided in sound form may be adjusted through the first adjusting unit 521 and the second adjusting unit 522 in FIG. 2. In this way, the user may be visually assisted by allowing the user to adjust the notification signal of the visual aid 10.
  • the visual assistance device 10 may operate in a low vision mode.
  • the low vision mode is selected as the operation mode of the visual aid 10 is described.
  • a low vision person may not be completely blind, but may be in a state where things are dimly perceived.
  • visual aid can be provided through a sound signal provided to a low vision person as in the case of blindness, it may be more effective for a low vision person to recognize an object directly with his or her own eyes.
  • the auxiliary image may be generated and output differently according to the degree of visual acuity or the degree of visual impairment of the user for visual aid of the low visual acuity.
  • the degree and type of visual impairment of the user may be input through the user device 30.
  • an image acquired according to the degree and type of visual impairment of the user input by the user device 30 is at least one of contrast data, color data, focus data, brightness data, and size data.
  • a first adjusting unit 521 and a second adjusting unit 522 may be provided at one side of the frame 20. have.
  • the first adjusting unit 521 and the second adjusting unit 522 may allow the user to execute at least one of enlargement and reduction of the auxiliary image, color adjustment, focus adjustment, and brightness adjustment. That is, the visual aid of the user may be achieved by allowing the image to be adjusted according to the current situation of the user even in the generated auxiliary image.
  • the visual aid 10 may be operated in glaucoma mode.
  • a glaucoma mode is selected as an operation mode of the visual aid 10 is described.
  • Glaucoma is a condition in which the optic nerve is damaged due to increased intraocular pressure and the visual field is narrowed.
  • Visual field defects progress in patients with glaucoma, and tunnel vision may occur in patients with end-stage glaucoma.
  • Tunnel vision can be formed in a tunnel-like tunnel that becomes darker from the center of the field of vision. .
  • the visual field of the user according to the degree of progression of glaucoma may be classified into at least one of normal, early glaucoma, intermediate glaucoma and terminal glaucoma as shown in FIG.
  • dark spots occur to cause visual field defects
  • mid-term glaucoma patients dark spots become darker or enlarged
  • tunnel vision may occur due to enlarged dark spots.
  • the picture of the visual field due to glaucoma of FIG. 9 is merely for illustrative purposes, and the case where the dark spot and the tunnel field of view of the glaucoma is changed or the dark spot of the dark spot or the tunnel field is changed.
  • Vision assistance of a user may be performed by the glaucoma mode of the vision aid device 10 according to an exemplary embodiment.
  • the imaging module of the image acquisition unit 100 may include a fish-eye camera. That is, the image acquisition unit 100 may obtain a fisheye image 534 taken by the fisheye lens. The display unit may output an auxiliary image formed by remapping the fisheye image 534 acquired in the tunnel view of the user.
  • a wide field of view is secured through a fisheye image 534 captured by the image acquisition unit 100 of the visual aiding apparatus 10 according to an embodiment of the present invention.
  • the remapping image 535 remapped to the tunnel field of the user may be formed. That is, as shown in the remapping image 535 of FIG. 10, the fisheye image 534 in which the woman and the dog are together in the park is remapped into the tunnel field so that the user can check the appearance of the woman and the dog in the park.
  • the visual assistance device 10 may operate in the macular hole mode.
  • the macular hole mode is selected as an operation mode of the visual aid device 10 will be described.
  • Macular hole is a state in which the entire layer or part of the macular retina is missing.
  • vision in the central part of the field of vision may be lost and dark spots may be generated in the center of the field of view.
  • the macular circular visual field 541 may be visually deficient in the center, and unlike the normal visual field 531, the visual field of the upper part of the female may be lost.
  • the display unit may separately display a portion missing due to a dark spot generated in the center of the user's field of view.
  • the auxiliary image formed may be output. That is, as shown in FIG. 11, the image of the upper body part of the woman lost in the normal view 531 may be separately displayed on the upper right side of the macular hole correction image 542, so that visual aid for the user may be performed. Accordingly, the user can check the missing field of vision at the periphery of the corrected image, so that the user can accurately obtain information about the situation ahead of the user.
  • the visual aid 10 may be operated in a strabismus mode.
  • the isometric mode is selected as an operation mode of the visual aid 10 is described.
  • Visual assistance can be achieved by adjusting the difference in the viewing angle caused by misalignment of the left and right eyes. Therefore, visual assistance may be achieved by differently forming an auxiliary image for each of the left and right eyes through shifting of the image acquired by the image acquisition unit 100 so that the difference in the viewing angle is adjusted.
  • the visual aiding apparatus 10 shifts the image acquired by the image acquisition unit 100 based on the viewing angle of the left eye and the viewing angle of the right eye so that the first auxiliary image and the second auxiliary image are shifted. Can be created. That is, the first auxiliary image generated by image shifting is output to the first display unit 411 for the left eye and the second auxiliary image is output to the second display unit 412 for the right eye. Vision assistance can be made.
  • the visual assistance device 10 may operate in the hearing assist mode.
  • the visual assistance device 10 may operate in the hearing assist mode only in the case of the visual impairment except in the case of blindness in which the user completely loses sight. That is, when low vision, glaucoma patient, macular hole patient and strabismus patient have hearing impairment, the hearing aid may be performed together with the visual aid through the output of the auxiliary image.
  • the controller 300 analyzes sound information from the object acquired by the sensor unit 200 to obtain an image signal related to the object. Can be generated.
  • the auxiliary image formed by displaying the image signal generated by the controller 300 on the image acquired by the image acquisition unit 100 may be output through the display unit to perform auditory assistance.
  • the sensor unit 200 may include a sound input unit for inputting the sound of the object.
  • the controller 300 analyzes the sound input to generate an image signal for the object.
  • an image signal such as “dog barking” of FIG. 12 may be generated by analyzing a dog barking sound.
  • Such an image signal may generate and output an auxiliary image such as the first auditory auxiliary image 561 of FIG. 12 to be displayed on an image acquired by the display unit.
  • the controller 300 may consider the direction in which the input sound is transmitted, as in the case where the horn sound of the vehicle is input from the sound input unit of the sensor unit 200. Accordingly, the controller 300 may generate an image signal called a horn sound generated by the vehicle behind the vehicle by analyzing the input sound. As a result, the user may check the auxiliary image generated as the second auditory auxiliary image 562 in which the image signal “rear car horn” is displayed from the image acquired by the image acquisition unit 100.
  • the visual assistance device 10 may be operated together with the hearing assist mode.
  • an auxiliary image that is corrected with respect to an image acquired by the image acquisition unit 100 may be generated.
  • image information may be generated by analyzing sound information acquired by the sound input unit of the sensor unit 200.
  • the image may be combined with the image signal to be output to the display unit for the user, so that the hearing aid may be performed together with the visual aid of the user.
  • FIG. 13 is a flowchart illustrating a user's visual aid method using the visual aid device 10 according to an exemplary embodiment.
  • an operation (S100) of acquiring an image of a forward situation observed by the user is positioned in front of the user.
  • Step (S200) of obtaining the sensing information for the objects to be analyzed step (S300) of analyzing the acquired image, generating a notification signal for the front situation through the analysis result of the acquired image and the acquired sensing information
  • the generated notification signal may be provided to the user in a sound form (S500).
  • FIG. 14 is a flowchart illustrating an exemplary process of analyzing an image by the visual aid device 10 according to an exemplary embodiment.
  • operation S300 in the analyzing of an image in the visual aiding apparatus 10 according to an exemplary embodiment of the present disclosure, features of an image acquired by executing a learning model are extracted in operation S310 and extraction.
  • operation S320 the objects of the front situation may be classified based on the provided features.
  • 15 is a flowchart illustrating an exemplary process of displaying an auxiliary image by the visual assistance apparatus 10 according to an exemplary embodiment.
  • an image of a forward situation watched by a user is acquired (S100) and positioned in front of the user. Acquisition of the sensing information about the objects (S200), analysis of the acquired image (S300), selection of the operation mode according to the user (S350), analysis result of the acquired image and the acquired sensing
  • a step of generating a notification signal for the front situation through the information (S400) and the step of providing the generated notification signal to the user in the form of a sound (S500) may be included.
  • the above-described method can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer which operates the program using a computer readable medium.
  • the structure of the data used in the above-described method can be recorded on the computer-readable medium through various means.
  • a recording medium for recording an executable computer program or code for performing various methods of the present invention should not be understood to include temporary objects, such as carrier waves or signals.
  • the computer readable medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (eg, a CD-ROM, a DVD, etc.).

Abstract

본 발명의 일 실시 예에 따른 시각 보조 장치는 사용자가 주시하는 전방 상황을 촬영한 영상이 취득되는 영상취득부, 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 센서부, 영상취득부에서 취득된 영상이 분석되고, 영상에 대한 분석 결과 및 센서부에서 취득된 센싱정보를 통해 전방 상황에 대한 알림 신호가 생성되는 제어부 및 제어부에서 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 출력부가 포함될 수 있다.

Description

시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법
본 발명은 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법에 관한 것으로, 더욱 상세하게는 사용자의 전방 상황을 촬영한 영상이 영상 내 특징 추출을 위한 학습모델의 실행을 통해서 분석되고, 사용자 전방의 객체들로부터 측정된 센싱정보를 토대로 사용자에게 알림 신호가 제공되어 사용자의 시각 보조가 이루어지도록 하는 시각 보조 장치 및 시각 보조 장치를 이용한 시각 보조 방법에 관한 것이다.
시각 장애인은 맹인과 저시력자를 모두 포함하는 것으로 저시력자도 개인별로 다양한 양상이 나타난다. 또한, 시각장애를 초래하는 원인 질환에는 여러 가지가 있으며, 그 사회의 생활 수준, 처해있는 환경, 시대 변천에 따른 변화 등에 따라 나타나는 양상은 조금씩 다를 수 있다. 특히, 시각 장애의 유형 중 실명과 관계되는 대표적인 몇 가지 중요한 질환의 원인은 다양하며, 그러한 질환들이 확실히 구별될 수 없는 불분명한 경우도 있어 그 원인이 어디에 있는지 알 수 없는 경우도 있다.
기존에는 맹인과 저시력자를 위한 시각 보조 도구에 관한 기술만이 제안되고 있다. 이러한 기술의 경우에도 시각 장애인의 전방 상황에 대하여 각종 센서를 통해서만 시각 장애인의 전방에 대한 정보가 추출되도록 하고 있다. 또한, 시각 장애인의 전방을 촬영하더라도 촬영된 영상의 분석을 통해 시각 장애인을 위해 정확한 정보가 제공되기는 어려운 문제가 있었다.
더불어, 시각 장애인뿐만 아니라 시각 장애를 유발하는 녹내장 등 각종 질환의 경우에도 환자들의 시각 보조를 위한 보조 장치의 개발이 절실한 상황이다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 시각 장애뿐만 아니라 시각 장애와 관련된 다양한 질환들을 가진 사용자들을 위한 시각 보조 장치를 제안함으로써, 각 사용자 별 보조 유형에 맞게 최적의 시각 보조가 이루어지도록 하는 것이다.
본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 발명의 일 실시 예로써, 시각 보조 장치가 제공될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치는 사용자가 주시하는 전방 상황을 촬영한 영상이 취득되는 영상취득부, 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 센서부, 영상취득부에서 취득된 영상이 분석되고, 영상에 대한 분석 결과 및 센서부에서 취득된 센싱정보를 통해 전방 상황에 대한 알림 신호가 생성되는 제어부 및 제어부에서 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 출력부가 포함될 수 있고, 제어부에서는 취득된 영상에서 특징들을 추출하기 위한 소정의 학습모델이 실행되고, 학습모델을 이용하여 추출된 특징들에 기초하여 전방 상황의 객체들을 분류함으로써 영상이 분석될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치는 영상취득부에서 취득된 영상에 대한 보정을 통해 생성된 사용자의 시각 보조를 위한 보조영상을 출력하는 디스플레이부가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치는 사용자에 따른 동작 모드가 선택되도록 하기 위한 모드선택부가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 전맹 모드가 포함될 수 있고, 동작 모드로써 전맹 모드가 선택된 경우에는, 센서부에서는 객체로부터 사용자까지의 거리 값이 측정될 수 있고, 측정된 거리 값이 소정의 기준 값 이내인 것으로 제어부에 의하여 판단된 경우에는, 출력부를 통하여 알림 신호가 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 저시력 모드가 포함될 수 있고, 동작 모드로써 저시력 모드가 선택된 경우에는, 디스플레이부에서는 취득된 영상에서 대비(contrast) 데이터, 색상 데이터, 초점 데이터, 밝기 데이터 및 크기 데이터 중 적어도 하나가 조절됨으로써 생성된 보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 녹내장 모드가 포함될 수 있고, 동작 모드로써 녹내장 모드가 선택된 경우에는, 영상취득부에서는 어안 렌즈(fish-eye lens)로 촬영된 어안 영상이 취득될 수 있고, 디스플레이부에서는 사용자의 터널시야(tunnel vision) 내에 어안 영상이 리맵핑(remapping)되도록 하여 형성된 보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 황반원공 모드가 포함될 수 있고, 동작 모드로써 황반원공 모드가 선택된 경우에는, 디스플레이부에서는 사용자의 시야 중심에 생긴 암점으로 인해 결손된 부분이 사용자의 시야 중심에 인접한 주변부에 별도로 표시되도록 하여 형성된 보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 사시 모드가 포함될 수 있고, 동작 모드로써 사시 모드가 선택된 경우에는, 보조영상에는 사용자의 좌안을 위한 제1보조영상 및 사용자의 우안을 위한 제2보조영상이 포함될 수 있고, 디스플레이부에서는 사용자의 좌안의 시야각과 사용자의 우안의 시야각에 기초하여 영상취득부에서 취득된 영상이 시프팅(shifting) 되도록 하여 형성된 제1보조영상 및 제2보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 청각 보조 모드가 포함될 수 있고, 동작 모드로써 청각 보조 모드가 선택된 경우에는, 제어부에서는 센서부에서 취득된 객체로부터의 소리 정보를 분석하여 객체에 관한 이미지 신호가 생성될 수 있고, 제어부에서 생성된 이미지 신호가 영상취득부에서 취득된 영상에 표시되도록 하여 형성된 보조영상이 디스플레이부를 통하여 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법이 제공될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법은 사용자가 주시하는 전방 상황에 대한 영상이 취득되는 단계, 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 단계, 취득된 영상이 분석되는 단계, 취득된 영상에 대한 분석 결과 및 취득된 센싱정보를 통해 전방상황에 대한 알림 신호가 생성되는 단계 및 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 단계가 포함될수 있고, 취득된 영상이 분석되는 단계는, 소정의 학습모델이 실행되어 취득된 영상에 대한 특징들이 추출되는 단계 및 추출된 특징들에 기초하여 전방 상황의 객체들이 분류되는 단계가 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법은 취득된 영상에 대한 분석 결과 및 취득된 센싱정보를 통해 전방상황에 대한 알림 신호가 생성되는 단계의 수행 이전에, 사용자에 따른 동작 모드가 선택되는 단계가 수행되고, 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 단계와 함께, 취득된 영상의 보정을 통해 생성된 사용자의 시각 보조를 위한 보조영상이 디스플레이되는 단계가 수행될 수 있다.
한편, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공될 수 있다.
이와 같은 본 발명에 의해서, 시각 장애 및 시각 장애를 일으키는 관련 질환을 가진 사용자들에게 각 유형에 맞는 최적의 시각 보조 장치가 제공되도록 할 수 있다.
또한, 머신러닝 알고리즘 기반의 학습모델을 통해 촬영된 영상이 분석되도록 함으로써 사용자 전방 상황에 대한 정보가 정확하게 판단되어 시각 보조를 위한 알림 신호가 제공될 수 있다.
더불어, 고글 및 안경 형태의 시각 보조 장치뿐만 아니라 헤드셋 형태나 다른 장치에 부착될 수 있는 시각 보조 모듈 형태로 제작될 수 있어 사용자에게 알맞은 시각 보조 장치의 형태가 제공될 수 있다.
본 발명의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시 예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 시각 보조 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 고글(goggle) 형태의 시각 보조 장치를 나타내는 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 팩(pack) 형태의 시각 보조 장치가 안경에 결합된 상태를 나타내는 예시도이다.
도 4a는 본 발명의 일 실시 예에 따른 헤드셋(headset) 형태의 시각 보조 장치를 나타낸 정면도이고, 도 4b는 본 발명의 일 실시 예에 따른 헤드셋 형태의 시각 보조 장치를 나타낸 사시도이다.
도 5a는 본 발명의 일 실시 예에 따른 시각 보조 장치의 영상취득부에 의해 촬영된 영상을 나타낸 도면이고, 도 5b는 본 발명의 일 실시 예에 따른 시각 보조 장치의 영상취득부에 의해 촬영된 영상이 제어부에 의해 분석되는 것을 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 시각 보조 장치가 사용자 디바이스와 연동되는 것을 나타낸 예시도이다.
도 7은 디스플레이부가 포함된 본 발명의 일 실시 예에 따른 시각 보조 장치의 후방을 나타낸 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드가 사용자 디바이스를 통해 선택되는 것을 나타낸 예시도이다.
도 9는 사용자의 녹내장 진행 정도에 따른 시야를 나타낸 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 시각 보조 장치의 어안 영상이 사용자의 터널시야 내로 리맵핑(remapping)되는 모습을 나타낸 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 시각 보조 장치가 황반원공 모드로 동작되는 경우 사용자의 결손된 시야가 별도로 표시되도록 하는 것을 나타낸 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 시각 보조 장치가 청각 보조 모드로 동작되는 경우 디스플레이부에 이미지 신호가 생성된 것을 나타낸 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법을 나타낸 순서도이다.
도 14는 본 발명의 일 실시 예에 따른 시각 보조 장치가 영상을 분석하는 예시적인 과정을 나타낸 순서도이다.
도 15는 본 발명의 일 실시 예에 따른 시각 보조 장치가 보조 영상을 디스플레이하는 예시적인 과정을 나타낸 순서도이다.
본 발명의 일 실시 예로써, 시각 보조 장치가 제공될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치는 사용자가 주시하는 전방 상황을 촬영한 영상이 취득되는 영상취득부, 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 센서부, 영상취득부에서 취득된 영상이 분석되고, 영상에 대한 분석 결과 및 센서부에서 취득된 센싱정보를 통해 전방 상황에 대한 알림 신호가 생성되는 제어부 및 제어부에서 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 출력부가 포함될 수 있고, 제어부에서는 취득된 영상에서 특징들을 추출하기 위한 소정의 학습모델이 실행되고, 학습모델을 이용하여 추출된 특징들에 기초하여 전방 상황의 객체들을 분류함으로써 영상이 분석될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치는 영상취득부에서 취득된 영상에 대한 보정을 통해 생성된 사용자의 시각 보조를 위한 보조영상을 출력하는 디스플레이부가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치는 사용자에 따른 동작 모드가 선택되도록 하기 위한 모드선택부가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 전맹 모드가 포함될 수 있고, 동작 모드로써 전맹 모드가 선택된 경우에는, 센서부에서는 객체로부터 사용자까지의 거리 값이 측정될 수 있고, 측정된 거리 값이 소정의 기준 값 이내인 것으로 제어부에 의하여 판단된 경우에는, 출력부를 통하여 알림 신호가 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 저시력 모드가 포함될 수 있고, 동작 모드로써 저시력 모드가 선택된 경우에는, 디스플레이부에서는 취득된 영상에서 대비(contrast) 데이터, 색상 데이터, 초점 데이터, 밝기 데이터 및 크기 데이터 중 적어도 하나가 조절됨으로써 생성된 보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 녹내장 모드가 포함될 수 있고, 동작 모드로써 녹내장 모드가 선택된 경우에는, 영상취득부에서는 어안 렌즈(fish-eye lens)로 촬영된 어안 영상이 취득될 수 있고, 디스플레이부에서는 사용자의 터널시야(tunnel vision) 내에 어안 영상이 리맵핑(remapping)되도록 하여 형성된 보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 황반원공 모드가 포함될 수 있고, 동작 모드로써 황반원공 모드가 선택된 경우에는, 디스플레이부에서는 사용자의 시야 중심에 생긴 암점으로 인해 결손된 부분이 사용자의 시야 중심에 인접한 주변부에 별도로 표시되도록 하여 형성된 보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 사시 모드가 포함될 수 있고, 동작 모드로써 사시 모드가 선택된 경우에는, 보조영상에는 사용자의 좌안을 위한 제1보조영상 및 사용자의 우안을 위한 제2보조영상이 포함될 수 있고, 디스플레이부에서는 사용자의 좌안의 시야각과 사용자의 우안의 시야각에 기초하여 영상취득부에서 취득된 영상이 시프팅(shifting) 되도록 하여 형성된 제1보조영상 및 제2보조영상이 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치의 동작 모드에는 청각 보조 모드가 포함될 수 있고, 동작 모드로써 청각 보조 모드가 선택된 경우에는, 제어부에서는 센서부에서 취득된 객체로부터의 소리 정보를 분석하여 객체에 관한 이미지 신호가 생성될 수 있고, 제어부에서 생성된 이미지 신호가 영상취득부에서 취득된 영상에 표시되도록 하여 형성된 보조영상이 디스플레이부를 통하여 출력될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법이 제공될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법은 사용자가 주시하는 전방 상황에 대한 영상이 취득되는 단계, 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 단계, 취득된 영상이 분석되는 단계, 취득된 영상에 대한 분석 결과 및 취득된 센싱정보를 통해 전방상황에 대한 알림 신호가 생성되는 단계 및 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 단계가 포함될수 있고, 취득된 영상이 분석되는 단계는, 소정의 학습모델이 실행되어 취득된 영상에 대한 특징들이 추출되는 단계 및 추출된 특징들에 기초하여 전방 상황의 객체들이 분류되는 단계가 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치를 이용한 사용자의 시각 보조 방법은 취득된 영상에 대한 분석 결과 및 취득된 센싱정보를 통해 전방상황에 대한 알림 신호가 생성되는 단계의 수행 이전에, 사용자에 따른 동작 모드가 선택되는 단계가 수행되고, 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 단계와 함께, 취득된 영상의 보정을 통해 생성된 사용자의 시각 보조를 위한 보조영상이 디스플레이되는 단계가 수행될 수 있다.
한편, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 시각 보조 장치(10)를 나타낸 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 사용자가 주시하는 전방 상황을 촬영한 영상이 취득되는 영상취득부(100), 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 센서부(200), 영상취득부(100)에서 취득된 영상이 분석되고, 영상에 대한 분석 결과 및 센서부(200)에서 취득된 센싱정보를 통해 전방 상황에 대한 알림 신호가 생성되는 제어부(300) 및 제어부(300)에서 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 출력부(400)가 포함될 수 있다. 또한, 시각 보조 장치(10)는 실시 예에 따라서는 시각 보조 장치(10)에 전원을 공급하기 위한 전원부가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 영상취득부(100)에는 사용자가 주시하는 전방 상황이 촬영되도록 하기 위한 적어도 하나의 촬영 모듈 및 촬영 모듈에 의해서 촬영된 영상이 저장되는 저장 모듈이 포함될 수 있다. 영상취득부(100)의 촬영 모듈은 사용자의 좌안 및 우안이 주시하는 상황이 촬영될 수 있도록 사용자의 좌안 부근 및 사용자의 우안 부근에 위치할 수 있다. 촬영 모듈은 CCD(Charge-Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 센서를 통해 사용자의 전방 상황이 촬영될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 센서부(200)에는 사용자의 주위에 위치하는 객체가 감지될 수 있는 객체 감지 모듈(210), 사용자의 전방에 위치하는 장애물과의 거리가 측정될 수 있는 거리 측정 모듈(230), 현재 사용자의 위치가 측정될 수 있는 위치 측정 모듈(220), 사용자의 이동 속도가 측정될 수 있는 속도 측정 모듈 중 적어도 어느 하나가 포함될 수 있다. 즉, 사용자의 주위에 위치하는 객체 혹은 장애물에 대한 정보를 취득할 수 있는 센서 모듈은 어느 것이든 포함될 수 있다. 객체 감지 모듈(210)에는 적외선 센서(infrared sensor), 근접 센서(proximity sensor), 초음파 센서(ultrasonic sensor), 모션 센서(motion sensor) 중 적어도 하나가 포함될 수 있다. 거리 측정 모듈(230)에는 적외선 센서, 초음파 센서, 라이다 센서(Light Detection And Ranging, LIDAR), 레이더 센서(Radio Detection And Ranging, RADAR) 중 적어도 하나가 포함될 수 있다. 위치 측정 모듈(220)에는 GPS(Global Positioning System) 모듈, WiFi(Wireless Fidelity) 모듈 및 관성측정모듈(Inertial Measurement Unit) 중 적어도 하나가 포함될 수 있다. 속도 측정 모듈에는 가속도 센서, 자이로 센서 및 관성측정모듈 중 적어도 하나가 포함될 수 있다. 각 센서 모듈에는 센서 모듈에 포함된 적어도 하나의 센서의 제어를 위한 제어회로가 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 제어부(300)에서는 영상취득부에서 취득된 영상이 분석되고, 영상에 대한 분석 결과 및 센서부(200)에서 취득된 센싱정보를 통해 전방 상황에 대한 알림 신호가 생성될 수 있다. 제어부(300)에서는 취득된 영상에서 특징들을 추출하기 위한 소정의 학습모델이 실행되고, 학습모델을 이용하여 추출된 특징들에 기초하여 전방 상황의 객체들을 분류함으로써 영상이 분석될 수 있다.
제어부(300)에서는 상기와 같이 알림 신호가 생성되는 동작 외에도, 시각 보조 장치(10)의 전반적인 동작을 제어한다. 즉, 제어부(300)에서는 도 1과 같이 영상취득부(100), 센서부(200), 출력부(400), 모드선택부(500), 전원부(700) 및 통신부(600)가 제어부(300)를 통해 연결되어 각 구성요소들 중 적어도 일부가 제어될 수 있다. 이에 더하여, 제어부(300)에서는 시각 보조 장치(10)의 동작을 위하여 시각 보조 장치(10)에 포함된 구성요소들 중 적어도 둘 이상이 서로 조합하여 동작될 수 있다.
본 발명의 일 실시 예에 따른 출력부(400)에서는 제어부(300)에서 생성된 사용자의 시각 보조를 위한 알림 신호를 사운드(sound) 형태로 제공될 수 있다. 출력부(400)는 사용자의 왼쪽 귀 및 오른쪽 귀 중 적어도 하나의 부근에 위치되도록 하여 사용자가 시각 보조 정보를 용이하게 인식할 수 있도록 할 수 있다.
출력부(400)에서 제공되는 알림 신호의 사운드는 사용자에 의해서 미리 설정될 수 있고, 사용자 디바이스(30)와 연동을 통해 사운드 설정이 변경될 수 있다. 사용자에 의해 미리 설정될 수 있는 사운드에는 아무런 제한이 없으나, 사용자는 사용자 본인에게 알림 신호로 적합한 사운드를 선택할 수 있다. 예를 들면, 사용자 자신과 친숙한 사람이나 사용자 자신이 좋아하는 연예인의 음성 등을 통해 알림 신호가 제공될 수 있다. 또한, 사용자의 전방 상황에 따라 사운드 제공 주기가 달리 설정되어 알림 신호가 제공될 수 있는 등 다양한 패턴의 경보음으로 제공될 수 있다. 더불어, 사운드가 음성 형태로 제공되는 경우 음성은 한국어뿐만 아니라 영어, 일본어, 중국어 등 다양한 언어로 제공될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 전원부(700)에서는 시각 보조 장치(10)의 동작을 위해 전원이 공급될 수 있다. 즉, 전원부(700)의 전원 공급을 통해 시각 보조 장치(10)의 여러 구성요소들이 동작될 수 있다.
전원부(700)는 전원 공급 장치가 포함된 다양한 형태로 형성될 수 있다. 도 2에서와 같이 전원스위치(710)가 부착되어 사용자의 시각 보조 장치(10)의 탈착에 따라 전원 공급 여부가 조절될 수 있다. 예를 들어, 전원스위치(710)는 전원스위치(710)에 정전식 터치 센서 또는 감압식 터치 센서 등이 사용된 접촉감지 센서 모듈이 포함되어 사용자의 시각 보조 장치(10) 착용 시 전원이 공급되도록 하고 사용자가 시각 보조 장치(10)의 장착을 해제하는 경우에는 전원의 공급이 중단될 수 있다.
또한, 전원스위치(710)의 동작에 따라 제어부(300)를 통해서 영상취득부(100)에서의 영상 촬영이 조절될 수 있다. 구체적으로, 사용자가 시각 보조 장치(10)를 착용하는 경우 사용자의 두부(頭部)에 전원스위치(710)가 접촉됨으로써 영상취득부(100)의 촬영 모듈에 의해서 영상이 촬영될 수 있고, 사용자가 시각 보조 장치(10)의 장착을 해제하는 경우 사용자의 두부로부터 전원스위치(710)가 떨어짐으로써 전원부(700)의 전원 공급이 중단되어 영상취득부(100)에 의한 영상 촬영이 중단되도록 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 고글(goggle) 형태의 시각 보조 장치(10)를 나타내는 예시도이고, 도 3은 본 발명의 일 실시 예에 따른 팩(pack) 형태의 시각 보조 장치(10)가 안경에 결합된 상태를 나타내는 예시도이며, 도 4a는 본 발명의 일 실시 예에 따른 헤드셋(headset) 형태의 시각 보조 장치(10)를 나타낸 정면도 및 도 4b는 본 발명의 일 실시 예에 따른 헤드셋 형태의 시각 보조 장치(10)를 나타낸 사시도이다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 도 2 내지 도 4b와 같이 다양한 형태로 제공될 수 있다. 즉, 도 2에서와 같이 통상의 안경 또는 고글 형태로 제공되거나, 도 3처럼 모듈화하여 통상의 안경 또는 고글에 탈부착될 수 있는 형태로 제공될 수 있으며, 도 4a 및 도 4b에서와 같이 헤드셋 형태로 제공될 수 있다. 이외에도, 귀걸이, 머리띠 또는 목걸이 등과 같이 사용자에게 부착되는 형태로 제공될 수 있고, 사용자의 물품에 부착될 수도 있으며, 사용자가 파지(grab)할 수 있는 형태 등 사용자의 시각을 보조할 수 있는 형태면 어떠한 형태로도 제공될 수 있다.
먼저, 도 2의 본 발명의 일 실시 예에 따른 고글 형태의 시각 보조 장치(10)를 살펴보면, 사용자의 좌안이 주시하는 방향의 전방 영상이 취득되는 제 1 촬영 모듈(110), 사용자 전방의 객체를 감지하는 객체 감지 모듈(210) 및 사용자의 위치가 측정되는 위치 측정 모듈(220)이 시각 보조 장치(10)의 보호경 좌측 상단에, 사용자의 우안이 주시하는 방향의 전방 영상이 취득되는 제 2 촬영 모듈(120) 및 사용자의 전방에 위치한 객체로부터의 거리가 측정되는 거리 측정 모듈(230)이 시각 보조 장치(10)의 보호경 우측 상단에 위치할 수 있다. 또한, 사용자가 도 2의 고글 형태의 시각 보조 장치(10)를 착용한 경우 사용자에게 사운드 형태로 알림 신호가 제공되는 출력부(400)는 사용자의 귀 부근에 위치할 수 있다. 사용자의 고글 형태의 시각 보조 장치(10) 착용 시 출력부(400)는 사용자의 좌측 귀 및 우측 귀 중 어느 한 부분에만 위치할 수 있지만, 사용자의 양쪽 귀 부분 모두에도 위치할 수 있다. 다만, 도 2의 안경 또는 고글 형태의 시각 보조 장치(10)는 예시적인 형태일 뿐이고, 촬영 모듈의 배치, 객체 감지 모듈(210), 위치 측정 모듈(220), 거리 측정 모듈(230) 등 센서 모듈의 배치는 사용자의 시각 보조를 위해 다양하게 배치될 수 있다. 또한, 고글 자체의 형태도 도 2의 시각 보조 장치(10)와는 달리 다양한 형태로 형성될 수 있다.
또한, 도 3의 본 발명의 일 실시 예에 따른 팩 형태의 시각 보조 장치(10)를 살펴보면, 직사각형의 모듈에 제 1 촬영 모듈(110), 객체 감지 모듈(210), 위치 측정 모듈(220), 출력부(400) 등 사용자의 시각 보조를 위한 시각 보조 장치(10)의 구성 요소들이 모듈화되어 형성되어 있다. 다만, 도 3의 팩 형태의 시각 보조 장치(10)는 예시적인 형태일 뿐이고, 촬영 모듈과 센서 모듈 등 시각 보조 장치(10)의 구성 요소들의 배치는 달라질 수 있다. 또한, 도 3에서는 팩 형태의 시각 보조 장치(10)가 체결부재(800)을 통해서 안경의 한쪽 프레임(20)에만 장착되어 있지만, 이와는 달리 양쪽 프레임(20) 모두에 장착될 수 있다. 더불어, 팩 형태의 시각 보조 장치는 안경에 장착되는 것뿐만 아니라, 모듈 형태로써 사용자의 신체 또는 사용자의 물품에 부착되어 사용자의 시각을 보조할 수 있는 형태이면 어떠한 형태로도 제공될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 도 4에서와 같이 헤드셋 형태로 제공될 수도 있다. 이러한 헤드셋 형태의 시각 보조 장치(10)는 제 1 촬영 모듈(110), 제 2 촬영 모듈(120), 객체 감지 모듈(210) 및 출력부(400)가 모듈화되어, 사용자의 헤드셋 형태의 시각 보조 장치(10) 착용시 귀 부분에 위치되도록 형성될 수 있다. 즉, 도 4a와 같이 사용자의 헤드셋 형태의 시각 보조 장치(10) 착용 시 제 1 촬영 모듈(110) 및 제 2 촬영 모듈(120)이 사용자의 전방 상황을 촬영할 수 있도록 헤드셋의 전방을 향하여 형성되어 있지만, 이는 예시적인 형태일 뿐이므로 사용자 전방 상황의 촬영이 가능한 형태이면 어떠한 형태로도 헤드셋에 부착되어 형성될 수 있다. 마찬가지로, 객체 감지 모듈(210)도 사용자 전방의 객체를 탐지할 수 있도록 헤드셋의 전방을 향하여 형성되어 있지만, 이외에도 사용자 전방의 객체를 탐지할 수 있는 형태이면 어떠한 형태로도 헤드셋에 위치하여 형성될 수 있다. 도 4b는 헤드셋 형태의 시각 보조 장치(10)의 사시도를 나타낸 것으로, 사용자의 헤드셋 형태의 시각 보조 장치(10) 착용 시 출력부(400)가 사용자의 귀에 직접적으로 접촉될 수 있도록 하기 위한 구조로 형성될 수 있다. 다만, 이는 예시적인 형태일 뿐이므로, 헤드셋 형태는 도 4a 및 도 4b와는 달리 다양한 형태로 형성될 수 있다.
도 5a는 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 영상취득부(100)에 의해 촬영된 영상을 나타낸 도면이고, 도 5b는 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 영상취득부(100)에 의해 촬영된 영상이 제어부(300)에 의해 분석되는 것을 나타낸 예시도이다.
이하에서는, 도 5a 및 도 5b를 참조하여, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 제어부(300)에서 학습모델이 실행되어 취득된 영상의 분석을 통해 사용자 전방의 객체들이 분류됨으로써 사용자의 시각 보조가 이루어지는 것에 대해 살펴본다.
제어부(300)에서의 영상 분석은 영상 학습모델을 통해서 이루어질 수 있고, 이러한 학습모델은 기계학습(machine learning) 또는 딥러닝(deep learning) 알고리즘 기반의 모델일 수 있다. 이러한 기계학습 또는 딥러닝 알고리즘 기반의 학습 모델은 기존에 확보된 학습 데이터(training set)를 사용하여 학습 또는 훈련된 모델일 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 제어부(300)에서는 취득된 영상 내에 객체들의 위치 및 종류가 구분될 수 있다. 이를 위해서 제어부(300)에서 실행되는 학습모델에는 영상 내의 객체를 분류하기 위한 딥러닝 모델 중 R-CNN(Regions with Convolution Neural Network), Fast R-CNN, Faster R-CNN, Mask R-CNN이 포함될 수 있다.
도 5a와 같은 영상취득부(100)에 의해 취득된 영상에는 공원에 한 여자가 강아지 한마리를 목줄에 매달아 산책하고 있는 모습이 확인될 수 있다. 이하에서는 도 5b를 참조하여 도 5a의 영상이 R-CNN 기반의 학습모델을 통해 분석되어 영상 내에 객체가 여자, 강아지, 목줄로 분류되는 것을 살펴본다.
먼저, 도 5b의 영역박스설정이미지(130)와 같이 영상취득부(100)에서 취득된 영상 내의 객체들에 영역박스(bounding box)가 설정될 수 있다. 이러한 영역박스를 설정하기 위해 셀렉티브 서치(selective search) 알고리즘이 사용될 수 있다. 이러한 셀렉티브 서치 알고리즘에서는 영상 내에서 색상이나 강도 패턴(image intensity pattern) 등이 비슷한 인접한 픽셀(pixel)이 합쳐지는 방식으로 영역박스가 설정될 수 있다. 상기 영상에서는 도 5b의 영역박스설정이미지(130)에서처럼 여자에 대한 여자영역박스(111), 목줄에 대한 목줄영역박스(112) 및 강아지에 대한 강아지영역박스(113)가 설정될 수 있다.
영역박스가 설정된 이후에는 콘볼루션 신경망(Convolutional Neural Network)의 입력으로 영역박스가 주입될 수 있도록 하기 위해서 설정된 영역박스의 사이즈가 일원화(unification)될 수 있다. 도 5b에서는 설정된 강아지영역박스(113)가 소정의 사이즈로 변경된 일원화이미지(311)를 확인할 수 있다. 소정의 사이즈는 설정된 영역박스의 개수, 콘볼루션 신경망 모델 등을 고려하여 설정될 수 있다.
설정된 영역박스의 사이즈가 일원화된 이후에는, 일원화이미지(311)가 콘볼루션 신경망(310)으로 입력되어 콘볼루션 신경망(310) 내의 컨볼루션 레이어(Convolution Layer), 맥스풀링 레이어(Max-Pooling Layer) 및 풀리 커넥티드 레이어(Fully Connected Layer)를 거쳐 일원화이미지(311) 내 공간적 특징(feature)이 추출될 수 있다.
마지막으로, 추출된 특징을 통해 서포트 벡터 머신(Support Vector Machine)이 사용되어 일원화이미지(311)가 분류됨으로써 영상 내의 객체들이 분류될 수 있다. 도 5b에서는 콘볼루션 신경망(310)에 입력된 일원화이미지(311)가 강아지로 분류된 것이 확인될 수 있다.
이외에도, 영상 내 객체를 검출하기 위해 전처리(pre-processing) 기법이 사전에 수행될 수 있다. 전처리 기법에는 촬영된 영상을 회색조(gray scale) 이미지 및 흑백(binary) 이미지로 변환되도록 하는 기법 등 영상 내 객체 검출이 더 용이하게 수행될 수 있는 기법은 어느 것이나 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 도 6에서와 같이 사용자 디바이스(30)와 연동될 수 있다. 사용자 디바이스(30)는 스마트폰, 핸드폰, PDA, 태블릿 PC 등 사용자가 사용자 디바이스(30)를 사용하여 시각 보조 장치(10)와 연동하여 사용자의 시각을 보조할 수 있는 것이면 어느 것이든 제한이 없다.
또한, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)가 사용자 디바이스(30)와 연동되기 위해서 시각 보조 장치(10)에 통신부(600)가 구비될 수 있다. 통신부(600)에서는 사용자 디바이스(30)와 다양한 데이터들을 송신 또는 수신하기 위한 구성요소이다. 구체적으로, 사용자 디바이스(30)를 통해서 시각 보조 장치(10)의 전원 공급이 조절될 수 있다. 또한, 사용자 디바이스(30)를 통해서 시각 보조 장치(10)의 영상취득부(100)의 동작이 제어될 수 있다. 이외에도, 시각 보조 장치(10)의 여러 구성요소들의 동작을 위한 신호를 사용자 디바이스(30)로부터 수신하거나, 시각 보조 장치(10)의 여러 구성요소들의 동작 상태에 관한 신호를 사용자 디바이스(30)로 송신할 수 있다.
한편, 통신부(600)에는 사용자 디바이스(30)와 무선으로 데이터를 주고받을 수 있는 다양한 무선 통신 모듈이 포함될 수 있다. 예를 들어, 통신부(600)에는 블루투스(Bluetooth), 와이파이(Wifi; Wireless Fidelity), 근거리통신기술(NFC; Near Field Communication), 롱 텀 에볼루션(LTE; Long Term Evolution) 등 다양한 통신방식에 의한 무선 통신 모듈이 포함될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 도 7에서와 같이 디스플레이부가 포함될 수 있다. 도 7에서와 같이 디스플레이부는 좌안을 위한 제 1 디스플레이부(411) 및 우안을 위한 제 2 디스플레이부(412)로 형성될 수 있다. 또한, 이와 달리 디스플레이부는 하나의 디스플레이 패널(panel)로 형성될 수도 있다. 디스플레이부는 액정표시장치(LCD; Liquid Crystal Display), 발광다이오드(LED; Light Emitting Diode), 유기발광다이오드(OLED; Organic Light Emitting Diode) 등의 다양한 디스플레이 장치로 구현될 수 있다. 바람직하게는 투명 유기발광다이오드 소자로 구현될 수 있다.
한편, 디스플레이부에서는 영상취득부(100)에 의해서 취득된 영상이 보정되어 사용자의 시각 보조를 위한 보조영상이 출력될 수 있다. 디스플레이부에는 영상취득부(100)에 의해 취득된 영상의 보정을 위한 영상 처리 모듈이 포함될 수 있다. 영상 처리 모듈에 의한 영상 보정에는 영상 데이터의 색상이 변환되거나, 영상 데이터의 확대 및 축소 등 사용자의 시각 보조를 위한 보조영상을 생성하기 위한 영상 보정의 방법은 어느 것이든 적용될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 사용자에 따른 동작 모드가 선택되도록 하기 위한 모드선택부(500)가 더 포함될 수 있다. 모드선택부(500)는 시각 보조 장치(10)에 버튼 형태 또는 스위치 형태로 부착되어 사용자에 의해 모드가 선택될 수 있다. 또한, 모드선택부(500)에는 정전식 터치 센서 또는 감압식 터치 센서 등이 사용된 접촉감지 센서 모듈이 구비되어 사용자의 접촉을 통해 동작 모드가 선택될 수 있다.
시각 보조 장치(10)의 형태에 따른 모드선택부(500)를 살펴보면, 고글 형태의 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 경우에는 도 2에서와 같이 왼쪽 프레임(20) 상에 모드선택부(500)가 구비될 수 있다. 또한, 팩 형태의 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 경우에는 도 3에서와 같이 팩의 측면에 모드선택부(500)가 구비될 수 있다. 더불어, 헤드셋 형태의 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 경우에는 도 4a 및 도 4b에서와 같이 모드선택부(500)는 헤드셋의 측면에 위치할 수 있다. 다만, 이러한 시각 보조 장치(10)에 구비된 모드선택부(500)는 다양한 형태로 형성될 수 있고, 도 2 내지 도 4b에 모드선택부(500)가 표현된 형태에 제한되지 않는다.
시각 보조 장치(10)에서 도 2 내지 도 4b에서처럼 버튼 및 센서가 구비된 모드선택부와는 달리 본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 도 8에서처럼 사용자 디바이스(30)를 통해 시각 보조 장치(10)의 동작 모드가 선택될 수 있다. 즉, 사용자는 사용자 디바이스(30)의 화면을 터치하거나, 사용자 디바이스(30) 내에 구비된 버튼을 누르는 등 사용자 디바이스(30)의 조작을 통해 시각 보조 장치(10)의 동작 모드를 선택할 수 있다.
시각 보조 장치(10)의 동작 모드에는 전맹 모드, 저시력 모드, 녹내장 모드, 황반원공 모드, 사시 모드, 청각 보조 모드가 포함될 수 있다. 이외에도 시각 장애의 종류 또는 안과 질환의 종류에 따라 사용자의 시각 보조를 위하여 다양한 동작 모드가 포함될 수 있다.
먼저, 사용자가 전맹인 경우에 적용될 수 있는 동작 모드인 전맹 모드를 살펴본다.
전맹이란 눈의 이상이나 신경학적 원인으로 시각 능력을 상실한 상태를 말하는 것으로, 눈을 통해 사물의 판별이 불가능한 상태를 말한다. 사용자가 전맹인 경우에는 시각 보조 장치(10)의 디스플레이부에 의한 보조영상을 출력하더라도 사용자를 위한 시각 보조가 어려울 수 있다.
따라서, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 사용자가 전맹인 경우에 동작 모드로써 전맹 모드가 선택된 경우에는 사용자에게 사운드 형태의 알림 신호가 제공되는 방식을 조절하여 시각 보조가 이루어질 수 있다.
도 2와 같은 고글 형태의 시각 보조 장치(10)가 전맹 모드로 동작되는 경우를 살펴보면, 시각 보조 장치(10)에 부착된 객체 감지 모듈(210), 위치 측정 모듈(220), 거리 측정 모듈(230)이 사용되어 알림 신호가 제공되는 방식이 조절될 수 있다.
구체적으로, 객체 감지 모듈(210)에 의해서 사용자 전방의 객체가 감지되고, 거리 측정 모듈(230)을 통해 사용자로부터 전방의 객체까지의 거리가 측정될 수 있는데, 이 경우 제어부(300)에서는 측정된 거리가 소정의 기준 값 이내인 것으로 판단된 경우에만 알림 신호가 제공되도록 할 수 있다. 또한, 상기 측정된 사용자로부터 전방의 객체까지의 거리가 소정의 기준 값 이내인 것으로 판단된 경우에만 영상취득부(100)의 촬영 모듈이 동작되도록 할 수 있다. 더불어, 사용자로부터 객체까지의 거리가 소정의 기준 값보다 큰 경우에는 위치 측정 모듈(220)을 통해 측정된 사용자의 현재 위치만을 토대로 알림 신호가 제공될 수 있다.
예를 들어, 사용자의 보행 중 전방에 사용자 방향으로 보행자가 보행하고 있는 경우를 살펴본다. 시각 보조 장치(10)의 객체 감지 모듈(210)은 사용자 전방의 보행자를 객체로 감지하고, 거리 측정 모듈(230)에 의해서 사용자로부터 보행자까지의 거리가 2 미터(m) 이내인 것으로 판단될 수 있다. 이 때, 영상취득부(100)에서는 사용자 전방의 상황이 촬영된 영상이 취득될 수 있고, 촬영된 영상이 제어부(300)에 의해서 분석되어 객체로써 보행자가 분류될 수 있다. 이를 통해, 보행자가 사용자 방향으로 걸어오고 있다는 내용의 알림신호가 사운드 형태로 사용자에게 제공됨으로써 사용자를 위한 시각 보조가 이루어질 수 있다.
즉, 사용자 전방의 객체에 대한 센싱 신호가 센서부(200)에의해 감지되어 영상취득부(100)에서 취득된 영상의 분석이 필요한 것으로 판단될 수 있다. 이에 따라 제어부(300)에서 영상이 분석되어 사용자의 시각 보조를 위한 알림 신호가 사운드 형태로 제공될 수 있다.
이외에도, 도 2에서의 제 1 조절부(521) 및 제 2 조절부(522)를 통해 사운드 형태로 제공되는 알림 신호의 음량, 언어 등이 조절될 수 있다. 이를 통해, 사용자로 하여금 시각 보조 장치(10)의 알림신호가 조절될 수 있도록 하여 사용자의 시각 보조가 이루어질 수 있다.
사용자가 전맹이 아닌 저시력자인 경우에는 시각 보조 장치(10)는 저시력 모드로 동작될 수 있다. 이하에서는 시각 보조 장치(10)의 동작모드로써 저시력 모드가 선택된 경우를 살펴본다.
저시력자는 완전 실명은 아니지만 사물을 어렴풋이 인식할 수 있는 상태일 수 있다. 저시력자에게도 전맹의 경우처럼 사운드 형태로 제공되는 알림 신호를 통해서 시각 보조가 이루어질 수 있지만 저시력자는 저시력자 자신의 눈으로 사물을 직접 인식할 수 있도록 보조가 이루어지는 것이 더 효과적일 수 있다.
이에 따라, 저시력자의 시각 보조를 위해서 보조영상은 사용자의 시력 정도 또는 시각장애의 정도에 따라 달리 생성되어 출력될 수 있다. 이를 위해 시각 보조 장치(10)가 저시력 모드로 동작되는 경우에는 사용자의 시각장애의 정도 및 종류가 사용자 디바이스(30)를 통해 입력될 수 있다. 시각 보조 장치(10)의 디스플레이부에서는 사용자 디바이스(30)에 의해 입력된 사용자의 시각장애의 정도 및 종류에 따라 취득된 영상이 대비 데이터, 색상 데이터, 초점 데이터, 밝기 데이터 및 크기 데이터 중 적어도 하나가 조절됨으로써 보조영상이 생성되어 출력될 수 있다.
또한, 도 2의 고글 형태의 본 발명의 일 실시 예에 따른 시각 보조 장치(10)에는 제 1 조절부(521) 및 제 2 조절부(522)가 프레임(20)의 일 측면에 구비될 수 있다. 제 1 조절부(521) 및 제 2 조절부(522)는 사용자로 하여금 보조영상이 영상의 확대 및 축소, 색상조절, 초점조절, 밝기조절 중 적어도 어느 하나가 실행될 수 있다. 즉, 이를 통해 생성된 보조영상에서도 사용자의 현재 상황에 맞게 영상이 조절될 수 있도록 하여 사용자의 시각 보조가 이루어질 수 있다.
사용자가 녹내장 질환을 앓고 있는 경우에는 시각 보조 장치(10)는 녹내장 모드로 동작될 수 있다. 이하에서는 시각 보조 장치(10)의 동작모드로써 녹내장 모드가 선택된 경우를 살펴본다.
녹내장은 안압 상승 등의 원인으로 시신경이 손상되어 시야가 좁아진 상태를 말한다. 녹내장 환자의 경우 시야 결손이 진행하여, 말기 녹내장 환자의 경우에는 터널시야(tunnel vision)가 생길 수 있는데, 터널시야는 시야의 중심으로부터 멀어질수록 시야가 어두워지는 터널과 같은 형태로 형성될 수 있다.
녹내장의 진행 정도에 따른 사용자의 시야는, 도 9에서와 같이 정상, 초기 녹내장, 중기 녹내장 및 말기 녹내장 중 적어도 어느 하나로 분류될 수 있다. 즉, 초기 녹내장 환자의 경우에는 암점이 생겨 시야결손을 일으키게 되고, 중기 녹내장 환자는 암점이 더 진해지거나 확대되며, 말기 녹내장의 경우에는 확대된 암점들로 인하여 터널시야가 생길 수 있다. 다만, 도 9의 녹내장으로 인한 시야에 대한 그림은 설명을 위한 예시적인 것일 뿐, 녹내장 환자의 암점 및 터널 시야의 위치가 달라지는 경우 또는 암점이 진해진 정도나 터널시야의 어두운 정도가 달라지는 경우에도 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 녹내장 모드에 의해 사용자의 시각 보조가 이루어질 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)가 녹내장 모드로 동작되는 경우에는 영상취득부(100)의 촬영 모듈에는 어안 렌즈(fish-eye) 카메라가 포함될 수 있다. 즉, 영상취득부(100)에서는 어안 렌즈로 촬영된 어안 영상(534)이 획득될 수 있다. 디스플레이부에서는 사용자의 터널시야 내에 획득된 어안 영상(534)이 리맵핑(remapping)되도록 하여 형성된 보조영상이 출력될 수 있다.
구체적으로, 도 9의 녹내장 환자와 같이 터널시야가 생긴 경우에는 사용자 전방의 시야에 대한 상황을 제대로 파악하기 어려울 수 있다. 즉, 여자의 상체 부분만 확인될 수 있고, 나머지 시야는 좁혀진 상태로 주변의 객체를 확인하기 조차도 어려울 수 있다. 도 10을 참조하면, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)의 영상취득부(100)에서 촬영된 어안 영상(534)를 통해 넓은 시야를 확보하고, 이러한 어안 영상(534)이 사용자의 터널시야로 리맵핑된 리맵핑영상(535)이 형성될 수 있다. 즉, 도 10의 리맵핑영상(535)과 같이 여자와 강아지가 함께 공원에 있는 어안 영상(534)이 터널시야 내로 리맵핑됨으로써 사용자는 공원에 여자와 강아지가 있는 모습을 확인할 수 있다.
사용자가 황반원공 질환을 갖는 경우에는 시각 보조 장치(10)는 황반원공 모드로 동작될 수 있다. 이하에서는 시각 보조 장치(10)의 동작 모드로써 황반원공 모드가 선택된 경우를 살펴본다.
황반원공은 황반부 망막의 전체 층 또는 일부가 소실된 상태를 말한다. 황반원공 환자의 경우에는 시야의 중심 부분의 시력이 소실되어 시야 중심에 암점이 생성될 수 있다. 도 11을 참조하면, 황반원공시야(541)에는 중심부에 시야가 결손되어 정상시야(531)와는 달리 여자의 상체부분에 대한 시야가 손실된 것이 확인될 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)가 황반원공 모드로 동작되는 경우에는 디스플레이부에서는 사용자의 시야 중심에 생긴 암점으로 인해 결손된 부분이 사용자의 시야 중심에 인접한 주변부에 별도로 표시되도록 하여 형성된 보조영상이 출력될 수 있다. 즉, 도 11에서와 같이 정상시야(531)에서 손실된 여자의 상체부분에 대한 이미지가 황반원공보정영상(542)의 우측 상단에 별도로 표시되도록 하여 사용자를 위한 시각 보조가 이루어질 수 있다. 이에 따라, 사용자는 결손된 시야를 보정영상의 주변부에서 확인할 수 있어 사용자 전방 상황에 대한 정보를 정확히 획득할 수 있다.
사용자가 사시(strabismus) 환자인 경우에는 시각 보조 장치(10)는 사시 모드로 동작될 수 있다. 이하에서는 시각 보조 장치(10)의 동작모드로써 사시 모드가 선택된 경우를 살펴본다.
사시는 두 눈이 정렬되지 않고 서로 다른 지점을 바라보는 시력 장애를 말한다. 사시의 경우에는 좌안 및 우안이 정렬되지 않아 생기는 시야각의 차이를 조정함으로써 시각 보조가 이루어질 수 있다. 따라서, 시야각의 차이가 조절되도록 영상취득부(100)에서 취득된 영상의 시프팅(shifting)을 통해 좌안 및 우안 각각을 위한 보조영상을 달리 형성함으로써 시각 보조가 이루어질 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)는 좌안의 시야각 및 우안의 시야각에 기초하여 영상취득부(100)에서 취득된 영상이 시프팅되도록 하여 제 1 보조영상 및 제 2 보조영상이 생성되도록 할 수 있다. 즉, 영상 시프팅으로 생성된 제 1 보조영상은 좌안을 위한 제 1 디스플레이부(411)로, 제 2 보조영상은 우안을 위한 제 2 디스플레이부(412)로 출력되도록 함으로써 사시를 가진 사용자를 위한 시각 보조가 이루어질 수 있다.
사용자가 청각장애를 가지고 있는 경우에는 시각 보조 장치(10)는 청각 보조 모드로 동작될 수 있다. 다만, 사용자가 시력을 완전히 잃은 전맹의 경우는 제외한 나머지 시각 장애의 경우에만 시각 보조 장치(10)가 청각 보조 모드로 동작될 수 있다. 즉, 저시력자, 녹내장 환자, 황반원공 환자 및 사시 환자가 청각 장애를 가지고 있는 경우에 보조영상의 출력을 통해 시각 보조와 함께 청각 보조가 이루어질 수 있다.
본 발명의 일 실시 예에 따른 시각 보조 장치(10)가 청각 보조 모드로 동작되는 경우에는 제어부(300)에서는 센서부(200)에서 취득된 객체로부터의 소리 정보를 분석하여 객체에 관한 이미지 신호가 생성될 수 있다. 이렇게 제어부(300)에서 생성된 이미지 신호가 영상취득부(100)에서 취득된 영상에 표시되도록 하여 형성된 보조영상이 디스플레이부를 통해 출력됨으로써 청각 보조가 이루어질 수 있다. 이 경우 센서부(200)에는 객체의 소리가 입력될 수 있도록 하기 위한 사운드입력부가 포함될 수 있다.
구체적으로, 도 12를 참조하여 사용자의 청각 보조에 관하여 살펴보면, 센서부(200)의 사운드입력부에서 강아지 짖는 소리가 입력되면 제어부(300)에서 입력된 소리를 분석하여 객체에 대한 이미지 신호가 생성될 수 있다. 즉, 강아지가 짖는 소리를 분석하여 도 12의 “강아지 짖는 소리”와 같은 이미지 신호가 생성될 수 있다. 이러한 이미지 신호는 디스플레이부에서 취득된 영상에 표시되도록 한 도 12의 제 1 청각보조영상(561)과 같은 보조영상이 생성되어 출력되도록 할 수 있다.
또한, 도 12를 참조하면 센서부(200)의 사운드입력부에서 자동차의 경적 소리가 입력된 경우와 같이 제어부(300)에서는 입력된 소리가 전달되는 방향까지 고려될 수 있다. 따라서, 제어부(300)에서는 입력된 소리를 분석하여 후방의 자동차에서 울리는 경적소리라는 이미지 신호가 생성될 수 있다. 결국, 사용자는 영상취득부(100)에서 취득된 영상에서 “후방 자동차 경적 울림”이라는 이미지 신호가 표시된 제 2 청각보조영상(562)과 같이 생성된 보조영상을 확인할 수 있다.
더불어, 사용자가 시력을 완전히 잃은 전맹의 경우는 제외한 나머지 시각 장애의 경우에는 시각 보조 장치(10)가 청각 보조 모드와 함께 다른 동작 모드가 함께 동작될 수 있다. 구체적으로 사용자가 저시력자인 경우에는, 먼저 영상취득부(100)에서 취득된 영상에 대하여 보정이 이루어진 보조영상이 생성될 수 있다. 이후에는 센서부(200)의 사운드입력부에서 취득된 소리 정보가 분석됨으로써 이미지신호가 생성될 수 있다. 결국, 상기 보조영상에 상기 이미지신호가 결합된 영상이 사용자를 위한 디스플레이부에 출력되도록 함으로써 사용자의 시각 보조와 함께 청각보조가 이루어질 수 있다.
도 13은 본 발명의 일 실시 예에 따른 시각 보조 장치(10)를 이용한 사용자의 시각 보조 방법을 나타낸 순서도이다.
도 13을 참조하면, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)를 이용한 사용자의 시각 보조 방법은 사용자가 주시하는 전방 상황에 대한 영상이 취득되는 단계(S100), 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 단계(S200), 취득된 영상이 분석되는 단계(S300), 취득된 영상에 대한 분석 결과 및 취득된 센싱정보를 통해 전방상황에 대한 알림 신호가 생성되는 단계(S400) 및 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 단계(S500)가 포함될 수 있다.
도 14는 본 발명의 일 실시 예에 따른 시각 보조 장치(10)가 영상을 분석하는 예시적인 과정을 나타낸 순서도이다.
도 14를 참조하면, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)에서 영상을 분석하는 단계(S300)는 학습모델이 실행되어 취득된 영상에 대한 특징들이 추출되는 단계(S310) 및 추출된 특징들에 기초하여 전방 상황의 객체들이 분류되는 단계(S320)가 포함될 수 있다.
도 15는 본 발명의 일 실시 예에 따른 시각 보조 장치(10)가 보조 영상을 디스플레이하는 예시적인 과정을 나타낸 순서도이다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른 시각 보조 장치(10)를 이용한 사용자의 시각 보조 방법은 사용자가 주시하는 전방 상황에 대한 영상이 취득되는 단계(S100), 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 단계(S200), 취득된 영상이 분석되는 단계(S300), 사용자에 따른 동작 모드가 선택되는 단계(S350), 취득된 영상에 대한 분석 결과 및 취득된 센싱정보를 통해 전방상황에 대한 알림 신호가 생성되는 단계(S400) 및 생성된 알림 신호가 사용자에게 사운드 형태로 제공되는 단계(S500)가 포함될 수 있다.
한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 시각 보조 장치에 있어서,
    사용자가 주시하는 전방 상황을 촬영한 영상이 취득되는 영상취득부;
    상기 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 센서부;
    상기 영상취득부에서 취득된 영상이 분석되고, 상기 영상에 대한 분석 결과 및 상기 센서부에서 취득된 센싱정보를 통해 상기 전방 상황에 대한 알림 신호가 생성되는 제어부; 및
    상기 제어부에서 생성된 알림 신호가 상기 사용자에게 사운드 형태로 제공되는 출력부;가 포함되고,
    상기 제어부에서는 상기 취득된 영상에서 특징들을 추출하기 위한 소정의 학습모델이 실행되고, 상기 학습모델을 이용하여 추출된 특징들에 기초하여 상기 전방 상황의 객체들을 분류함으로써 상기 영상이 분석되는 것을 특징으로 하는 시각 보조 장치.
  2. 제 1 항에 있어서,
    상기 영상취득부에서 취득된 영상에 대한 보정을 통해 생성된 상기 사용자의 시각 보조를 위한 보조영상을 출력하는 디스플레이부가 더 포함되는 것을 특징으로 하는 시각 보조 장치.
  3. 제 2 항에 있어서,
    상기 사용자에 따른 동작 모드가 선택되도록 하기 위한 모드선택부가 더 포함되는 것을 특징으로 하는 시각 보조 장치.
  4. 제 3 항에 있어서,
    상기 동작 모드에는 전맹 모드가 포함될 수 있고,
    상기 동작 모드로써 상기 전맹 모드가 선택된 경우에는,
    상기 센서부에서는 상기 객체로부터 상기 사용자까지의 거리 값이 측정될 수 있고, 상기 측정된 거리 값이 소정의 기준 값 이내인 것으로 상기 제어부에 의하여 판단된 경우에는, 상기 출력부를 통하여 상기 알림 신호가 출력되는 것을 특징으로 하는 시각 보조 장치.
  5. 제 3 항에 있어서,
    상기 동작 모드에는 저시력 모드가 포함될 수 있고,
    상기 동작 모드로써 상기 저시력 모드가 선택된 경우에는,
    상기 디스플레이부에서는 상기 취득된 영상에서 대비(contrast) 데이터, 색상 데이터, 초점 데이터, 밝기 데이터 및 크기 데이터 중 적어도 하나가 조절됨으로써 생성된 상기 보조영상이 출력되는 것을 특징으로 하는 시각 보조 장치.
  6. 제 3 항에 있어서,
    상기 동작 모드에는 녹내장 모드가 포함될 수 있고,
    상기 동작 모드로써 상기 녹내장 모드가 선택된 경우에는,
    상기 영상취득부에서는 어안 렌즈(fish-eye lens)로 촬영된 어안 영상이 취득될 수 있고,
    상기 디스플레이부에서는 상기 사용자의 터널시야(tunnel vision) 내에 상기 어안 영상이 리맵핑(remapping)되도록 하여 형성된 상기 보조영상이 출력되는 것을 특징으로 하는 시각 보조 장치.
  7. 제 3 항에 있어서,
    상기 동작 모드에는 황반원공 모드가 포함될 수 있고,
    상기 동작 모드로써 상기 황반원공 모드가 선택된 경우에는,
    상기 디스플레이부에서는 상기 사용자의 시야 중심에 생긴 암점으로 인해 결손된 부분이 상기 사용자의 시야 중심에 인접한 주변부에 별도로 표시되도록 하여 형성된 상기 보조영상이 출력되는 것을 특징으로 하는 시각 보조 장치.
  8. 제 3 항에 있어서,
    상기 동작 모드에는 사시 모드가 포함될 수 있고,
    상기 동작 모드로써 상기 사시 모드가 선택된 경우에는,
    상기 보조영상에는 상기 사용자의 좌안을 위한 제1보조영상 및 상기 사용자의 우안을 위한 제2보조영상이 포함될 수 있고,
    상기 디스플레이부에서는 상기 사용자의 좌안의 시야각과 상기 사용자의 우안의 시야각에 기초하여 상기 영상취득부에서 취득된 영상이 시프팅(shifting) 되도록 하여 형성된 상기 제1보조영상 및 상기 제2보조영상이 출력되는 것을 특징으로 하는 시각 보조 장치.
  9. 제 3 항에 있어서,
    상기 동작 모드에는 청각 보조 모드가 포함될 수 있고,
    상기 동작 모드로써 상기 청각 보조 모드가 선택된 경우에는,
    상기 제어부에서는 상기 센서부에서 취득된 객체로부터의 소리 정보를 분석하여 상기 객체에 관한 이미지 신호가 생성될 수 있고,
    상기 제어부에서 생성된 이미지 신호가 상기 영상취득부에서 취득된 영상에 표시되도록 하여 형성된 상기 보조영상이 상기 디스플레이부를 통하여 출력되는 것을 특징으로 하는 시각 보조 장치.
  10. 시각 보조 장치를 이용한 사용자의 시각 보조 방법에 있어서,
    상기 사용자가 주시하는 전방 상황에 대한 영상이 취득되는 단계;
    상기 사용자의 전방에 위치하는 객체들에 대한 센싱정보가 취득되는 단계;
    상기 취득된 영상이 분석되는 단계;
    상기 취득된 영상에 대한 분석 결과 및 상기 취득된 센싱정보를 통해 상기 전방상황에 대한 알림 신호가 생성되는 단계; 및
    상기 생성된 알림 신호가 상기 사용자에게 사운드 형태로 제공되는 단계;가 포함되고,
    상기 취득된 영상이 분석되는 단계는,
    소정의 학습모델이 실행되어 상기 취득된 영상에 대한 특징들이 추출되는 단계; 및
    상기 추출된 특징들에 기초하여 상기 전방 상황의 객체들이 분류되는 단계가 포함되는 것을 특징으로 하는 시각 보조 방법.
  11. 제 10 항에 있어서,
    상기 취득된 영상에 대한 분석 결과 및 상기 취득된 센싱정보를 통해 상기 전방상황에 대한 알림 신호가 생성되는 단계의 수행 이전에, 상기 사용자에 따른 동작 모드가 선택되는 단계가 수행되고,
    상기 생성된 알림 신호가 상기 사용자에게 사운드 형태로 제공되는 단계와 함께, 상기 취득된 영상의 보정을 통해 생성된 상기 사용자의 시각 보조를 위한 보조영상이 디스플레이되는 단계가 수행되는 것을 특징으로 하는 시각 보조 방법.
  12. 제 10 항 및 제 11 항 중 어느 한 항에 대한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
PCT/KR2019/006393 2018-05-28 2019-05-28 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법 WO2019231216A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/059,368 US11475663B2 (en) 2018-05-28 2019-05-28 Visual aid device and visual aid method by which user uses visual aid device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0060436 2018-05-28
KR1020180060436A KR102291179B1 (ko) 2018-05-28 2018-05-28 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법

Publications (1)

Publication Number Publication Date
WO2019231216A1 true WO2019231216A1 (ko) 2019-12-05

Family

ID=68698275

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006393 WO2019231216A1 (ko) 2018-05-28 2019-05-28 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법

Country Status (3)

Country Link
US (1) US11475663B2 (ko)
KR (1) KR102291179B1 (ko)
WO (1) WO2019231216A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4099680A1 (en) * 2021-06-03 2022-12-07 Artheia Technologies (Suzhou) Co., Ltd. Head-mounted electronic vision aid device and automatic image magnification method thereof

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3087909A1 (en) * 2019-07-24 2021-01-24 Arris Enterprises Llc Magnification enhancement of video for visually impaired viewers
KR102365087B1 (ko) * 2019-12-20 2022-02-21 주식회사 코이노 다자 간 협업 기반 객체 인식 시스템 및 그 방법
JP2021124520A (ja) * 2020-01-31 2021-08-30 株式会社ジョリーグッド 画像表示装置、画像表示用プログラム及び画像表示方法
KR102234079B1 (ko) * 2020-11-26 2021-03-31 (주)에스알포스트 시각 보조 장치 및 방법
KR102497465B1 (ko) * 2020-11-27 2023-02-08 주식회사 피씨티 저시력자의 주변환경에서의 단차를 감지하는 시각보조장치
KR102502913B1 (ko) * 2020-11-27 2023-02-23 가천대학교 산학협력단 시각 기능 훈련 컨텐츠를 제공하는 방법 및 시스템
KR102648566B1 (ko) * 2021-08-05 2024-03-18 경북대학교 산학협력단 시각을 이용한 청각 보조 시스템 및 청각 보조 방법
CN113709440A (zh) * 2021-08-24 2021-11-26 杭州瑞杰珑科技有限公司 一种视力障碍辅助装置及其图像处理方法
DE102022203030B3 (de) 2022-03-28 2023-09-14 Continental Automotive Technologies GmbH Objektsignalisierungsvorrichtung, Objektsignalisierungssystem und Objektsignalisierungsverfahren zum Signalisieren von erfassten Objekten in einer Umgebung einer laufenden Person

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060071507A (ko) * 2004-12-22 2006-06-27 주식회사 팬택앤큐리텔 보행 보조 장치 및 방법
KR20120059281A (ko) * 2010-11-30 2012-06-08 전자부품연구원 시각 지원 보조 시스템 및 방법
KR20140145091A (ko) * 2013-06-12 2014-12-22 삼성전자주식회사 의료 정보 제공 방법 및 장치
KR20160028305A (ko) * 2014-09-03 2016-03-11 삼성전자주식회사 시각장애인용 보조 장치 및 그 제어 방법
KR20160117807A (ko) * 2015-03-31 2016-10-11 한국전자통신연구원 유방 병변 진단을 위한 영상 판독 보조 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325389A (ja) 1999-05-24 2000-11-28 Matsushita Electric Ind Co Ltd 視覚補助装置
JP4480850B2 (ja) 2000-05-09 2010-06-16 日東光学株式会社 眼鏡および眼鏡フレーム
JP2002065721A (ja) 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
KR20030015936A (ko) 2001-08-18 2003-02-26 양철호 시각 장애인용 시각 보조장치
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
WO2012040386A1 (en) * 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
KR101235585B1 (ko) * 2010-12-01 2013-02-21 한국표준과학연구원 시각장애인용 전방위 방향제시 장치, 시스템, 그를 이용한 안내방법, 및 그 기록매체
WO2016034999A1 (en) * 2014-09-01 2016-03-10 Horus Technology S.R.L.S. Process and wearable device equipped with stereoscopic vision for helping the user

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060071507A (ko) * 2004-12-22 2006-06-27 주식회사 팬택앤큐리텔 보행 보조 장치 및 방법
KR20120059281A (ko) * 2010-11-30 2012-06-08 전자부품연구원 시각 지원 보조 시스템 및 방법
KR20140145091A (ko) * 2013-06-12 2014-12-22 삼성전자주식회사 의료 정보 제공 방법 및 장치
KR20160028305A (ko) * 2014-09-03 2016-03-11 삼성전자주식회사 시각장애인용 보조 장치 및 그 제어 방법
KR20160117807A (ko) * 2015-03-31 2016-10-11 한국전자통신연구원 유방 병변 진단을 위한 영상 판독 보조 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4099680A1 (en) * 2021-06-03 2022-12-07 Artheia Technologies (Suzhou) Co., Ltd. Head-mounted electronic vision aid device and automatic image magnification method thereof
US11846780B2 (en) 2021-06-03 2023-12-19 Artheia Technologies (Suzhou) Co., Ltd. Head-mounted electronic vision aid device and automatic image magnification method thereof

Also Published As

Publication number Publication date
US20210240988A1 (en) 2021-08-05
KR20190135233A (ko) 2019-12-06
KR102291179B1 (ko) 2021-08-19
US11475663B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
WO2019231216A1 (ko) 시각 보조 장치 및 시각 보조 장치를 이용한 사용자의 시각 보조 방법
WO2017030266A1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
US8902303B2 (en) Apparatus connectable to glasses
WO2016086440A1 (zh) 针对全盲人群的可穿戴式引导设备
KR101885473B1 (ko) 시각 장애인 보조용 스마트 글래스
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2017150795A1 (en) Video display apparatus and method for reducing vr sickness
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
KR20150057048A (ko) 시력 기반의 가상화면을 이용한 안경 장치
US11393177B2 (en) Information processing apparatus, information processing method, and program
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
TW201917447A (zh) 頭戴式顯示裝置以及色差強化方法
JP2018067773A (ja) 撮像装置とその制御方法、プログラム及び記憶媒体
WO2022050668A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
EP3365755A1 (en) Video display apparatus and method for reducing vr sickness
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2021162353A1 (ko) 카메라를 포함하는 전자 장치 및 그의 동작 방법
WO2022050742A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
CN112543283A (zh) 用于辅助听力设备佩戴者的应用程序
KR102063177B1 (ko) 무광원 카메라를 이용한 시각장애인용 독립보행 안내장치
WO2020096192A1 (ko) 전자 장치 및 그 제어 방법
CN111722401A (zh) 显示装置、显示控制方法以及显示系统
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
KR102144483B1 (ko) 헤드 마운트 디스플레이 타입의 체온 측정장치
US20230026930A1 (en) Image processing apparatus, system, image processing method, and image processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19812645

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19812645

Country of ref document: EP

Kind code of ref document: A1