WO2020188626A1 - 視覚支援装置 - Google Patents

視覚支援装置 Download PDF

Info

Publication number
WO2020188626A1
WO2020188626A1 PCT/JP2019/010822 JP2019010822W WO2020188626A1 WO 2020188626 A1 WO2020188626 A1 WO 2020188626A1 JP 2019010822 W JP2019010822 W JP 2019010822W WO 2020188626 A1 WO2020188626 A1 WO 2020188626A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
visual
notification
support
Prior art date
Application number
PCT/JP2019/010822
Other languages
English (en)
French (fr)
Inventor
和夫 金子
Original Assignee
和夫 金子
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和夫 金子 filed Critical 和夫 金子
Priority to PCT/JP2019/010822 priority Critical patent/WO2020188626A1/ja
Publication of WO2020188626A1 publication Critical patent/WO2020188626A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Definitions

  • the present invention relates to a device that assists vision.
  • Patent Document 1 A visual aid device that supports actions by recognizing a scene with a camera and detecting the presence of an obstacle for a visually impaired person in real time by voice or the like is known (Patent Document 1). ).
  • An object of the present invention is to notify support information based on the circumstances of individual users.
  • the present invention stores a storage unit that stores conditions unique to the user regarding notification of support information for assisting the user's visual perception, and image data representing a scene that the user is visually recognizing.
  • a visual support device having an image pickup unit to be acquired, a generation unit for generating support information based on the image data acquired by the acquisition means and the conditions, and a notification unit for notifying the generated support information. ..
  • support information suitable for the situation of each user is notified.
  • the external view of the visual aid device 100 The figure which shows the hardware composition of the visual aid apparatus 100.
  • the functional block diagram of the visual aid device 100 The figure which shows the example of the information stored in the condition table T1.
  • the figure which shows an example of the operation of 100 The figure which shows the example of the notification generated based on an image.
  • the functional block diagram which concerns on 2nd Example The figure which shows the example of the information stored in the shared information table T4.
  • FIG. 1 is an example of the appearance of the visual aid device 100.
  • the visual aid device 100 is worn by the user like ordinary glasses, and includes a frame 20, a projection device 21, a microphone 24, a speaker 25, a camera 22, a projection surface 23, and a switch 26. including.
  • the shape and function of the frame 20 and the projection surface 23 are arbitrary, and may have the functions of ordinary glasses.
  • the projection surface 23 may or may not function as a normal spectacle lens.
  • the projection device 21, the camera 22, the projection surface 23, and the speaker 25 are operated by electric power supplied from a power source (not shown) built in the frame 20.
  • the switch 26 is operated by the user.
  • the frame 20 has a built-in unit (not shown) for realizing various functions described later.
  • the visual assist device 100 may not be provided with a power supply, and power may be supplied from a battery unit separately provided and carried by the user.
  • FIG. 2A is a diagram showing an example of the hardware configuration of the visual aid device 100.
  • the visual assist device 100 includes a processor 201, a memory 202, a camera 22, a microphone 204, an operation switch 205, a sensor 206, a timekeeping device 207, a projection device 208, a speaker 25, and a vibration motor 210.
  • Processor 201 is one or more general purpose or dedicated processors, including, for example, a CPU, an audio processing processor, and an image processing processor.
  • the memory 202 is a storage device such as a semiconductor memory.
  • the camera 22 is an imaging mechanism including optical elements such as a lens and a light receiving element, and a photographing control circuit such as focus and exposure. A plurality of cameras 22 may be provided.
  • the visual aid device 100 includes ordinary eyeglasses and a belt portion for wrapping and fixing the eyeglasses around the head, and in addition to the camera for imaging the front as shown in FIG. 1, a camera for imaging the back. Is provided at a position corresponding to the back of the head on the belt. In this way, by acquiring a scene in a wider range than the normal field of view (ideally 360 degrees around), even when a silent electric vehicle or bicycle approaches from behind or from the side. , Can notify the user.
  • the microphone 204 is a sound collecting mechanism including a condenser microphone and a signal processing circuit.
  • the operation switch 205 is a switch operated by the user.
  • the sensor 206 is one or more sensors for detecting the state of the visual support device 100 and the environment around the visual support device 100, such as an acceleration sensor, a direction sensor, and an illuminance sensor.
  • the timekeeping device 207 is a timekeeping means such as a timer.
  • the projection device 208 is a mechanism including a semiconductor laser or the like, a drive circuit, or the like, and projects characters or images on the projection surface 23.
  • the speaker 25 is a speaker and notifies the user of information by voice.
  • the vibration motor 210 is a vibrator such as a small motor, and functions as a means for notifying support information.
  • the communication unit 211 is a wireless communication module such as WiFi, and transmits / receives data to / from an external device.
  • the position acquisition unit 212 is a mechanism for measuring the position of the visual aid device 100, such as a GPS receiving module.
  • FIG. 2B is a functional block diagram of the visual aid device 100.
  • the visual support device 100 includes a notification unit 140, a reaction acquisition unit 150, a voice input unit 160, a generation unit 120, a mode switching unit 170, a storage unit 130, a generation unit 120, and an imaging unit 110. ..
  • the imaging unit 110 is realized by the camera 22, and intermittently acquires image data representing the scene that the user is viewing at a predetermined frame rate. Strictly speaking, depending on the characteristics of the camera, the mechanism of the human eye, and the visual ability of each user, the acquired image is not the same as the world that the user is viewing, but the acquired image data is generally visual ability. It can be said that it reflects the scene that a person with a camera would recognize.
  • the mode switching unit 170 is realized by the operation switch 205 and accepts switching of conditions related to support information. For example, a plurality of operation modes are registered in advance in the generation unit 120, and the user specifies or changes the operation mode using the mode switching unit 170.
  • the operation mode specifies a mode of control regarding notification of support information, and is defined by, for example, the frequency of notification of support information and the amount of notification content. Therefore, the control content regarding the support information generated by the generation unit 120 differs depending on the operation mode. For example, it is conceivable to set three operation modes with notification frequencies of "high”, “medium”, and "small” in advance, and let the user specify one mode to be applied.
  • the current position and time are referred to as "indoor mode” in which the notification control parameters are optimized when the user is indoors, and “night mode” in which the notification control parameters are optimized when the user moves at night.
  • the operation mode may be switched according to the situation of other users. The conditions can be switched at any time during use.
  • the voice input unit 160 is realized by the microphone 204, and acquires the user's voice and surrounding sounds.
  • the reaction acquisition unit 150 is realized by any one or more of the microphone 204, the operation switch 205, and the sensor 206, and acquires reaction information representing the user's reaction to the notification of support information. In addition, the reaction acquisition unit 150 acquires the current operation state of the user.
  • the state of movement includes, for example, information on whether or not the user is in the middle of performing a movement such as walking, or information on the posture (sitting, lying down, etc.).
  • the position specifying unit 190 is realized by the position acquisition unit 212, and specifies the position of the visual aid device 100. It should be noted that the storage unit 130 stores map information and information about the facility, and the position identification unit 190 stores the current situation of the user (whether outdoors or indoors, outdoors) based on the current position. In the case of, it may be specified whether it is inside the registered facility or on the road, and in the case of indoors, whether it is in the registered facility such as an office or home).
  • the timekeeping unit 180 is realized by the timekeeping device 207 and acquires the current time.
  • the generation unit 120 determines the staying time in a predetermined area (for example, in a pre-registered facility) when an image is acquired by the image pickup unit 110 based on the information acquired from the timekeeping unit 180 and the position identification unit 190. It may be calculated.
  • the generation unit 120 may further determine the user's behavior based on the information acquired from the reaction acquisition unit 150.
  • the user's behavior is, for example, information such as whether the user is lying down, resting, walking, or exercising. In this way, information such as a position, a place, and an action is accumulated in the user-specific information T3.
  • the notification unit 140 includes the voice output unit 141, the display unit 142, and the vibration generation unit 143, and notifies the user of the support information generated by the generation unit 120 under the control of the generation unit 120.
  • the voice output unit 141 is realized by the speaker 25, and notifies the support information by voice. Specifically, support information is generated as text data, and this text data is read aloud by voice synthesis processing.
  • the display unit 142 is realized by the projection device 208, and notifies the support information by video.
  • the vibration generating unit 143 is realized by the vibration motor 210, and notifies the support information by vibration. It should be noted that any one or two of the audio output unit 141, the display unit 142, and the vibration generation unit 143 may be omitted. For example, if a totally blind user is assumed, the function of the display unit 142 may be omitted.
  • the storage unit 130 is realized by the memory 202, stores a program for controlling the generation unit 120 such as an OS, and stores conditions specific to the user regarding notification of support information for assisting the user's visual recognition. To. Specifically, the condition table T1, the correction table T2, and the user-specific information T3 are stored, and information corresponding to each user is stored in these.
  • User-specific information T3 stores information unique to each user.
  • the user-specific information includes, for example, information (face image, facial feature amount, etc.) for identifying a person (for example, a relative or a friend) who has a predetermined relationship with the user.
  • information about the user's own state such as information about the user's physical ability, may be stored. Specifically, it is the physical condition and physical ability of the user (visual acuity, myopia, hyperopia, presbyopia, content / degree of disability, hearing, taste, touch, smell, disability, motor ability, etc.).
  • the user-specific information T3 may include a user's action history (walking route, staying place, staying time, etc.).
  • the user's action history may include information representing the reaction of the user who received the notification.
  • FIG. 3 shows a specific example of the information stored in the condition table T1.
  • the content of the notification control of the support information is described in association with the notification condition.
  • Notification conditions are roughly classified into detection contents and situations.
  • the detected content is the type of object (artificial object such as a car, building, sign, natural object such as a person or a tree, etc.) extracted as a result of image analysis.
  • it may indicate an event other than the existence of an object, such as the fact that there is a puddle or the fact that a tree branch is lying down in front of you.
  • an object extracted from an image and to be notified to the user will be referred to as an "object” regardless of whether it is a tangible object or a non-objective object.
  • the details in the figure indicate detailed information of the object. For example, it is information such as a mode (time change) and an attribute of the object.
  • the situation includes information indicating the situation at the time of image acquisition, such as the time, place, and brightness of the shooting location where the image was acquired.
  • the necessity, priority, timing, and notification method are included as elements that make up the notification control content. Necessity defines whether or not to notify each detected object.
  • the priority defines the priority when giving a notification. In general, high priority is set for objects that are likely to be life-threatening.
  • Timing defines the timing of execution and / or termination of notifications.
  • the notification method defines which of the functions of the notification unit 140 is used.
  • Priority notification means, for example, that the notification is made earlier in time, and that the notification is made at the same time but is displayed in a manner that attracts more attention than other objects (character size, volume, etc.). is there.
  • Each one or more items of the notification control content is generated based on the content of the user-specific information T3, or can be rewritten by the user.
  • the content of the notification control reflects the user's preference and the user's circumstances.
  • the content of the user-specific information T3 is updated or the user's reaction to the notification is obtained, it may be automatically rewritten by the generation unit 120 at any time or periodically. In this case, the content changes according to the period during which the user uses the visual aid device 100.
  • the storage unit 130 may store information other than user-specific information. For example, a typical obstacle type (vehicle, traffic sign, step, etc.) and its risk level (importance of notification) are registered in the storage unit 130.
  • a typical obstacle type vehicle, traffic sign, step, etc.
  • risk level importance of notification
  • FIG. 4 shows an example of information stored in the correction table T2.
  • the reaction of the user and the correction content of the priority are stored in association with each other.
  • the generation unit 120 refers to the correction table T2, and when it detects a predetermined reaction, rewrites the condition table T1.
  • the reaction of the user to the notification of the notified support information for example, the reaction that the notification is turned off by operating a switch or the like is stored, the priority of this support information is lowered by one level. ..
  • the reason for changing the priority in this way is that it can be inferred that the user's reaction reflects the user's judgment regarding the necessity and importance of the notification.
  • the priority of the support information is corrected.
  • reaction acquisition unit 150 detects a user's reaction (stopping, changing the direction of the face, etc.), it is presumed that the reaction acquisition unit 150 is reacting to the object of the support information, and it is highly likely that the user needs the notification. Therefore, it is corrected so that the priority is high.
  • the generation unit 120 is realized by the processor 201, repeatedly executes image analysis on the image data acquired by the imaging unit 110 at predetermined intervals, and whether or not a preset object or an object exists. Is determined. Then, the generation unit 120 generates support information based on the image data acquired by the imaging unit 110 and the user-specific conditions stored in the storage unit 130. Specifically, when the generation unit 120 extracts a plurality of one or more specific objects or objects as a result of image analysis, the generation unit 120 needs to notify each object or object with reference to the user-specific information T3. Decide no or priority. Then, one or more objects are selected from one or more objects or objects, and support information regarding the selected one or more objects is generated.
  • the objects to be extracted are typically objects such as vehicles, pedestrians, utility poles, and streets, curbs, gutters, road surface irregularities, and other objects that may hinder the movement of the user. Is.
  • objects that contribute to the safe movement of the user such as traffic signs, marks drawn on roads, pedestrian crossings, railroad crossings, and floor plans of outdoor rooms, may be included.
  • the generation unit 120 may generate support information by further using the reaction information acquired by the reaction acquisition unit 150.
  • the generation unit 120 may generate support information when an obstacle having a risk level of a predetermined value or higher is extracted from the image data. Further, when a person is detected in the image data, the generation unit 120 may determine the support information based on the person information.
  • the conditions may be defined using information about the location of the user.
  • the above conditions may be defined by using information regarding the length of stay.
  • the conditions may be defined by using information regarding the behavior of the user.
  • support information is generated by further adding the conditions specified by the operation mode. For example, if “notification frequency” low “” is specified as the operation mode and this operation mode stipulates the rule that "notification is not performed for an object having a priority of 2 or less", the priority is "1". Only the objects for which is set are subject to notification.
  • control contents do not need to be prepared in a table format in which the control contents corresponding to the conditions are defined.
  • the control algorithm may be determined using a machine learning technique. Specifically, the situation at the time of imaging (in other words, the situation encountered by the user) that can be represented by the extracted object, the amount of image features, etc., and the reaction of the user obtained in response to the executed notification. , A regression model for determining the importance or necessity of classifiers and notifications that classify objects that need notification and objects that do not need notification by inputting them into the learner as training data (learned) Model) is generated.
  • the user's reaction depends on whether or not he / she turned around to the notification supplied from the reaction acquisition unit 150, and whether or not he / she impacted immediately after the notification and lost his / her body balance.
  • the validity of the notification such as whether the user has stopped or changed the course of walking, whether the person has spoken or raised his / her hand after notifying the existence of the person, and the physical reaction of the user (including the case of no reaction).
  • information indicating the user's behavior included in the user information (for example, walking route, activity time zone, etc.) is accumulated, and the accumulated user information is stored in the learning device. You may enter it.
  • Deep Neural Network As a machine learning method for generating a learning model, for example, Deep Neural Network (DNN, deep learning) can be used. Specifically, CNN (Convolution Neural Network), RNN (Recurrent Neural Network) and the like can be applied.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • the timing of learning may be executed before using the visual aid device 100, or every time information about the user's reaction to the situation / object or notification encountered by the user after use is obtained. You may. In the former case, for example, image data simulating the field of view captured by the user is prepared, and the user is asked a question about the conditions related to the notification such as the necessity of notification, the priority of notification, and the timing. It can be done and learned based on the answers obtained from the user. After the trained model is generated in this way, the user is made to use the visual assist device 100. In the latter case, the algorithm in the unlearned state is used at the start of using the visual aid device 100, but learning progresses as information on the user's reaction and behavior pattern is accumulated.
  • the visual support device 100 is acquired as a learning device that learns conditions related to notification of support information based on a plurality of acquired image data and a plurality of reaction information obtained corresponding to each image data. It suffices to have a function to generate support information corresponding to the image data using this learner.
  • a part of the hardware configuration shown in FIG. 2A or the functional configuration shown in FIG. 2B may be realized by a device provided separately from the visual support device 100.
  • the visual support device 100 may not be provided with a notification unit, and the notification function of a portable information processing terminal such as a smartphone carried by the user may be used.
  • wireless communication is performed between the visual support device 100 and the portable information processing terminal, and the visual support device 100 transmits a notification execution request and notification contents to the portable information processing terminal.
  • the visual aid device 100 is provided with a function of guiding movement.
  • the map information is stored in the storage unit 130, and the information about the current position and the orientation of the user acquired by the position acquisition unit 212 and the sensor 206, respectively, and the information acquired by the voice input unit 160 are obtained.
  • information that assists the user in movement such as the route and direction to be followed and the distance to the destination may be generated and notified to the user. ..
  • a function for authenticating the user may be provided.
  • the visual assist device 100 is provided with a means for acquiring user-specific biometric information such as a voiceprint and a fingerprint, and determines whether or not the information matches the information registered in advance.
  • the timing for executing the authentication is, for example, when the visual aid device 100 is activated.
  • FIG. 5 shows an example of the operation of the visual aid device 100.
  • the visual aid device 100 acquires the current time and place in advance, senses the surrounding situation and the user's state, accepts the designation of the operation mode, and determines the information specified as the notification condition (S500). ).
  • the generation unit 120 analyzes the accumulated image (S510).
  • the generation unit 120 determines whether or not notification is necessary (S521). If notification is required (S521; YES), the generation unit 120 generates the notification content (S522).
  • the order and mode of each notification are further determined.
  • the notification unit 140 executes the notification according to the timing information (S530). If the timing information does not exist, the notification will be executed immediately.
  • the generation unit 120 acquires the reaction from the user (S540: YES)
  • the generation unit 120 writes the information indicating the reaction in the storage unit 130, and updates the notification condition based on the reaction information as necessary (S550). ). If the notification is unnecessary (S521; NO) or the reaction is not acquired (S540; NO), the process returns to the process of S500.
  • FIG. 6 shows a specific example of the notification generated based on the acquired image.
  • the image shown by D1 is captured.
  • the existence of the object OB1 which is an automobile, the object OB2 which is a tree, the object OB3 as a step which is a kind of obstacle, and the object OB4 which is a signboard which is a kind of obstacle is detected.
  • the positional relationship between each object and the positional relationship with the user are specified, and the moving direction of the object OB1 is detected.
  • user A and user B, both of whom are users of the visual aid device 100 encounter the situation shown in this image outdoors.
  • the user A is first notified of a message calling attention to the oncoming vehicle as support information corresponding to the object OB1, and then as support information corresponding to the object OB3.
  • a message calling attention to the signboard in front is notified, followed by a message calling attention to the step.
  • Such notification control is performed, for example, information that the user A has considerably poor eyesight is written in the user-specific information T3, and based on this information, a high notification is given to a moving object in the condition table T1. This is the case when the priority is given and the control content is that a stationary obstacle has a low priority but notification is required. Further, in this example, the reason why the notification is not executed even though the object OB4 is determined to require notification is that, for example, the upper limit of the number of notifications that can be notified at one time is set to 3 so as not to confuse the user. At present, it is determined that the priority is lower than the other three objects because it is far from the user's position to the tree.
  • the support information corresponding to the object OB3 is notified to the user B.
  • information that the user B has no problem in visual acuity but has an obstacle in walking ability is stored in the user-specific information T3, and as a result, only the object OB3 related to walking is notified.
  • the target object OB1, the target object OB4, and the target object OB2 may occur when the generation unit 120 determines that notification is unnecessary.
  • FIG. 7 shows another example of the notification generated.
  • D2 is an example of an image acquired when a user is imaged in an indoor corridor such as an office.
  • the generation unit 120 detects the target object OB21 and the target object OB22 as the target objects.
  • the face recognition process determines that the object OB 21 is a person X registered as a friend of C, and the object OB 22 is a person who is neither a friend of user C nor a friend of user D.
  • User C is informed of the appearance of acquaintance person X. As a result, the user C can respond to X by greeting or the like.
  • user C has a situation in which he / she has a complete grasp of the current location and does not want guidance information, and in line with this situation, support information regarding the location is not notified or is notified. Appears when the priority of is set to be low.
  • a setting for detecting only a person from the imaging result is registered in the storage unit 130, and the user wants to search for a waiting person (registered in the storage unit 130 in advance) from a large number of people at a meeting place or the like.
  • a method of using the visual aid device 100 such as operating the mode switching unit 170 to enable this setting, is also conceivable.
  • the method of selecting support information differs depending on the user, and as a result, the support information provided may differ depending on the user.
  • At least one of the necessity, content, timing, and order of notification is determined in consideration of user-specific information such as user's circumstances, circumstances, needs, preferences, and current situation. It is determined. As a result, unnecessary notification is given to the user, and as a result, it is expected that the situation where the user feels annoyed is reduced. On the other hand, the pursuit of alleviation of annoyance reduces the possibility of a situation in which the originally required notification is not given. Further, since the notification control content can be changed based on the user's reaction to the notification and / or the user's action history, the more the visual assist device 100 is used, the more the support provided to the user is optimized.
  • the main purpose of the above embodiment is to supplement the visual ability of a user whose visual ability is originally reduced and to support daily life, but the visual ability is higher than that of the original person. It may be applied to situations where abilities are required to be demonstrated. For example, if an operation mode for recognizing a distant object is provided and a situation where recognition of a distant object is required is encountered, the user manually switches to the mode, or the object is perceived by image analysis. As a result of recognizing that it does not exist, it is conceivable to use the visual support device 100, such as notifying a distant object as support information by automatically switching the generation unit 120.
  • a "navigation mode” in which a destination is specified in advance and a “free mode” in which a specific destination does not exist and a person can take a walk freely are provided, and the content and timing of support information in both modes can be determined. The frequency and the like may be different.
  • the route to the destination is guided by voice based on the map information and the current position, while in the "free mode", the above-mentioned support is provided.
  • the visual support device 100 may be used in order to provide visual support information according to an activity scene such as when performing a special work or exercise. That is, the present invention can be used for any human being other than the so-called healthy person. In other words, "assistance" in the present invention is not limited to the meaning of compensating for diminished or lacking visual ability.
  • the visual support device 100 may be of a glasses type, an earphone type worn on the ear, a brooch type hung from the neck, a type worn on the waist, or the like. That is, it is not necessary to acquire an image that accurately reflects the scene that a so-called healthy person would be looking at. For example, in the brooch type, an image of the viewpoint seen from the neck or chest is acquired, but there is no particular problem for the purpose of detecting an object. Further, the visual aid device 100 may dare to acquire an image from a viewpoint different from the normal viewpoint.
  • the visual support device 100 is designed in the shape of a portable information terminal such as a smartphone, and a device (so-called selfie stick) for instructing the visual support device 100 at a position away from the hand is attached.
  • the visual aid device 100 may be attached to a flying object (drone or the like) and moved in the air for photographing. By doing so, it may be easy to detect / determine a person or an obstacle.
  • voice notification and image display on the projection surface may be combined. For example, when an obstacle is detected, a warning sound is sounded and the content of the warning is displayed on the projection surface.
  • the above embodiment is only an example of a method of identifying a situation from a captured image and a recognition target.
  • the generation unit 120 may only recognize that it is some kind of obstacle without specifying the type of the object or other details.
  • an object is extracted in a predetermined area of the image (for example, the center of the screen (center of the field of view), the lower half of the screen (the field of view centered on the ground), or the area corresponding to the predetermined viewing angle). It is conceivable to set the range to be used.
  • the position in the field of view where the object is detected may be added to the notification condition of the condition table T1.
  • the user may be able to select the extraction range of the object.
  • the extraction range of different objects it is conceivable to define the extraction range of different objects according to the operation mode. For example, if you are in a city with a large number of people, you may be confused if you notify the information about all the detected people, so if you go out in the city, extract the area near the center of the screen (just in front of the user). Switch to the range and set operation mode. By narrowing down the information in this way, the possibility of a head-on collision with at least a person coming from the front is reduced, and the risk of confusion due to a large number of notifications is also reduced.
  • an image reflecting the scene is acquired based on data detected or captured using sound waves, millimeter waves, or other electromagnetic waves.
  • an infrared camera or a millimeter wave radar is provided in the visual support device 100, and at night, the visible light camera is turned off and the infrared camera or the millimeter wave radar is activated, and the data measured by the infrared camera or the millimeter wave radar is input. Make an image.
  • Example 2 Information about a scene actually encountered by a user of the visual aid device 100 at a certain position, and information that assists the visual sense at that position for other users (for example, a notification fact that has notified each user and the information thereof. The content of the notification itself) may be shared by a plurality of users. Specifically, as shown in FIG. 8, a plurality of visual support devices 100 (100-1, 100-2, 100-3) and a server 300 are connected via 900.
  • the server 300 is a general-purpose server, and includes a storage unit 310, a communication unit 320, and a control unit 330.
  • the storage unit 310 is a storage device such as a hard disk, and stores shared information collected from the visual support device 100, which will be described later, in addition to the control program of the server 300.
  • the communication unit 320 is a network interface for exchanging information with each visual support device 100 via the Internet 900.
  • the control unit 330 is a processor and controls the server 300.
  • the generation unit 120 supplies the generated support information to the notification unit 140, and determines whether the support information should be shared with other users.
  • the generation unit 120 generates shared information based on the generated support information for the support information determined to be shared.
  • the shared information is not generated based on the support information, but the user may determine the content and input it to the visual support device 100.
  • the voice input unit 160 starts recording and acquires the user's utterance made within the predetermined period.
  • the generation unit 120 performs processing such as converting the acquired utterance data into text data, and transmits the data to the server 300.
  • the generation unit 120 sends a voice message such as "Do you want to post the current information?" Through the notification unit 140 when the notification unit or when it detects that the user has performed a predetermined action or utterance. You may perform the process of notifying and prompting or asking the user to post information.
  • information that the user considers to be shared can be placed at any timing and / or location. May be accepted.
  • the user also inputs the location information to be associated with the shared information.
  • the user executes, for example, an application for displaying or searching map information on the visual support device 100, and determines the position on the map. By specifying, the coordinates corresponding to the specified position are acquired from the application.
  • the generated shared information is transmitted to the server 300 together with the position at that time specified by the position specifying unit 190 by using the function of the communication unit 211.
  • FIG. 9 is an example of the shared information table T4 registered by each visual support device 100 and stored in the storage unit 310.
  • shared information is stored in association with the position information.
  • the location information may be described using a coordinate format such as latitude and longitude, an address format determined by the government, and landmark information of the building.
  • the position information may be in a format that allows the visual aid device 100 to determine whether or not the position of the own terminal corresponds to the position stored in the position information.
  • the shared information describes the existence of the obstacle, the degree of danger of the obstacle (subjective information of the registered user may be used) and other detailed information, and the coping behavior for the obstacle. It is preferable that the information is more detailed than the information that can be detected by the visual aid device 100 using the condition table T1 or the like. For example, even if it is possible to detect the existence of a step by image analysis by the imaging unit 110, pay attention to how dangerous the step is or how to act (whether to bypass it). It is often difficult to determine whether or not it should be overcome, but by notifying information based on the actual experience of others, more detailed support can be provided.
  • the visual support device 100 periodically or when the change in the position of the visual support device 100 meets a predetermined criterion, the visual support device 100 queries the server 300 using the current position of the visual support device 100 as a key, and the shared information corresponding to the current position is displayed. It is confirmed whether or not it is stored, and if such shared information is stored, it is acquired from the server 300.
  • the visual aid device 100 notifies the user of information based on the acquired shared information by at least one of voice, characters, and images.
  • the display mode may be different depending on the degree of danger.
  • the timing of notifying the shared information to the user may be performed independently of the above-mentioned support information, or may always be notified together with the support information.
  • the content, timing, and mode of the notification may be determined according to the support information and the shared information. For example, if shared information related to the support information exists at that position, the support information may be notified by raising the priority, or the support information may be notified in a more prominent manner than other support information to be notified. May be good.
  • the information to be shared may be all the notifications executed or a part of them.
  • the determination as to whether or not to share may be performed by each visual support device 100, or may be performed by the server 300.
  • the server 300 When determining whether or not to be shared by the visual aid device 100, for example, only information whose notification priority is equal to or higher than a predetermined value is to be shared. Alternatively, the user notified of the information may be allowed to decide whether or not to share the information.
  • the shared information table Register with T4 when determining whether or not to share with the server 300, from the viewpoint of reliability assurance, for example, when the same or related information is registered from a predetermined number or more of the visual support devices 100.
  • the server 300 edits the acquired shared information or performs processing and editing processing such as overwriting the information by using the acquired timing. You may. Further, the content to be notified to the user may be changed based on the content of processing and editing, the number of shared information received corresponding to a certain position, the timing, the frequency, and the like. In this way, the content of the shared information notified to the user can change dynamically based on the posted information and the attributes of the poster. Further, the information to be shared does not necessarily have to be related to the safety or danger when the user moves, and may include subjective information such as the user's impression and impression of the scene. In short, any scene information regarding the scene at a certain position may be sufficient. In other words, shared information is active footprint information posted by other users.
  • each visual assist device 100 encounters a user of the visual assist device at a certain position, and a transmission unit that transmits information for assisting the visual perception of another user at the position, and a transmission unit that transmits information from the server 300 to the visual sense.
  • the server 300 includes a receiving unit that receives the information corresponding to the position of the support device, and the server 300 encounters a user of the first visual support device from the first visual support device at a certain position, and another user at the position. If it has a receiving unit that collects information for assisting the user's visual perception and a transmitting unit that transmits the information corresponding to the position of the second visual assisting device to the second visual assisting device. Good.
  • FIG. 10 shows an operation example according to this embodiment.
  • the visual support device 100-1 executes the registration of shared information when the notification of the support information is received, and the visual support device 100-2 performs the registration separately from the notification of the support information. Execute notification of shared information.
  • the generation unit 120 determines whether the information related to the notified information should be registered as shared information (S601). If it is determined that registration should not be performed, no special processing is performed. When it is determined that the registration should be performed, the notified content and the location information are set and the registration request is transmitted to the server 300 (S602). When the server 300 receives the registration request (S603), the server 300 adds a record to the shared information table T4. If it is determined that information equivalent to the shared information related to the registration request has already been registered, only the information that the information has been newly posted may be stored.
  • the visual support device 100-2 periodically notifies the server 300 of the position information of its own terminal, and inquires whether there is any shared information corresponding to the current position (S604). Corresponding to the current position is, for example, a case where the position information associated with the shared information indicates a place within a predetermined distance from the current position of the visual aid device 100-2. If the inquired shared information exists, the server 300 transmits the shared information to the visual aid device 100-2 (S605). The visual support device 100-2 that has received the shared information determines whether or not the visual support device 100-2 is located at the position of the shared information, and if it is located, the information based on the received shared information is used. It is generated and notified to the user of the visual aid device 100-2 (S606).
  • the information based on the shared information may be the shared information itself, or if the support information is notified (or is about to be notified), a new information generated based on the support information and the shared information is newly generated.
  • Information may be generated based on the user attributes and shared information stored in the storage unit 130. For example, when there is a step in the shared information and the information that the risk level for the handicapped user is "high" is included, the foot is added to the attribute of the user of the visual aid device 100-2. If it contains information that it is inconvenient, determine the priority of notification and the degree of warning so that it can be communicated as a dangerous obstacle.
  • the shared information may be included in the guidance information.
  • the visual assist device 100 is information about the entire route to the destination and is on the route.
  • the shared information associated with the position close to the route is acquired from the server 300 and presented to the user by voice. For example, "After leaving the house, go straight for about 100 meters to the left, turn left at the traffic light, and after 500 meters, go up the stairs at the station. This staircase has a footprint (shared information). The content is "Be careful because the edges are slippery.” In this way, by using the shared information to expand the image of the route to the destination and the scene, it is possible to give a sense of security to the visually impaired user.
  • the conditions peculiar to the user regarding the notification of the support information for assisting the user's visual recognition are stored, and the image data representing the scene being visually recognized by the user is stored.
  • the step of acquiring, the step of generating support information based on the acquired image data and the conditions, and the step of notifying the generated support information may be executed.
  • the program that executes each of the above steps may be stored in advance in the information processing device, or may be downloaded via the network.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

個々のユーザの事情を踏まえた支援情報の通知を行う。　視覚支援装置（１００）は、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部（１３０）と、前記ユーザが視認している場景を表す画像データを取得する撮像部（１１０）と、前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部（１２０）と、該生成された支援情報を通知する通知部（１４０）とを有する。

Description

視覚支援装置
　本発明は、視覚を補助する装置に関する。
　目の不自由な人に対して、カメラによって場景を認識して障害物の存在を検知すると、音声等によってリアルタイムに知らせることで、行動を支援する視覚補助装置が知られている（特許文献１）。
特開２０００－３２５３８９号公報
　例えば、上述のような視覚補助装置を用いて危険物を複数検出した場合、それら全てを一度に通知するとユーザが戸惑う場合がある。また、ユーザの障害の程度、今いる場所がユーザにとってよく分かっているのかどうかなど、ユーザの状況や事情によっては、通知が必要ではないということある。そのような場合にまで逐一通知を行うと、ユーザが煩わしいと感じることもある。このように、従来の技術においては、通知が画一的であり、支援情報の通知に際し、個々のユーザの事情が考慮されなかった。
　本発明は、個々のユーザの事情を踏まえた支援情報の通知を行うことを目的とする。
　本発明は、一の態様において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、前記ユーザが視認している場景を表す画像データを取得する撮像部と、前記取得手段にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、該生成された支援情報を通知する通知部とを有する視覚支援装置。
　本発明によれば、個々のユーザの状況に適合する支援情報が通知される。
視覚支援装置１００の外観図。 視覚支援装置１００のハードウェア構成を示す図。 視覚支援装置１００の機能ブロック図。 条件テーブルＴ１に記憶される情報の例を示す図。 補正テーブルＴ２に記憶される情報の例を示す図。 １００の動作の一例を示す図。 画像に基づいて生成される通知の例を示す図。 画像に基づいて生成される通知の例を示す図。 第２実施例に係る機能ブロック図。 共有情報テーブルＴ４に記憶される情報の例を示す図。 第２実施例に係る動作例を示す図。
１００、１００－１、１００－２、１００－３・・・視覚支援装置、２０・・・フレーム、２１・・・投影装置、２２・・・カメラ、２３・・・投影面、２４・・・マイク、２５・・・スピーカ、２６・・・スイッチ、１４０・・・通知部、１５０・・・反応取得部、１６０・・・音声入力部、１２０・・・生成部、１７０・・・モード切替部、１３０・・・記憶部、１１０・・・撮像部、１８０・・・計時部、１９０・・・位置特定部、２０１・・・プロセッサ、２０２・・・メモリ、２０４・・・マイク、２０５・・・操作スイッチ、２０６・・・センサ、２０７・・・計時装置、２０８・・・投影装置、２１０・・・振動モータ、２１１・・・通信部、２１２・・・位置取得部、１４１・・・音声出力部、１４２・・・表示部、１４３・・・振動発生部、３００・・・サーバ、３１０・・・記憶部、３２０・・・通信部、３３０・・・制御部、Ｔ１・・・条件テーブル、Ｔ２・・・補正テーブル、Ｔ３・・・ユーザ固有情報、ＯＢ・・・対象物、Ｔ４・・・共有情報テーブル
＜実施例１＞
　図１は視覚支援装置１００の外観の一例である。
　視覚支援装置１００は、通常のメガネのようにユーザが装着するものであって、フレーム２０と、投影装置２１と、マイク２４と、スピーカ２５と、カメラ２２と、投影面２３と、スイッチ２６とを含む。ここで、フレーム２０や投影面２３の形状や機能は任意であって、通常のメガネの機能を有していてもよい。例えば、投影面２３は通常のメガネレンズとして機能してもよいし、そうでなくてもよい。投影装置２１、カメラ２２、投影面２３、スピーカ２５は、フレーム２０に内蔵された電源（図示せず）から供給される電力によって動作する。スイッチ２６はユーザによって操作される。また、フレーム２０には、制御部のほか、後述の各種機能を実現するためのユニット（図示せず）が内蔵されている。なお、視覚支援装置１００には電源を設けず、別途設けられユーザによって携行されるバッテリユニットから給電を行ってもよい。
　図２Ａは視覚支援装置１００のハードウェア構成の一例を示す図である。
　視覚支援装置１００は、プロセッサ２０１、メモリ２０２、カメラ２２、マイク２０４、操作スイッチ２０５、センサ２０６、計時装置２０７、投影装置２０８、スピーカ２５、および振動モータ２１０を含む。プロセッサ２０１は、１以上の汎用または専用プロセッサであって、例えば、ＣＰＵ、音声処理プロセッサ、および画像処理プロセッサを含む。メモリ２０２は、半導体メモリ等の記憶デバイスである。カメラ２２は、レンズや受光素子などの光学素子や、フォーカスや露出などの撮影制御回路等からなる撮像機構である。なお、カメラ２２を複数設けてもよい。例えば、視覚支援装置１００は、通常のメガネとメガネを頭に巻き付けて固定するためのベルト部とを備え、図１のように前方を撮像するためのカメラに加え、後方を撮像するためのカメラを、ベルト上における後頭部に相当する位置に設ける。このように、通常の視野よりも広い範囲（理想的には周囲３６０度)の場景を取得することで、後方や横方向から無音の電気自動車や自転車等が接近してくる場合であっても、ユーザに通知することができる。マイク２０４は、コンデンサマイクや信号処理回路からなる集音機構である。操作スイッチ２０５は、ユーザによって操作されるスイッチである。
　センサ２０６は、加速度センサ、方位センサ、照度センサなど、視覚支援装置１００の状態や視覚支援装置１００の周囲の環境を検出するための１以上のセンサである。計時装置２０７はタイマなどの計時手段である。投影装置２０８は、半導体レーザ等や駆動回路等からなり、投影面２３に文字や画像を投影する機構である。スピーカ２５は、スピーカであって、ユーザに情報を音声によって通知する。振動モータ２１０は、小型モータなどのバイブレータであって、支援情報の通知手段として機能する。通信部２１１はWiFi等の無線通信モジュールであって、外部の装置との間でデータの送受信を行う。位置取得部２１２は、ＧＰＳ受信モジュールなど、視覚支援装置１００の位置を計測するための機構である。
　図２Ｂは視覚支援装置１００の機能ブロック図である。
　視覚支援装置１００は、通知部１４０と、反応取得部１５０と、音声入力部１６０と、生成部１２０と、モード切替部１７０と、記憶部１３０と、生成部１２０と、撮像部１１０とを含む。
　撮像部１１０はカメラ２２によって実現され、ユーザが視認している場景を表す画像データを、所定のフレームレートで断続的に取得する。なお、カメラの特性や人間の目の機構や各ユーザの視覚能力によって、厳密にいえば、取得した映像がユーザが視認している世界と同一ではないが、取得した画像データ一般的に視覚能力を有する人間が認識しているであろう場景を反映しているといえる。
　モード切替部１７０は、操作スイッチ２０５によって実現され、支援情報に関する条件の切替えを受付ける。例えば、生成部１２０において予め動作モードを複数登録しておき、ユーザはモード切替部１７０を用いて動作モードの指定ないし指定の変更を行う。動作モードとは、支援情報の通知に関する制御の態様を指定するものであって、例えば、支援情報を通知する頻度や通知内容の量によって規定される。よって、動作モードに応じて、生成部１２０にて生成される支援情報に関する制御内容が異なることになる。例えば、通知頻度が「高」、「中」、「小」の３つの動作モードを予め設定しておき、適用したい一つのモードをユーザに指定させることが考えられる。あるいは、ユーザが屋内にいる場合に通知制御パラメータが最適化された「屋内モード」、ユーザの夜間での移動において通知制御パラメータが最適化された「夜間モード」といって、現在の位置や時刻その他のユーザのおかれている状況に応じて動作モードを切替えることができてもよい。なお、条件の切替えは使用中いつでも行うことができる。
　音声入力部１６０はマイク２０４によって実現され、ユーザの声や周囲の音を取得する。
　反応取得部１５０は、マイク２０４、操作スイッチ２０５、およびセンサ２０６のうちいずれか一つ以上によって実現され、支援情報の通知に対するユーザの反応を表すリアクション情報を取得する。また、反応取得部１５０は、現在のユーザの動作の状態を取得する。動作の状態とは、例えば、ユーザが歩行などの動作を行っている最中なのか否か、あるいは体勢（着席している、横になっているなど）の情報を含む。
　位置特定部１９０は位置取得部２１２によって実現され、視覚支援装置１００の位置を特定する。なお、記憶部１３０に地図情報や施設についての情報を記憶しておき、位置特定部１９０は、現在位置に基づいて、ユーザが現在おかれている状況（屋外にいるのか屋内にいるのか、屋外の場合は登録された施設内部にいるのか道路上にいるのか、屋内の場合はオフィスや自宅などの登録された施設）にいるのか否か、を特定してもよい。
　計時部１８０は計時装置２０７によって実現され、現在時刻を取得する。
　生成部１２０は、計時部１８０および位置特定部１９０から取得した情報に基づいて、撮像部１１０にて画像が取得されたときにおける、所定のエリア（例えば予め登録された施設内）における滞在時間を算出してもよい。生成部１２０は、さらに反応取得部１５０から取得した情報に基づいてユーザの行動を決定してもよい。ユーザの行動とは、例えば、横になって休息しているのか、歩行中なのか、運動中なのかといった情報である。こうして、位置や場所や行動などの情報はユーザ固有情報Ｔ３に蓄積される。
　通知部１４０は、音声出力部１４１と表示部１４２と振動発生部１４３とを含み、生成部１２０の制御の下、生成部１２０にて生成された支援情報をユーザに通知する。
　音声出力部１４１はスピーカ２５によって実現され、支援情報を音声によって通知する。具体的には、支援情報がテキストデータとして生成され、このテキストデータを音声合成処理によって読み上げる。
　表示部１４２は投影装置２０８によって実現され、支援情報を映像によって通知する。
　振動発生部１４３は振動モータ２１０によって実現され、支援情報を振動によって通知する。
　なお、音声出力部１４１、表示部１４２、振動発生部１４３のいずれか一つまたは２つを省略してもよい。例えば、全盲のユーザを想定しているのであれば、表示部１４２の機能を省略してもよい。
　記憶部１３０はメモリ２０２によって実現され、ＯＳなど生成部１２０を制御するためのプログラムが記憶されるほか、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される。具体的には、条件テーブルＴ１、補正テーブルＴ２、およびユーザ固有情報Ｔ３が格納され、これらに各ユーザに応じた情報が記憶される。
　ユーザ固有情報Ｔ３には、各ユーザに固有の情報が記憶される。ユーザ固有の情報には、例えば、ユーザと所定の関係を有する人物（たとえば親族や友人）を特定するための情報（顔画像や顔の特徴量など）が含まれる。また、ユーザの身体能力に関する情報など、ユーザ自身の状態に関する情報が記憶されてもよい。具体的には、ユーザの体調、身体能力（視力、近視、遠視、老眼、障害の内容・程度、聴力、味覚、触覚、嗅覚、障害、運動能力など）である。また、ユーザ固有情報Ｔ３にはユーザの行動履歴（歩行経路、滞在場所、滞在時間など）が含まれていてもよい。このユーザの行動履歴には、通知を受け取ったユーザの反応を表す情報が含まれていてもよい。
　図３は条件テーブルＴ１に記憶される情報の具体例を示す。この例では、通知条件に対応付けて支援情報の通知制御の内容が記述されている。通知条件は、検出内容と状況とに大別される。検出内容とは、画像解析の結果抽出された物体（車、建物、標識などの人工物、人や樹木などの自然物など）の種類である。なお、水たまりがあるという事実、木の枝が目の前に倒れ掛かっているというような事実など、物体の存在以外の事象を示すものであってもよい。以下では、説明の便宜上、画像から抽出されユーザへ通知すべき対象のものを、有体物・無対物を問わず、「対象物」ということにする。同図における詳細とは、当該対象物の詳細な情報を示す。例えば、様態（時間変化）やその物体の属性等の情報である。状況には、例えば画像を取得した時間、場所、撮影場所の明るさなど、画像を取得した時の状況を示す情報が含まれる。
　通知制御内容を構成する要素として、同図の例では、要否、優先度、タイミング、通知方法が含まれる。要否とは、検出した各対象物に対して通知を行うか否かを規定する。優先度とは、通知を行う際の優先度を規定する。一般的に、生命に危険が及ぶ可能性が高い対象物については高い優先度が設定される。タイミングとは、通知の実行および/または終了のタイミングを規定する。通知方法とは、通知部１４０が有する機能のうちどれを使用するかを規定する。
　同図の例では、例えば、車両が検出された場合において、その車両が走行中であるがユーザには向かってきていない状況であり、その検出が屋外で発生したものである場合、その他の状況（時間帯や周囲の明るさ）を問わず通知が必要であり、通知の優先度区分は「２」（２番目に高い）であり、音声、文字および振動という手段を用いて、その対象の車両が検出されている間ずっと通知を出し続ける、という制御内容が規定されている。
　通知が必要な対象物を複数検出した場合、優先度がより高い対象物がより優先して通知される。優先して通知されるとは、例えば、より時間的に先に通知する、同時に通知するが他の対象物よりもより注意を引く態様（文字サイズや音量が大きいなど）で表示するという意味である。
　通知制御内容の一以上の各項目は、ユーザ固有情報Ｔ３の内容に基づいて生成され、またはユーザによって書き換えることができるようになっている。この結果、通知制御の内容は、ユーザの好みやユーザの事情などが反映されるようになっている。また、ユーザ固有情報Ｔ３の内容が更新されるか通知に対するユーザの反応が得られた後、随時または定期的に、生成部１２０によって自動的に書き換えてられもよい。この場合、ユーザが視覚支援装置１００を使用する期間に応じて内容が変化することになる。
　なお、記憶部１３０には、ユーザ固有の情報以外の情報が記憶されてもよい。例えば、記憶部１３０には代表的な障害物の種類（車両、交通標識、段差など）とその危険度（通知の重要度）が登録される。
　図４は補正テーブルＴ２に記憶される情報の例を示す。補正テーブルＴ２には、ユーザの反応（リアクション）と優先度の補正内容とが対応付けて記憶される。生成部１２０は、補正テーブルＴ２を参照し、所定のリアクションを検出すると、条件テーブルＴ１を書き換える。例えば、同図の例では、通知した支援情報の通知に対するユーザの反応として、例えばスイッチ等を操作して通知をＯＦＦにしたという反応が記憶された場合、この支援情報について優先度を一段階下げる。このように優先度を変更する理由は、ユーザの反応には、その通知の要否や重要性に関するユーザの判断が反映されていると推測できるからである。また、ある支援情報の通知に応じてユーザが通知の頻度を変更した場合においても、当該支援情報の優先度を補正する。
　ユーザの反応（立ち止まる、顔の向きを変えるなど）を反応取得部１５０が検出した場合、その支援情報の対象物に反応しており、ユーザにとってその通知が必要であると可能性が高いと推測されるから、優先度が高くなるように補正する。
　このように、支援情報に対するユーザの反応（無反応という反応も含む）に応じて条件テーブルＴ１の内容を更新することで、次回以降に、同一または似たような状況に遭遇した場合の通知制御内容がよりユーザの意図に沿った妥当なものとなる可能性が高まる。
　生成部１２０は、プロセッサ２０１によって実現され、撮像部１１０にて取得された画像データに対して、所定の間隔で画像解析を繰り返し実行し、予め設定された対象物や対象物が存在するか否かを判定する。そして、生成部１２０は、撮像部１１０にて取得された画像データと記憶部１３０に記憶されたユーザに固有の条件とに基づいて、支援情報を生成する。
　具体的には、生成部１２０は、画像解析の結果、１以上の特定の対象物ないし対象物を複数抽出した場合、ユーザ固有情報Ｔ３を参照して、各対象物ないし対象物について通知の要否や優先度を決定する。そして、１以上の対象や対象物のなかから１以上の対象物を選択し、該選択された１以上の対象物に関する支援情報を生成する。
　ここで、抽出されるべき対象物とは、典型的には、車両や歩行者、電柱、街路などの物体、縁石、側溝、路面の凹凸その他の周囲の地形などユーザの移動の障害となりうる物体である。このほか、交通標識、道路に描かれたマーク、横断歩道、踏切、屋外の部屋の間取り等、ユーザの安全な移動（歩行や乗り物運転時）に寄与する対象が含まれていてもよい。
　生成部１２０は、反応取得部１５０にて取得されたリアクション情報をさらに用いて、支援情報を生成してもよい。また、生成部１２０は、所定値以上の危険度の障害物が前記画像データから抽出された場合に、支援情報を生成してもよい。また、生成部１２０は、画像データにおいて人物が検出された場合に、当該人物情報に基づいて支援情報を決定してもよい。
　前記条件は、前記ユーザの位置に関する情報を用いて規定されてもよい。また、前記条件は、滞在時間に関する情報を用いて規定されてもよい。また、前記条件は、前記ユーザの行動に関する情報を用いて規定されてもよい。
　また、動作モードが指定されている場合は、当該動作モードが規定する条件をさらに加味して、支援情報を生成する。例えば、動作モードとして「通知頻度「低」」が指定され、この動作モードが「優先度が２以下の対象物においては、通知しない」というルールを規定するものであれば、優先度「１」が設定された対象物のみが通知の対象となる。
　制御内容は、図３に示したように、条件に対応する制御内容を定義したテーブル形式で用意される必要はない。例えば、制御アルゴリズムを機械学習の手法を用いて決定してもよい。
　具体的には、抽出された対象物や、画像特徴量等によって表すことができる撮像時の状況（換言するとユーザが遭遇した状況）や、実行された通知に対して得られたユーザの反応を、訓練データとして学習器に入力することによって、通知が必要な対象物と通知が不必要な対象物とを分類する分類器や通知の重要性ないし必要性を決定するための回帰モデル（学習済モデル）を生成する。
　ここで、ユーザの反応とは、反応取得部１５０から供給された、通知に対して振り向いたか否か、通知したにも関わらず直後に躓くなど体のバランスを崩してしまったか否か、通知によって立ち止まったり歩行の進路を変えたりしたか否か、人物の存在を通知した後に発話や挙手を行ったか否か等、ユーザの身体的反応（無反応の場合も含む）など、通知の妥当性やユーザの行動への影響度を推測するために用いられ得る情報である。
　なお、ユーザの反応に変えてもしくは加えて、ユーザ情報に含まれるユーザの行動を示す情報（例えば歩行経路や活動の時間帯等）を蓄積しておき、この蓄積したユーザ情報を上記学習器に入力させてもよい。
　学習モデルを生成する機械学習の手法としては、例えばＤｅｅｐ Ｎeｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ、深層学習）を用いることができる。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒal Ｎｅｔｗｏｒｋ）などが適用可能である。
　学習を行うタイミングについては、視覚支援装置１００を使用する前に実行してもよいし、使用後においてユーザが遭遇した状況・対象物や通知に対するユーザの反応についての情報が得られるたびに実行してもよい。
　前者の場合、例えば、ユーザが捉える視界を模擬した画像データを用意し、この画像データに対して、通知の要否、通知の優先度、タイミング等の通知に関する条件についての質問をユーザに対して行い、ユーザから得た回答に基づいて学習させることができる。こうして学習済みモデルが生成された後、ユーザに視覚支援装置１００使用させる。
　後者の場合、視覚支援装置１００の使用開始時点においては、未学習状態のアルゴリズムを用いることになるが、ユーザの反応や行動パターンについての情報が蓄積されるにつれ、学習が進むことになる。
　要するに、視覚支援装置１００は、取得した複数の画像データと、各画像データに対応して得られた複数のリアクション情報とに基づいて、支援情報の通知に関する条件を学習する学習器と、取得された画像データに対応する支援情報をこの学習器を用いて生成する機能を有していればよい。
　また、図２Ａで示したハードウェア構成または図２Ｂで示した機能構成の一部は、視覚支援装置１００とは別途設けられた装置によって実現されてもよい。例えば、通知部を視覚支援装置１００には設けず、ユーザが携行するスマートフォン等の携帯型情報処理端末が有する通知機能を利用してもよい。具体的には、視覚支援装置１００と携帯型情報処理端末と間で無線通信を行い、視覚支援装置１００から携帯型情報処理端末に通知の実行要求および通知内容を送信する。
　また、図２Ａおよび図２Ｂで示したハードウェア構成ないし機能構成に、他の機能を加えてもよい。例えば、視覚支援装置１００に移動を案内する機能を設ける。具体的には、記憶部１３０に地図情報を記憶し、位置取得部２１２およびセンサ２０６にてそれぞれ取得された現在位置および向きユーザの向きについての情報と、音声入力部１６０にて取得された、移動目的の位置や施設名の情報と、地図情報に基づいて、ユーザが進むべきルートや方角、目的地までの距離といった、ユーザの移動を支援する情報を生成してユーザに通知してもよい。
　他の例として、ユーザを認証する機能を設けてもよい。具体的には、視覚支援装置１００において声紋や指紋などのユーザ固有の生体情報を取得する手段を設け、予め登録された情報と一致するか判定する。認証を実行するタイミングは、例えば視覚支援装置１００の起動時である。
　図５は、視覚支援装置１００の動作の一例を示す。視覚支援装置１００は、予め、現在時刻や場所の取得、周囲の状況やユーザの状態についてのセンシング、動作モードの指定の受付けなどを行い、通知条件として規定された情報を決定しておく（Ｓ５００）。
　撮像した画像が所定フレーム分蓄積されると、生成部１２０は蓄積された画像を解析する（Ｓ５１０）。
　生成部１２０は、解析の結果、対象物を検出した場合、通知要否の判定を行う（Ｓ５２１）。生成部１２０は、通知が必要であれば（Ｓ５２１；ＹＥＳ）、通知内容を生成する（Ｓ５２２）。ここで、通知対象が複数あった場合は、各通知の順番や態様がさらに決定される。通知部１４０は、タイミング情報に従って通知を実行する（Ｓ５３０）。タイミング情報が存在しない場合、即座に通知を実行する。
　生成部１２０は、ユーザからのリアクションを取得した場合（Ｓ５４０：ＹＥＳ）、当該リアクションを示す情報を記憶部１３０に書き込むとともに、必要に応じて当該リアクションの情報に基づいて通知条件を更新する（Ｓ５５０）。なお、通知が不必要な場合（Ｓ５２１；ＮＯ）あるいはリアクションが取得されない場合（Ｓ５４０；ＮＯ）、Ｓ５００の処理に戻る。
　図６は、取得した画像に基づいて生成される通知の具体例を示す。
　いま、Ｄ１で示す画像が撮像されたとする。この画像を解析した結果、自動車である対象物ＯＢ１、樹木である対象物ＯＢ２、障害物の一種である段差として対象物ＯＢ３、障害物の一種である看板として対象物ＯＢ４の存在が検出されたとする。また、加えて各対象物間の位置関係およびユーザのとの位置関係が特定され、さらに対象物ＯＢ１については動く方向が検出されたとする。
　いま仮に、ともに視覚支援装置１００のユーザであるユーザＡとユーザＢとが、屋外において、この画像で示される状況に遭遇したとする。この例では、ユーザＡに対しては、対象物ＯＢ１に対応する支援情報として、向かってくる車に注意喚起を促すメッセージが最初に通知され、続いて、対象物ＯＢ３に対応する支援情報として、前方の看板への注意喚起を促すメッセージが通知され、続いて段差への注意喚起を促すメッセージが通知される。
　このような通知制御が行われるのは、例えば、ユーザＡは視力がかなり悪いという情報がユーザ固有情報Ｔ３に書き込まれており、この情報に基づいて、条件テーブルＴ１において動く物体に対して高い通知優先度が与えられており、静止している障害物は優先度が低いが通知は必要であるという制御内容となっている場合である。また、この例では、対象物ＯＢ４が通知要と判定されているにも関わらず通知が実行されていない理由は、例えば、ユーザが混乱しないように、一度に通知できる数の上限が３と設定されており、現状ではユーザの位置から樹木まで遠いためにその優先度は他の３つの対象物よりも低いと判定されているといった場合である。
　一方、ユーザＢに対しては、対象物ＯＢ３に対応する支援情報のみが通知されている。このような状況は、例えば、ユーザＢは視力には問題ないが歩行に能力に支障があるという情報がユーザ固有情報Ｔ３に記憶されており、この結果、歩行に関係する対象物ＯＢ３のみが通知要である一方、対象物ＯＢ１、対象物ＯＢ４、対象物ＯＢ２については通知不要と生成部１２０において判断されたような場合に生じることが考えられる。
　図７は、生成される通知の他の例を示す。Ｄ２は、ユーザがオフィスなどの屋内の廊下において撮像された場合において取得される画像の例である。いま、ともに視覚支援装置１００のユーザであるユーザＣとユーザＤとがこの状況に遭遇したとする。生成部１２０は、対象物として対象物ＯＢ２１、対象物ＯＢ２２を検出する。加えて、顔認証処理によって、対象物ＯＢ２１はＣの友人として登録されている人物Ｘであり、対象物ＯＢ２２はユーザＣの友人でもユーザＤの友人でもない人物であると判定する。
　ユーザＣに対しては、知り合いの人物Ｘの出現が知らされている。これにより、ユーザＣはＸに挨拶などの応対を行うことができる。このような状況は、例えば、ユーザＣは現在の場所については完全に把握しており案内情報は希望していないという事情があり、この事情に沿って、場所に関する支援情報は通知されないないしはその通知の優先度が低くなるような設定となっている場合に現れる。
　一方、ユーザＤに対しては、まず自分が廊下にいるという状況の説明が行われ、続いて前方から人が向かっているという注意喚起が行われている。このような状況は、例えば、ユーザＤにとっては屋内ではまず現在位置の把握が最優先事項であり、このユーザＤの要望に沿った設定が記憶部１３０でなされている場合に生じる。
　あるいは、撮像結果から人物のみを検出する設定を記憶部１３０に登録しておき、ユーザは待ち合せ場所等において、多数の人のなかから待ち人（予め記憶部１３０に登録されている）を探したい場合に、モード切替部１７０を操作してこの設定を有効にするといった視覚支援装置１００の使用方法も考えられる。
　このように、仮に同一の状況に遭遇したとしても、支援情報の取捨選択の方法がユーザによって異なり、結果として、ユーザが異なれば提供される支援情報が異なりうる。
　本実施例によれば、ユーザの事情、都合、ニーズ、好み、現在おかれている状況など、ユーザ固有の情報を考慮して、通知の要否、内容、タイミング、順序の少なくともいずれか一つが決定される。この結果、ユーザにとって無駄な通知が行われ、その結果、ユーザが煩わしさを感じる状況が減ることが期待される。また、逆に煩わしさの緩和を追求するあまり、本来必要な通知が行われないとった状況が発生する可能性も低くなる。
　また、通知に対するユーザの反応および/またはユーザの行動履歴に基づいて通知制御内容を変化させることができるので、視覚支援装置１００を使用すればするほど、ユーザへ提供する支援が最適化される。
　上記実施例は、本来通常の人が持っている視覚能力が低下したユーザの視覚能力を補い、日常生活を支援することを主な目的とするものであるが、本来持っている視覚能力以上の能力の発揮が求められているような場面に適用してもよい。
　例えば、遠方の物体を認識する動作モードを設けておき、遠方の物体を認識が要求される場面に遭遇した場合は、ユーザが当該モードに手動で切替えるか、または画像解析によって知覚には物体が存在しないことを認識した結果、生成部１２０が自動的に切替えるかすることにより、遠方にある物体を支援情報として通知させる、といった視覚支援装置１００の使用方法が考えられる。あるいは、予め目的地を指定した「ナビゲーションモード」と、特定の目的地点が存在せずに自由に散歩をするような「フリーモード」を設けておき、両者のモードにおいて支援情報の内容やタイミング、頻度等を異ならせてもよい。また、「ナビゲーションモード」においては、上述した支援情報の提供に加えて、地図情報と現在位置とに基づいて目的地までのルートを音声によって案内する一方、「フリーモード」においては、上述した支援情報の提供に加え、近くのレストラン情報や公園の存在情報等、直接歩行には関係ないが、ユーザーの趣味嗜好に即した情報が通知されるように設定することもできる。例えば、飲食店その他の商業施設や公共施設他の情報がユーザーが２００メートル以内に近づくと通知される。
　その他、特殊な作業や運動などを行う場合など活動シーンに応じた視覚支援情報を提供すべく、視覚支援装置１００を使用してもよい。
　すなわち、本発明は、いわゆる健常者以外の、あらゆる人間に使用することが可能である。換言すると、本発明における「支援」とは、低下または欠如している視認能力を補うという意味に限定されない。
　視覚支援装置１００は、メガネ型のほか、耳に装着するイヤホン型、首からぶら下げるブローチ型、腰に装着するタイプなどであってもよい。すなわち、いわゆる健常者が見ているであろう場景が正確に反映された画像を取得する必要はない。例えばブローチ型では首または胸部から見た視点の画像が取得されることになるが、対象物を検出するという目的においては特段問題がない。また、視覚支援装置１００は、あえて通常の視点とは異なる視点からの映像を取得してもよい。例えば、視覚支援装置１００をスマートフォンのような携帯情報端末の形状に設計し、視覚支援装置１００を手から離れた位置で指示するための器具（いわゆる自撮り棒）を取り付ける。あるいは、この視覚支援装置１００を飛行体（ドローン等）に取付け、空中を移動して撮影してもよい。こうすることで、人物や障害物の検出・判定が容易となる場合がある。
　通知方法として、音声による通知と投影面への画像表示とを組み合わせてもよい。例えば、障害物を検出した場合は警告音を鳴らすとともに投影面に警告の内容を表示する。
　撮影された画像から状況を特定する方法や認識対象について、上記実施例は一例にすぎない。例えば、物体の種類その他の詳細を特定せずに、何らかの障害物であることのみを生成部１２０が認識してもよい。
　また、取得した画像に映っている範囲の全てを対象物の抽出範囲と設定する必要もない。例えば、画像のうち所定のエリア（例えば、画面中央部（視野の中心部）、画面下半分（地面を中心として視野範囲）、あるいは所定の視野角に対応するエリア）内を、対象物を抽出する範囲と設定することが考えられる。具体的には、視野のうち対象物を検出した位置を条件テーブルＴ１の通知条件に加えておけばよい。
　このように対象物の抽出範囲を絞ることで、画像処理の処理速度が向上し、結果として通知のリアルタイム性が向上する。
　また、対象物の抽出範囲をユーザが選択できるようにしてもよい。例えば、動作モードに応じて異なる対象物の抽出範囲を規定しておくことが考えられる。例えば多数の人がいる街中にいる場合、検出した全ての人についての情報を通知するとユーザが混乱してしまう虞があるので、街中に出た場合は画面中心付近（ユーザのほほ真正面）を抽出範囲と設定した動作モードに切替える。このように情報を絞ることによって、少なくとも前方から来る人と正面衝突するという事故が起きる可能性は減り、多数の通知によって混乱することが起きる虞も低くなる。
　場景を示す情報を取得する方法として、上述した可視光画像に替えてもしくは加えて、音波やミリ波その他の電磁波を用いて検知ないし撮像されたデータに基づいて、場景が反映された画像を取得してもよい。例えば、視覚支援装置１００に赤外線カメラやミリ波レーダを設け、夜間の場合は、可視光カメラをオフにして赤外線カメラまたはミリ波レーダを起動し、赤外線カメラまたはミリ波レーダによって測定されたデータを画像化する。
＜実施例２＞
　ある位置において視覚支援装置１００のユーザが実際に遭遇した場景に関する情報であって、他のユーザにとってその位置において視覚の支援となる情報（一例としては、各ユーザに通知を行った通知事実やその通知の内容自体）を、複数のユーザで共有してもよい。具体的には、図８に示すように、複数の視覚支援装置１００（１００-１、１００-２、１００-３）とサーバ３００とを９００を介して接続する。
　サーバ３００は、汎用のサーバであって、記憶部３１０と通信部３２０と制御部３３０を含む。記憶部３１０はハードディスク等の記憶装置であって、サーバ３００の制御プログラムのほか、後述する、視覚支援装置１００から収集した共有情報を記憶する。通信部３２０は、インターネット９００を介して各視覚支援装置１００と情報の授受を行うためのネットワークインタフェースである。制御部３３０はプロセッサであって、サーバ３００を制御する。
　生成部１２０は、生成された支援情報を通知部１４０に供給するとともに、当該支援情報他のユーザとの間で共有すべきかを判定する。生成部１２０は、共有すべきであると判定した支援情報については、該生成された支援情報に基づいて共有情報を生成する。
　共有情報は、支援情報に基づいて生成されるのではなく、ユーザが内容を決定し、視覚支援装置１００に入力してもよい。具体的には、通知を行われたときあるいはユーザによる所定の操作が行われことを契機として、音声入力部１６０によって録音が開始され、所定の期間内になされたユーザの発話を取得する。生成部１２０は取得した発話データに対してテキストデータ化するなどの加工処理を施し、サーバ３００へ送信する。なお、生成部１２０は、通知をした際あるいはユーザが所定の行動や発話を行ったことを検出した場合に、「いまの情報を投稿しますか？」といった音声メッセージを通知部１４０を介して通知して、ユーザに情報の投稿を促すまたは確認を求めるというプロセスを実行してもよい。
　また、共有情報の投稿タイミングに関し、支援情報の通知の受信の有無および通知を受けた位置やタイミングとは関係なく、ユーザが共有すべき情報と考える情報については、任意のタイミングおよび／または場所にて受付けてもよい。この場合、共有情報に対応付けるべき位置情報についてもユーザが入力する。ここで、現在の視覚支援装置１００の位置とは異なる位置に関する共有情報を入力したい場合は、ユーザは、例えば視覚支援装置１００において地図情報の表示や検索するアプリを実行し、地図上の位置を指定することで、該指定された位置に対応する座標を当該アプリから取得する。
　生成された共有情報は、位置特定部１９０にて特定されたそのときの位置とともに、通信部２１１の機能を用いて、サーバ３００へ送信される。
　図９は、各視覚支援装置１００によって登録され、記憶部３１０に記憶された共有情報テーブルＴ４の例である。共有情報テーブルＴ４は、位置情報に対応付けて共有情報が記憶される。位置情報は、緯度経度等の座標形式、行政によって定められる住所の形式、建物のランドマーク情報を用いて記述されてもよい。要するに、位置情報は、視覚支援装置１００において、自端末の位置が、位置情報に記憶された位置に相当する位置であるか否かが決定できる形式であればよい。
　共有情報は、障害物の存在や、その障害物の危険性の程度（登録ユーザの主観的情報でも構わない）その他の詳細な情報、障害物に対する対処行動について記述される。条件テーブルＴ１などを用いて視覚支援装置１００が検知できる情報よりも詳細な情報であることが好ましい。例えば、撮像部１１０による画像解析によって段差が存在することは検知できても、その段差がどの程度危険なものなのか、あるいはどのように行動すればよいのか（迂回すればいいのか、注意して乗り越えるべきなのかなど）についてまでは判定することは困難なことも多いが、他人の実体験に基づく情報を通知することで、よりきめ細かな支援が可能となる。
　視覚支援装置１００は、定期的にまたは視覚支援装置１００の位置の変化が所定の基準を満たすと、視覚支援装置１００の現在位置をキーとしてサーバ３００に照会し、現在位置に対応する共有情報が格納されていないかを確認し、そのような共有情報が格納されている場合はサーバ３００から取得する。視覚支援装置１００は、取得した共有情報に基づく情報を、音声、文字、および画像の少なくともいずれかの方法でユーザに通知する。ここで、支援情報に危険性の程度に関する情報が含まれている場合は、危険性の程度に応じて表示態様を異ならせてもよい。
　なお、共有情報のユーザへの通知のタイミングは、上述した支援情報と別途独立に行ってもよいし、常に支援情報とあわせて通知してもよい。共有情報の通知は支援情報の通知を前提とする場合、支援情報および共有情報に応じて、通知の内容、タイミング、態様を決定してもよい。例えば、その位置においてその支援情報に関連する共有情報が存在した場合に当該支援情報の優先度を上げて通知してもよいし、他の通知すべき支援情報よりも目立つ態様で、通知してもよい。
　ここで、共有すべき情報は、実行された全ての通知であってもよいし、そのうちの一部であってもよい。共有すべきか否かの判定は、各視覚支援装置１００にて行われてもよいし、サーバ３００にて行われてもよい。視覚支援装置１００にて共有すべきか否かの判定を行う場合、例えば、その通知の優先度が所定値以上である情報のみを共有対象とする。
あるいは、情報が通知されたユーザに対し、その情報を共有するかどうかを決定させてもよい。
　サーバ３００にて共有すべきか否かの判定を行う場合、信頼性担保の観点から、例えば同一ないし関連する情報については所定数以上の視覚支援装置１００からの登録があった場合に、共有情報テーブルＴ４に登録する。また、同一または実質的同一の位置に関連付けれた複数の共有情報を取得した場合、サーバ３００は取得した共有情報を編集するあるいは取得したタイミングを用いて、情報の上書きその他の加工編集処理を行ってもよい。
また、加工編集の内容、ある位置に対応して受信した共有情報の数、タイミング、頻度等に基づいて、ユーザに通知する内容を変化させてもよい。このように、投稿された情報や投稿者の属性に基づいて、ユーザへ通知される共有情報の内容は動的に変化し得る。
　また、共有すべき情報は、ユーザが移動する際における安全性ないし危険性に関係するものである必要は必ずしもなく、場景に対するユーザの感想や印象などの主観的情報を含んでいてもよい。要するに、ある位置における場景に関する場景情報であればよい。換言すると、共有情報は他のユーザによって投稿されたアクティブ・フットプリント（足跡）情報である。
　要するに、各視覚支援装置１００は、視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報をサーバ３００へ送信する送信部と、サーバ３００から、視覚支援装置の位置に対応する前記情報を受信する受信部を備え、サーバ３００は、第１の視覚支援装置から、当該第１の視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報を収集する受信部と、第２の視覚支援装置の位置に対応する前記情報を、当該第２の視覚支援装置へ送信する送信部とを有していればよい。
　図１０は、本実施例に係る動作例を示す。この例では、視覚支援装置１００－１において、支援情報の通知を受けたことを契機として共有情報の登録を実行し、視覚支援装置１００－２において、支援情報の通知とは別途独立に、よる共有情報の通知を実行する。
　通知部１４０にて通知が実行された場合（Ｓ５３０）、生成部１２０は、当該通知された情報に関連した情報を共有情報として登録すべきかを判定する（Ｓ６０１）。登録すべきでないと判定した場合、特段処理は行わない。登録すべきと判定した場合、通知した内容と位置情報とをセットにして、登録要求をサーバ３００へ送信する（Ｓ６０２）。
　サーバ３００は、登録要求を受信すると（Ｓ６０３）、共有情報テーブルＴ４にレコードを追加する。なお、登録要求に係る共有情報と同等の情報が既に登録されていると判断した場合は、その情報が新たに投稿されたという情報のみを記憶してもよい。
　視覚支援装置１００－２は、定期的に自端末の位置情報をサーバ３００へ通知し、現在位置に対応する共有情報がないかを照会する（Ｓ６０４）。現在位置に対応するとは、例えば、共有情報に紐付けられている位置情報が視覚支援装置１００－２の現在位置から所定の距離内にある場所を示している場合である。照会を受けた共有情報が存在する場合、サーバ３００はその共有情報を視覚支援装置１００－２へ送信する（Ｓ６０５）。共有情報を受信した視覚支援装置１００－２は、その共有情報を位置に視覚支援装置１００－２が位置しているかを判定し、位置していた場合は、該受信した共有情報に基づく情報を生成して、視覚支援装置１００－２のユーザへ通知する（Ｓ６０６）。
　共有情報に基づく情報とは、共有情報そのものであってもよいし、支援情報を通知している（またはこれから通知しようとしている）場合は、その支援情報と共有情報とに基づいて生成される新たな情報である。あるいは、記憶部１３０に記憶されているユーザ属性と共有情報とに基づいて情報が生成されてもよい。例えば、共有情報には、段差が存在し、足の不自由なユーザにとっての危険度は「大」という情報が含まれていた場合において、視覚支援装置１００－２のユーザの属性に、足が不自由であるという情報が含まれていた場合は、危険な障害物であることが伝わるように、通知の優先度や警告の程度等を決定する。
　上述したナビゲーションモードにおいて、共有情報が存在する場合、案内情報に共有情報を含ませてもよい。例えば、ナビゲーションモードに設定して、出発する前に目的地をユーザが音声入力すると、視覚支援装置１００は、当該目的地までの経路を全体の経路についての情報であって、当該経路上にあるもしくは当該経路に近接する位置に関連付けられた共有情報をサーバ３００から取得し、音声によってユーザに提示する。例えば、「家を出て左方向に約１００メートル直進した所で信号を左折し、５００メートル行った所で駅の階段を上ります。この階段にはフットプリント（共有情報）が有ります。その内容は、縁が滑りやすいから注意」というものです。このように、共有情報を用いて、目的地までの経路や場景についてのイメージを膨らませてもらうことで、視覚が不自由なユーザに対して安心感を与えることができる。
　要するに、本発明に係る情報処理装置において、ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件を記憶しておき、前記ユーザが視認している場景を表す画像データを取得するステップと、該取得された画像データと前記条件とに基づいて支援情報を生成するステップと、該生成された支援情報を通知するステップが実行されればよい。上記各ステップを実行するプログラムは情報処理装置に予め記憶されていてもよいし、ネットワークを介してダウンロードされてもよい。

Claims (14)

  1. 　ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶される記憶部と、
    　前記ユーザが視認している場景を表す画像データを取得する撮像部と、
    　前記撮像部にて取得された画像データと前記条件とに基づいて、支援情報を生成する生成部と、
    該生成された支援情報を通知する通知部と
    　を有する視覚支援装置。
  2. 　前記生成部は、前記画像データから検出された複数の対象物のなかから、前記条件に基づいて１以上の対象物を選択し、該選択された１以上の対象物に関する情報を生成する、
    　請求項１に記載の視覚支援装置。
  3. 　前記支援情報の通知に対してなされた前記ユーザの反応を表すリアクション情報を取得する手段を更に備え、
    　前記生成部は、さらに前記リアクション情報に基づいて、前記支援情報を生成する、
    　請求項１または２に記載の視覚支援装置。
  4. 　前記記憶部には複数の障害物について危険度が登録され、
    所定値以上の危険度の障害物が前記画像データから抽出された場合に、前記支援情報を生成する　請求項１ないし３のいずれか一項に記載の視覚支援装置。
  5. 　前記記憶部には人物に関する人物情報が登録され、
    　前記通知部は、前記画像データにおいて人物が検出された場合に、当該人物情報に基づいて前記支援情報を決定する、
    　請求項１ないし４のいずれか一項に記載の視覚支援装置。
  6. 　現在時刻を取得する手段を更に備え、
    　前記条件は通知のタイミングに関する情報を用いて規定される、
    　請求項１～５のいずれか一項に記載の視覚支援装置。
  7. 　前記視覚支援装置の位置を取得する手段を更に備え、
    　前記条件は、前記ユーザの位置に関する情報を用いて規定される、
    　請求項１～６のいずれか一項に記載の視覚支援装置。
  8. 　前記ユーザの滞在時間を取得する手段を更に備え、
    　前記条件は、滞在時間に関する情報を用いて規定される、
    　請求項１～６のいずれか一項に記載の視覚支援装置。
  9. 　前記ユーザの行動を特定する手段を更に備え、
    　前記条件は、前記ユーザの行動に関する情報を用いて規定され、
    　請求項１～８のいずれか一項に記載の視覚支援装置。
  10. 　前記条件は、前記ユーザの身体能力に関する情報を用いて規定される、
    　請求項１～９のいずれか一項に記載の視覚支援装置。
  11. 　前記条件の切替えを受付ける切替部を更に備える、
    　請求項１～１０のいずれか一項に記載の視覚支援装置。
  12. 　位置および当該位置の場景に関する場景情報をサーバへ送信する送信部と、
    　前記サーバから、前記視覚支援装置の位置に応じた場景情報を受信する受信部と、
    　を更に備え、
    　前記通知部は、該受信した場景情報に基づいてユーザに通知を行う
    　請求項１～１１のいずれか一項に記載の視覚支援装置。
  13. 　ユーザの視認を支援するための支援情報の通知に関する、当該ユーザに固有の条件が記憶されたコンピュータに、
    　前記ユーザが視認している場景を表す画像データを取得するステップと、
    　該取得された画像データと前記条件とに基づいて、支援情報を生成するステップと
    　該生成された支援情報を通知するステップと
    　を実行させるためのプログラム。
  14. 　第１の視覚支援装置から、当該第１の視覚支援装置のユーザがある位置において遭遇し、当該位置において他のユーザの視認を支援するための情報を収集する受信部と、
    　第２の視覚支援装置の位置に対応する前記情報を、当該第２の視覚支援装置へ送信する送信部と
    　を有するサーバ。
PCT/JP2019/010822 2019-03-15 2019-03-15 視覚支援装置 WO2020188626A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010822 WO2020188626A1 (ja) 2019-03-15 2019-03-15 視覚支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010822 WO2020188626A1 (ja) 2019-03-15 2019-03-15 視覚支援装置

Publications (1)

Publication Number Publication Date
WO2020188626A1 true WO2020188626A1 (ja) 2020-09-24

Family

ID=72519724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010822 WO2020188626A1 (ja) 2019-03-15 2019-03-15 視覚支援装置

Country Status (1)

Country Link
WO (1) WO2020188626A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックＩｐマネジメント株式会社 支援情報提供方法及び記録媒体
US11926827B2 (en) 2021-12-13 2024-03-12 Eli Lilly And Company MAPT RNA interference agents

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054839A1 (ja) * 2011-10-14 2013-04-18 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
JP2013117766A (ja) * 2011-12-01 2013-06-13 Nikon Corp 段差検出システム
US20160078278A1 (en) * 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US20170213478A1 (en) * 2016-01-21 2017-07-27 Jacob Kohn Multi-Function Electronic Guidance System For Persons With Restricted Vision
WO2018066191A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 サーバ、クライアント端末、制御方法、および記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013054839A1 (ja) * 2011-10-14 2013-04-18 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
JP2013117766A (ja) * 2011-12-01 2013-06-13 Nikon Corp 段差検出システム
US20160078278A1 (en) * 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US20170213478A1 (en) * 2016-01-21 2017-07-27 Jacob Kohn Multi-Function Electronic Guidance System For Persons With Restricted Vision
WO2018066191A1 (ja) * 2016-10-07 2018-04-12 ソニー株式会社 サーバ、クライアント端末、制御方法、および記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023063066A1 (ja) * 2021-10-12 2023-04-20 パナソニックＩｐマネジメント株式会社 支援情報提供方法及び記録媒体
US11926827B2 (en) 2021-12-13 2024-03-12 Eli Lilly And Company MAPT RNA interference agents

Similar Documents

Publication Publication Date Title
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
US9316502B2 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US10362429B2 (en) Systems and methods for generating spatial sound information relevant to real-world environments
US9922236B2 (en) Wearable eyeglasses for providing social and environmental awareness
US10248856B2 (en) Smart necklace with stereo vision and onboard processing
US10024678B2 (en) Wearable clip for providing social and environmental awareness
US20180172464A1 (en) In-vehicle device and route information presentation system
EP2842529A1 (en) Audio rendering system categorising geospatial objects
US20130002452A1 (en) Light-weight, portable, and wireless navigator for determining when a user who is visually-impaired and/or poorly-oriented can safely cross a street, with or without a traffic light, and know his/her exact location at any given time, and given correct and detailed guidance for translocation
CN109646258A (zh) 一种导盲杖、导盲系统及导盲方法
JP6500139B1 (ja) 視覚支援装置
US10062302B2 (en) Vision-assist systems for orientation and mobility training
JP2005037181A (ja) ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
KR101847764B1 (ko) 시각장애인용 정보 획득 시스템
CN109166306A (zh) 一种用于信号控制交叉口的导盲装置及系统
WO2020188626A1 (ja) 視覚支援装置
CN109974741B (zh) 交互式导盲方法、系统及设备
Somyat et al. NavTU: android navigation app for Thai people with visual impairments
CN113678141A (zh) 用于盲人和视力受损人员的立体声装置
KR20190023017A (ko) 시각장애인을 위한 길안내 시스템 및 이를 이용한 길안내 서비스 제공방법
Conradie et al. Blind user requirements to support tactile mobility
WO2020026986A1 (ja) 情報処理装置、情報処理方法およびプログラム
AU2013101597A4 (en) VISSION ASSIST - “Real Time VissionAssist for the Blind & Visually Impaired” - as the name implies, is the invention which allows the blind, the visually impaired and those experiencing diminishing visual capabilities, to dramatically change that around
JP6559096B2 (ja) 情報出力システム及び情報出力方法
JP3239665U (ja) 視覚障害のあるユーザーを支援するためのシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919780

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919780

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP