WO2018025531A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018025531A1
WO2018025531A1 PCT/JP2017/023239 JP2017023239W WO2018025531A1 WO 2018025531 A1 WO2018025531 A1 WO 2018025531A1 JP 2017023239 W JP2017023239 W JP 2017023239W WO 2018025531 A1 WO2018025531 A1 WO 2018025531A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
person
information processing
processing apparatus
information
Prior art date
Application number
PCT/JP2017/023239
Other languages
English (en)
French (fr)
Inventor
久美 矢代
成瀬　哲也
純一 小坂
鈴木　康方
広子 西岡
均 陸川
浩平 高田
鈴木　雅彦
Original Assignee
ソニー株式会社
ソニーモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーモバイルコミュニケーションズ株式会社 filed Critical ソニー株式会社
Priority to US16/315,019 priority Critical patent/US10765588B2/en
Priority to JP2018531770A priority patent/JP6948325B2/ja
Publication of WO2018025531A1 publication Critical patent/WO2018025531A1/ja
Priority to US16/989,230 priority patent/US11744766B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5097—Control means thereof wireless

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and in particular, an information processing device, an information processing method, and a program that enable a person who acts without using vision to safely walk in the right direction. About.
  • This technology has been made in view of such circumstances, and enables a person who acts without using vision to walk safely in the correct direction.
  • An information processing apparatus includes a direction determination unit that determines a direction in which a person who acts without using sight walks, and guide information for a person who acts in the determined direction without using sight to walk
  • the information processing device determines a direction in which a person who acts without using sight walks, and guide information for the person who acts without using sight in the determined direction walks The step of generating is included.
  • a program includes a direction determination unit that determines a walking direction of a person who acts without using vision, and guide information for a person who acts without using the vision in the determined direction. It is for functioning as a guide information generating unit for generating.
  • the walking direction of a person who acts without using vision is determined, and guide information for the person who acts without using the vision in the determined direction is generated.
  • program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • the information processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • a person who acts without using vision can walk safely in the correct direction.
  • Step S26 of FIG. It is a figure showing an example of processing of Step S60. It is a figure explaining the output of a PDR calculating part. It is a figure which shows the modification of a Ref image. It is a figure which shows the modification of a search area
  • First visually impaired walking support system> ⁇ 1.1 Overview of the first visually impaired walking support system> First, an outline of the first visually impaired person walking support system of the present disclosure will be described with reference to FIG.
  • the first visually impaired person walking support system includes at least two types of walking support processes for supporting a visually impaired person (person who acts without using vision) to walk on a pedestrian crossing.
  • One walking support process is a crossing direction determination process for determining a walking direction so that a visually handicapped person faces a correct crossing direction when the visually handicapped person crosses a pedestrian crossing as shown in the left of FIG. is there.
  • the right crossing direction is notified to the visually impaired person by, for example, “right” or “left” at the position before the pedestrian crossing to be crossed (hereinafter referred to as “crossing point”). Help the person to face.
  • another walking support process is performed while the visually handicapped person is walking on the pedestrian crossing after the visually handicapped person has turned to the correct crossing direction by the above-described crossing direction determination process.
  • This is guide information generation processing for generating guide information for walking in the correct crossing direction.
  • the guide information generation process for example, notifies a visually impaired person such as “right” and “left” to assist the visually impaired person in crossing the pedestrian crossing without deviating from the correct crossing direction.
  • FIG. 2 is a block diagram illustrating a configuration example of an information processing apparatus that realizes the first visually impaired walking support system according to the present disclosure.
  • the information processing apparatus 1 in FIG. 2 can be configured by a mobile terminal such as a smartphone, for example, and includes a camera 11, a direction sensor 12, a GPS (Global Positioning System) sensor 13, an operation unit 14, a storage unit 15, and a processing unit 16. And an output unit 17.
  • a mobile terminal such as a smartphone, for example, and includes a camera 11, a direction sensor 12, a GPS (Global Positioning System) sensor 13, an operation unit 14, a storage unit 15, and a processing unit 16. And an output unit 17.
  • the camera 11 is configured by an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device), for example, and shoots a subject such as a pedestrian crossing, and supplies the resulting image to the processing unit 16. .
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the direction sensor 12 is a sensor that detects the direction in which the information processing apparatus 1 is facing and the direction in which the information processing apparatus 1 is moving, and supplies the detection result to the processing unit 16.
  • the direction sensor 12 includes, for example, one or more of a gyro sensor (angular velocity sensor), an acceleration sensor, an inertial sensor, a geomagnetic sensor, and the like.
  • the direction that can be detected by the direction sensor 12 may be an absolute direction like a geomagnetic sensor, or may be a relative direction based on a predetermined direction.
  • the GPS sensor 13 sequentially acquires latitude and longitude data indicating its position at regular time intervals (for example, every 15 seconds) and supplies the data to the processing unit 16.
  • the operation unit 14 includes, for example, an operation button and a touch sensor, detects a user operation, and supplies an operation signal corresponding to the detected operation to the processing unit 16.
  • the operation unit 14 is for example, it is also possible to operate in cooperation with an external input device 14A composed of a wristband type remote controller or the like equipped with a short-range wireless communication function such as Bluetooth (registered trademark) and operation buttons by short-range wireless communication. It is.
  • the storage unit 15 includes, for example, an HDD (Hard Disk Drive), a semiconductor memory, and the like.
  • the storage unit 15 also stores an image taken by the camera 11 and the like.
  • the processing unit 16 is composed of, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), and executes the predetermined program read from the storage unit 15 to execute the above-described transverse direction determination processing and guide. Execute information generation processing.
  • a CPU Central Processing Unit
  • MPU Micro Processing Unit
  • the output unit 17 outputs video, sound, force (vibration, movement) and the like based on the control from the processing unit 16.
  • the output unit 17 includes, for example, a video output unit such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output unit such as a speaker, a haptics output unit that outputs force, vibration, movement, and the like. Is done.
  • the output unit 17 operates in cooperation with an external output device 17A including an earphone or a headset having a short-range wireless communication function such as Bluetooth (registered trademark) and an operation button through short-range wireless communication. It is also possible to do.
  • a short-range wireless communication function such as Bluetooth (registered trademark) and an operation button through short-range wireless communication. It is also possible to do.
  • the information processing apparatus 1 stores the position information of the shooting point acquired by the GPS sensor 13 together with the shot still image.
  • the still image registered in the information processing apparatus 1 becomes a reference image (hereinafter referred to as a Ref image) that is referred to during the second and subsequent movements. Since the accompanying supporter is a sighted person, it is possible to confirm whether the Ref image is an image in which the correct direction of the pedestrian crossing is photographed.
  • the information processing apparatus 1 uses the ref image in the crossing direction at each pedestrian crossing existing on the moving route. Guide the right direction to cross. Specifically, the information processing apparatus 1 determines a correct crossing direction by performing a matching process between a still image (hereinafter referred to as a current image) captured during walking and a Ref image, and visually Guide the disabled.
  • a current image a still image
  • the next guide information generation process After the correct crossing direction is determined by the above crossing direction determination process, the next guide information generation process generates guide information while walking on the pedestrian crossing with the correct crossing direction as the reference direction. And visually impaired persons are notified.
  • FIG. 4 shows an example of use of the first visually impaired person walking support system by a visually impaired person when a smartphone is used as the information processing apparatus 1.
  • a smartphone 31 as the information processing apparatus 1 is attached to a visually impaired person by a neck strap 32 and a chest strap 33.
  • Smartphone 31 is camera 3 4 is arranged so that the photographing direction is directed in the traveling direction.
  • a wireless earphone 41 as an input device 14A and an output device 17A is attached to the ears of the visually impaired.
  • the wireless earphone 41 receives an audio signal from the smartphone 31 by short-range wireless communication such as Bluetooth (registered trademark) and outputs it as sound.
  • short-range wireless communication such as Bluetooth (registered trademark)
  • voice announcements such as “right” and “left” are output.
  • the wireless earphone 41 includes an operation button 42, detects pressing of the operation button 42 by a visually impaired person, and supplies a pressing operation signal to the smartphone 31.
  • the visually handicapped person can hold the white cane 43 with the right hand and operate the operation button 42 of the wireless earphone 41 with the left hand.
  • FIG. 5 is a functional block diagram of the processing unit 16 of the information processing apparatus 1.
  • the processing unit 16 includes two operation modes, a registration mode and a guide mode, in order to execute a crossing direction determination process and a guide information generation process.
  • the registration mode is an operation mode that is executed when a Ref image is registered during the first walk.
  • the processing unit 16 includes a Ref image registration unit 51 as an execution module executed in the registration mode.
  • the Ref image registration unit 51 acquires a Ref image captured by the camera 11 through the operation of the accompanying support person, and registers it in the storage unit 15.
  • the guide mode is an operation mode executed during the second and subsequent walks.
  • the processing unit 16 includes a direction determining unit 61 and a guide information generating unit 62 as execution modules executed in the guide mode.
  • the direction determining unit 61 determines the correct crossing direction based on the Ref image registered at the time of the first walk before the visually handicapped person crosses the pedestrian crossing.
  • the guide information generation unit 62 generates and outputs guide information to the visually impaired so as not to deviate from the correct direction while crossing the pedestrian crossing. More specifically, the guide information generating unit 62 sets the crossing direction determined by the direction determining unit 61 as the reference direction, and sets the deviation amount from the reference direction when the visually impaired person is crossing the pedestrian crossing. Based on the calculated deviation amount, guide information is generated and notified to the visually impaired.
  • the guide information generation unit 62 calculates the relative position from the reference position (crossing point) before the pedestrian crossing based on the pedestrian autonomous navigation (PDR: pedestrian dead reckoning) using the sensor signal output from the direction sensor 12.
  • PDR pedestrian dead reckoning
  • the entire processing unit 16 may be configured by one application program (hereinafter simply referred to as an application),
  • the registration mode and the guide mode may be configured by different apps.
  • each of the Ref image registration unit 51, the direction determination unit 61, and the guide information generation unit 62 may be configured by another application.
  • the registration mode and the guide mode are configured by different applications. For example, when an operation for executing a registered application is performed by operating a touch panel display as the operation unit 14, the Ref image registration unit 51 is activated, and when an operation for executing a guide application is performed, the direction determination unit 61 and The guide information generating unit 62 is activated.
  • step S1 the Ref image registration unit 51 starts a clock count for measuring the elapsed time (required time) from the departure place.
  • the visually handicapped person walks along the travel route to the predetermined destination with the accompanying guardian.
  • the information processing apparatus 1 performs an operation of capturing a still image in a correct direction to be crossed.
  • step S2 the Ref image registration unit 51 determines whether or not the photographing operation by the accompanying support person has been detected, and repeats the processing in step S2 until it is determined that the photographing operation has been detected.
  • step S2 If it is determined in step S2 that a shooting operation has been detected, the process proceeds to step S3, and the Ref image registration unit 51 controls the camera 11 to perform shooting.
  • the camera 11 shoots a still image in the direction in which it wants to cross according to the control of the Ref image registration unit 51.
  • the still image obtained by shooting is supplied to the Ref image registration unit 51 as a Ref image.
  • step S4 the Ref image registration unit 51 acquires the current position information and time information. That is, the Ref image registration unit 51 acquires the position information indicating the current latitude and longitude supplied from the GPS sensor 13 and the elapsed time since the start of counting in step S1 as the current position information and time information. .
  • step S5 the Ref image registration unit 51 sets a matching area, which is an area for performing matching processing with the current image captured in the guide mode, for the Ref image supplied from the camera 11.
  • step S6 the Ref image registration unit 51 extracts the feature points of the image in the matching area set in the Ref image.
  • FIG. 7 is a diagram illustrating a processing example of steps S5 and S6.
  • a matching area 82 is set for the Ref image 81 supplied from the camera 11. Further, five feature points PA1 to PA5 extracted for the image of the matching area 82 are shown.
  • the matching area 82 may be set automatically by the Ref image registration unit 51 based on a predetermined condition, or may be set based on the operation of the accompanying support person.
  • a predetermined position in the entire Ref image 81 is determined as the matching area 82, such as a / 2 width area.
  • a predetermined area may be determined as the matching area 82 based on the position of a traffic light or a pedestrian crossing included in the Ref image 81.
  • the Ref image registration unit 51 when the matching area 82 is set based on the operation of the accompanying support person, for example, the Ref image registration unit 51 superimposes a window defining the matching area 82 on the Ref image 81 and displays the window to the accompanying support person. You can operate and decide.
  • an extraction algorithm using local feature amounts such as AKAZE or ORB can be employed.
  • Feature point extraction processing is provided by OpenCV (Open Source Computer Vision Library). In the actual feature point extraction process, many feature points are detected, but in the example of FIG. 7, only five feature points PA1 to PA5 are shown in order to prevent the figure from becoming complicated.
  • the Ref image registration unit 51 associates the Ref image supplied from the camera 11 with matching area information, feature point information, position information, and time information in the storage unit 15.
  • the matching area information is information indicating the matching area in the Ref image, and is, for example, the coordinates of the four corners of the matching area.
  • the feature point information is information indicating the position of each feature point detected in the matching area.
  • the position information and time information are information indicating the position and time at which the Ref image acquired in step S4 was taken.
  • step S8 the Ref image registration unit 51 determines whether to end the registration mode. For example, when the visually impaired person and the accompanying supporter arrive at the destination, if the accompanying supporter performs an operation to end the registration application, it is determined to end the registration mode.
  • step S8 If it is determined in step S8 that the registration mode has not yet ended, the process returns to step S2, and the processes of steps S2 to S8 described above are repeated. Thereby, when arriving at a pedestrian crossing (crossing point) existing in the travel route, the Ref image taken by the accompanying guardian's operation is stored in the storage unit 15, and the position when the Ref image is taken Information regarding the time and the matching area and feature points of the Ref image is stored in the storage unit 15.
  • step S8 If it is determined in step S8 that the registration mode is to be terminated, the Ref image registration process is terminated.
  • the Ref image for each crossing point of the pedestrian crossing that exists on the travel route from the departure point to the destination, the Ref image includes the matching area information and feature point information of the Ref image, the position information, It is stored in the storage unit 15 together with the time information.
  • step S21 the direction determining unit 61 starts a clock count for measuring the elapsed time (required time) from the departure place.
  • the direction determination unit 61 acquires the current position information from the GPS sensor 13, and the Ref image is registered in the storage unit 15 based on the acquired current position information and the elapsed time from the departure place. Determine if you are approaching a crossing point. More specifically, the direction determining unit 61 compares the position information and time information stored in association with the Ref image stored in the storage unit 15, the current position information and the elapsed time, It is determined whether or not a Ref image associated with a position within a predetermined range is registered in the storage unit 15 from the current position information. Depending on the positional accuracy of the GPS sensor 13, for example, if a visually handicapped person arrives within 50 to 100 m of the crossing point, it is determined that the crossing point has been approached. Crossing points are basically searched for by position information, and time information is used as a reference.
  • step S22 is repeated until it is determined in step S22 that the crossing point has been approached.
  • step S22 If it is determined in step S22 that the crossing point is approaching, the process proceeds to step S23, and the direction determining unit 61 sends, for example, a voice message “There is a crosswalk registered near here” to the output unit 17. Output and notify the visually impaired that the registered crossing point is near.
  • step S24 the direction determining unit 61 reads out the Ref image corresponding to the crossing point from the storage unit 15.
  • step S25 the direction determining unit 61 determines whether a button operation by a visually impaired person has been detected, and waits until determining that a button operation has been detected.
  • step S26 a process progresses to step S26 and the direction determination part 61 performs a direction detection process.
  • the direction determination process captures a still image (current image) at the current position, extracts feature points corresponding to the feature points of the Ref image from the captured current image, and matches the corresponding feature points. This is a process of detecting the direction based on the above.
  • FIG. 9 is a detailed flowchart of the direction detection process in step S26 of FIG.
  • step S51 the direction determination unit 61 controls the camera 11 to capture a still image.
  • the camera 11 captures a still image according to the control of the direction determining unit 61.
  • the still image shot in step S51 becomes the current image being moved.
  • step S52 the direction determining unit 61 extracts feature points from the current image obtained by shooting using the same feature extraction algorithm as that executed in the Ref image registration process.
  • step S53 the direction determining unit 61 performs feature point matching for detecting corresponding feature points using the feature points extracted for the current image and the feature point information of the Ref image corresponding to the crossing points.
  • the feature point having the closest feature point distance such as the Hamming distance to the feature point of the Ref image is detected as the corresponding feature point of the current image.
  • step S54 the direction determining unit 61 determines whether the number of feature points matched in the current image is equal to or greater than a predetermined number.
  • step S54 If it is determined in step S54 that the number of matched feature points is not greater than or equal to the predetermined number, it is determined that an accurate direction cannot be determined, and the process proceeds to an error notification process in step S59 described later.
  • step S54 determines that the number of matched feature points is equal to or greater than the predetermined number.
  • the process proceeds to step S55, and the direction determination unit 61 determines that the corresponding points are incorrect from the detected feature points.
  • Remove For example, a feature point having an average vector obtained by averaging the feature points of the Ref image and the corresponding feature points of the current image and the average vector for all feature points of the current image is a miscorresponding point. Removed as.
  • the direction determining unit 61 calculates a projective transformation matrix for projectively transforming the Ref image into the current image using the feature points after the erroneous correspondence points are removed. If there are four or more feature points, the projective transformation matrix can be calculated.
  • the image points of traffic signals (for pedestrians and vehicles) can be preferentially used for the feature points used for calculating the projective transformation matrix. Since traffic signals (for pedestrians and vehicles) can be detected day and night based on luminance information, robust projection estimation is possible. If four or more traffic signals are shown in one image, a projective transformation matrix can be calculated using only the traffic signal movement vectors without using feature points detected by local feature amounts. For example, a signboard or a traffic sign may be used instead of the traffic signal.
  • step S57 the direction determination unit 61 converts the matching area information of the Ref image using the obtained projective transformation matrix, and calculates the vertex coordinates of the four corners of the projection frame obtained by projecting the matching area of the Ref image onto the current image. To do.
  • step S58 the direction determining unit 61 determines whether the calculated projection frame has a shape close to a quadrangle by calculating the inner product of each side of the projection frame.
  • step S58 If it is determined in step S58 that the projection frame is not a shape close to a quadrangle, the process proceeds to step S59, and the direction determination unit 61 determines that an accurate direction determination cannot be made, for example, “direction cannot be detected”. Is output to the output unit 17 to notify a visually impaired person of a direction detection error.
  • step S59 the process returns to step S51, and the processes of steps S51 to S58 described above are repeated. Therefore, when the direction cannot be detected, the still image is taken again.
  • step S58 determines that the projection frame has a shape close to a quadrangle. If it is determined in step S58 that the projection frame has a shape close to a quadrangle, the process proceeds to step S60, and the direction determining unit 61 uses the captured current image to face the visually impaired person. Estimate the direction.
  • FIG. 10 shows an example of processing for estimating the direction of the visually handicapped person, which is executed in step S60.
  • the current image 101 is captured and feature points are extracted, and the extracted feature points are matched with the feature points of the Ref image 81 corresponding to the current position, and the projection frame 102 is calculated for the current image 101. .
  • the central direction 104 of the projection frame 102 is estimated as the direction that the visually handicapped person should pass. Since the angle per pixel can be calculated from the relationship between the field-of-view range of the camera 11 and the number of pixels, the shooting center 103 of the camera 11 worn by the visually impaired person and the center direction 104 of the projection frame 102 can be calculated. Can be calculated as an angle based on the number of pixels in the horizontal direction. In order to calculate the angle more accurately, the direction to be crossed may be estimated in consideration of calibration information such as camera lens distortion.
  • step S60 When the process of estimating the direction in which the visually handicapped person is facing in step S60 ends, the direction detection process in step S26 of FIG. 9 ends, and the process returns to FIG. 8 and the process proceeds to step S27.
  • step S27 of FIG. 8 the direction determination unit 61 determines whether the visually handicapped person is facing the correct direction based on the result estimated by the direction detection process. For example, when the angle estimated by the direction detection process is within a predetermined range, it is determined that the camera is facing the correct direction.
  • step S27 If it is determined in step S27 that the visually impaired person is not facing the correct direction, the process proceeds to step S28, and the direction determining unit 61, for example, “right, right, slightly right,. , Left, slightly left,... "Is output to the output unit 17 and the correction direction is notified to the visually impaired by voice.
  • the direction determining unit 61 for example, “right, right, slightly right,. , Left, slightly left,... "Is output to the output unit 17 and the correction direction is notified to the visually impaired by voice.
  • step S28 the process returns to step S26, and the direction detection process is executed again. Therefore, a new current image is taken again in the direction in which the visually impaired person changes the body direction according to the voice message, and the direction in which the visually impaired person is facing is detected.
  • the current image can be taken at intervals of, for example, about one image per second, but it is difficult to output a “Left, Left,...” Voice message each time. Therefore, the direction determining unit 61 outputs “left” and “right” voice messages at a rate of once for each of a plurality of sheets. When a high-pitched electronic sound is output and the sound is directed in a different direction, a low-pitched electronic sound such as “pop” can be output.
  • step S27 If it is determined in step S27 that the visually handicapped person is facing the correct direction, the process proceeds to step S29, and the direction determination unit 61, for example, together with the electronic sound of “ping pong”, the sound “correct direction” A message is output to the output unit 17 to notify a visually impaired person that the direction is correct.
  • step S29 the direction determining unit 61 finishes the process of determining the correct crossing direction via the output unit 17, and informs the start of the crossing mode that guides the deviation during walking of the pedestrian crossing. Notice.
  • step S30 the guide information generation unit 62 determines the center direction 104 of the projection frame 102 of the last current image determined to be facing the correct direction in the direction detection process of step S26 that has been repeatedly executed one or more times. Assuming that the traveling direction of the visually handicapped person is set, the traveling direction in the transverse direction is set for the PDR calculation unit 63. That is, the direction of the body that the visually impaired person is actually facing is strictly different from the correct transverse direction of the Ref image, so the guide information generation unit 62 is not the direction that the visually impaired person is actually facing. Set the correct direction of travel based on the Ref image. In the PDR calculation unit 63, the position and direction when calculating the relative position from the crossing point using the sensor signal output from the direction sensor 12 are initialized.
  • step S31 the guide information generation unit 62 causes the camera 11 to take a picture, and executes signal recognition processing for recognizing the color of the pedestrian signal based on the taken picture.
  • step S32 the guide information generation unit 62 determines whether the color of the pedestrian signal has changed from red to blue from the result of the signal recognition process. If it is not determined in step S32 that the color has changed from red to blue, the process returns to step S31, and the processes in steps S31 and S32 are repeated. Although it may be assumed that the pedestrian signal is already blue when the correct crossing direction is determined, there may be a short time until it becomes red. Therefore, the process of step S32 detects the timing at which the pedestrian signal changes from red to blue so as to ensure the maximum crossing time.
  • step S33 the guide information generating unit 62 outputs a voice message “It has turned blue.
  • the output unit 17 outputs the information to notify the visually handicapped that it is possible to cross.
  • step S34 the PDR calculation unit 63 calculates the position and orientation from the crossing point, and the guide information generation unit 62 acquires the position and orientation calculated by the PDR calculation unit 63.
  • the PDR calculation unit 63 uses the crossing point O as a reference, the moving distance Y in the crossing direction, the moving distance X in the direction perpendicular to the crossing direction, and the angular deviation D from the crossing direction Is calculated and output to the guide information generating unit 62.
  • the movement distance X in the vertical direction is a so-called lateral displacement
  • the angular displacement D from the transverse direction is a so-called body orientation displacement. This is referred to as a misorientation D.
  • step S35 the guide information generation unit 62 determines whether the position or orientation is deviated by a predetermined amount or more.
  • step S35 If it is determined in step S35 that the position or orientation is not deviated by a predetermined amount or more, the process returns to step S34, and the processes of steps S34 and S35 described above are repeated.
  • step S35 if it is determined in step S35 that the position or orientation is deviated by a predetermined amount or more, the process proceeds to step S36, and the guide information generation unit 62 sends a “right” or “left” voice message to the output unit 17. Outputs and notifies the visually impaired of the correction direction.
  • step S37 the guide information generating unit 62 determines whether a button operation is detected when the visually handicapped person has finished crossing the pedestrian crossing.
  • the operation button of the operation unit 14 or the operation button 42 of the wireless earphone 41 is pressed.
  • step S37 If it is determined in step S37 that the button operation at the time of crossing the pedestrian crossing has not yet been detected, the process returns to step S34, and the above-described steps S34 to S37 are repeated.
  • steps S34 to S37 when a visually handicapped person is walking in the correct direction while walking on a pedestrian crossing, a voice message is not output and the traveling direction deviates beyond a certain level. Will output “right” and “left” voice messages. Even when walking in the correct direction, in order to give a sense of security to the visually impaired that the direction is being detected, a beep is output at regular intervals. Also good.
  • step S37 If it is determined in step S37 that the visually impaired person has detected a button operation when the crossing has been crossed, the guide information generation unit 62 ends the crossing mode via the output unit 17 in step S38. Is notified by voice.
  • step S39 the guide information generation unit 62 determines whether to end the guide mode. For example, when the visually handicapped person arrives at the destination, if the visually handicapped person performs an operation to end the guide application, it is determined that the guide mode is to be ended.
  • step S39 If it is determined in step S39 that the guide mode is not terminated, the process returns to step S22, and the above-described process is repeated. That is, it is monitored whether or not the next crossing point in which the Ref image is registered is nearby, and the processing after step S23 is executed for the detected next crossing point.
  • step S39 if it is determined in step S39 that the guide mode is to be terminated, the pedestrian crossing guide process is terminated.
  • each pedestrian crossing (crossing point) where the Ref image is registered matches the pre-stored Ref image with the still image (current image) taken at the present time.
  • the Ref image registration unit 51 performs direction detection processing for determining a correct transverse direction.
  • the guide information generation unit 62 executes a process of notifying the visually handicapped person of the correction direction when the traveling direction deviates from the crossing direction by a certain amount or more while walking on the pedestrian crossing. As a result, the pedestrian crossing can be safely walked in the correct direction.
  • the posture information of the visually impaired person detected by the direction sensor 12 may be referred to.
  • the azimuth information detected by the direction sensor 12 when the Ref image is captured is stored in the storage unit 15 together with the Ref image as posture information.
  • the time information stored together with the Ref image is the elapsed time from the departure point.
  • the time is not an elapsed time but an absolute time in a 24-hour system. It is good.
  • the lateral displacement X and the body orientation displacement D can be distinguished.
  • a threshold value may be provided for each of the lateral position deviation X and the body direction deviation D, and the determination may be made separately.
  • the guide information generation unit 62 can change the electronic sound for notifying the visually impaired person of the correction direction in each of the lateral position deviation X and the body direction deviation D.
  • a panoramic image having a wide shooting range in the left-right direction may be taken and registered as a Ref image to be registered in the storage unit 15.
  • a direction that is largely oblique to the pedestrian crossing may be matched to the orientation of the pedestrian.
  • azimuth information at the time of shooting a panoramic image may be added and stored as posture information.
  • a moving image shot while panning may be used as a Ref image.
  • the search area of the current image when performing feature point matching to detect feature points corresponding to the feature points of the Ref image is the entire range of the current image. Further, as shown in FIG. 13, the pedestrian signal color may be changed between blue and red as shown in FIG.
  • the direction determining unit 61 excludes the lower area of the current image, which is occupied by the road, from the search area as shown in FIG. Different areas can be set when the color of the signal for the user is blue and when it is red. For the current image when the color of the pedestrian signal is red, feature point extraction or matching processing itself may be stopped.
  • the shadow due to sunlight may be different and local feature matching may not be achieved. obtain.
  • the shadow that appears largely on the road indicated by the broken line is excluded, and the influence of the position of the shadow can be excluded.
  • the direction in which the visually handicapped person is facing is detected from the number of pixels in the horizontal direction of the captured current image.
  • This direction is the detection of the direction based on the relative orientation centered on the current image, but is the direction based on the absolute orientation on the reference coordinates (for example, the magnetic orientation reference), and the direction that the visually impaired person is facing. Can also be detected.
  • the estimated azimuth in the reference coordinates includes the camera coordinate reference azimuth (the azimuth with the image center as a reference) and the camera azimuth at the time of shooting (the azimuth of the camera 11 when shooting a still image). It is possible to calculate by addition.
  • the direction in which the visually impaired person is facing is estimated, and voice is output as guide information.
  • the direction in which the visually handicapped person is facing may be comprehensively determined from the results detected in each of a plurality of current images, and the final direction may be estimated.
  • the direction determination unit 61 repeats the direction detection process of FIG. 9 a plurality of times (a plurality of sheets), and integrates a plurality of direction information detected in each direction, so that 1 in the direction in which the visually impaired person is facing.
  • the detection result is the number of times.
  • the direction determining unit 61 can calculate an average value of a plurality of direction information detected in each of a plurality of current images, and can set the direction obtained as a result to be a direction in which a visually handicapped person is facing.
  • the final direction may be detected by performing a predetermined weighted averaging process on a plurality of directions detected in each of a plurality of current images.
  • a plurality of current images may be weighted based on an inlier match amount.
  • the current image having a larger number of feature points used in the calculation of the projective transformation matrix increases the weight, and the direction obtained by integrating the plurality of directions detected in each of the plurality of current images. Can be determined.
  • a plurality of current images may be weighted according to the geometric information of the projection frame.
  • the current image whose projection frame shape is closer to a quadrangle can be weighted to determine a direction in which a plurality of directions detected in each of the plurality of current images are integrated.
  • the current image in which the color of the pedestrian signal is blue can be detected with less reflection of the vehicle and the correct direction can be detected.
  • the weight and decreasing the weight of the current image in which the color of the pedestrian signal is red it is possible to determine a direction in which a plurality of directions detected in each of the plurality of current images are integrated.
  • the deviation of the detected plurality of directions is calculated and the deviation is calculated. May not be output as a detection error as a detection error. If it is determined that a detection error has occurred, a voice message “Please stand still” is output, and the system waits until the deviation falls below a predetermined threshold or increases the number of current images to be integrated. Good. As a result, the estimation accuracy is improved, and when the accuracy is low, the announcement in the correction direction is not output, so that danger can be prevented.
  • the guide information generation unit 62 counts the number of steps that the visually handicapped walked from the crossing point while walking on the pedestrian crossing.
  • the remaining distance information until the pedestrian crosses the crosswalk may be output as a voice message, such as “It is 1 meter”.
  • Information on the distance of the entire pedestrian crossing may be obtained by automatically counting the number of steps when crossing the pedestrian crossing in the registration mode, or by having the accompanying supporter input the number of steps after crossing the pedestrian crossing.
  • the Ref image can be taken so that the entire pedestrian crossing is reflected, and the distance of the entire pedestrian crossing can be estimated and stored from the number of stripe patterns of the pedestrian crossing included in the Ref image.
  • All route guide function> ⁇ 2.1 Overview of all route guide function> Next, the all-route guide function that the information processing apparatus 1 further includes in addition to the above-described walking guide function of the pedestrian crossing will be described.
  • the walking guide function of the pedestrian crossing described above is a guide function that focuses only on the pedestrian crossing among the travel routes from the departure place to the predetermined destination.
  • the route guidance function described below can be provided.
  • FIG. 19 is a diagram for explaining the outline of the all route guide function.
  • the information processing apparatus 1 stores, in the storage unit 15, position information and time information indicating the sound produced by the visually impaired person, the location (latitude and longitude) where the recording was performed, for each passing point. And the information processing apparatus 1 reproduces
  • FIG. 19 shows an example in which guide information is registered for the departure point, the destination, and five passing points.
  • the information processing apparatus 1 is recorded by the visually handicapped person in advance at the departure place “This is the departure place. "Is output.
  • the information processing apparatus 1 reads “This is a convenience store” recorded in advance at the passing point AP1 by the visually handicapped person. Output a message.
  • the information processing apparatus 1 reads the voice message “before the pedestrian crossing” recorded in advance at the passing point AP2 by the visually handicapped person. Is output.
  • the information processing apparatus 1 records the voice message “End of pedestrian crossing” recorded in advance at the passing point AP3 by the visually handicapped person. Is output.
  • the information processing apparatus 1 reads the voice message “turn right from the main street” recorded in advance at the passing point AP4 by the visually handicapped person. Is output.
  • the information processing apparatus 1 makes a “left turn and straight” voice message recorded in advance at the passing point AP5 by the visually handicapped person. Is output.
  • the information processing apparatus 1 reads the voice message “Destination” recorded in advance at the destination Goal by the visually handicapped person. Is output.
  • the information processing apparatus 1 may output the approximate direction of the next passing point together with the recorded voice based on the position information stored in association with the voice message at each passing point.
  • the voice message “This is the departure point” and “Next is the 45 ° direction” voice message may be output. The same applies to other passing points.
  • FIG. 20 shows an example of recording obstacle information as guide information.
  • a visually handicapped person for example, at the first walking, for example, with respect to the passing point AP1, “Since a drugstore product protrudes from the sidewalk, pay attention to obstacles on the right side of the sidewalk and walk as far as possible to the left end of the sidewalk.” Record in the information processing apparatus 1.
  • a visually handicapped person can walk on the left side of the sidewalk while paying attention to the obstacle on the right side by reproducing this voice message in the second and subsequent walks.
  • FIG. 21 shows an example of recording a pedestrian crossing cue as guide information.
  • the visually impaired person himself is described as recording (blowing) a voice message at each passing point, but the accompanying guardian may perform the recording.
  • FIG. 22 is a block diagram illustrating a configuration example of the information processing apparatus when the all-route guide function described above is executed.
  • the information processing apparatus 1 can execute the all-path guide function by adding a microphone 121 to the configuration shown in FIG.
  • the microphone 121 collects a voice uttered by a visually impaired person and supplies it to the processing unit 16 as an audio signal.
  • FIG. 23 is a functional block diagram of the processing unit 16 when executing the above-described all-route guide function.
  • the processing unit 16 includes a voice registration unit 141 in addition to the above-described Ref image registration unit 51 as a registration mode.
  • processing unit 16 includes a passing point notification unit 142 as a guide mode in addition to the direction determination unit 61 and the guide information generation unit 62 described above.
  • the voice registration unit 141 converts the voice signal supplied from the microphone 121 into a predetermined file format according to the recording operation performed by the visually impaired person at each passing point when moving to the destination for the first time. And stored in the storage unit 15. Further, when the voice registration unit 141 stores the voice (data) of the visually impaired person in the storage unit 15, the voice registration unit 141 stores the position information and the time information of the passing point in the storage unit 15 in association with the voice. .
  • the passing point notification unit 142 determines whether or not it has approached the passing point when moving to the destination for the second and subsequent times. If it is determined that the passing point has been approached, the passing point notification unit 142 stores the corresponding point. Voice (data thereof) is acquired from the storage unit 15 and output to the output unit 17.
  • the processing for the departure point and the destination is the same as the processing for the passing point, and therefore, the starting point and the destination are recognized as one of the passing points.
  • the registration mode and the guide mode may each be configured by one application, and the voice registration unit 141 and the passing point notification unit 142 may each be configured by one application.
  • the pedestrian crossing walk guide function app and the all route guide function app described above may be configured by one app or different apps. It is arbitrary what kind of functional unit each application is configured.
  • step S71 the voice registration unit 141 starts a clock count for measuring the elapsed time (required time) from the departure place.
  • the passing point registration operation is, for example, pressing of the operation button 42 of the wireless earphone 41.
  • step S72 the voice registration unit 141 determines whether a passing point registration operation has been detected based on an operation signal from the operation unit 14, and waits until it is determined that a passing point registration operation has been detected.
  • step S72 If it is determined in step S72 that a passing point registration operation has been detected, the process proceeds to step S73, and the voice registration unit 141 acquires current position information and time information as passing point position information and time information. . That is, the voice registration unit 141 acquires the position information indicating the current latitude and longitude supplied from the GPS sensor 13 and the elapsed time since the start of counting in step S71 as the position information and time information of the passing point. .
  • step S74 the voice registration unit 141 records the voice uttered by the visually impaired person supplied from the microphone 121 (stored in the storage unit 15).
  • step S75 the voice registration unit 141 causes the storage unit 15 to store the passing point position information and time information acquired in step S73 in association with the recorded voice.
  • step S76 the voice registration unit 141 reproduces the recorded voice in order to make the visually impaired person confirm the recorded contents. That is, the voice registration unit 141 outputs a voice signal corresponding to the voice data stored in the storage unit 15 to a speaker or an earphone as the output unit 17.
  • step S77 the voice registration unit 141 determines whether to end the registration mode. For example, when the visually impaired and the accompanying supporter arrive at the destination, if the visually impaired performs an operation to terminate the registration application, it is determined that the registration mode is terminated.
  • step S77 If it is determined in step S77 that the registration mode has not yet ended, the process returns to step S72, and the processes of steps S72 to S77 described above are repeated. As a result, each time a passing point registration operation is performed, the passing point position information, time information, and sound are stored in the storage unit 15.
  • step S77 if it is determined in step S77 that the registration mode is to be terminated, the voice registration process is terminated.
  • step S81 the passing point notification unit 142 starts a clock count for measuring the elapsed time (required time) from the departure place.
  • the passing point notification unit 142 acquires the current position information from the GPS sensor 13, and the voice is registered in the storage unit 15 based on the acquired current position information and the elapsed time from the departure place. It is determined whether the passing point is approached. More specifically, the passing point notification unit 142 compares the passing point position information and time information stored in association with the voice stored in the storage unit 15 with the current position information and the elapsed time. Then, it is determined whether or not the voice associated with the position within the predetermined range is registered in the storage unit 15 from the current position information. Although depending on the positional accuracy of the GPS sensor 13, for example, if a visually handicapped person arrives within 50 to 100 m of the passing point, it is determined that the passing point has been approached. The passing point is basically searched based on position information, and time information is used as a reference.
  • step S82 is repeated until it is determined in step S82 that the vehicle has approached the passing point.
  • step S82 If it is determined in step S82 that the vehicle has approached the passing point, the process proceeds to step S83, and the passing point notifying unit 142 stores the voice stored in association with the passing point (position information) close to the current value. Reproduce. That is, the passing point notification unit 142 acquires the voice data stored in association with the passing point (position information) close to the current value from the storage unit 15 and causes the output unit 17 to output the voice data.
  • step S84 the voice registration unit 141 determines whether to end the guide mode. For example, when the visually handicapped person arrives at the destination, if the visually handicapped person performs an operation to end the guide application, it is determined that the guide mode is to be ended.
  • step S84 If it is determined in step S84 that the guide mode has not yet ended, the process returns to step S82, and the above-described steps S82 to S84 are repeated. Thereby, whenever a visually handicapped person passes a passing point, the voice message as guide information corresponding to a passing point is output.
  • step S84 if it is determined in step S84 that the guide mode is to be terminated, the passing point guide reproduction process is terminated.
  • the guide information recorded by the visually impaired himself / herself with his / her own voice is reproduced for the main passing points on the moving route. With this, safe walking can be supported.
  • the information processing apparatus 1 can further include an all-route guide function (second all-route guide function) shown in FIG. 26 in addition to the above-described all-route guide function (first all-route guide function). .
  • the all-path guide function shown in FIG. 26 is not a passing point set by the visually impaired person himself, but based on position information from the GPS sensor 13, the direction and distance to the destination are expressed by voice at regular time intervals. It is a function to output.
  • Second visually impaired walking support system> ⁇ 3.1 Outline of the second visually impaired walking support system> Next, the second visually impaired person walking support system of the present disclosure will be described.
  • the first visually impaired person walking support system described above is a system that can be realized by the information processing apparatus 1 alone, but the second visually impaired person walking assistance system is a visually impaired person using a so-called unmanned aircraft called a drone. It is a person walking support system.
  • a visually handicapped person wears a hat (not shown) on which a two-dimensional code is written as a marker 161 for reducing misrecognition, and walks along a moving route.
  • the drone 171 detects the marker 161, moves right above the visually handicapped person, and takes a picture directly below.
  • the image captured by the drone 171 is transferred to the information processing apparatus 1.
  • the information processing apparatus 1 compares the Ref image captured in advance with the image transferred from the drone 171, and shifts from the correct position. Is detected and the visually impaired person is informed of the correct position by voice.
  • the second visually impaired person walking support system using this drone can be used, for example, for guiding to an accurate crossing point when a visually impaired person walks a pedestrian crossing.
  • FIG. 28 is a block diagram illustrating a configuration example of the second visually impaired person walking support system.
  • the second visually impaired person walking support system includes a drone 171 and the information processing apparatus 1.
  • the drone 171 includes a camera 181, a storage unit 182, a moving unit 183, a control unit 184, and a short-range wireless communication unit 185, and tracks a visually impaired person.
  • the camera 181 is configured by an image sensor such as a CMOS sensor or a CCD, for example, and takes an image of a subject such as a pedestrian crossing, and supplies an image obtained as a result to the control unit 184.
  • an image sensor such as a CMOS sensor or a CCD, for example, and takes an image of a subject such as a pedestrian crossing, and supplies an image obtained as a result to the control unit 184.
  • the storage unit 182 is configured by, for example, an HDD or a semiconductor memory, and stores a program executed by the control unit 184 and various data necessary for each unit such as the camera 181 and the moving unit 183 to operate.
  • the storage unit 182 also stores marker information for recognizing the marker 161 worn by the visually impaired.
  • the moving unit 183 is a moving means for moving the drone 171 up, down, left and right, and is composed of, for example, four rotating blades.
  • the moving unit 183 moves the drone 171 itself under the control of the control unit 184.
  • the control unit 184 is configured by, for example, a CPU, an MPU, and the like, and controls the photographing by the camera 181 and the movement of itself by executing a predetermined program read from the storage unit 182.
  • the short-range wireless communication unit 185 is configured by a communication device such as Bluetooth (registered trademark) or wireless LAN (Local Area Network), and transmits data such as a captured image to the information processing apparatus 1 according to the control of the control unit 184. .
  • a communication device such as Bluetooth (registered trademark) or wireless LAN (Local Area Network)
  • data such as a captured image to the information processing apparatus 1 according to the control of the control unit 184.
  • the information processing apparatus 1 further includes a short-range wireless communication unit 191 in addition to the camera 11, the operation unit 14, the storage unit 15, the processing unit 16, and the output unit 17 described above.
  • the short-range wireless communication unit 191 is a communication device corresponding to the short-range wireless communication unit 185 of the drone 171 and includes, for example, a communication device such as Bluetooth (registered trademark) or a wireless LAN.
  • the short-range wireless communication unit 191 receives data such as a captured image and supplies the data to the processing unit 16 under the control of the processing unit 16.
  • FIG. 29 is a functional block diagram of the processing unit 16 of the information processing apparatus 1 in the second visually impaired walking support system.
  • the processing unit 16 includes a Ref image registration unit 211 as a registration mode.
  • the Ref image registration unit 211 acquires an image of a registration point (for example, a crossing point) taken from a correct place from the drone 171 via the short-range wireless communication unit 191. Then, the Ref image registration unit 211 registers (stores) the captured image of the registration point acquired from the drone 171 in the storage unit 15 as a Ref image.
  • a registration point for example, a crossing point
  • the Ref image registration unit 211 may be integrated with the Ref image registration unit 51 described above or may be separate.
  • the processing unit 16 includes a guide information generation unit 212 as a guide mode.
  • the guide information generation unit 212 recognizes the positional relationship between the visually impaired person and the drone 171 and generates guide information for guiding the visually impaired person to the correct position.
  • the guide information generation unit 212 acquires an image of the current location (hereinafter referred to as the current location image) transmitted from the drone 171 in the guide mode via the short-range wireless communication unit 191. Then, the guide information generation unit 212 compares the current location image acquired from the drone 171 with the Ref image stored in the storage unit 15 to detect a positional deviation of the user with respect to the correct position. Furthermore, the guide information generation unit 212 generates a correction direction as guide information for guiding a visually impaired person to a correct position based on the detected positional deviation, and outputs the correction direction as audio from the output unit 17.
  • the current location image an image of the current location transmitted from the drone 171 in the guide mode via the short-range wireless communication unit 191. Then, the guide information generation unit 212 compares the current location image acquired from the drone 171 with the Ref image stored in the storage unit 15 to detect a positional deviation of the user with respect to the correct position. Furthermore, the guide information generation unit 212 generates a correction direction as guide information for guiding
  • the guide information generation unit 212 may be integrated with one or both of the direction determination unit 61 and the guide information generation unit 62 described above, or may be separate.
  • step S101 the control unit 184 controls the moving unit 183 to move to a predetermined registration point.
  • Which location to move as a registration point may be instructed by remote control via the short-range wireless communication unit 185, or a plurality of registration points may be registered in advance, and one of the points may be selected. You may select and move autonomously.
  • step S102 the control unit 184 controls the camera 181 to photograph the registration point.
  • the camera 181 takes an image of the registration point under the control of the control unit 184.
  • step S103 the control unit 184 transmits the captured image to the information processing apparatus 1 as a Ref image via the short-range wireless communication unit 185.
  • step S104 the control unit 184 determines whether to end the registration mode. For example, when it is determined that shooting of all registered points registered in advance is completed, it is determined that the registration mode is ended.
  • step S104 If it is determined in step S104 that the registration mode has not yet ended, the process returns to step S101, and the above-described steps S101 to S104 are repeated. Thereby, Ref images are taken for a plurality of registered points and transmitted to the information processing apparatus 1.
  • step S121 the Ref image registration unit 211 determines whether a Ref image has been transmitted from the drone 171 via the short-range wireless communication unit 191, and waits until it is determined that a Ref image has been transmitted. .
  • step S121 If it is determined in step S121 that the Ref image has been transmitted, the process proceeds to step S122, and the Ref image registration unit 211 acquires the transmitted Ref image and stores it in the storage unit 15.
  • step S123 the Ref image registration unit 211 determines whether to end the registration mode. For example, when an operation to end the application of the Ref image registration unit 211 is performed, it is determined that the registration mode is to be ended.
  • step S123 If it is determined in step S123 that the registration mode has not yet ended, the process returns to step S121, and the processes of steps S121 to S123 described above are repeated. Thereby, Ref images relating to a plurality of registered points are acquired and stored in the storage unit 15.
  • step S141 the control unit 184 detects the marker 161 attached by the visually impaired person from the image captured by the camera 181 and moves the detected marker 161 to a position directly below itself. Move to section 183.
  • step S142 the control unit 184 controls the camera 181 to photograph the image directly below.
  • the camera 181 takes a picture directly under the control of the control unit 184.
  • step S143 the control unit 184 transmits the captured image to the information processing apparatus 1 as a current location image indicating the current location of the visually impaired person via the short-range wireless communication unit 185.
  • step S144 the control unit 184 determines whether to end the guide mode. For example, when the end of the guide mode is notified from the information processing apparatus 1 by short-range wireless communication, it is determined that the registration mode is to be ended.
  • step S144 If it is determined in step S144 that the guide mode has not yet ended, the process returns to step S141, and the processes of steps S141 to S144 described above are repeated. As a result, the moving visually impaired person is tracked, and an image taken from directly above the visually impaired person is periodically transmitted to the information processing apparatus 1 as a current location image.
  • step S161 the guide information generation unit 212 determines whether the current location image has been transmitted from the drone 171 via the short-range wireless communication unit 191, and waits until it is determined that the current location image has been transmitted. .
  • step S161 when it determines with the present location image having been transmitted by step S161, a process progresses to step S162 and the guide information generation part 212 acquires the transmitted present location image.
  • the guide information generation unit 212 compares the acquired current location image with the Ref image stored in the storage unit 15 to detect a position shift from the registration point of the visually impaired person. For example, the guide information generation unit 212 detects a region at the center of the Ref image by pattern matching from the current location image, and detects a shift in the position between the detected position and the image center.
  • step S164 the guide information generation unit 212 determines whether the detected positional deviation is within a predetermined range, and if it is determined that the deviation is within the predetermined range, the process returns to step S161. .
  • step S164 determines “right”
  • the “left” voice message is output to the output unit 17 to notify the visually impaired person of the correction direction.
  • step S166 the guide information generation unit 212 determines whether to end the guide mode. For example, when an operation for ending the application of the guide information generation unit 212 is performed, it is determined that the guide mode is ended.
  • step S166 If it is determined in step S166 that the guide mode has not yet ended, the process returns to step S161, and the above-described processes of steps S161 to S166 are repeated. Thereby, the present location image regarding each of a plurality of registration points is acquired, compared with the Ref image, and guide information is notified to the visually impaired.
  • the current position of the visually handicapped person is detected based on the image taken by the drone 171, and the correct position shift is calculated. Can be notified as guide information.
  • the visually impaired person is caught in the field of view of the camera 181 and the visually impaired image is detected as a deviation from the center of the captured current location image. A shift in the position of the person may be detected.
  • the camera 11 of the information processing apparatus 1 worn by the visually impaired person detects and detects the drone 171, and based on the detection position of the drone 171, the visual impairment A shift in the position of the person may be detected.
  • FIG. 35 shows another example of the marker 161 for reducing erroneous recognition.
  • the marker 161 may be an infrared LED that emits infrared light
  • the camera 181 of the drone 171 may be an infrared camera.
  • the drone 171 includes an infrared LED and emits infrared light.
  • the camera 181 of the drone 171 is used as an infrared camera, and the marker 161 worn by a visually impaired person is used as an infrared reflector. Good.
  • the drone 171 may include an infrared LED to emit infrared light, and the camera 181 of the drone 171 may be used as an infrared camera to detect the position of the visually impaired by image recognition. .
  • the camera 181 included in the drone 171 may be a camera that can detect the depth direction, such as a structured light camera, a ToF (Time-of-Flight) camera, or a stereo camera.
  • a structured light camera such as a structured light camera, a ToF (Time-of-Flight) camera, or a stereo camera.
  • ToF Time-of-Flight
  • the position shift of the current location of the visually impaired person is detected based on the Ref image taken in advance in the registration mode, but the position shift of the current location is detected by comparing the map information with the current position image. It may be detected.
  • all the images taken by the drone 171 are transferred to the information processing apparatus 1 and the information processing apparatus 1 detects the position shift of the current location of the visually impaired person. May be stored in the storage unit 182, and in the guide mode, the drone 171 may detect a position shift by comparison with the current location image and transmit only the shift information indicating the detection result to the information processing apparatus 1. .
  • Smartphones equipped with touch panels are designed on the premise of visual information on the screen, and the operation screen is flat, so that visually impaired people recognize where the operation buttons are located on the screen. However, it was difficult to operate.
  • FIG. 36 is a diagram illustrating an appearance example of a smartphone cover.
  • the smartphone cover 231 illustrated in FIG. 1 includes a front cover 241 that protects the display 35 of the smartphone 31 and a back cover 242 that protects the surface opposite to the display 35.
  • the smartphone cover 231 illustrated in FIG. 1 illustrates a front cover 241 that protects the display 35 of the smartphone 31 and a back cover 242 that protects the surface opposite to the display 35.
  • the smartphone cover 231 illustrated in FIG. 1 illustrates a front cover 241 that protects the display 35 of the smartphone 31 and a back cover 242 that protects the surface opposite to the display 35.
  • the front cover 241 is provided with a small window 251 made of a transparent material such as plastic so that a visually impaired person can touch a predetermined area of the display 35.
  • the small window 251 is attached with a seal 253 on which a projection 252 representing a reference position is formed in a central divided region among nine divided regions obtained by dividing the opening region into 9 ⁇ 3 ⁇ 3.
  • a magnet 254 is embedded in the cover in a predetermined region of the front cover 241 different from the region where the small window 251 is disposed.
  • an NFC tag 255 composed of an IC chip and an antenna for performing NFC (Near Field Communication) communication is embedded in the back cover 242.
  • the smartphone 31 detects the attachment of the smartphone cover 231 by detecting the magnet 254 embedded in the front cover 241.
  • the operation mode is set to a user interface (hereinafter referred to as a grid mode) dedicated to a visually impaired person using only the opening area of the small window 251 of the front cover 241 as an operation area. Switch.
  • UI buttons are arranged in a 3 ⁇ 3 arrangement in the area of the display 35 corresponding to each of the nine divided areas of the small window 251 of the front cover 241.
  • the UI button corresponds to an application that executes various functions of the smartphone 31.
  • the visually impaired recognizes what application is assigned to each of the nine UI buttons, and easily uses the projection 252 of the seal 253 attached to the small window 251 as a reference position for the nine divided areas. Recognize the screen and select the desired UI button to launch the app.
  • a voice reading function that reads a touched application or function by voice is enabled.
  • the protrusion 252 is formed by sticking the seal 253 on which the protrusion 252 is formed to the small window 251, but the protrusion 252 may be directly formed on the small window 251.
  • FIG. 37 is a block diagram relating to the UI operation of the smartphone cover 231 and the information processing apparatus 1 as the smartphone 31.
  • the information processing apparatus 1 in the configuration of the information processing apparatus 1 in FIG. 37, only the minimum configuration necessary for performing processing linked to the smartphone cover 231 is illustrated. Therefore, when the information processing apparatus 1 as the smartphone 31 has the above-described pedestrian crossing walking guide function and other functions, the information processing apparatus 1 also includes a configuration necessary for executing the function. ing.
  • the smartphone cover 231 includes a magnet 254 and an NFC tag 255.
  • the information processing apparatus 1 includes a magnetic force detection unit 271 and an NFC communication unit 272 in addition to the operation unit 14, the storage unit 15, the processing unit 16, and the output unit 17.
  • the NFC tag 255 is a communication device that performs proximity communication according to ISO / IEC 18092 or ISO / IEC 14443.
  • the NFC tag 255 stores UI arrangement information including UI button coordinate information indicating the arrangement (coordinate position) of UI buttons and UI button specifying information for specifying UI buttons arranged in nine 3 ⁇ 3 divided areas in the internal memory. To remember.
  • the NFC tag 255 also stores NFC tag identification information for identifying itself (each NFC tag for the reader / writer) in the internal memory.
  • the NFC tag 255 transmits UI arrangement information to the NFC communication unit 272 by proximity communication when the NFC communication unit 272 of the information processing apparatus 1 is in proximity.
  • the magnetic force detection unit 271 detects whether the front cover 241 of the smartphone cover 231 is closed by detecting the magnet 254, and supplies the detection result to the processing unit 16.
  • the NFC communication unit 272 is an NFC device serving as a reader / writer that performs near field communication according to NFC tag 255 and ISO / IEC 18092 or ISO / IEC 14443, and supplies power by supplying electromagnetic waves to NFC tag 255.
  • the UI arrangement information stored in the NFC tag 255 is acquired (received) and supplied to the processing unit 16.
  • the NFC communication unit 272 acquires the NFC tag identification information when detecting the adjacent NFC tag 255.
  • the type of the smartphone cover 231 can be identified by the acquired NFC tag identification information.
  • the processing unit 16 When it is supplied from the magnetic force detection unit 271 that the front cover 241 of the smartphone cover 231 is closed, the processing unit 16 acquires UI arrangement information from the NFC tag 255 of the smartphone cover 231 to the NFC communication unit 272. Let And the process part 16 switches the display of the display which is a part of the output part 17 to the grid mode corresponding to the opening area
  • the processing unit 16 can be set to turn off the backlight in order to reduce power consumption when the grid mode dedicated to the visually impaired is set.
  • a cover close detection process which is a process in which the information processing apparatus 1 as the smartphone 31 detects that the front cover 241 has been closed and executes a predetermined process, will be described with reference to the flowchart of FIG. . This process is started, for example, when the information processing apparatus 1 is powered on.
  • step S201 the processing unit 16 determines whether or not the front cover 241 is closed based on the detection result of the magnetic force detection unit 271, and waits until it is determined that the front cover 241 is closed.
  • step S201 If it is determined in step S201 that the front cover 241 is closed, the process proceeds to step S202, and the processing unit 16 sets the NFC tag 255 of the smartphone cover 231 attached to the NFC communication unit 272. Let it be detected.
  • step S203 the NFC communication unit 272 detects the NFC tag 255 under the control of the processing unit 16, and acquires UI arrangement information from the NFC tag 255.
  • the acquired UI arrangement information is supplied to the processing unit 16.
  • step S204 the processing unit 16 switches the display on the display, which is a part of the output unit 17, to the grid mode corresponding to the opening area of the small window 251 of the smartphone cover 231 according to the acquired UI arrangement information.
  • the grid mode nine UI buttons defined by the UI button definition information are arranged in the area of the display 35 corresponding to the opening area of the small window 251 of the front cover 241 according to the UI arrangement information acquired from the smartphone cover 231.
  • step S ⁇ b> 205 the processing unit 16 detects a registered application execution operation that detects whether an operation for executing any of the apps assigned to the UI buttons arranged in the grid mode (hereinafter referred to as a registered app) has been performed. Execute the process. The details of this process will be described later with reference to FIG. 40 and the like, and by this process, it is determined whether there is an execution operation of the registered application.
  • step S206 the processing unit 16 determines whether an execution operation of the registered application is detected as a result of the registered application execution operation detection process.
  • step S206 If it is determined in step S206 that the registered application execution operation has not been detected, the process returns to step S205, and the registered application execution operation detection process is executed again. In other words, the processing unit 16 waits until it is determined that an execution operation of the registered application is detected.
  • step S206 If it is determined in step S206 that an execution operation for the registered application has been detected, the process proceeds to step S207, and the processing unit 16 activates the registered application for which the execution operation has been detected.
  • the activated registered application is executed in parallel with the cover close detection process.
  • step S207 After the registered application is activated in step S207, the process returns to step S205, and the registered application execution operation detection process is executed again. Therefore, the processing unit 16 waits again until it is determined that the execution operation of the registered application is detected.
  • a cover open detection process which is a process in which the information processing apparatus 1 as the smartphone 31 detects that the front cover 241 has been opened and executes a predetermined process, will be described with reference to the flowchart in FIG. .
  • This process is started, for example, when the cover close detection process of FIG. 38 is executed, and is executed in parallel with the cover close detection process.
  • step S221 the processing unit 16 determines whether the front cover 241 has been opened based on the detection result of the magnetic force detection unit 271, and waits until it is determined that the front cover 241 has been opened.
  • step S221 If it is determined in step S221 that the front cover 241 has been opened, the process proceeds to step S222, and the processing unit 16 ends the grid mode of the display and ends the cover open detection process.
  • the information processing apparatus 1 detects that the front cover 241 of the smartphone cover 231 is closed, and automatically performs a grid mode that is easy for the visually impaired to operate.
  • the grid mode is automatically terminated.
  • necessary UI buttons can be automatically assigned without setting by the user, so that visually impaired persons can easily start up and operate the app.
  • a guide application that executes a pedestrian crossing guide process and a passing point guide reproduction process may be activated.
  • step S241 the processing unit 16 determines whether a predetermined UI button arranged in the grid mode has been touched, and waits until it is determined that the predetermined UI button has been touched.
  • step S241 If it is determined in step S241 that the predetermined UI button has been touched, the process proceeds to step S242, and the processing unit 16 controls the speaker that is a part of the output unit 17 and assigns it to the touched UI button. Read the registered app.
  • step S243 the processing unit 16 starts a timer for counting the time after the UI button is touched.
  • step S244 the processing unit 16 determines whether or not the UI button whose touch is detected in step S241 remains touched.
  • step S244 If it is determined in step S244 that the UI button remains touched, the process proceeds to step S245, and it is determined whether a predetermined time has elapsed. If it is determined in step S245 that the predetermined time has not yet elapsed, the process returns to step S244. Accordingly, in step S244, it is determined whether or not the UI button whose touch is detected in step S241 remains touched for a predetermined time.
  • step S244 If it is determined in step S244 that the touched UI button is no longer touched without waiting for a predetermined time, the process proceeds to step S246, and the processing unit 16 ends the timer started in step S243.
  • step S247 the processing unit 16 determines that there is no registered application execution operation, ends the registered application execution operation detection process, and returns the process to the cover close detection process in FIG.
  • step S245 if it is determined in step S245 that the predetermined time has passed while the UI button whose touch is detected in step S241 is being touched, the process proceeds to step S248, and the processing unit 16 executes the registered application. It is determined that there is an operation, the registered application execution operation detection process is terminated, and the process returns to the cover close detection process of FIG.
  • the visually registered person executes the visual registration application when the predetermined UI button is not simply touched but the touched state continues for a predetermined time. It is determined that Thereby, the erroneous operation of the touch operation by the visually impaired can be prevented.
  • FIG. 41 is a diagram showing another display example in the grid mode.
  • the registered application is assigned to each of the 9 ⁇ 3 divided areas displayed in the opening area of the small window 251 of the front cover 241.
  • 12 divided areas of 3 ⁇ 4 are formed corresponding to the opening area of the small window 251, and the registered application is allocated to the 10 divided areas.
  • a “return” button and a “decision” button are assigned to the remaining two (for example, the positions of the lower left corner and the lower right corner in the example of FIG. 41). In this way, nine 3 ⁇ 3 divided areas may be arranged with respect to the opening area of the small window 251, or twelve 3 ⁇ 4 divided areas may be arranged.
  • FIG. 42 shows a flowchart of the registered application execution operation detection process when the display shown in FIG. 41 is displayed in the grid mode.
  • step S261 the processing unit 16 determines whether a predetermined UI button arranged in the grid mode has been touched, and waits until it is determined that the predetermined UI button has been touched.
  • step S261 If it is determined in step S261 that a predetermined UI button has been touched, the process proceeds to step S262, and the processing unit 16 determines whether the touched UI button is a “decision” button.
  • step S262 If it is determined in step S262 that the touched UI button is not the “OK” button, the process proceeds to step S263, and the processing unit 16 controls the speaker that is a part of the output unit 17 and is touched. Read the registered app assigned to the UI button.
  • step S264 the processing unit 16 registers the registered application of the touched UI button as a startup application candidate. If the UI button to which the registered application is assigned is repeatedly touched, the registered activation application candidate is overwritten, and only the registered application information touched last is stored as the activation application candidate. After step S264, the process returns to step S261.
  • step S262 determines whether a startup application candidate is registered.
  • step S265 If it is determined in step S265 that the activation application candidate is not registered, the process proceeds to step S266, and the processing unit 16 determines that there is no execution operation of the registered application, and ends the registered application execution operation detection process. Then, the process returns to the cover close detection process of FIG.
  • step S265 if it is determined in step S265 that the startup application candidate is registered, the process proceeds to step S267, and the processing unit 16 determines that there is an execution operation for the registered application, and performs a registered application execution operation detection process. And the process returns to the cover close detection process of FIG. In step S207 of FIG. 38, the registered activation application candidate is activated.
  • the erroneous operation of the touch operation by the visually impaired person is performed by executing the above registered application execution operation detection process. It is possible to prevent and activate a desired registered application.
  • a sticker 253 having a protrusion 252 is attached to the central portion of the small window 251 of the front cover 241 so that the visually impaired can recognize the arrangement of nine 3 ⁇ 3 UI buttons. It was done.
  • a Braille seal 281 may be attached to each of the nine divided regions of the small window 251.
  • the Braille characters on the Braille sticker 281 may represent the positions of nine divided areas, or may represent the contents of the registered application.
  • nine divided areas may be recognized by directly forming concave and convex cells on the small window 251 formed of a transparent material.
  • the information processing apparatus 1 assigns nine 3 ⁇ 3 UI applications to the opening area of the small window 251 of the smartphone cover 231, as illustrated in FIG. 44.
  • four 2 ⁇ 2 UI applications may be assigned.
  • any other number of UI applications may be assigned.
  • the UI arrangement information stored in the NFC tag 255 can be different for each smartphone cover 231.
  • the registered application can be changed by changing the smartphone cover 231.
  • the smartphone cover 231 can be identified by NFC tag identification information.
  • the processing unit 16 of the information processing device 1 does not adopt UI button definition information among the UI button coordinate information and the UI button definition information included in the UI arrangement information acquired from the NFC tag 255 of the smartphone cover 231, and is visually impaired.
  • UI button definition information set by the person himself / herself in the information processing apparatus 1 may be adopted.
  • the visually impaired person who is the user of the information processing apparatus 1 sets, for example, what kind of application is assigned to each of the nine divided areas in the information processing apparatus 1, and the processing unit 16 determines according to the setting.
  • UI buttons may be placed.
  • the UI button specification information acquired from the NFC tag 255 of the smartphone cover 231 is acquired as default UI button specification information, but when the UI button specification information set by the user himself / herself exists, They are used preferentially.
  • the processing unit 16 controls the NFC communication unit 272 to transmit the UI button definition information set by the user of the information processing apparatus 1 to the NFC tag 255 by the proximity communication, and stores the UI button stored in the NFC tag 255. You may enable it to overwrite button regulation information.
  • FIG. 45 is a block diagram illustrating a hardware configuration example of the information processing apparatus 1.
  • the information processing apparatus 1 includes a central processing unit (CPU) 301, a read only memory (ROM) 303, and a random access memory (RAM) 305.
  • the information processing apparatus 1 may include a host bus 307, a bridge 309, an external bus 311, an interface 313, an input device 315, an output device 317, a storage device 319, a drive 321, a connection port 323, and a communication device 325. Further, the information processing apparatus 1 may include an imaging device 333 and a sensor 335.
  • the information processing apparatus 1 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 301.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 301 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 1 according to various programs recorded in the ROM 303, the RAM 305, the storage device 319, or the removable recording medium 327.
  • the ROM 303 stores programs and calculation parameters used by the CPU 301.
  • the RAM 305 temporarily stores programs used in the execution of the CPU 301, parameters that change as appropriate during the execution, and the like.
  • the CPU 301, the ROM 303, and the RAM 305 are connected to each other by a host bus 307 configured by an internal bus such as a CPU bus. Further, the host bus 307 is connected to an external bus 311 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 309.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 315 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 315 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 329 such as a mobile phone that supports the operation of the information processing device 1.
  • the input device 315 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 301. The user operates the input device 315 to input various data to the information processing device 1 and instruct processing operations.
  • the output device 317 is configured by a device that can notify the user of acquired information using a sense such as vision, hearing, or touch.
  • the output device 317 is, for example, an LCD (Liquid It can be a display device such as a Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 317 outputs the result obtained by the processing of the information processing device 1 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 319 is a data storage device configured as an example of a storage unit of the information processing device 1.
  • the storage device 319 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 319 stores, for example, programs executed by the CPU 301, various data, and various data acquired from the outside.
  • the drive 321 is a reader / writer for a removable recording medium 327 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 1.
  • the drive 321 reads information recorded on the mounted removable recording medium 327 and outputs the information to the RAM 305. Further, the drive 321 writes a record in the mounted removable recording medium 327.
  • the connection port 323 is a port for connecting a device to the information processing apparatus 1.
  • the connection port 323 can be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 323 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 325 is a communication interface configured by a communication device for connecting to the communication network 331, for example.
  • the communication device 325 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB). Further, the communication device 325 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 325 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 331 connected to the communication device 325 is a wired or wireless network, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 333 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element.
  • an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device)
  • CCD Charge Coupled Device
  • This is an apparatus for capturing a real space and generating a captured image.
  • the imaging device 333 may capture a still image or may capture a moving image.
  • the sensor 335 is, for example, various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, or a sound sensor (microphone).
  • the sensor 335 acquires information about the state of the information processing device 1 itself, such as the attitude of the housing of the information processing device 1, and information about the surrounding environment of the information processing device 1, such as brightness and noise around the information processing device 1. To do.
  • the sensor 335 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
  • GPS Global Positioning System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • Embodiments of the present disclosure include, for example, an information processing apparatus, a system (visually impaired person walking support system) as described above, an information processing method executed by the information processing apparatus or system, and a function of the information processing apparatus. It may include a program and a non-transitory tangible medium on which the program is recorded.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • a direction determining unit that determines a direction in which a person who acts without using sight walks;
  • An information processing apparatus comprising: a first guide information generation unit that generates guide information for a person who acts without using the sight in the determined direction to walk.
  • the direction determination unit determines a direction in which a person who acts without using the visual sense walks based on a matching result obtained by matching a reference image stored in advance with a still image captured at the present time. ).
  • the direction determining unit extracts a feature point corresponding to the feature point of the reference image from the still image, and based on a matching result obtained by matching the corresponding feature points, a person who acts without using the vision walks The information processing apparatus according to (2), wherein a direction is determined.
  • the direction determination unit changes a region of the still image that matches corresponding feature points with a color of a signal reflected in the still image.
  • the direction determining unit estimates the direction in which the person who acts without using the sight is directed by calculating the azimuth in the still image and the azimuth of the photographing unit when the still image is photographed.
  • the information processing apparatus according to any one of (2) to (5), wherein a person who acts without using the vision determines a walking direction.
  • the direction determination unit integrates the direction information estimated for each of the plurality of still images, estimates a direction in which a person who acts without using the vision is facing, and acts without using the vision
  • the information processing apparatus according to any one of (2) to (6), wherein a direction in which a person walks is determined.
  • the direction determining unit weights and averages the directions estimated in each of the plurality of still images, estimates a direction in which a person who acts without using the vision is facing, and acts without using the vision
  • the information processing apparatus according to (7), wherein a direction in which the person walks is determined.
  • the information processing apparatus according to any one of (2) to (8), further including a registration unit that registers the reference image.
  • the first guide information generation unit includes a calculation unit that calculates a deviation amount from the determined direction based on pedestrian autonomous navigation; The information processing apparatus according to any one of (1) to (9), wherein the calculation unit calculates a lateral shift amount from the determined direction and a shift of a body direction with respect to the determined direction. .
  • the direction determining unit determines a direction in which a person who acts without using the sight walks before a pedestrian crossing,
  • the first guide information generation unit generates guide information for a person who acts without using the visual sense to walk in a determined direction while walking on a pedestrian crossing.
  • Any of (1) to (10) An information processing apparatus according to claim 1.
  • the information processing apparatus (14) The information processing apparatus according to (13), wherein the second guide information generation unit generates voice stored in association with a passing point close to the current location as guide information related to the passing point.
  • a third guide that recognizes a positional relationship between a person who acts without using the sight and an unmanned aircraft that tracks the person, and generates guide information for guiding the person who acts without using the sight to a correct position.
  • the information processing apparatus according to any one of (1) to (14), further including an information generation unit.
  • the information processing apparatus according to any one of (1) to (14), further including a third guide information generation unit.
  • the information processing apparatus is a smartphone, A detection unit for detecting whether the smartphone cover is closed; The information processing apparatus according to any one of (1) to (16), further including: a display control unit that switches display on the display when the smartphone cover is closed.
  • Information processing device The person who acts without using sight determines the walking direction, An information processing method including a step of generating guide information for a person who acts without using the sight in the determined direction to walk.
  • SYMBOLS 1 Information processing apparatus 11 Camera, 12 Direction sensor, 13 GPS sensor, 14 Operation part, 15 Storage part, 16 Processing part, 17 Output part, 51 Ref image registration part, 61 Direction determination part, 62 Guide information generation part, 63 PDR operation unit, 121 Microphone, 141 voice registration unit, 142 passing point notification unit, 191 short-range wireless communication unit, 211 Ref image registration unit, 212 guide information generation unit, 231 smartphone cover, 241 front cover, 254 magnet, 255 NFC tag, 271 magnetic force detection Unit, 272 NFC communication unit, 301 CPU, 303 ROM, 305 RAM, 315 input device, 317 output device, 319 storage device, 333 imaging device, 335 sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Pain & Pain Management (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Rehabilitation Tools (AREA)

Abstract

【課題】視覚を用いずに行動する者が正しい方向に安全に歩行することができるようにする。 【解決手段】処理部は、方向決定部と、ガイド情報生成部とを有する。方向決定部は、視覚を用いずに行動する者が歩く方向を決定する。ガイド情報生成部は、決定した方向へ視覚を用いずに行動する者が歩くためのガイド情報を生成する。本技術は、例えば、視覚を用いずに行動する者が使用するスマートフォン等に適用できる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、視覚を用いずに行動する者が正しい方向に安全に歩行することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　視覚を用いずに行動する視覚障害者は、白杖を用いて、歩道に敷設された点字ブロックなどを頼りに目的地まで歩行する。視覚障害者の目的地までの移動を補助する誘導システムは、これまでにも開発されている（例えば、特許文献１参照）。
特開平８－６６４４１号公報
　しかしながら、視覚障害者にとって、例えば、音響信号やエスコートゾーンのない４車線以上の広い横断歩道や、点字ブロックがなく、広く平坦な路面を歩行する際に、正しい方向が把握しづらいため、正しい方向に向かって歩いているかわからないという不安があり、このような不安を解決できるものがなかった。
　本技術は、このような状況に鑑みてなされたものであり、視覚を用いずに行動する者が正しい方向に安全に歩行することができるようにするものである。
　本技術の一側面の情報処理装置は、視覚を用いずに行動する者が歩く方向を決定する方向決定部と、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する第１のガイド情報生成部とを備える。
　本技術の一側面の情報処理方法は、情報処理装置が、視覚を用いずに行動する者が歩く方向を決定し、決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するステップを含む。
　本技術の一側面のプログラムは、コンピュータを、視覚を用いずに行動する者が歩く方向を決定する方向決定部と、決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するガイド情報生成部として機能させるためのものである。
　本技術の一側面においては、視覚を用いずに行動する者が歩く方向が決定され、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報が生成される。
　なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本技術の一側面によれば、視覚を用いずに行動する者が正しい方向に安全に歩行することができるようになる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の第１の視覚障害者歩行支援システムの概要を説明する図である。 第１の視覚障害者歩行支援システムを実現する情報処理装置の構成例を示すブロック図である。 情報処理装置が行う横断方向決定処理の基本原理を説明する図である。 視覚障害者による第１の視覚障害者歩行支援システムの使用例を示す図である。 第１の視覚障害者歩行支援システムにおける処理部の機能ブロック図である。 Ref画像登録処理を説明するフローチャートである。 図６のステップＳ５とＳ６の処理例を示す図である。 横断歩道ガイド処理を説明するフローチャートである。 図８のステップＳ２６の方向検出処理の詳細なフローチャートである。 ステップＳ６０の処理例を示す図である。 PDR演算部の出力を説明する図である。 Ref画像の変形例を示す図である。 探索領域の変形例を示す図である。 マッチング処理の変形例を示す図である。 方向検出処理の変形例を示す図である。 方向検出処理の変形例を示す図である。 方向検出処理の変形例を示す図である。 横断歩道ガイド処理の変形例を示す図である。 全経路ガイド機能の概要を説明する図である。 ガイド情報として障害物情報を録音する例を示す図である。 ガイド情報として横断歩道の手がかりを録音する例を示す図である。 全経路ガイド機能を実行する場合の情報処理装置の構成例を示すブロック図である。 全経路ガイド機能を実行する場合の処理部の機能ブロック図である。 全経路ガイド機能の音声登録処理を説明するフローチャートである。 全経路ガイド機能の通過点ガイド再生処理を説明するフローチャートである。 追加の全経路ガイド機能を説明する図である。 第２の視覚障害者歩行支援システムの概要を説明する図である。 第２の視覚障害者歩行支援システムの構成例を示すブロック図である。 第２の視覚障害者歩行支援システムにおける処理部の機能ブロック図である。 登録モード時のドローンの画像送信処理を説明するフローチャートである。 登録モード時の情報処理装置の画像受信処理を説明するフローチャートである。 ガイドモード時のドローンの画像送信処理を説明するフローチャートである。 ガイドモード時の情報処理装置の画像受信処理を説明するフローチャートである。 第２の視覚障害者歩行支援システムの変形例を示す図である。 マーカの他の例を示す図である。 スマートフォンカバーの外観例を説明する図である。 スマートフォンカバーと連携する情報処理装置のUI操作に関するブロック図である。 カバークローズ検出処理を説明するフローチャートである。 カバーオープン検出処理を説明するフローチャートである。 図３８のステップＳ２０５の登録アプリ実行操作検出処理を説明するフローチャートである。 グリッドモードの他の表示例を示す図である。 図４１のグリッドモード時の登録アプリ実行操作検出処理を説明するフローチャートである。 スマートフォンカバーの小窓に貼り付けられるシールの他の例を示す図である。 グリッドモードの他の表示例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。１．第１の視覚障害者歩行支援システム
　１．１　第１の視覚障害者歩行支援システムの概要
　１．２　情報処理装置の構成例
　１．３　横断方向決定処理の基本原理
　１．４　スマートフォンを用いた使用例
　１．５　処理部の機能ブロック図
　１．６　Ref画像登録処理
　１．７　横断歩道ガイド処理
　１．８　Ref画像登録処理及び横断歩道ガイド処理の変形例２．全経路ガイド機能
　２．１　全経路ガイド機能の概要
　２．２　情報処理装置の構成例
　２．３　処理部の機能ブロック図
　２．４　音声登録処理
　２．５　通過点ガイド再生処理３．第２の視覚障害者歩行支援システム
　３．１　第２の視覚障害者歩行支援システムの概要
　３．２　第２の視覚障害者歩行支援システムの構成例
　３．３　処理部の機能ブロック図
　３．４　登録モード時のドローンの画像送信処理
　３．５　登録モード時の情報処理装置の画像受信処理
　３．６　ガイドモード時のドローンの画像送信処理
　３．７　ガイドモード時の情報処理装置の画像受信処理
　３．８　第２の視覚障害者歩行支援システムの変形例４．スマートフォンカバー
　４．１　スマートフォンカバーの外観例
　４．２　ブロック図
　４．３　カバークローズ検出処理
　４．４　カバーオープン検出処理
　４．５　登録アプリ実行操作検出処理

　４．６　登録アプリ実行操作検出処理の他の例
　４．７　小窓に貼り付けられるシールの他の例
　４．８　小窓に割り当てられるUIアプリ配置の他の例５．情報処理装置のハードウェア構成例
＜１．第１の視覚障害者歩行支援システム＞
＜１．１　第１の視覚障害者歩行支援システムの概要＞
　初めに、図１を参照して、本開示の第１の視覚障害者歩行支援システムの概要について説明する。
　本開示の第１の視覚障害者歩行支援システムは、視覚障害者（視覚を用いずに行動する者）の横断歩道の歩行を支援する２種類の歩行支援処理を少なくとも備える。
　１つの歩行支援処理は、図１の左に示されるように、視覚障害者が横断歩道を渡る際に、正しい横断方向を視覚障害者が向くように、歩く方向を決定する横断方向決定処理である。横断方向決定処理は、渡るべき横断歩道の手前の位置（以下、横断ポイントという。）で、例えば、「右」、「左」のように視覚障害者に知らせることによって、正しい横断方向を視覚障害者が向くように支援する。
　もう１つの歩行支援処理は、図１の右に示されるように、上述の横断方向決定処理によって視覚障害者が正しい横断方向を向いた後、視覚障害者が横断歩道を歩いている最中に、正しい横断方向へ歩くためのガイド情報を生成するガイド情報生成処理である。ガイド情報生成処理は、例えば、「右」、「左」のように視覚障害者に知らせることによって、視覚障害者が正しい横断方向から逸れずに、横断歩道を渡るように支援する。
　以下、本開示の第１の視覚障害者歩行支援システムの詳細について説明する。
＜１．２　情報処理装置の構成例＞
　図２は、本開示の第１の視覚障害者歩行支援システムを実現する情報処理装置の構成例を示すブロック図である。
　図２の情報処理装置１は、例えば、スマートフォンなどの携帯端末で構成することができ、カメラ１１、方向センサ１２、GPS(Global Positioning System)センサ１３、操作部１４、記憶部１５、処理部１６、及び出力部１７を有する。
　カメラ１１は、例えば、CMOS（Complementary　Metal　Oxide　Semiconductor）センサまたはCCD（Charge　Coupled　Device）などの撮像素子で構成され、横断歩道などの被写体を撮影し、その結果得られる画像を処理部１６に供給する。
　方向センサ１２は、情報処理装置１が向いている方向及び動いた方向を検出するセンサであり、検出結果を処理部１６に供給する。方向センサ１２は、例えば、ジャイロセンサ（角速度センサ）、加速度センサ、慣性センサ、地磁気センサなどのうち、１つまたは２つ以上を有する。方向センサ１２が検出できる方向は、地磁気センサのように絶対的な方向でもよいし、所定の方向を基準とした相対的な方向でもよい。
　GPSセンサ１３は、自身の位置を示す緯度経度のデータを、一定時間間隔（たとえば、１５秒間隔）で順次取得し、処理部１６に供給する。
　操作部１４は、例えば、操作ボタン、タッチセンサなどで構成され、ユーザの操作を検出し、検出した操作に対応する操作信号を処理部１６に供給する。なお、操作部１４は、
例えば、Bluetooth（登録商標）などの近距離無線通信機能と操作ボタンを備えるリストバンド型のリモートコントローラなどで構成される外部の入力装置１４Aと、近距離無線通信により連携して動作することも可能である。
　記憶部１５は、例えば、ＨＤＤ（Hard　Disk　Drive）や半導体メモリなどで構成され、処理部１６で実行されるプログラムや、カメラ１１や方向センサ１２などの各部が動作するために必要な各種のデータを記憶する。また、記憶部１５は、カメラ１１で撮影した画像なども記憶する。
　処理部１６は、例えば、CPU（Central Processing Unit）やMPU（Micro Processing Unit）などで構成され、記憶部１５から読み出された所定のプログラムを実行することによって、上述した横断方向決定処理及びガイド情報生成処理を実行する。
　出力部１７は、処理部１６からの制御に基づき、映像、音、力（振動、動き）などを出力する。出力部１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの映像出力部、スピーカなどの音声出力部、力、振動、動きなどを出力するハプティクス出力部などで構成される。
　なお、出力部１７は、Bluetooth（登録商標）などの近距離無線通信機能と操作ボタンとを備えるイヤホンやヘッドセットなどで構成される外部の出力装置１７Aと、近距離無線通信により連携して動作することも可能である。
＜１．３　横断方向決定処理の基本原理＞
　図３を参照して、情報処理装置１が行う横断方向決定処理の基本原理について説明する。
　視覚障害者は、出発地から所定の目的地までの移動経路を歩行する際に、最初に同行援護者とともに歩行し、移動経路に存在する各横断歩道において、渡りたい正しい方向の静止画像を撮影し、情報処理装置１に登録する。情報処理装置１は、撮影された静止画像とともに、GPSセンサ１３で取得された撮影地点の位置情報を記憶する。情報処理装置１に登録された静止画像は、２回目以降の移動時に参照されるリファレンス画像（以下、Ref画像という。）となる。同行援護者は晴眼者であるため、Ref画像が、横断歩道の正しい方向が撮影されている画像であるかを確認することができる。
　そして、視覚障害者が、２回目以降、出発地から所定の目的地まで単独で歩行する際、移動経路に存在する各横断歩道において、情報処理装置１は、Ref画像を基に、横断方向の渡るべき正しい方向をガイドする。具体的には、情報処理装置１は、歩行中に撮影した静止画像（以下、現画像という。）とRef画像とのマッチング処理を行うことにより、横断方向の渡るべき正しい方向を決定し、視覚障害者にガイドする。
　以上の横断方向決定処理によって横断方向の渡るべき正しい方向が決定された後、次のガイド情報生成処理では、その正しい横断方向を基準方向として、横断歩道を歩いている最中のガイド情報が生成され、視覚障害者に通知される。
＜１．４　スマートフォンを用いた使用例＞
　図４は、情報処理装置１としてスマートフォンを用いた場合の、視覚障害者による第１の視覚障害者歩行支援システムの使用例を示している。
　情報処理装置１としてのスマートフォン３１が、ネックストラップ３２とチェストストラップ３３とによって、視覚障害者に装着されている。スマートフォン３１は、カメラ３
４の撮影方向が進行方向を向くように配置されている。
　視覚障害者の耳には、入力装置１４A及び出力装置１７Aとしてのワイヤレスイヤホン４１が装着されている。ワイヤレスイヤホン４１は、例えばBluetooth（登録商標）などの近距離無線通信によってスマートフォン３１からの音声信号を受信し、音として出力する。本実施の形態では、「右」、「左」のような音声アナウンスが出力される。
　また、ワイヤレスイヤホン４１は、操作ボタン４２を備え、視覚障害者による操作ボタン４２の押下を検出し、押下の操作信号をスマートフォン３１に供給する。視覚障害者は、右手で白杖４３を持ち、左手でワイヤレスイヤホン４１の操作ボタン４２を操作することができる。
＜１．５　処理部の機能ブロック図＞
　図５は、情報処理装置１の処理部１６の機能ブロック図である。
　処理部１６は、横断方向決定処理とガイド情報生成処理を実行するために、登録モードとガイドモードの２つの動作モードを備える。
　登録モードは、初回歩行時にRef画像を登録する際に実行される動作モードである。処理部１６は、登録モード時に実行する実行モジュールとして、Ref画像登録部５１を有する。Ref画像登録部５１は、同行援護者の操作によってカメラ１１で撮影されたRef画像を取得し、記憶部１５に登録する。
　一方、ガイドモードは、２回目以降の歩行時に実行される動作モードである。処理部１６は、ガイドモード時に実行する実行モジュールとして、方向決定部６１とガイド情報生成部６２を有する。
　方向決定部６１は、視覚障害者が横断歩道を渡る前に、初回歩行時に登録されたRef画像に基づいて、正しい横断方向を決定する。
　ガイド情報生成部６２は、横断歩道を横断中に正しい方向から逸れないように視覚障害者にガイド情報を生成して出力する。より具体的には、ガイド情報生成部６２は、方向決定部６１によって決定された横断方向を基準方向に設定し、視覚障害者が横断歩道を横断している際の基準方向からのずれ量を算出し、算出したずれ量に基づいてガイド情報を生成し、視覚障害者に通知する。ガイド情報生成部６２は、方向センサ１２が出力するセンサ信号を用いて、歩行者自律航法（PDR: pedestrian dead reckoning）に基づいて横断歩道前の基準位置（横断ポイント）からの相対位置を計算するPDR演算部６３を有する。
　処理部１６が、CPU等の演算処理装置が所定のプログラムを実行することによって実現される場合、処理部１６全体が１つのアプリケーションプログラム（以下、単にアプリという。）で構成されてもよいし、登録モードとガイドモードがそれぞれ別のアプリで構成されてもよい。あるいはまた、Ref画像登録部５１、方向決定部６１、及び、ガイド情報生成部６２のそれぞれが、別のアプリで構成されてもよい。
　本実施の形態では、登録モードとガイドモードがそれぞれ別のアプリで構成されているとして説明する。例えば、操作部１４としてのタッチパネルディスプレイを操作して、登録アプリを実行する操作が行われると、Ref画像登録部５１が起動され、ガイドアプリを実行する操作が行われると、方向決定部６１及びガイド情報生成部６２が起動される。
＜１．６　Ref画像登録処理＞ 
　次に、図６のフローチャートを参照して、登録モードにおいてRef画像登録部５１により実行されるRef画像登録処理について説明する。この処理は、例えば、視覚障害者が同行援護者を伴って出発地から所定の目的地までの移動を開始するタイミングにおいて登録アプリを実行したときに開始される。
　初めに、ステップＳ１において、Ref画像登録部５１は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。
　視覚障害者は、同行援護者とともに所定の目的地までの移動経路を歩行する。同行援護者は、移動経路に存在する横断歩道に到着したとき、情報処理装置１において、渡りたい正しい方向の静止画像を撮影する操作を行う。
　ステップＳ２において、Ref画像登録部５１は、同行援護者による撮影操作を検出したかを判定し、撮影操作を検出したと判定されるまで、ステップＳ２の処理を繰り返す。
　そして、ステップＳ２で、撮影操作を検出したと判定された場合、処理はステップＳ３に進み、Ref画像登録部５１は、カメラ１１を制御して撮影させる。カメラ１１は、Ref画像登録部５１の制御に従い、渡りたい方向の静止画像を撮影する。撮影により得られた静止画像は、Ref画像として、Ref画像登録部５１に供給される。
　続いて、ステップＳ４において、Ref画像登録部５１は、現在の位置情報と時刻情報を取得する。即ち、Ref画像登録部５１は、GPSセンサ１３から供給される現在の緯度経度を示す位置情報と、ステップＳ１においてカウントを開始してからの経過時間を、現在の位置情報及び時刻情報として取得する。
　ステップＳ５において、Ref画像登録部５１は、カメラ１１から供給されたRef画像に対して、ガイドモード時に撮影される現画像とマッチング処理を行う領域であるマッチング領域を設定する。
　ステップＳ６において、Ref画像登録部５１は、Ref画像に設定されたマッチング領域の画像の特徴点を抽出する。
　図７は、ステップＳ５とＳ６の処理例を示す図である。
　図７では、カメラ１１から供給されたRef画像８１に対してマッチング領域８２が設定されている。また、マッチング領域８２の画像に対して抽出された５個の特徴点PA１乃至PA５が示されている。
　マッチング領域８２は、Ref画像登録部５１が所定の条件に基づいて自動で設定してもよいし、同行援護者の操作に基づいて設定してもよい。
　例えば、Ref画像登録部５１が自動でマッチング領域８２を設定する場合、例えば、下側半分は横断歩道が映り込むことが多いので、上側半分で、かつ、左右方向については中央部分の全体の1/2幅の領域、などのように、Ref画像８１の全体における所定位置がマッチング領域８２に決定される。あるいはまた、Ref画像８１に含まれる信号機や横断歩道の位置を基準に所定の領域をマッチング領域８２に決定してもよい。
　一方、同行援護者の操作に基づいてマッチング領域８２を設定する場合には、例えば、Ref画像登録部５１は、マッチング領域８２を規定するウインドウをRef画像８１に重畳させて、同行援護者にウインドウを操作してもらい、決定することができる。
　また、マッチング領域８２の画像に対する特徴点の抽出には、例えば、AKAZEやORBなどの局所特徴量を用いた抽出アルゴリズムを採用することができる。特徴点抽出処理は、OpenCV(Open Source Computer Vision Library)で提供されている。実際の特徴点抽出処理では、特徴点が多数検出されるが、図７の例では、図が煩雑になるのを防ぐため、５個の特徴点PA１乃至PA５だけが示されている。
　図６に戻り、ステップＳ７において、Ref画像登録部５１は、カメラ１１から供給されたRef画像と、マッチング領域情報、特徴点情報、位置情報、及び、時刻情報とを対応付けて記憶部１５に記憶させる。マッチング領域情報は、Ref画像内のマッチング領域を示す情報であり、例えば、マッチング領域の四隅の座標である。特徴点情報は、マッチング領域で検出された各特徴点の位置を示す情報である。位置情報と時刻情報は、ステップＳ４で取得されたRef画像が撮影された位置と時刻を示す情報である。
　ステップＳ８において、Ref画像登録部５１は、登録モードを終了するかを判定する。例えば、視覚障害者と同行援護者が目的地へ到着した場合、同行援護者が登録アプリを終了する操作を行うと、登録モードを終了すると判定される。
　ステップＳ８で、登録モードをまだ終了しないと判定された場合、処理はステップＳ２に戻り、上述したステップＳ２乃至Ｓ８の処理が繰り返される。これにより、移動経路に存在する横断歩道（横断ポイント）に到着したとき、同行援護者の操作によって撮影されたRef画像が記憶部１５に記憶されるとともに、Ref画像が撮影されたときの位置や時刻、及び、Ref画像のマッチング領域と特徴点に関する情報が、記憶部１５に記憶される。
　ステップＳ８で、登録モードを終了すると判定された場合、Ref画像登録処理が終了する。
　以上のRef画像登録処理によれば、出発地から目的地までの移動経路に存在する横断歩道の横断ポイントごとに、Ref画像が、そのRef画像のマッチング領域情報及び特徴点情報と、位置情報及び時刻情報とともに、記憶部１５に記憶される。
＜１．７　横断歩道ガイド処理＞
　次に、図８のフローチャートを参照して、ガイドモードにおいて方向決定部６１とガイド情報生成部６２によって実行される横断歩道ガイド処理について説明する。この処理は、例えば、登録モードで登録した移動経路を視覚障害者が単独で歩行する場合に、出発地において移動を開始するタイミングでガイドアプリを実行したときに開始される。方向決定部６１とガイド情報生成部６２は、必要な情報を必要なタイミングで互いにやりとりして実行することができる。
　初めに、ステップＳ２１において、方向決定部６１は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。
　ステップＳ２２において、方向決定部６１は、GPSセンサ１３から現在の位置情報を取得し、取得された現在の位置情報と出発地からの経過時間とに基づいて、記憶部１５にRef画像が登録されている横断ポイントに近づいたかを判定する。より具体的には、方向決定部６１は、記憶部１５に記憶されているRef画像に対応づけて記憶されている位置情報及び時刻情報と、現在の位置情報と経過時間とを比較して、現在の位置情報から所定範囲内の位置が対応付けられたRef画像が記憶部１５に登録されているかを判定する。GPSセンサ１３の位置精度にもよるが、例えば、横断ポイントの５０乃至１００ｍ以内に視覚障害者が到着すると、横断ポイントに近づいたと判定される。横断ポイントは、基本的には位
置情報によって検索され、時刻情報は参考とされる。
　ステップＳ２２で、横断ポイントに近づいたと判定されるまで、ステップＳ２２の処理が繰り返される。
　そして、ステップＳ２２で、横断ポイントが近づいたと判定された場合、処理はステップＳ２３に進み、方向決定部６１は、例えば、「この付近で登録した横断歩道があります」の音声メッセージを出力部１７に出力させ、登録した横断ポイントが近いことを視覚障害者に通知する。
　ステップＳ２４において、方向決定部６１は、横断ポイントに対応するRef画像を記憶部１５から読み出す。
　視覚障害者は、横断歩道の手前まで移動したとき、操作部１４の操作ボタン、または、ワイヤレスイヤホン４１の操作ボタン４２を押下する。
　ステップＳ２５において、方向決定部６１は、視覚障害者によるボタン操作を検出したかを判定し、ボタン操作を検出したと判定するまで、待機する。
　そして、ステップＳ２５で、ボタン操作を検出したと判定された場合、処理はステップＳ２６に進み、方向決定部６１は、方向検出処理を実行する。方向決定処理は、現在位置で静止画像（現画像）を撮影し、撮影された現画像から、Ref画像の特徴点と対応する特徴点を抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて方向を検出する処理である。
　図９は、図８のステップＳ２６の方向検出処理の詳細なフローチャートである。
　方向検出処理では、初めに、ステップＳ５１において、方向決定部６１は、カメラ１１を制御して、静止画像を撮影させる。カメラ１１は、方向決定部６１の制御に従い、静止画像を撮影する。ステップＳ５１で撮影された静止画像が、移動中の現画像となる。
　ステップＳ５２において、方向決定部６１は、撮影により得られた現画像に対して、Ref画像登録処理で実行したときと同じ特徴抽出アルゴリズムを用いて、特徴点を抽出する。
　ステップＳ５３において、方向決定部６１は、現画像に対して抽出された特徴点と、横断ポイントに対応するRef画像の特徴点情報とを用いて、対応する特徴点を検出する特徴点マッチングを行う。例えば、Ref画像の特徴点に対して、ハミング距離などの特徴点距離が最も近い特徴点が、現画像の対応する特徴点として検出される。
　ステップＳ５４において、方向決定部６１は、現画像でマッチングされた特徴点の個数が所定数以上であるかを判定する。
　ステップＳ５４で、マッチングされた特徴点の個数が所定数以上ではないと判定された場合、正確な方向判定ができないと判定され、処理は後述するステップＳ５９のエラー通知処理に進む。
　一方、ステップＳ５４で、マッチングされた特徴点の個数が所定数以上であると判定された場合、処理はステップＳ５５に進み、方向決定部６１は、検出された特徴点のなかから、誤対応点を除去する。例えば、Ref画像の特徴点と、対応する現画像の特徴点を結ぶ 移動ベクトルを、現画像の全ての特徴点について平均した平均ベクトルと一定以上離れた移動ベクトルを有する特徴点が、誤対応点として除去される。
　ステップＳ５６において、方向決定部６１は、誤対応点が除去された後の特徴点を用いて、Ref画像を現画像に射影変換する射影変換行列を演算する。４つ以上の特徴点があれば、射影変換行列は計算することができる。射影変換行列の計算に用いる特徴点には、交通信号（歩行者用、車両用）の画像部分を優先して使用することができる。交通信号（歩行者用、車両用）は輝度情報をもとに昼夜問わず検知ができるため、ロバストな射影推定が可能となる。１枚の画像の中に、交通信号が４つ以上映っていれば、局所特徴量によって検出された特徴点を用いずに、交通信号の移動ベクトルのみで射影変換行列を計算することができる。交通信号に限らず、例えば、看板や交通標識等を使ってもよい。
　ステップＳ５７において、方向決定部６１は、Ref画像のマッチング領域情報を、求められた射影変換行列を用いて変換し、Ref画像のマッチング領域を現画像に射影した射影枠の四隅の頂点座標を演算する。
　ステップＳ５８において、方向決定部６１は、射影枠の各辺の内積を計算することにより、求められた射影枠が四角形に近い形状であるかを判定する。
　ステップＳ５８で、射影枠が四角形に近い形状ではないと判定された場合、処理はステップＳ５９に進み、方向決定部６１は、正確な方向判定ができないと判断し、例えば「方向が検知できません」などの音声メッセージを出力部１７に出力させ、方向検知エラーであることを視覚障害者に通知する。
　ステップＳ５９の後、処理はステップＳ５１に戻り、上述したステップＳ５１乃至Ｓ５８の処理が繰り返される。したがって、方向検出ができない場合には、再度、静止画像の撮影がやり直される。
　一方、ステップＳ５８で、射影枠が四角形に近い形状であると判定された場合、処理はステップＳ６０に進み、方向決定部６１は、撮影された現画像を用いて、視覚障害者の向いている方向を推定する。
　図１０は、ステップＳ６０で実行される、視覚障害者の向いている方向を推定する処理の例を示している。
　現画像１０１が撮影されて特徴点が抽出され、抽出された特徴点が、現在位置に対応するRef画像８１の特徴点とマッチングされて、現画像１０１に対して射影枠１０２が算出されている。
　射影枠１０２の中心方向１０４が、視覚障害者の渡るべき方向として推定される。渡るべき方向は、カメラ１１の視野範囲と画素数との関係から１画素あたりの角度が計算できるため、視覚障害者が装着しているカメラ１１の撮影中心１０３と射影枠１０２の中心方向１０４との水平方向の画素数に基づく角度として算出することができる。より正確に角度を算出するためには、カメラのレンズ歪みなどのキャリブレーション情報も考慮して、渡るべき方向を推定してもよい。
　ステップＳ６０の視覚障害者の向いている方向を推定する処理が終了すると、図９のステップＳ２６における方向検出処理は終了となり、図８に戻って、処理がステップＳ２７に進む。
　図８のステップＳ２７において、方向決定部６１は、方向検出処理で推定された結果に基づいて、視覚障害者が正しい方向を向いているかを判定する。例えば、方向検出処理で推定された角度が所定の範囲内である場合に、正しい方向を向いていると判定される。
　ステップＳ２７で、視覚障害者が正しい方向を向いていないと判定された場合、処理はステップＳ２８に進み、方向決定部６１は、例えば、「右、右、ちょっと右、・・・」や「左、左、ちょっと左、・・・」の音声メッセージを出力部１７に出力させ、修正方向を音声で視覚障害者に通知する。
　ステップＳ２８の後、処理はステップＳ２６に戻り、再度、方向検出処理が実行される。従って、音声メッセージにしたがって視覚障害者が体の向きを変えた方向に対して、再度、新しい現画像が撮影されて、視覚障害者の向いている方向が検出される。
　現画像の撮影は例えば１秒に１枚程度の間隔で行うことができるが、その都度、「左、左、・・・」の音声メッセージを出力するのは難しい。そのため、方向決定部６１は、「左」や「右」の音声メッセージは複数枚ごとに１回の割合で出力させ、音声メッセージと同時に、正しい方向を向いている場合には「ピッ、ピッ、ピッ、」と高音の電子音を出力させ、違う方向を向いている場合は、「ポッ、ポッ、ポッ、」と低音の電子音を出力させることができる。
　ステップＳ２７で、視覚障害者が正しい方向を向いていると判定された場合、処理はステップＳ２９に進み、方向決定部６１は、例えば、「ピンポーン」の電子音とともに、「正しい方向です」の音声メッセージを出力部１７に出力させ、正しい方向であることを視覚障害者に通知する。また、ステップＳ２９において、方向決定部６１は、出力部１７を介して、正しい横断方向を決定する処理は終了し、横断歩道の歩行中のずれをガイドする横断モードが開始されることを音声で通知する。
　ステップＳ３０において、ガイド情報生成部６２は、１回以上繰り返し実行されたステップＳ２６の方向検出処理のうち、正しい方向を向いていると判定された最後の現画像の射影枠１０２の中心方向１０４を、視覚障害者の進行方向であるとして、PDR演算部６３に対して横断方向の進行方向を設定する。即ち、視覚障害者が実際に向いている体の向きは、Ref画像の正しい横断方向とは、厳密には異なるので、ガイド情報生成部６２は、視覚障害者が実際に向いている方向ではなく、Ref画像に基づいて、正しい進行方向を設定する。PDR演算部６３では、方向センサ１２が出力するセンサ信号を用いて横断ポイントからの相対位置を計算する際の位置及び方向が、初期化される。
　ステップＳ３１において、ガイド情報生成部６２は、カメラ１１に撮影を行わせ、撮影された画像に基づいて、歩行者用信号の色を認識する信号認識処理を実行する。
　ステップＳ３２において、ガイド情報生成部６２は、信号認識処理の結果から、歩行者用信号の色が赤から青へ変化したかを判定する。ステップＳ３２で、赤から青へ変化したと判定されない場合、処理はステップＳ３１に戻り、ステップＳ３１及びＳ３２の処理が繰り返される。正しい横断方向を決定した時点で歩行者用信号が既に青になっている場合も想定されるが、赤になるまでの時間が短い場合もあり得る。そこで、ステップＳ３２の処理は、歩行者用信号が赤から青へ変化したタイミングを検出し、横断時間を最大限に確保できるようにしている。
　ステップＳ３２で、歩行者用信号の色が赤から青へ変化したと判定された場合、ステップＳ３３において、ガイド情報生成部６２は、「青になりました。渡れる状態です。」の音声メッセージを出力部１７に出力させ、横断してよい旨を視覚障害者に通知する。
　ステップＳ３４において、PDR演算部６３は、横断ポイントからの位置及び方位を算出し、ガイド情報生成部６２は、PDR演算部６３によって算出された位置及び方位を取得する。
　PDR演算部６３は、図１１に示されるように、横断ポイントOを基準として横断方向への移動距離Y、横断方向に対して垂直な方向への移動距離X、横断方向からの角度ずれ量Dを算出して、ガイド情報生成部６２に出力する。垂直な方向への移動距離Xは、いわば横方向の位置ずれであり、横断方向からの角度ずれ量Dは、いわば体の向きのずれであるので、以下、横方向の位置ずれX、体の向きのずれDと称する。
　ステップＳ３５において、ガイド情報生成部６２は、位置または方位が所定以上ずれているかを判定する。
　具体的には、ガイド情報生成部６２は、PDR演算部６３から供給された、横方向の位置ずれXと、体の向きのずれDを用いて、パラメータP＝aX+kD（a,kは所定の定数）を算出し、算出されたパラメータPが所定の閾値以上であるか否かに基づいて、位置または方位が所定以上ずれているかを判定する。
　ステップＳ３５で、位置または方位が所定以上ずれていないと判定された場合、処理はステップＳ３４に戻り、上述したステップＳ３４及びＳ３５の処理が繰り返される。
　一方、ステップＳ３５で、位置または方位が所定以上ずれていると判定された場合、処理はステップＳ３６に進み、ガイド情報生成部６２は、「右」や「左」の音声メッセージを出力部１７に出力させ、修正方向を視覚障害者に通知する。
　ステップＳ３７で、ガイド情報生成部６２は、視覚障害者が横断歩道を渡り終わったときのボタン操作を検出したかを判定する。視覚障害者が横断歩道を渡り終わったとき、操作部１４の操作ボタン、または、ワイヤレスイヤホン４１の操作ボタン４２を押下する。
　ステップＳ３７で、横断歩道を渡り終わったときのボタン操作をまだ検出していないと判定された場合、処理はステップＳ３４に戻り、上述したステップＳ３４乃至Ｓ３７の処理が繰り返される。
　したがって、ステップＳ３４乃至Ｓ３７の処理によれば、視覚障害者が横断歩道を歩行中に、正しい方向を歩いている場合には、音声メッセージは出力されず、進行方向が一定以上に逸れた場合には、「右」や「左」の音声メッセージが出力される。なお、正しい方向を歩いている場合にも、方向を検出中であることを視覚障害者に通知して安心感を与えるために、「ピッ、ピッ、」と一定間隔で電子音を出力してもよい。
　ステップＳ３７で、視覚障害者が横断歩道を渡り終わったときのボタン操作を検出したと判定された場合、ステップＳ３８において、ガイド情報生成部６２は、出力部１７を介して、横断モードが終了されることを音声で通知する。
　ステップＳ３９において、ガイド情報生成部６２は、ガイドモードを終了するかを判定する。例えば、視覚障害者が目的地へ到着した場合、視覚障害者がガイドアプリを終了する操作を行うと、ガイドモードを終了すると判定される。
　ステップＳ３９で、ガイドモードを終了しないと判定された場合、処理はステップＳ２２に戻り、上述した処理が繰り返される。即ち、Ref画像が登録されている次の横断ポイ ントが近くにあるか否かが監視され、検出された次の横断ポイントに対して、ステップＳ２３以降の処理が実行される。
　一方、ステップＳ３９で、ガイドモードを終了すると判定された場合、横断歩道ガイド処理が終了する。
　以上の横断歩道ガイド処理によれば、Ref画像が登録されている各横断歩道（横断ポイント）において、予め記憶されているRef画像と、現時点で撮影された静止画像（現画像）とをマッチングしたマッチング結果に基づいて、正しい横断方向を決定する方向検出処理が、Ref画像登録部５１によって行われる。また、横断歩道を歩行中に、進行方向が横断方向と一定以上ずれた場合に修正方向を視覚障害者に通知する処理が、ガイド情報生成部６２によって実行される。その結果、正しい方向に安全に横断歩道を歩行することができる。
＜１．８　Ref画像登録処理及び横断歩道ガイド処理の変形例＞
　上述したRef画像登録処理及び横断歩道ガイド処理の変形例について説明する。
　横断ポイントにおいて視覚障害者が正しい方向を向いているか否かを判定する際に、方向センサ１２で検出される視覚障害者の姿勢情報を参考にしてもよい。この場合、Ref画像の登録時にも、Ref画像を撮影したときの方向センサ１２で検出された方位情報が、姿勢情報として、Ref画像とともに記憶部１５に記憶される。
　上述したRef画像登録処理において、Ref画像とともに記憶する時刻情報は、出発地点からの経過時間としたが、毎日同じ時刻に出発するような場合には、経過時間ではなく、２４時間制の絶対時刻としてもよい。
　上述した横断歩道ガイド処理では、横断歩道を歩行中の視覚障害者のずれ量を、パラメータP＝aX+kDを算出することで、横方向の位置ずれXと体の向きのずれDを区別せずに判定したが、横方向の位置ずれXと体の向きのずれDのそれぞれに対して閾値を設け、別々に判定してもよい。この場合、ガイド情報生成部６２は、修正方向を視覚障害者に通知する電子音は、横方向の位置ずれXと体の向きのずれDそれぞれで異なるようにすることができる。例えば、横方向の位置ずれXについては、位置ずれXが大きければ電子音が遅いピッチで鳴り、位置ずれXが小さければ電子音が速いピッチで鳴る。体の向きのずれDについては、正しい方向を向くと電子音が低音で鳴り、外れた方向を向くと電子音が高音で鳴る。
　上述したRef画像登録処理において、記憶部１５に登録するRef画像として、左右方向に撮影範囲の広いパノラマ画像を撮影し、登録してもよい。これにより、図１２に示されるように、横断歩道に対して大きく斜めの方向を向いた場合であっても、マッチングが取りやすくなる。また、この場合も、パノラマ画像を撮影時の方位情報を姿勢情報として付加して記憶してもよい。さらに、パノラマ画像に代えて、パンさせながら撮影した動画像を、Ref画像としてもよい。
　上述した横断歩道ガイド処理において、Ref画像の特徴点に対応する特徴点を検出する特徴点マッチングを行う場合の現画像の探索領域は、現画像の全範囲としたが、探索領域を現画像の一部の領域とし、さらに、図１３に示されるように、歩行者用信号の色が青のときと赤のときとで変化させてもよい。
　歩行者用信号が青のときには、現画像には横断する歩行者が映りやすい。一方、歩行車用信号が赤のときには、横断歩道を横切る車両が映りやすい。そのため、これらの歩行者や車両を排除するために、方向決定部６１は、図１３に示されるように、道路が占める部
分が多い現画像の下側の領域を探索領域から除外するとともに、歩行者用信号の色が青のときと赤のときとで異なる領域を設定することができる。歩行者用信号の色が赤のときの現画像については、特徴点抽出やマッチング処理自体を停止してもよい。
　登録モードでRef画像を登録したときの時刻と、ガイドモードで現画像を撮影するときの時刻が異なると、太陽光による影に違いが出てしまい、局所特徴量のマッチングが取れない場合もあり得る。そのような場合には、図１４に示されるように、画像を二値化することで影を除外してから、マッチング処理を行うことも可能である。図１４の例では、破線で示される道路に大きく映る影が除外され、影の位置による影響を排除することができる。
　上述した方向検出処理では、撮影された現画像の水平方向の画素数から、視覚障害者が向いている方向が検出された。この方向は、現画像を中心としたいわば相対的な方位による方向の検出であるが、基準座標（例えば、磁方位基準）での絶対的な方位による方向で、視覚障害者が向いている方向を検出することも可能である。
　基準座標での推定方位は、図１５に示されるように、カメラ座標基準の方位（画像中心を基準とした方位）と、撮影時のカメラ方位（静止画像を撮影したときのカメラ１１の方位）との加算で算出することができる。
　また、上述した方向検出処理では、１枚の現画像を撮影するごとに、特徴点を抽出し、視覚障害者が向いている方向を推定し、ガイド情報として音声出力するようにしたが、図１６に示されるように、複数枚の現画像それぞれで検出された結果から、視覚障害者が向いている方向を総合的に判定し、最終的な方向を推定してもよい。
　換言すれば、方向決定部６１は、図９の方向検出処理を複数回（複数枚）繰り返し、それぞれで検出された複数の方向情報を統合することで、視覚障害者が向いている方向の１回の検出結果とする。
　例えば、方向決定部６１は、複数の現画像それぞれで検出された複数の方向情報の平均値を算出し、その結果得られた方向を、視覚障害者が向いている方向とすることができる。
　あるいはまた、複数の現画像それぞれで検出された複数の方向に対して所定の重み付け平均化処理を行って最終的な方向を検出してもよい。
　例えば、現画像の射影枠が画像中心に近いほど精度が高いので、複数の現画像のうち、射影枠の位置が画像中心に近い現画像ほど重みを大きくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。
　例えば、インライア（Inlier）マッチ量に基づいて複数の現画像の重み付けをしてもよい。即ち、複数の現画像のうち、射影変換行列の計算に使用された特徴点の個数が多い現画像ほど重みを大きくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。
　あるいはまた、射影枠の幾何情報に応じて複数の現画像の重み付けをしてもよい。複数の現画像のうち、射影枠の形状が四角形状に近い現画像ほど重みを大きくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。
　あるいはまた、歩行者用信号の色が青の現画像が、車両の映り込みが少なく正確な方位
が検出できると考えられるので、現画像に映る歩行者用信号の色が青である現画像の重みを大きくし、歩行者用信号の色が赤である現画像の重みを小さくして、複数の現画像それぞれで検出された複数の方向を統合した方向を決定することができる。
　また、図１７に示されるように、複数の現画像それぞれで検出された複数の方向を統合して最終的に方向を決定する場合には、検出された複数の方向の偏差を計算し、偏差が所定の閾値以上である場合には、検出エラーとして、修正方向をアナウンスする音声メッセージを出力しないようにしてもよい。また、検出エラーと判断した場合には、「静止してください」の音声メッセージを出力して、偏差が所定の閾値以下となるまで待機してもらったり、統合する現画像の枚数を増やしてもよい。これにより、推定精度を向上させるとともに、精度の低い場合には、修正方向のアナウンスを出力しないので、危険を防止することができる。
　上述した横断歩道ガイド処理において、図１８に示されるように、横断歩道を歩行中に、ガイド情報生成部６２が、視覚障害者が横断ポイントから歩いた歩数をカウントし、例えば、「あと２０歩です」や「あと１ｍです」のように、横断歩道を渡りきるまでの残りの距離情報を、音声メッセージで出力させるようにしてもよい。横断歩道全体の距離についての情報は、登録モードで横断歩道を渡るときに自動で歩数をカウントしたり、横断歩道を渡った後に、同行援護者に歩数を入力してもらうようにすればよい。あるいはまた、Ref画像を横断歩道全体が映るように撮影して、Ref画像に含まれる横断歩道の縞模様の数から、横断歩道全体の距離を推定して記憶しておくことも可能である。
＜２．全経路ガイド機能＞
＜２．１　全経路ガイド機能の概要＞
　次に、情報処理装置１が、上述した横断歩道の歩行ガイド機能の他にさらに備える全経路ガイド機能について説明する。
　上述した横断歩道の歩行ガイド機能は、出発地から所定の目的地までの移動経路のうち、横断歩道のみに着目したガイド機能であるが、横断歩道以外の移動経路については、情報処理装置１は、以下で説明する全経路ガイド機能を提供することができる。
　図１９は、全経路ガイド機能の概要を説明する図である。
　視覚障害者は、１回目に目的地までの移動を行う際、出発地から所定の目的地までの移動経路のうち、主要な通過点で、歩行の参考になるような通過点に関するガイド情報を、自分自身の音声で通過点ごとに録音しておく。
　情報処理装置１は、通過点ごとに、視覚障害者が発した音声と、その録音が行われた場所（緯度経度）を示す位置情報と時刻情報を記憶部１５に記憶する。そして、情報処理装置１は、２回目以降の目的地までの移動において、通過点ごとに、ガイド情報としての録音された音声を再生（出力）する。１回目の移動時のガイド情報の録音は、登録モードで実行される。２回目以降の録音された音声の再生はガイドモードで実行される。
　図１９には、出発地及び目的地と、５個の通過点に対して、ガイド情報が登録されている例が示されている。
　まず、出発地Startにおいて、視覚障害者は、全経路ガイド機能のガイドモードの実行を開始すると、情報処理装置１は、視覚障害者によって出発地Startで予め録音された「ここは出発地点です。」の音声メッセージを出力する。
　次に、視覚障害者が、次に音声を録音した通過点AP1の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP1で予め録音された「ここはコンビニです。」の音声メッセージを出力する。
　次に、視覚障害者が、次に音声を録音した通過点AP2の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP2で予め録音された「横断歩道手前。」の音声メッセージを出力する。
　次に、視覚障害者が、次に音声を録音した通過点AP3の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP3で予め録音された「横断歩道終了。」の音声メッセージを出力する。
　次に、視覚障害者が、次に音声を録音した通過点AP4の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP4で予め録音された「大通りから右折。」の音声メッセージを出力する。
　次に、視覚障害者が、次に音声を録音した通過点AP5の近くまで移動すると、情報処理装置１は、視覚障害者によって通過点AP5で予め録音された「左折し真っ直ぐ。」の音声メッセージを出力する。
　次に、視覚障害者が、次に音声を録音した目的地Goalの近くまで移動すると、情報処理装置１は、視覚障害者によって目的地Goalで予め録音された「目的地です。」の音声メッセージを出力する。
　また、情報処理装置１は、各通過点において、音声メッセージに対応付けて記憶された位置情報に基づいて、次の通過点の概略の方向を、録音音声とともに音声出力してもよい。
　例えば、出発地Startにおいて、次の通過点AP1までの方角は４５°の方向となるので、「ここは出発地点です。」の音声メッセージとともに、「次は、４５°の方向です。」の音声メッセージを出力してもよい。その他の通過点においても同様である。
　視覚障害者は、初回歩行時に、例えば、移動経路の各地点における音や匂いの特徴、歩道の混雑状況、路面の特徴、分岐点で道に迷わないための手掛かりとなる情報（左折、直進、右折など）、曜日ごとの状況の違いなど、自分で気づいた情報を、音声メッセージとして録音する。
　図２０は、ガイド情報として障害物情報を録音する例を示している。
　視覚障害者は、初回歩行時に、例えば、通過点AP1に対して、「ドラッグストアの商品が歩道にはみ出しているので、歩道右側の障害物に注意、できるだけ歩道左端を歩行する。」の音声を情報処理装置１に録音する。視覚障害者は、２回目以降の歩行において、この音声メッセージが再生されることにより、右側の障害物を注意して、歩道左端を歩くことができる。
　図２１は、ガイド情報として横断歩道の手がかりを録音する例を示している。
　視覚障害者は、初回歩行時に、例えば、通過点AP2に対して、「５０ｍ範囲内に横断歩道があります。歩道右側を進むとマンホールの蓋があるので、その先の点字ブロックの５歩先が、横断歩道です。」の音声を情報処理装置１に録音する。視覚障害者は、２回目以
降の歩行において、この音声メッセージが再生されることにより、マンホールの蓋と点字ブロックを基準にして横断歩道に容易に到達することができる。
　なお、本実施の形態では、視覚障害者自身が、各通過点での音声メッセージの録音（吹き込み）を行うものとして説明するが、同行援護者が行ってもよい。
＜２．２　情報処理装置の構成例＞
　図２２は、上述した全経路ガイド機能を実行する場合の情報処理装置の構成例を示すブロック図である。
　なお、図２２において、図２と対応する部分については同一の符号を付してあり、その説明は適宜省略する。図２３以降についても同様である。
　情報処理装置１は、図２に示した構成に、マイクロホン１２１をさらに追加することで、全経路ガイド機能を実行することができる。
　マイクロホン１２１は、視覚障害者が発した声を集音して、音声信号として処理部１６に供給する。
＜２．３　処理部の機能ブロック図＞
　図２３は、上述した全経路ガイド機能を実行する場合の処理部１６の機能ブロック図である。
　処理部１６は、登録モードとして、上述したRef画像登録部５１に加えて、音声登録部１４１を備える。
　また、処理部１６は、ガイドモードとして、上述した方向決定部６１とガイド情報生成部６２に加えて、通過点通知部１４２を備える。
　音声登録部１４１は、１回目に目的地までの移動を行う際に、通過点ごとに視覚障害者によって行われる録音操作に従って、マイクロホン１２１から供給される音声信号を、所定のファイルフォーマットに変換し、記憶部１５に記憶させる。また、音声登録部１４１は、視覚障害者が発した音声（のデータ）を記憶部１５に記憶する際、その通過点の位置情報及び時刻情報を、音声に対応付けて記憶部１５に記憶させる。
　通過点通知部１４２は、２回目以降の目的地までの移動の際に、通過点に近づいたか否かを判定し、通過点に近づいたと判定された場合、通過点に対応して記憶されている音声（のデータ）を記憶部１５から取得し、出力部１７に出力させる。
　なお、全経路ガイド機能では、出発地と目的地に対する処理も、通過点に対する処理と変わらないため、出発地と目的地も通過点の１つとして認識して処理を行うものとする。
　登録モードとガイドモードがそれぞれ１個のアプリで構成されてもよいし、音声登録部１４１と通過点通知部１４２が、それぞれ１個のアプリで構成されてもよい。換言すれば、上述した横断歩道の歩行ガイド機能のアプリと全経路ガイド機能のアプリは、１つのアプリで構成されてもよいし、異なるアプリでも良い。個々のアプリをどのような機能単位で構成するかは任意である。
＜２．４　音声登録処理＞
　図２４のフローチャートを参照して、登録モードにおいて音声登録部１４１によって実
行される音声登録処理について説明する。この処理は、例えば、視覚障害者が同行援護者を伴って出発地から所定の目的地までの移動を開始するタイミングにおいて登録アプリを実行したときに開始される。
　初めに、ステップＳ７１において、音声登録部１４１は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。
　視覚障害者は、歩行の参考になるようなガイド情報を録音しておきたい場合に、通過点に関するガイド情報の録音を行うための操作（以下、通過点登録操作という。）を行う。通過点登録操作は、例えば、ワイヤレスイヤホン４１の操作ボタン４２の押下である。
　ステップＳ７２において、音声登録部１４１は、操作部１４からの操作信号に基づいて、通過点登録操作を検出したかを判定し、通過点登録操作を検出したと判定されるまで待機する。
　ステップＳ７２で、通過点登録操作を検出したと判定された場合、処理はステップＳ７３に進み、音声登録部１４１は、通過点の位置情報及び時刻情報として、現在の位置情報と時刻情報を取得する。即ち、音声登録部１４１は、GPSセンサ１３から供給される現在の緯度経度を示す位置情報と、ステップＳ７１においてカウントを開始してからの経過時間を、通過点の位置情報及び時刻情報として取得する。
　ステップＳ７４において、音声登録部１４１は、マイクロホン１２１から供給される、視覚障害者が発した音声を録音する（記憶部１５に記憶させる）。
　ステップＳ７５において、音声登録部１４１は、録音した音声に対応付けて、ステップＳ７３で取得した通過点の位置情報及び時刻情報を記憶部１５に記憶させる。
　ステップＳ７６において、音声登録部１４１は、視覚障害者に録音した内容を確認させるため、録音した音声を再生する。即ち、音声登録部１４１は、記憶部１５に記憶した音声のデータに対応する音声信号を出力部１７としてのスピーカまたはイヤホンに出力する。
　ステップＳ７７において、音声登録部１４１は、登録モードを終了するかを判定する。例えば、視覚障害者と同行援護者が目的地へ到着した場合、視覚障害者が登録アプリを終了する操作を行うと、登録モードを終了すると判定される。
　ステップＳ７７で、登録モードをまだ終了しないと判定された場合、処理はステップＳ７２に戻り、上述したステップＳ７２乃至Ｓ７７の処理が繰り返される。これにより、通過点登録操作が行われるごとに、通過点の位置情報及び時刻情報と音声が、記憶部１５に記憶される。
　一方、ステップＳ７７で、登録モードを終了すると判定された場合、音声登録処理が終了する。
＜２．５　通過点ガイド再生処理＞
　次に、図２５のフローチャートを参照して、ガイドモードにおいて通過点通知部１４２によって実行される通過点ガイド再生処理について説明する。この処理は、例えば、登録モードで登録した移動経路を単独で歩行する場合に、出発地において移動を開始するタイミングでガイドアプリを実行したときに開始される。
　初めに、ステップＳ８１において、通過点通知部１４２は、出発地からの経過時間（所要時間）を計測するための時計カウントを開始する。
　ステップＳ８２において、通過点通知部１４２は、GPSセンサ１３から現在の位置情報を取得し、取得された現在の位置情報と出発地からの経過時間とに基づいて、記憶部１５に音声が登録されている通過点に近づいたかを判定する。より具体的には、通過点通知部１４２は、記憶部１５に記憶されている音声に対応づけて記憶されている通過点の位置情報及び時刻情報と、現在の位置情報と経過時間とを比較して、現在の位置情報から所定範囲内の位置に対応付けられた音声が記憶部１５に登録されているかを判定する。GPSセンサ１３の位置精度にもよるが、例えば、通過点の５０乃至１００ｍ以内に視覚障害者が到着すると、通過点に近づいたと判定される。通過点は、基本的には位置情報によって検索され、時刻情報は参考とされる。
　ステップＳ８２で、通過点に近づいたと判定されるまで、ステップＳ８２の処理が繰り返される。
　そして、ステップＳ８２で、通過点に近づいたと判定された場合、処理はステップＳ８３に進み、通過点通知部１４２は、現在値に近い通過点（位置情報）に対応付けて記憶されている音声を再生する。即ち、通過点通知部１４２は、現在値に近い通過点（位置情報）に対応付けて記憶されている音声のデータを記憶部１５から取得し、出力部１７に出力させる。
　ステップＳ８４において、音声登録部１４１は、ガイドモードを終了するかを判定する。例えば、視覚障害者が目的地へ到着した場合、視覚障害者がガイドアプリを終了する操作を行うと、ガイドモードを終了すると判定される。
　ステップＳ８４で、ガイドモードをまだ終了しないと判定された場合、処理はステップＳ８２に戻り、上述したステップＳ８２乃至Ｓ８４の処理が繰り返される。これにより、視覚障害者が通過点を通るごとに、通過点に対応するガイド情報としての音声メッセージが出力される。
　一方、ステップＳ８４で、ガイドモードを終了すると判定された場合、通過点ガイド再生処理が終了する。
　以上のように、情報処理装置１の全経路ガイド機能によれば、移動経路の主要な通過点について、視覚障害者自身が自分の声で録音したガイド情報を実際に歩行した際に再生することで、安全な歩行を支援することができる。
　なお、情報処理装置１は、上述した全経路ガイド機能（第１の全経路ガイド機能）に加えて、図２６に示す全経路ガイド機能（第２の全経路ガイド機能）をさらに備えることができる。
　図２６に示される全経路ガイド機能は、視覚障害者自身が設定した通過点ではなく、GPSセンサ１３からの位置情報を基に、目的地までの方角と距離を、一定時間間隔で、音声で出力する機能である。
　図２６の例では、３０分ごとに、その時点における目的地の方角（「３時の方向」、「１２時の方向」など）と、目的地までの距離（「１０ｋｍです」、「８ｋｍです」など）の音声が情報処理装置１から出力されている。
＜３．第２の視覚障害者歩行支援システム＞
＜３．１　第２の視覚障害者歩行支援システムの概要＞
　次に、本開示の第２の視覚障害者歩行支援システムについて説明する。
　上述した第１の視覚障害者歩行支援システムは、情報処理装置１の単体で実現できるシステムであったが、第２の視覚障害者歩行支援システムは、いわゆるドローンと呼ばれる無人航空機を用いた視覚障害者歩行支援システムである。
　図２７を参照して、第２の視覚障害者歩行支援システムの概要について説明する。
　視覚障害者は、誤認識低減のためのマーカ１６１として２次元コードが記された帽子（不図示）等を着用して、移動経路を歩行する。ドローン１７１は、マーカ１６１を検出して、視覚障害者の真上に移動し、真下を撮影する。
　ドローン１７１が撮影した画像は、情報処理装置１へ転送され、情報処理装置１は、事前に撮影されたRef画像と、ドローン１７１から転送されてきた画像とを比較して、正しい位置とのずれを検出して、視覚障害者に正しい位置を音声で知らせる。
　このドローンを用いた第２の視覚障害者歩行支援システムは、例えば、視覚障害者が横断歩道を歩行する際の正確な横断ポイントへの誘導に利用することができる。
＜３．２　第２の視覚障害者歩行支援システムの構成例＞
　図２８は、第２の視覚障害者歩行支援システムの構成例を示すブロック図である。
　第２の視覚障害者歩行支援システムは、ドローン１７１と情報処理装置１とで構成される。
　ドローン１７１は、カメラ１８１、記憶部１８２、移動部１８３、制御部１８４、及び近距離無線通信部１８５を備え、視覚障害者を追尾する。
　カメラ１８１は、例えば、CMOSセンサまたはCCDなどの撮像素子で構成され、横断歩道などの被写体を撮影し、その結果得られる画像を制御部１８４に供給する。
　記憶部１８２は、例えば、ＨＤＤや半導体メモリなどで構成され、制御部１８４で実行されるプログラムや、カメラ１８１や移動部１８３などの各部が動作するために必要な各種のデータを記憶する。また、記憶部１８２は、視覚障害者が装着するマーカ１６１を認識するためのマーカ情報なども記憶する。
　移動部１８３は、ドローン１７１自身を上下左右に移動させるための移動手段であり、例えば、４つの回転翼で構成される。移動部１８３は、制御部１８４の制御に従い、ドローン１７１自身を移動させる。
　制御部１８４は、例えば、CPUやMPUなどで構成され、記憶部１８２から読み出された所定のプログラムを実行することによって、上述したカメラ１８１による撮影や自身の移動を制御する。
　近距離無線通信部１８５は、例えばBluetooth（登録商標）や無線LAN（Local Area Network）などの通信デバイスで構成され、制御部１８４の制御に従い、撮影画像などのデータを情報処理装置１に送信する。
　情報処理装置１は、上述したカメラ１１、操作部１４、記憶部１５、処理部１６、及び出力部１７に加え、さらに近距離無線通信部１９１を備える。
　近距離無線通信部１９１は、ドローン１７１の近距離無線通信部１８５と対応する通信デバイスであって、例えばBluetooth（登録商標）や無線LANなどの通信デバイスで構成される。近距離無線通信部１９１は、処理部１６の制御に従い、撮影画像などのデータを受信し、処理部１６に供給する。
＜３．３　処理部の機能ブロック図＞
　図２９は、第２の視覚障害者歩行支援システムにおける情報処理装置１の処理部１６の機能ブロック図である。
　処理部１６は、登録モードとして、Ref画像登録部２１１を備える。
　Ref画像登録部２１１は、登録モードにおいて、正しい場所から撮影した登録地点（例えば、横断ポイント）の画像を、ドローン１７１から近距離無線通信部１９１を介して取得する。そして、Ref画像登録部２１１は、ドローン１７１から取得した登録地点の撮影画像を、Ref画像として記憶部１５に登録する（記憶させる）。
　Ref画像登録部２１１は、上述したRef画像登録部５１と一体に組み込まれてもよいし、別々であってもよい。
　また、処理部１６は、ガイドモードとして、ガイド情報生成部２１２を備える。ガイド情報生成部２１２は、視覚障害者とドローン１７１との位置関係を認識し、視覚障害者を正しい位置へガイドするガイド情報を生成する。
　より具体的には、ガイド情報生成部２１２は、ガイドモードにおいてドローン１７１から送信されてくる現在地の画像（以下、現在地画像という。）を、近距離無線通信部１９１を介して取得する。そして、ガイド情報生成部２１２は、ドローン１７１から取得した現在地画像を、記憶部１５に記憶しているRef画像と比較して、正しい位置に対するユーザの位置ずれを検出する。さらに、ガイド情報生成部２１２は、検出した位置ずれに基づいて、視覚障害者を正しい位置へガイドするガイド情報としての修正方向を生成し、出力部１７から音声で出力させる。
　ガイド情報生成部２１２は、上述した方向決定部６１またはガイド情報生成部６２の一方または両方と一体に組み込まれてもよいし、別々であってもよい。
＜３．４　登録モード時のドローンの画像送信処理＞
　次に、図３０のフローチャートを参照して、登録モードにおいてドローン１７１によって実行される画像送信処理について説明する。
　初めに、ステップＳ１０１において、制御部１８４は、移動部１８３を制御して、所定の登録地点へ移動する。登録地点としてどの場所へ移動するかは、例えば、近距離無線通信部１８５を介して遠隔操作により指示されてもよいし、予め複数の登録地点を登録しておいて、その地点の一つを選択して自律的に移動してもよい。
　登録地点へ移動した後、ステップＳ１０２において、制御部１８４は、カメラ１８１を制御して、登録地点を撮影させる。カメラ１８１は、制御部１８４の制御に従い、登録地点を撮影する。
　ステップＳ１０３において、制御部１８４は、撮影した画像を、近距離無線通信部１８５を介してRef画像として情報処理装置１に送信する。
　ステップＳ１０４において、制御部１８４は、登録モードを終了するかを判定する。例えば、予め登録された全ての登録地点の撮影が終了したと判定された場合、登録モードを終了すると判定される。
　ステップＳ１０４で、登録モードをまだ終了しないと判定された場合、処理はステップＳ１０１に戻り、上述したステップＳ１０１乃至Ｓ１０４の処理が繰り返される。これにより、複数の登録地点について、Ref画像が撮影され、情報処理装置１に送信される。
＜３．５　登録モード時の情報処理装置の画像受信処理＞
　次に、図３１のフローチャートを参照して、登録モードにおいて情報処理装置１よって実行される画像受信処理について説明する。この処理は、例えば、登録モードにおいてRef画像登録部２１１のアプリが実行されたときに開始される。
　初めに、ステップＳ１２１において、Ref画像登録部２１１は、ドローン１７１から近距離無線通信部１９１を介してRef画像が送信されてきたかを判定し、Ref画像が送信されてきたと判定されるまで待機する。
　そして、ステップＳ１２１で、Ref画像が送信されてきたと判定された場合、処理はステップＳ１２２に進み、Ref画像登録部２１１は、送信されてきたRef画像を取得し、記憶部１５に記憶させる。
　ステップＳ１２３において、Ref画像登録部２１１は、登録モードを終了するかを判定する。例えば、Ref画像登録部２１１のアプリを終了する操作が行われた場合、登録モードを終了すると判定される。
　ステップＳ１２３で、登録モードをまだ終了しないと判定された場合、処理はステップＳ１２１に戻り、上述したステップＳ１２１乃至Ｓ１２３の処理が繰り返される。これにより、複数の登録地点に関するRef画像が取得され、記憶部１５に記憶される。
＜３．６　ガイドモード時のドローンの画像送信処理＞
　次に、図３２のフローチャートを参照して、ガイドモードにおいてドローン１７１によって実行される画像送信処理について説明する。
　初めに、ステップＳ１４１において、制御部１８４は、カメラ１８１によって撮影された画像から視覚障害者が付けているマーカ１６１を検出し、検出されたマーカ１６１が自分自身の真下の位置になるように移動部１８３に移動させる。
　マーカ１６１の真下に移動した後、ステップＳ１４２において、制御部１８４は、カメラ１８１を制御して、真下を撮影させる。カメラ１８１は、制御部１８４の制御に従い、真下を撮影する。
　ステップＳ１４３において、制御部１８４は、撮影した画像を、近距離無線通信部１８５を介して、視覚障害者の現在地を示す現在地画像として情報処理装置１に送信する。
　ステップＳ１４４において、制御部１８４は、ガイドモードを終了するかを判定する。例えば、近距離無線通信により、情報処理装置１からガイドモードの終了が通知されたとき、登録モードを終了すると判定される。
　ステップＳ１４４で、ガイドモードをまだ終了しないと判定された場合、処理はステップＳ１４１に戻り、上述したステップＳ１４１乃至Ｓ１４４の処理が繰り返される。これにより、移動する視覚障害者を追尾して、視覚障害者の真上から撮影した画像が、現在地画像として、定期的に情報処理装置１に送信される。
＜３．７　ガイドモード時の情報処理装置の画像受信処理＞
　次に、図３３のフローチャートを参照して、ガイドモードにおいて情報処理装置１よって実行される画像受信処理について説明する。この処理は、例えば、ガイドモードにおいてガイド情報生成部２１２のアプリが実行されたときに開始される。
　初めに、ステップＳ１６１において、ガイド情報生成部２１２は、ドローン１７１から近距離無線通信部１９１を介して現在地画像が送信されてきたかを判定し、現在地画像が送信されてきたと判定されるまで待機する。
　そして、ステップＳ１６１で、現在地画像が送信されてきたと判定された場合、処理はステップＳ１６２に進み、ガイド情報生成部２１２は、送信されてきた現在地画像を取得する。
　ステップＳ１６３において、ガイド情報生成部２１２は、取得した現在地画像と、記憶部１５に記憶されているRef画像とを比較して、視覚障害者の登録地点からの位置のずれを検出する。例えば、ガイド情報生成部２１２は、Ref画像の中心部の領域を、現在地画像のなかからパターンマッチングにより検出し、検出された位置と画像中心との位置のずれを検出する。
　ステップＳ１６４において、ガイド情報生成部２１２は、検出された位置のずれが予め定めた所定の範囲内であるかを判定し、所定の範囲内であると判定した場合、処理はステップＳ１６１に戻される。
　一方、ステップＳ１６４で、検出された位置のずれが予め定めた所定の範囲内ではないと判定された場合、処理はステップＳ１６５に進み、ガイド情報生成部２１２は、ガイド情報である「右」や「左」の音声メッセージを出力部１７に出力させ、修正方向を視覚障害者に通知する。
　ステップＳ１６６において、ガイド情報生成部２１２は、ガイドモードを終了するかを判定する。例えば、ガイド情報生成部２１２のアプリを終了する操作が行われた場合、ガイドモードを終了すると判定される。
　ステップＳ１６６で、ガイドモードをまだ終了しないと判定された場合、処理はステップＳ１６１に戻り、上述したステップＳ１６１乃至Ｓ１６６の処理が繰り返される。これにより、複数の登録地点それぞれに関する現在地画像が取得され、Ref画像と比較されて、ガイド情報が視覚障害者に通知される。
　以上説明した第２の視覚障害者歩行支援システムによれば、ドローン１７１が撮影した画像に基づいて、視覚障害者の現在の位置を検出するとともに、正しい位置のずれを算出して、視覚障害者にガイド情報として通知することができる。
＜３．８　第２の視覚障害者歩行支援システムの変形例＞
　なお、上述した第２の視覚障害者歩行支援システムの実施の形態では、図３４の上段に示されるように、ドローン１７１が視覚障害者の真上に移動して、カメラ１８１が真下の
視覚障害者を撮影するようにした。
　しかしながら、図３４の下段に示されるように、ドローン１７１が正しい位置を移動しながら、視覚障害者をカメラ１８１の視野内に捉えて、撮像された現在地画像の画像中心からのずれとして、視覚障害者の位置のずれを検出してもよい。
　また、ドローン１７１が正しい位置を移動している場合、視覚障害者が装着している情報処理装置１のカメラ１１がドローン１７１を撮影して検出し、ドローン１７１の検出位置に基づいて、視覚障害者の位置のずれを検出してもよい。
　図３５は、誤認識低減のためのマーカ１６１の他の例を示している。
　上述した例では、マーカ１６１として２次元コードを採用したが、図３５上段に示されるように、マーカ１６１を、赤外光を発する赤外線LEDとして、ドローン１７１のカメラ１８１を赤外線カメラとしてもよい。
　また、図３５中段に示されるように、ドローン１７１が赤外線LEDを備えて赤外光を発し、ドローン１７１のカメラ１８１を赤外線カメラとして、視覚障害者が装着するマーカ１６１を、赤外線反射板としてもよい。
　あるいはまた、図３５下段に示されるように、ドローン１７１が赤外線LEDを備えて赤外光を発し、ドローン１７１のカメラ１８１を赤外線カメラとして、視覚障害者の位置を画像認識によって検出してもよい。
　また、ドローン１７１が備えるカメラ１８１は、ストラクチャライトカメラ（structured light camera）、ToF(Time-of-Flight)カメラ、ステレオカメラなどの奥行き方向が検出できるカメラであってもよい。
　上述した例では、登録モードで事前に撮影したRef画像を基に、視覚障害者の現在地の位置ずれを検出するようにしたが、地図情報と現在地画像を比較することによって、現在地の位置ずれを検出してもよい。
　上述した例では、ドローン１７１が撮影した画像を全て情報処理装置１に転送し、情報処理装置１側で、視覚障害者の現在地の位置ずれを検出するようにしたが、ドローン１７１が撮影した画像を記憶部１８２に記憶しておき、ガイドモードでは、ドローン１７１が、現在地画像との比較によって位置ずれを検出し、検出結果を表すずれ情報のみを情報処理装置１に送信するようにしてもよい。
＜４．スマートフォンカバーの外観例＞
＜４．１　スマートフォンカバーの外観例＞
　次に、スマートフォンカバーの実施の形態について説明する。
　タッチパネルを搭載したスマートフォンは、画面の視覚情報を前提に設計されており、操作画面もフラットであることから、視覚障害者にとっては、画面上のどこに操作ボタン等が配置されているかを認識することが難しく、操作に困難を強いるものであった。
　そこで、以下では、視覚障害者に好適なスマートフォンに変化させるスマートフォンカバーの実施の形態について説明する。
　図３６は、スマートフォンカバーの外観例を説明する図である。
　図３６に示されるスマートフォンカバー２３１は、スマートフォン３１のディスプレイ３５を保護する前面カバー２４１と、ディスプレイ３５側と反対側の面を保護する背面カバー２４２を有する。
　前面カバー２４１には、ディスプレイ３５の所定の領域を視覚障害者がタッチ操作できるようにした、プラスチック等の透過素材で形成された小窓２５１が配置されている。小窓２５１には、その開口領域を３ｘ３に９分割した９個の分割領域のうちの中央の分割領域に、基準位置を表す突起２５２が形成されたシール２５３が貼り付けられている。
　また、小窓２５１が配置された領域と異なる前面カバー２４１の所定の領域には、磁石２５４がカバー内に埋設されている。
　一方、背面カバー２４２には、NFC(Near Field Communication)通信を行うICチップとアンテナで構成されるNFCタグ２５５がカバー内に埋設されている。
　スマートフォンカバー２３１がスマートフォン３１に装着されると、スマートフォン３１が、前面カバー２４１に埋設された磁石２５４を検出することにより、スマートフォンカバー２３１の装着を検出する。
　スマートフォン３１は、スマートフォンカバー２３１の装着を検出した場合、前面カバー２４１の小窓２５１の開口領域のみを操作領域とした視覚障害者専用のユーザインターフェース（以下、グリッドモードと称する。）に操作モードを切り替える。
　グリッドモードでは、前面カバー２４１の小窓２５１の９個の各分割領域に対応するディスプレイ３５の領域に、３ｘ３の配置で９個のUIボタンが配置される。UIボタンは、スマートフォン３１の各種機能を実行するアプリに対応する。視覚障害者は、９個のUIボタンそれぞれにどのようなアプリが割り当てられているかを認識しており、小窓２５１に張り付けられたシール２５３の突起２５２を基準位置として９個の分割領域を容易に認識して、所望のUIボタンを選択して、アプリを起動させることができる。
　また、グリッドモードでは、所定のUIボタンがタッチされたときに、タッチされたアプリまたは機能を音声で読み上げる音声読み上げ機能が有効となる。
　なお、本実施の形態では、突起２５２が形成されたシール２５３を小窓２５１に貼り付けることによって突起２５２を形成しているが、突起２５２は、小窓２５１に直接成形されていてもよい。
＜４．２　ブロック図＞
　図３７は、スマートフォンカバー２３１と、スマートフォン３１としての情報処理装置１のUI操作に関するブロック図である。
　なお、図３７の情報処理装置１の構成では、スマートフォンカバー２３１に連携した処理を行うために最低限必要な構成についてのみ示している。従って、スマートフォン３１としての情報処理装置１が、上述した横断歩道の歩行ガイド機能やその他の機能も備える場合には、情報処理装置１は、その機能を実行するために必要な構成も併せて備えている。
　スマートフォンカバー２３１は、磁石２５４とNFCタグ２５５を備える。
　情報処理装置１は、操作部１４、記憶部１５、処理部１６、及び、出力部１７に加えて、磁力検出部２７１とNFC通信部２７２を備える。
　NFCタグ２５５は、ISO/IEC 18092またはISO/IEC 14443による近接通信を行う通信デバイスである。NFCタグ２５５は、UIボタンの配置（座標位置）を示すUIボタン座標情報と、３ｘ３の９個の分割領域に配置されるUIボタンを規定するUIボタン規定情報とを含むUI配置情報を内部メモリに記憶する。また、NFCタグ２５５は、自身（リーダライタにとっての各NFCタグ）を識別するNFCタグ識別情報も内部メモリに記憶する。
　NFCタグ２５５は、情報処理装置１のNFC通信部２７２が近接された場合、UI配置情報を近接通信によりNFC通信部２７２に送信する。
　磁力検出部２７１は、磁石２５４を検出することにより、スマートフォンカバー２３１の前面カバー２４１が閉じられたかどうかを検出し、検出結果を処理部１６に供給する。
　NFC通信部２７２は、NFCタグ２５５と、ISO/IEC 18092またはISO/IEC 14443による近接通信を行うリーダライタとなるNFCデバイスであり、NFCタグ２５５に対して電磁波を供給することにより電源を供給するとともに、NFCタグ２５５に記憶されているUI配置情報を取得（受信）し、処理部１６に供給する。
　NFC通信部２７２は、近接されたNFCタグ２５５を検出した場合、NFCタグ識別情報を取得する。この取得されたNFCタグ識別情報により、スマートフォンカバー２３１の種類を識別することができる。
　処理部１６は、磁力検出部２７１からスマートフォンカバー２３１の前面カバー２４１が閉じられたことが供給された場合、NFC通信部２７２に対して、スマートフォンカバー２３１のNFCタグ２５５から、UI配置情報を取得させる。そして、処理部１６は、NFC通信部２７２が取得したUI配置情報に従って、出力部１７の一部であるディスプレイの表示を、スマートフォンカバー２３１の小窓２５１の開口領域に対応したグリッドモードに切り替える。従って、処理部１６は、前面カバー２４１が閉じられたかどうかに応じてディスプレイの表示を切り替える表示制御部として機能する。
　また、出力部１７のディスプレイがLCDである場合、処理部１６は、視覚障害者専用のグリッドモードにしたとき、消費電力低減のために、バックライトを消灯させるように設定することもできる。
＜４．３　カバークローズ検出処理＞
　次に、図３８のフローチャートを参照して、スマートフォン３１としての情報処理装置１が、前面カバー２４１が閉じられたことを検出して所定の処理を実行する処理であるカバークローズ検出処理について説明する。この処理は、例えば、情報処理装置１が電源オンされたときに開始される。
　初めに、ステップＳ２０１において、処理部１６は、磁力検出部２７１の検出結果に基づいて、前面カバー２４１が閉じられたかどうかを判定し、前面カバー２４１が閉じられたと判定されるまで待機する。
　そして、ステップＳ２０１で、前面カバー２４１が閉じられたと判定された場合、処理はステップＳ２０２に進み、処理部１６は、NFC通信部２７２に対して、装着されているスマートフォンカバー２３１のNFCタグ２５５を検出させる。
　ステップＳ２０３において、NFC通信部２７２は、処理部１６の制御に従い、NFCタグ２５５を検出して、NFCタグ２５５から、UI配置情報を取得する。取得されたUI配置情報は、処理部１６に供給される。
　ステップＳ２０４において、処理部１６は、取得したUI配置情報に従って、出力部１７の一部であるディスプレイの表示を、スマートフォンカバー２３１の小窓２５１の開口領域に対応したグリッドモードに切り替える。グリッドモードでは、スマートフォンカバー２３１から取得したUI配置情報に従って、前面カバー２４１の小窓２５１の開口領域に対応するディスプレイ３５の領域に、UIボタン規定情報で定義された９個のUIボタンが配置される。
　ステップＳ２０５において、処理部１６は、グリッドモードで配置したUIボタンに割り当てられたアプリ（以下、登録アプリと称する。）のいずれかを実行させる操作がされたか否かを検出する登録アプリ実行操作検出処理を実行する。この処理の詳細は、図４０等を参照して後述するが、この処理により、登録アプリの実行操作の有無が判定される。
　ステップＳ２０６において、処理部１６は、登録アプリ実行操作検出処理の結果、登録アプリの実行操作が検出されたかを判定する。
　ステップＳ２０６で、登録アプリの実行操作が検出されていないと判定された場合、処理はステップＳ２０５に戻され、再度、登録アプリ実行操作検出処理が実行される。即ち、処理部１６は、登録アプリの実行操作が検出されたと判定されるまで、待機する。
　そして、ステップＳ２０６で、登録アプリの実行操作が検出されたと判定された場合、処理はステップＳ２０７に進み、処理部１６は、実行操作が検出された登録アプリを起動する。起動された登録アプリは、カバークローズ検出処理と並列に実行される。
　ステップＳ２０７で、登録アプリが起動された後、処理はステップＳ２０５に戻され、再度、登録アプリ実行操作検出処理が実行される。従って、処理部１６は、再び、登録アプリの実行操作が検出されたと判定されるまで、待機する。
＜４．４　カバーオープン検出処理＞
　次に、図３９のフローチャートを参照して、スマートフォン３１としての情報処理装置１が、前面カバー２４１が開けられたことを検出して所定の処理を実行する処理であるカバーオープン検出処理について説明する。この処理は、例えば、図３８のカバークローズ検出処理が実行されたときに開始され、カバークローズ検出処理と並行して実行される。
　初めに、ステップＳ２２１において、処理部１６は、磁力検出部２７１の検出結果に基づいて、前面カバー２４１が開けられたかどうかを判定し、前面カバー２４１が開けられたと判定されるまで待機する。
　そして、ステップＳ２２１で、前面カバー２４１が開けられたと判定された場合、処理はステップＳ２２２に進み、処理部１６は、ディスプレイのグリッドモードを終了し、カバーオープン検出処理を終了する。
　以上のカバークローズ検出処理及びカバーオープン検出処理によれば、情報処理装置１は、スマートフォンカバー２３１の前面カバー２４１が閉じられたことを検出して、視覚障害者が操作しやすいグリッドモードを自動で開始し、前面カバー２４１の開放を検出すると、グリッドモードを自動で終了する。これにより、必要なUIボタンを、ユーザが設定することなく自動で割り当て、視覚障害者が簡単にアプリを起動したり、操作することが できるようになる。また、前面カバー２４１が閉じられたことを検出した場合に、横断歩道ガイド処理や通過点ガイド再生処理を実行するガイドアプリを起動させてもよい。
＜４．５　登録アプリ実行操作検出処理＞
　次に、図４０のフローチャートを参照して、図３８のステップＳ２０５で実行される登録アプリ実行操作検出処理の詳細について説明する。
　初めに、ステップＳ２４１において、処理部１６は、グリッドモードで配置した所定のUIボタンがタッチされたかを判定し、所定のUIボタンがタッチされたと判定されるまで待機する。
　ステップＳ２４１で、所定のUIボタンがタッチされたと判定された場合、処理はステップＳ２４２に進み、処理部１６は、出力部１７の一部であるスピーカを制御して、タッチされたUIボタンに割り当てられた登録アプリを読み上げる。
　ステップＳ２４３において、処理部１６は、UIボタンがタッチされてからの時間をカウントするためのタイマーを起動する。
　ステップＳ２４４において、処理部１６は、ステップＳ２４１でタッチが検出されたUIボタンがタッチされたままであるかを判定する。
　ステップＳ２４４で、UIボタンがタッチされたままであると判定された場合、処理はステップＳ２４５に進み、所定の時間が経過したかが判定される。そして、ステップＳ２４５で、所定の時間がまだ経過していないと判定された場合、処理はステップＳ２４４に戻される。従って、ステップＳ２４４では、予め定められた所定時間の間、ステップＳ２４１でタッチが検出されたUIボタンがタッチされたままであるかが判定される。
　ステップＳ２４４で、所定時間を待たずに、タッチされたUIボタンがタッチされなくなったと判定された場合、処理はステップＳ２４６に進み、処理部１６は、ステップＳ２４３で起動したタイマーを終了する。
　そして、ステップＳ２４７において、処理部１６は、登録アプリの実行操作無し、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。
　一方、ステップＳ２４５で、ステップＳ２４１でタッチが検出されたUIボタンがタッチされたまま、所定の時間が経過したと判定された場合、処理はステップＳ２４８に進み、処理部１６は、登録アプリの実行操作有り、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。
　以上の登録アプリ実行操作検出処理によれば、所定のUIボタンが単にタッチされるだけでなく、タッチされた状態が所定の時間継続した場合に、視覚障害者によって視覚登録アプリの実行操作が行われたと判定される。これにより、視覚障害者によるタッチ操作の誤操作を防止することができる。
　なお、上述したような、いわゆる長押し操作の代わりに、ダブルタップ操作が検出された場合に、視覚登録アプリの実行操作が行われたと判定してもよい。この場合でも、視覚障害者によるタッチ操作の誤操作を防止することができる。
＜４．６　登録アプリ実行操作検出処理の他の例＞

　視覚障害者によるタッチ操作の誤操作を防止する登録アプリ実行操作検出処理の他の例について説明する。
　図４１は、グリッドモード時の他の表示例を示す図である。
　上述した例では、グリッドモードが開始されたとき、前面カバー２４１の小窓２５１の開口領域に表示される３ｘ３の９個の分割領域それぞれに登録アプリが割り当てられていた。次の例では、図４１に示されるように、小窓２５１の開口領域に対応して３ｘ４の１２個の分割領域が形成され、１０個の分割領域には登録アプリが割り当てられているが、残りの２個（例えば、図４１の例では左下隅と右下隅の位置）の分割領域には、「戻る」ボタンと「決定」ボタンが割り当てられている。このように、小窓２５１の開口領域に対して、３ｘ３の９個の分割領域を配置してもよいし、３ｘ４の１２個の分割領域を配置してもよい。
　図４２は、グリッドモードのときに図４１に示した表示となる場合の登録アプリ実行操作検出処理のフローチャートを示している。
　初めに、ステップＳ２６１において、処理部１６は、グリッドモードで配置した所定のUIボタンがタッチされたかを判定し、所定のUIボタンがタッチされたと判定されるまで待機する。
　ステップＳ２６１で、所定のUIボタンがタッチされたと判定された場合、処理はステップＳ２６２に進み、処理部１６は、タッチされたUIボタンが「決定」ボタンであるかを判定する。
　ステップＳ２６２で、タッチされたUIボタンが「決定」ボタンではないと判定された場合、処理はステップＳ２６３に進み、処理部１６は、出力部１７の一部であるスピーカを制御して、タッチされたUIボタンに割り当てられた登録アプリを読み上げる。
　さらに、ステップＳ２６４において、処理部１６は、タッチされたUIボタンの登録アプリを、起動アプリ候補に登録する。仮に、登録アプリが割り当てられたUIボタンが繰り返しタッチされた場合には、登録された起動アプリ候補が上書きされ、最後にタッチされた登録アプリの情報のみが起動アプリ候補として記憶される。ステップＳ２６４の後、処理はステップＳ２６１に戻される。
　一方、ステップＳ２６２で、タッチされたUIボタンが「決定」ボタンであると判定された場合、処理はステップＳ２６５に進み、処理部１６は、起動アプリ候補が登録されているかを判定する。
　ステップＳ２６５で、起動アプリ候補が登録されていないと判定された場合、処理はステップＳ２６６に進み、処理部１６は、登録アプリの実行操作無し、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。
　一方、ステップＳ２６５で、起動アプリ候補が登録されていると判定された場合、処理はステップＳ２６７に進み、処理部１６は、登録アプリの実行操作有り、と判定して、登録アプリ実行操作検出処理を終了し、処理を図３８のカバークローズ検出処理に戻す。図３８のステップＳ２０７では、登録された起動アプリ候補が起動される。
　情報処理装置１において、グリッドモードの分割領域の一つに決定ボタンを配置するようにした場合には、以上の登録アプリ実行操作検出処理を実行することによって、視覚障
害者によるタッチ操作の誤操作を防止して、所望の登録アプリを起動させることができる。
＜４．７　小窓に貼り付けられるシールの他の例＞
　図３６に示したスマートフォンカバー２３１では、３ｘ３の９個のUIボタンの配置を視覚障害者が認識するために、前面カバー２４１の小窓２５１の中央部分に、突起２５２を有するシール２５３が貼り付けられていた。
　その他に、例えば、図４３に示されるように、小窓２５１の９個の分割領域それぞれに点字シール２８１を貼り付けてもよい。点字シール２８１の点字は、９個の分割領域の位置を表してもよいし、登録アプリの内容を表してもよい。また、透過素材で形成された小窓２５１に直接凹凸の升目を形成して９個の分割領域が認識できるようにしてもよい。
＜４．８　小窓に割り当てられるUIアプリ配置の他の例＞
　図３６に示したスマートフォンカバー２３１では、情報処理装置１は、スマートフォンカバー２３１の小窓２５１の開口領域に対して、３ｘ３の９個のUIアプリを割り当てるようにしたが、図４４に示されるように、２ｘ２の４個のUIアプリを割り当てるようにしてもよい。あるいはまた、その他の任意の個数のUIアプリを割り当ててもよい。
　また、スマートフォンカバー２３１ごとに、NFCタグ２５５に記憶されるUI配置情報は異なるようにすることができる。これによって、スマートフォンカバー２３１を付け替えることによって、登録アプリを変えることができる。例えば、仕事用のスマートフォンカバー２３１と、旅行用のスマートフォンカバー２３１とを付け替えることによって、利用頻度の異なるアプリを変えることができる。スマートフォンカバー２３１の識別は、NFCタグ識別情報で行うことができる。
　情報処理装置１の処理部１６は、スマートフォンカバー２３１のNFCタグ２５５から取得したUI配置情報に含まれるUIボタン座標情報とUIボタン規定情報のうち、UIボタン規定情報については採用せず、視覚障害者自身が情報処理装置１において設定したUIボタン規定情報を採用してもよい。
　即ち、情報処理装置１のユーザである視覚障害者自身が、例えば、９個の各分割領域にどのようなアプリを割り当てるかを情報処理装置１で設定し、処理部１６は、その設定に従って、UIボタンを配置してもよい。換言すれば、スマートフォンカバー２３１のNFCタグ２５５から取得されたUIボタン規定情報は、デフォルトのUIボタン規定情報として取得されるが、ユーザ自身によって設定されたUIボタン規定情報が存在する場合には、そちらが優先的に利用される。
　また、処理部１６は、NFC通信部２７２を制御して、情報処理装置１のユーザが設定したUIボタン規定情報を、近接通信によってNFCタグ２５５に送信し、NFCタグ２５５に記憶されているUIボタン規定情報を上書きできるようにしてもよい。
＜５．情報処理装置のハードウェア構成例＞
　次に、図４５を参照して、情報処理装置１のハードウェア構成について説明する。
　図４５は、情報処理装置１のハードウェア構成例を示すブロック図である。
　情報処理装置１は、ＣＰＵ（Central　Processing　unit）３０１、ＲＯＭ（Read　Only　Memory）３０３、およびＲＡＭ（Random　Access　Memory）３０５を含む。また、情報処理装置１は、ホストバス３０７、ブリッジ３０９、外部バス３１１、インターフェー
ス３１３、入力装置３１５、出力装置３１７、ストレージ装置３１９、ドライブ３２１、接続ポート３２３、通信装置３２５を含んでもよい。さらに、情報処理装置１は、撮像装置３３３、およびセンサ３３５を含んでもよい。情報処理装置１は、ＣＰＵ３０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ３０１は、演算処理装置および制御装置として機能し、ＲＯＭ３０３、ＲＡＭ３０５、ストレージ装置３１９、またはリムーバブル記録媒体３２７に記録された各種プログラムに従って、情報処理装置１内の動作全般またはその一部を制御する。ＲＯＭ３０３は、ＣＰＵ３０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ３０５は、ＣＰＵ３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ３０１、ＲＯＭ３０３、およびＲＡＭ３０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス３０７により相互に接続されている。さらに、ホストバス３０７は、ブリッジ３０９を介して、PCI（Peripheral　Component　Interconnect/Interface）バスなどの外部バス３１１に接続されている。
　入力装置３１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置３１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１の操作に対応した携帯電話などの外部接続機器３２９であってもよい。入力装置３１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ３０１に出力する入力制御回路を含む。ユーザは、この入力装置３１５を操作することによって、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置３１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置３１７は、例えば、ＬＣＤ（Liquid
　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置３１７は、情報処理装置１の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、または振動などとして出力する。
　ストレージ装置３１９は、情報処理装置１の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置３１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置３１９は、例えばＣＰＵ３０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ３２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３２７のためのリーダライタであり、情報処理装置１に内蔵、あるいは外付けされる。ドライブ３２１は、装着されているリムーバブル記録媒体３２７に記録されている情報を読み出して、ＲＡＭ３０５に出力する。また、ドライブ３２１は、装着されているリムーバブル記録媒体３２７に記録を書き込む。
　接続ポート３２３は、機器を情報処理装置１に接続するためのポートである。接続ポート３２３は、例えば、USB（Universal　Serial　Bus）ポート、IEEE1394ポート、SCSI（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート３２３は、RS-232Cポート、光オーディオ端子、HDMI（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート３２３に外部接続機器３２９を接続することで、情報処理装置１と外部接続機器３２９との間で各種のデータが交換され
うる。
　通信装置３２５は、例えば、通信ネットワーク３３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置３２５は、例えば、LAN（Local　Area　Network）、Bluetooth（登録商標）、Wi-Fi、またはWUSB（Wireless　USB）用の通信カードなどでありうる。また、通信装置３２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置３２５は、例えば、インターネットや他の通信機器との間で、TCP／IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置３２５に接続される通信ネットワーク３３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置３３３は、例えば、CMOS（Complementary　Metal　Oxide　Semiconductor）センサまたはCCD（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置３３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ３３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ（マイクロホン）などの各種のセンサである。センサ３３５は、例えば情報処理装置１の筐体の姿勢など、情報処理装置１自体の状態に関する情報や、情報処理装置１の周辺の明るさや騒音など、情報処理装置１の周辺環境に関する情報を取得する。また、センサ３３５は、GPS（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
　以上、情報処理装置１のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム（視覚障害者歩行支援システム）、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用するこ
とができる。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
　決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する第１のガイド情報生成部と
　を備える情報処理装置。
（２）
　前記方向決定部は、予め記憶されているリファレンス画像と、現時点で撮影された静止画像とをマッチングしたマッチング結果に基づいて、前記視覚を用いずに行動する者が歩く方向を決定する
　前記（１）に記載の情報処理装置。
（３）
　前記方向決定部は、前記リファレンス画像の特徴点と対応する特徴点を前記静止画像から抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて、前記視覚を用いずに行動する者が歩く方向を決定する
　前記（２）に記載の情報処理装置。
（４）
　前記方向決定部は、対応する特徴点どうしをマッチングする前記静止画像の領域を、前記静止画像に映る信号の色で変化させる
　前記（３）に記載の情報処理装置。
（５）
　前記方向決定部は、前記静止画像を二値化してから、前記リファレンス画像と前記静止画像とをマッチングする
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記方向決定部は、前記静止画像内の方位と、前記静止画像を撮影したときの撮影部の方位との演算により、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
　前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記方向決定部は、複数の前記静止画像それぞれで推定された方向情報を統合して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
　前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８） 
　前記方向決定部は、複数の前記静止画像それぞれで推定された方向を重み付け平均化して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
　前記（７）に記載の情報処理装置。
（９）
　前記リファレンス画像を登録する登録部をさらに備える
　前記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記第１のガイド情報生成部は、歩行者自律航法に基づいて、前記決定された方向からのずれ量を演算する演算部を有し、
　前記演算部は、前記決定された方向からの横方向のずれ量と、前記決定された方向に対する体の向きのずれを算出する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記方向決定部は、横断歩道の手前で、前記視覚を用いずに行動する者が歩く方向を決定し、
　前記第１のガイド情報生成部は、横断歩道を歩行中に、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　生成した前記ガイド情報を出力する出力部をさらに備え、
　前記ガイド情報は、音声メッセージまたは電子音である
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記視覚を用いずに行動する者が歩く通過点に関するガイド情報を生成する第２のガイド情報生成部をさらに備える
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記第２のガイド情報生成部は、現在地に近い通過点に対応づけて記憶されている音声を、前記通過点に関するガイド情報として生成する
　前記（１３）に記載の情報処理装置。
（１５）
　前記視覚を用いずに行動する者と、その者を追尾する無人航空機との位置関係を認識し、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　無人航空機が撮影した画像と、前記視覚を用いずに行動する者の現在地を撮影した現在地画像とを比較して、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１７）
　前記情報処理装置は、スマートフォンであり、
　スマートフォンカバーが閉じられたかどうかを検出する検出部と、
　前記スマートフォンカバーが閉じられた場合に、ディスプレイの表示を切り替える表示制御部と
　をさらに備える
　前記（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記スマートフォンカバーと近接通信を行う近接通信部をさらに備え、

　前記表示制御部は、前記スマートフォンカバーが閉じられた場合に、近接通信により取得した情報に基づいて、ディスプレイの表示を切り替える
　前記（１７）に記載の情報処理装置。
（１９）
　情報処理装置が、
　視覚を用いずに行動する者が歩く方向を決定し、
　決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
　ステップを含む情報処理方法。
（２０）
　コンピュータを、
　視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
　決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するガイド情報生成部
　として機能させるためのプログラム。
　１　情報処理装置，　１１　カメラ，　１２　方向センサ，　１３　GPSセンサ，　１４　操作部，　１５　記憶部，　１６　処理部，　１７　　出力部，　５１　Ref画像登録部，　６１　方向決定部，　６２　ガイド情報生成部，　６３　PDR演算部，　１２１
　マイクロホン，　１４１　音声登録部，　１４２　通過点通知部，　１９１　近距離無線通信部，　２１１　Ref画像登録部，　２１２　ガイド情報生成部，　２３１　スマートフォンカバー，　２４１　前面カバー，　２５４　磁石，　２５５　NFCタグ，　２７１　磁力検出部，　２７２　NFC通信部，　３０１　CPU，　３０３　ROM，　３０５　RAM，　３１５　入力装置，　３１７　出力装置，　３１９　ストレージ装置，　３３３　撮像装置，　３３５　センサ

Claims (20)

  1. 　視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
    　決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する第１のガイド情報生成部と
    　を備える情報処理装置。
  2. 　前記方向決定部は、予め記憶されているリファレンス画像と、現時点で撮影された静止画像とをマッチングしたマッチング結果に基づいて、前記視覚を用いずに行動する者が歩く方向を決定する
    　請求項１に記載の情報処理装置。
  3. 　前記方向決定部は、前記リファレンス画像の特徴点と対応する特徴点を前記静止画像から抽出し、対応する特徴点どうしをマッチングしたマッチング結果に基づいて、前記視覚を用いずに行動する者が歩く方向を決定する
    　請求項２に記載の情報処理装置。
  4. 　前記方向決定部は、対応する特徴点どうしをマッチングする前記静止画像の領域を、前記静止画像に映る信号の色で変化させる
    　請求項３に記載の情報処理装置。
  5. 　前記方向決定部は、前記静止画像を二値化してから、前記リファレンス画像と前記静止画像とをマッチングする
    　請求項２に記載の情報処理装置。
  6. 　前記方向決定部は、前記静止画像内の方位と、前記静止画像を撮影したときの撮影部の方位との演算により、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
    　請求項２に記載の情報処理装置。
  7. 　前記方向決定部は、複数の前記静止画像それぞれで推定された方向情報を統合して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
    　請求項２に記載の情報処理装置。
  8. 　前記方向決定部は、複数の前記静止画像それぞれで推定された方向を重み付け平均化して、前記視覚を用いずに行動する者が向いている方向を推定して、前記視覚を用いずに行動する者が歩く方向を決定する
    　請求項７に記載の情報処理装置。
  9. 　前記リファレンス画像を登録する登録部をさらに備える
    　請求項２に記載の情報処理装置。
  10. 　前記第１のガイド情報生成部は、歩行者自律航法に基づいて、前記決定された方向からのずれ量を演算する演算部を有し、
    　前記演算部は、前記決定された方向からの横方向のずれ量と、前記決定された方向に対する体の向きのずれを算出する
    　請求項１に記載の情報処理装置。
  11. 　前記方向決定部は、横断歩道の手前で、前記視覚を用いずに行動する者が歩く方向を決
    定し、
    　前記第１のガイド情報生成部は、横断歩道を歩行中に、決定された方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
    　請求項１に記載の情報処理装置。
  12. 　生成した前記ガイド情報を出力する出力部をさらに備え、
    　前記ガイド情報は、音声メッセージまたは電子音である
    　請求項１に記載の情報処理装置。
  13. 　前記視覚を用いずに行動する者が歩く通過点に関するガイド情報を生成する第２のガイド情報生成部をさらに備える
    　請求項１に記載の情報処理装置。
  14. 　前記第２のガイド情報生成部は、現在地に近い通過点に対応づけて記憶されている音声を、前記通過点に関するガイド情報として生成する
    　請求項１３に記載の情報処理装置。
  15. 　前記視覚を用いずに行動する者と、その者を追尾する無人航空機との位置関係を認識し、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
    　請求項１に記載の情報処理装置。
  16. 　無人航空機が撮影した画像と、前記視覚を用いずに行動する者の現在地を撮影した現在地画像とを比較して、前記視覚を用いずに行動する者を正しい位置へガイドするガイド情報を生成する第３のガイド情報生成部をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　前記情報処理装置は、スマートフォンであり、
    　スマートフォンカバーが閉じられたかどうかを検出する検出部と、
    　前記スマートフォンカバーが閉じられた場合に、ディスプレイの表示を切り替える表示制御部と
    　をさらに備える
    　請求項１に記載の情報処理装置。
  18. 　前記スマートフォンカバーと近接通信を行う近接通信部をさらに備え、
    　前記表示制御部は、前記スマートフォンカバーが閉じられた場合に、近接通信により取得した情報に基づいて、ディスプレイの表示を切り替える
    　請求項１７に記載の情報処理装置。
  19. 　情報処理装置が、
    　視覚を用いずに行動する者が歩く方向を決定し、
    　決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成する
    　ステップを含む情報処理方法。
  20. 　コンピュータを、
    　視覚を用いずに行動する者が歩く方向を決定する方向決定部と、
    　決定した方向へ前記視覚を用いずに行動する者が歩くためのガイド情報を生成するガイド情報生成部
    　として機能させるためのプログラム。
PCT/JP2017/023239 2016-08-05 2017-06-23 情報処理装置、情報処理方法、およびプログラム WO2018025531A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/315,019 US10765588B2 (en) 2016-08-05 2017-06-23 Information processing apparatus and information processing method
JP2018531770A JP6948325B2 (ja) 2016-08-05 2017-06-23 情報処理装置、情報処理方法、およびプログラム
US16/989,230 US11744766B2 (en) 2016-08-05 2020-08-10 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-154480 2016-08-05
JP2016154480 2016-08-05

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/315,019 A-371-Of-International US10765588B2 (en) 2016-08-05 2017-06-23 Information processing apparatus and information processing method
US16/989,230 Continuation US11744766B2 (en) 2016-08-05 2020-08-10 Information processing apparatus and information processing method

Publications (1)

Publication Number Publication Date
WO2018025531A1 true WO2018025531A1 (ja) 2018-02-08

Family

ID=61073858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023239 WO2018025531A1 (ja) 2016-08-05 2017-06-23 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (2) US10765588B2 (ja)
JP (1) JP6948325B2 (ja)
WO (1) WO2018025531A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020250336A1 (ja) * 2019-06-12 2020-12-17
JP2021025831A (ja) * 2019-08-01 2021-02-22 株式会社Ｎｔｔドコモ 歩行制御装置
JP2021174467A (ja) * 2020-04-30 2021-11-01 トヨタ自動車株式会社 情報処理装置
JP2022094782A (ja) * 2020-12-15 2022-06-27 トヨタ自動車株式会社 歩行支援システム
JP2022530347A (ja) * 2019-04-18 2022-06-29 ドリームウェーブス ゲーエムベーハー コンピュータにより実行される、交通参加者を案内するための方法
CN114973028A (zh) * 2022-05-17 2022-08-30 中国电子科技集团公司第十研究所 一种航拍视频图像实时变化检测方法及系统
US11607362B2 (en) 2021-01-12 2023-03-21 Toyota Jidosha Kabushiki Kaisha Walking support system
JP2023522096A (ja) * 2020-04-22 2023-05-26 キム、ミュン ラン スマート機器収納用の書籍
US11672724B2 (en) 2021-01-22 2023-06-13 Toyota Jidosha Kabushiki Kaisha Information processing device and information processing method
US11903897B2 (en) 2021-05-06 2024-02-20 Toyota Jidosha Kabushiki Kaisha Walking support system

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827949B2 (en) 2016-04-06 2020-11-10 Cianna Medical, Inc. Reflector markers and systems and methods for identifying and locating them
JP6948325B2 (ja) * 2016-08-05 2021-10-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6869841B2 (ja) * 2017-07-20 2021-05-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
US11883150B2 (en) 2018-09-06 2024-01-30 Cianna Medical, Inc. Systems for identifying and locating reflectors using orthogonal sequences of reflector switching
US10639228B1 (en) * 2019-02-26 2020-05-05 Stria Labs, Inc. Wearable computing system for assisting a visually impaired user
CN112135026B (zh) * 2020-09-23 2022-02-25 北京一华明升科技有限公司 基于激光方向传感器和人工智能云台的识路装置及方法
JP2022175230A (ja) * 2021-05-13 2022-11-25 トヨタ自動車株式会社 歩行支援システム
JP2023034404A (ja) * 2021-08-31 2023-03-13 トヨタ自動車株式会社 歩行情報提供システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251596A (ja) * 2005-03-14 2006-09-21 Kyoto Institute Of Technology 視覚障害者支援装置
JP2008117206A (ja) * 2006-11-06 2008-05-22 Seiwa Electric Mfg Co Ltd 受信器
JP2014137752A (ja) * 2013-01-17 2014-07-28 Jb Craft:Kk 視覚障害者用の歩行誘導システム、視覚障害者用の歩行誘導方法、サーバ及び該サーバで実行することが可能なコンピュータプログラム
JP2015213620A (ja) * 2014-05-09 2015-12-03 享司 大塚 歩行補助器具
JP2016067855A (ja) * 2014-09-22 2016-05-09 達鋭 橋本 視覚障害者用歩行案内装置

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2914424B2 (ja) 1994-08-29 1999-06-28 ソニー株式会社 誘導システム
AU2003206360A1 (en) * 2002-02-18 2003-09-04 Precise Biometrics Ab Method and device for recording fingerprint data
JP2006127055A (ja) * 2004-10-27 2006-05-18 Denso Corp 車両用情報提示装置
JP4632793B2 (ja) * 2005-01-12 2011-02-16 京セラ株式会社 ナビゲーション機能付き携帯型端末機
US20060183516A1 (en) * 2005-02-16 2006-08-17 Ham Byung I Light therapy element incorporated mobile communication device
JP4513740B2 (ja) * 2005-12-28 2010-07-28 アイシン・エィ・ダブリュ株式会社 経路案内システム及び経路案内方法
JP2008177206A (ja) 2007-01-16 2008-07-31 Dainippon Screen Mfg Co Ltd 基板保持装置、表面形状測定装置および応力測定装置
US8532328B2 (en) * 2007-08-16 2013-09-10 The Boeing Company Methods and apparatus for planetary navigation
WO2009072435A1 (ja) * 2007-12-03 2009-06-11 Shimane Prefectural Government 画像認識装置および画像認識方法
CN102132557B (zh) * 2008-09-03 2013-07-24 三菱电机株式会社 车用拍摄系统
WO2011068184A1 (ja) * 2009-12-03 2011-06-09 独立行政法人産業技術総合研究所 移動体の測位装置
US8366054B2 (en) * 2009-12-17 2013-02-05 The United States Of America As Represented By The Secretary Of The Navy Hand launchable unmanned aerial vehicle
JP5952258B2 (ja) * 2010-03-25 2016-07-13 タガビ，レザ 首用触覚通信装置
KR101641513B1 (ko) * 2010-10-22 2016-07-21 엘지전자 주식회사 이동 단말기의 영상 촬영 장치 및 그 방법
GB2485390A (en) * 2010-11-12 2012-05-16 Sony Corp Video Surveillance System that Detects Changes by Comparing a Current Image with a Reference Image
WO2012068280A1 (en) * 2010-11-16 2012-05-24 Echo-Sense Inc. Remote guidance system
CA2769788C (en) * 2011-03-23 2019-08-13 Trusted Positioning Inc. Methods of attitude and misalignment estimation for constraint free portable navigation
KR20120140486A (ko) * 2011-06-21 2012-12-31 삼성전자주식회사 휴대용 단말기에서 보행 안내 서비스를 제공하기 위한 장치 및 방법
JP2013038623A (ja) * 2011-08-09 2013-02-21 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
US8917902B2 (en) * 2011-08-24 2014-12-23 The Nielsen Company (Us), Llc Image overlaying and comparison for inventory display auditing
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
US20130250078A1 (en) * 2012-03-26 2013-09-26 Technology Dynamics Inc. Visual aid
TWI538668B (zh) * 2012-03-27 2016-06-21 鴻海精密工業股份有限公司 電子導盲裝置
US9420286B2 (en) * 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions
US9154888B2 (en) * 2012-06-26 2015-10-06 Eastern Ontario Audiology Consultants System and method for hearing aid appraisal and selection
US20150247729A1 (en) * 2012-09-04 2015-09-03 Deborah Meduna System and method for device bearing estimation
US9411824B2 (en) * 2012-10-26 2016-08-09 Lida Huang Method and apparatus for image retrieval
ITTO20121070A1 (it) * 2012-12-13 2014-06-14 Istituto Superiore Mario Boella Sul Le Tecnologie Sistema di comunicazione senza fili a corto raggio comprendente un sensore a corto raggio di comunicazione e un terminale mobile avente funzionalita' migliorate, e relativo metodo
US9723251B2 (en) * 2013-04-23 2017-08-01 Jaacob I. SLOTKY Technique for image acquisition and management
US20150095071A1 (en) * 2013-09-29 2015-04-02 Donan Engineering Co., Inc. Systems and Methods for Identifying a Subrogation Opportunity for a Potential Subrogation Claim
US9426365B2 (en) * 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US10024679B2 (en) * 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) * 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
KR102161059B1 (ko) * 2014-03-04 2020-10-20 삼성전자주식회사 모바일 전자장치, 그를 위한 액세서리 디바이스 및 그 액세서리 디바이스를 구비한 전자장치
WO2015165004A1 (en) * 2014-04-28 2015-11-05 Intel Corporation Heading estimation for determining a user's location
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
CN106462775A (zh) * 2014-05-09 2017-02-22 Fio公司 离散边缘分组模板匹配系统、方法和计算机可读媒体
KR102293482B1 (ko) * 2014-05-30 2021-08-26 삼성전자주식회사 전자 장치 및 전자 장치에서의 사용자 인터페이스 방법과 전자 장치의 커버
TW201603791A (zh) * 2014-07-31 2016-02-01 Richplay Information Co Ltd 導盲行動裝置定位系統及其運作方法
US9838846B1 (en) * 2014-08-01 2017-12-05 Google Llc Extraction of walking direction from device orientation and reconstruction of device orientation during optimization of walking direction
US9170117B1 (en) * 2014-08-21 2015-10-27 International Business Machines Corporation Unmanned aerial vehicle navigation assistance
EP2992778A3 (en) * 2014-09-08 2016-04-27 Utility Associates, Inc. Video recording device holster
US9305353B1 (en) * 2014-09-23 2016-04-05 Qualcomm Incorporated Landmark based positioning
US10404950B2 (en) * 2014-11-04 2019-09-03 iMerciv Inc. Apparatus and method for detecting objects
KR102335738B1 (ko) * 2014-12-10 2021-12-06 삼성전자주식회사 디바이스의 회전각 결정 방법 및 이를 위한 장치
US9536452B2 (en) * 2015-05-13 2017-01-03 Abl Ip Holding Llc System and method to assist users having reduced visual capability utilizing lighting device provided information
US9677888B2 (en) * 2015-06-11 2017-06-13 SenionLab AB Determining sensor orientation in indoor navigation
US20180185232A1 (en) * 2015-06-19 2018-07-05 Ashkon Namdar Wearable navigation system for blind or visually impaired persons with wireless assistance
JP6285614B2 (ja) * 2015-07-01 2018-02-28 株式会社日立国際電気 監視システム、撮影側装置、及び照合側装置
JP6750622B2 (ja) * 2015-07-17 2020-09-02 日本電気株式会社 照射システム、照射方法および照射プログラム
US10912281B2 (en) * 2016-02-24 2021-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for communicating with a guide animal
US10667981B2 (en) * 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10188580B2 (en) * 2016-05-09 2019-01-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environment information using an unmanned vehicle
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US20180017393A1 (en) * 2016-07-14 2018-01-18 Robert Willson Handicap assist apparatus
WO2018025030A2 (en) * 2016-08-01 2018-02-08 Zone V Ltd Smartphone accessory for visually impaired or elderly users
JP6948325B2 (ja) * 2016-08-05 2021-10-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251596A (ja) * 2005-03-14 2006-09-21 Kyoto Institute Of Technology 視覚障害者支援装置
JP2008117206A (ja) * 2006-11-06 2008-05-22 Seiwa Electric Mfg Co Ltd 受信器
JP2014137752A (ja) * 2013-01-17 2014-07-28 Jb Craft:Kk 視覚障害者用の歩行誘導システム、視覚障害者用の歩行誘導方法、サーバ及び該サーバで実行することが可能なコンピュータプログラム
JP2015213620A (ja) * 2014-05-09 2015-12-03 享司 大塚 歩行補助器具
JP2016067855A (ja) * 2014-09-22 2016-05-09 達鋭 橋本 視覚障害者用歩行案内装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7510186B2 (ja) 2019-04-18 2024-07-03 ドリームウェーブス ゲーエムベーハー コンピュータにより実行される、交通参加者を案内するための方法
JP2022530347A (ja) * 2019-04-18 2022-06-29 ドリームウェーブス ゲーエムベーハー コンピュータにより実行される、交通参加者を案内するための方法
WO2020250336A1 (ja) * 2019-06-12 2020-12-17 日本電信電話株式会社 方向提示装置、方向提示方法、プログラム
JP7432130B2 (ja) 2019-06-12 2024-02-16 日本電信電話株式会社 方向提示装置、方向提示方法、プログラム
JPWO2020250336A1 (ja) * 2019-06-12 2020-12-17
JP7342947B2 (ja) 2019-06-12 2023-09-12 日本電信電話株式会社 方向提示装置
JP2021025831A (ja) * 2019-08-01 2021-02-22 株式会社Ｎｔｔドコモ 歩行制御装置
JP7303522B2 (ja) 2019-08-01 2023-07-05 株式会社Ｎｔｔドコモ 歩行制御装置
JP2023522096A (ja) * 2020-04-22 2023-05-26 キム、ミュン ラン スマート機器収納用の書籍
JP2021174467A (ja) * 2020-04-30 2021-11-01 トヨタ自動車株式会社 情報処理装置
US11432989B2 (en) 2020-04-30 2022-09-06 Toyota Jidosha Kabushiki Kaisha Information processor
US11475762B2 (en) 2020-12-15 2022-10-18 Toyota Jidosha Kabushiki Kaisha Walking aid system
JP7415909B2 (ja) 2020-12-15 2024-01-17 トヨタ自動車株式会社 歩行支援システム
JP2022094782A (ja) * 2020-12-15 2022-06-27 トヨタ自動車株式会社 歩行支援システム
US11607362B2 (en) 2021-01-12 2023-03-21 Toyota Jidosha Kabushiki Kaisha Walking support system
US11672724B2 (en) 2021-01-22 2023-06-13 Toyota Jidosha Kabushiki Kaisha Information processing device and information processing method
US11903897B2 (en) 2021-05-06 2024-02-20 Toyota Jidosha Kabushiki Kaisha Walking support system
CN114973028B (zh) * 2022-05-17 2023-02-03 中国电子科技集团公司第十研究所 一种航拍视频图像实时变化检测方法及系统
CN114973028A (zh) * 2022-05-17 2022-08-30 中国电子科技集团公司第十研究所 一种航拍视频图像实时变化检测方法及系统

Also Published As

Publication number Publication date
JPWO2018025531A1 (ja) 2019-05-30
US10765588B2 (en) 2020-09-08
US20200368098A1 (en) 2020-11-26
US11744766B2 (en) 2023-09-05
JP6948325B2 (ja) 2021-10-13
US20190307632A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
WO2018025531A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10636150B2 (en) Subject tracking systems for a movable imaging system
US11340072B2 (en) Information processing apparatus, information processing method, and recording medium
US10366508B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
TWI436035B (zh) 緊急應變導引系統以及導引伺服器
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TW201007200A (en) Automatic ultrasonic and computer-vision navigation device and method using the same
CN110431378B (zh) 相对于自主车辆和乘客的位置信令
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
US10062302B2 (en) Vision-assist systems for orientation and mobility training
Khairnar et al. Partha: A visually impaired assistance system
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
CN110686694A (zh) 导航方法、装置、可穿戴电子设备及计算机可读存储介质
CN110392908A (zh) 用于生成地图数据的电子设备及其操作方法
JP7245363B2 (ja) 測位方法及び装置、電子機器並びに記憶媒体
US20210154827A1 (en) System and Method for Assisting a Visually Impaired Individual
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JP6822571B2 (ja) 端末装置、危険予測方法、プログラム
Somyat et al. NavTU: android navigation app for Thai people with visual impairments
JP6500139B1 (ja) 視覚支援装置
US20220412741A1 (en) Information processing apparatus, information processing method, and program
KR20130031423A (ko) 시각장애인을 위한 움직임센서 및 근접센서를 이용하여 촉각신호로 변환되는 시스템
KR102263695B1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
KR20120088320A (ko) 시각장애인을 위한 사물인식 및 보행안내 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17836638

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018531770

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17836638

Country of ref document: EP

Kind code of ref document: A1