WO2015111264A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2015111264A1
WO2015111264A1 PCT/JP2014/078081 JP2014078081W WO2015111264A1 WO 2015111264 A1 WO2015111264 A1 WO 2015111264A1 JP 2014078081 W JP2014078081 W JP 2014078081W WO 2015111264 A1 WO2015111264 A1 WO 2015111264A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
unit
electronic device
control unit
Prior art date
Application number
PCT/JP2014/078081
Other languages
English (en)
French (fr)
Inventor
冨井宏美
小野里学
田井寿
羽曾部亮
関口政一
今水誠
大江隆之
亀原博
小宮大作
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014011810A external-priority patent/JP2015138017A/ja
Priority claimed from JP2014011811A external-priority patent/JP2015138534A/ja
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2015111264A1 publication Critical patent/WO2015111264A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation

Definitions

  • the present invention relates to an electronic device.
  • Patent Document 1 a glass-type portable terminal to be worn near the face has also been proposed.
  • Patent Document 2 a technique for detecting and warning a specific sound generated by an emergency vehicle while walking or driving a car.
  • the present invention has been made in view of the above-described problems, and an object thereof is to provide an easy-to-use electronic device.
  • the electronic device of the present invention includes a storage unit that stores first information, a position acquisition unit that acquires a user's position, and the first information according to the user's position acquired by the position acquisition unit. And a determination unit that determines whether to obtain the corresponding second information.
  • the determination unit determines to acquire the second information
  • the second information or incidental information incidental to the second information and the second information is included. It is good also as providing the 1st acquisition part which acquires.
  • the storage unit may store at least one of an image and a sound as the first information.
  • an imaging unit that performs imaging may be provided, and the storage unit may store an image captured by the imaging unit as the first information.
  • a voice collection unit that performs voice collection may be provided, and the storage unit may store the voice collected by the voice collection unit as the first information.
  • the electronic device of the present invention may further include a notification unit that notifies the user when information related to the first information and the second information is input. Moreover, it is good also as providing the alerting
  • the electronic device of the present invention may include a display unit that performs display, and a control unit that stores the first information in the storage unit based on the display of the display unit.
  • An electronic apparatus includes a position acquisition unit that acquires a position of a user, and a determination unit that determines whether first information that is necessary information for the user has been acquired, according to the position acquired by the position acquisition unit And.
  • the determination unit may determine whether the imaging unit has captured the first information.
  • a notification unit that notifies the user may be provided.
  • the said determination part determines with the said 1st information not being acquired, you may provide the 1st acquisition part which acquires the said 1st information.
  • the electronic apparatus of the present invention includes an orientation acquisition unit that acquires the orientation of the user's line of sight, and the instruction unit is configured to respond to the first information and the orientation detected by the orientation acquisition unit. The user may be instructed of the action to be taken.
  • the electronic device of the present invention may include a second acquisition unit that acquires second information, and the instruction unit may start the instruction based on the second information acquired by the second acquisition unit. Good.
  • the electronic apparatus of the present invention may include an analysis unit that analyzes the first information.
  • the electronic device of this invention is good also as providing the mounting part for mounting
  • the mounting portion may be mountable near the user's eyes.
  • indication part is good also as giving the instruction
  • the present invention has an effect that it is possible to provide a user-friendly electronic device.
  • FIG. 3A is a flowchart illustrating an example of information registration processing executed by the mounting apparatus
  • FIG. 3B is a flowchart illustrating an example of notification processing executed by the mounting apparatus
  • FIG. 4A shows an example of the image data table
  • FIG. 4B shows an example of the audio data table
  • FIG. 5A is a diagram illustrating an example of an image data table
  • FIG. 5B is a diagram illustrating an example of an audio data table
  • FIG. 5C is an example of a sign imaged by the imaging unit.
  • FIG. 10A shows the position of the user.
  • FIG. 10B is a diagram illustrating an example of an image for evacuation guidance.
  • FIG. 11A and FIG. 11B are diagrams showing examples of images for evacuation guidance.
  • FIG. 12A is a schematic diagram illustrating the position of the user.
  • FIGS. 12B and 12C are diagrams in which the user's field of view and the arrow displayed on the display unit are overlapped.
  • FIG. 13A shows an example of a map of a golf course.
  • FIG. 13B is a diagram in which the user's field of view and the arrow displayed on the display unit are overlapped.
  • the wearing device 10 is a glasses-type terminal worn by a user on the body (face).
  • FIG. 1 is a block diagram showing the configuration of the mounting device 10.
  • the mounting device 10 includes an imaging unit 11, a display unit 12, an operation unit 13, a microphone 14, a speaker 15, a storage unit 16, a control unit 17, a communication unit 18, A position detection unit 19, an orientation sensor 20, an image recognition unit 21, and a voice recognition unit 22 are provided.
  • the mounting device 10 is shown in a perspective view.
  • the mounting apparatus 10 includes a glasses-type frame 110.
  • the configuration of the mounting device 10 illustrated in FIG. 1 and not illustrated in FIG. 2 is provided inside the frame 110 or a part of the frame 110.
  • the imaging unit 11 includes a lens, an imaging device, an image processing unit, and the like, and captures still images and moving images. As shown in FIG. 2, the imaging unit 11 is provided near the end of the frame 110 (near the user's right eye). For this reason, in a state where the user wears the mounting device 10, it is possible to capture an image in a direction in which the user is facing (viewing).
  • the display unit 12 includes a projector provided in or near the frame 110, and a prism for guiding a projection image from the projector to the eyes of the user.
  • the display unit 12 displays various information under the instruction of the control unit 17.
  • the operation unit 13 is a touch pad provided on the frame 110, detects the movement of the user's finger, receives an operation from the user, and transmits the received operation information to the control unit 17. Details of the imaging unit 11, the display unit 12, the operation unit 13, and the like are also disclosed in, for example, US Patent Application Publication No. 2013/0044042.
  • the microphone 14 is a sound collection device that is provided in the frame 110 and collects sound around the user and sound emitted by the user.
  • the speaker 15 is an audio output device that is provided in the frame 110 and outputs audio under the control of the control unit 17, for example.
  • a speaker having directivity and capable of providing audio information mainly toward the ear of the user wearing the wearing device 10 can be employed.
  • the storage unit 16 is a non-volatile semiconductor memory such as a flash memory, for example, and stores an image captured by the imaging unit 11, display data displayed on the display unit 12, audio output from the speaker 15, and the like.
  • the storage unit 16 stores an image data table and an audio data table (see FIGS. 4A and 4B), which will be described later.
  • the control unit 17 comprehensively controls the entire mounting device 10.
  • the control unit 17 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like. Details of processing executed by the control unit 17 will be described later.
  • the communication unit 18 performs wireless communication (communication using a mobile phone line, a wireless local area network (LAN), or the like) with other devices.
  • the communication unit 18 is connected to the Internet or the like via wireless communication.
  • the position detector 19 includes, for example, a GPS (Global Positioning System) module, detects the position (for example, latitude and longitude) of the mounting device 10, and outputs the detected position to the controller 17.
  • the position detection unit 19 may detect the country or region where the user wearing the mounting device 10 is present based on the position (latitude and longitude) of the mounting device 10 and output the detected country or region to the control unit 17.
  • the azimuth sensor 20 has, for example, a biaxial magnetic sensor that detects geomagnetic components in directions orthogonal to each other, and detects an azimuth from a magnetic field detection value by the biaxial geomagnetic sensor.
  • the azimuth sensor 20 detects the direction (azimuth) that the user's face (eyes) is facing and the imaging direction (azimuth) of the imaging unit 11.
  • the image recognition unit 21 extracts feature points of an image captured by the imaging unit 11 of the mounting apparatus 10 by using a feature amount detection algorithm such as SURF (Speeded Up Up Robust Features) or SIFT (Scale Invariant Feature Up Transform). Image recognition is performed by comparing with a plurality of standard patterns that can be acquired from a database or the like. In the present embodiment, the image recognition unit 21 recognizes, for example, what the meaning (type) of the road sign image captured by the imaging unit 11 is.
  • SURF Speeded Up Up Robust Features
  • SIFT Scale Invariant Feature Up Transform
  • the voice recognition unit 22 recognizes the voice collected by the microphone 14 and transmits the voice recognition result to the control unit 17. In the first embodiment, the voice recognition unit 22 recognizes whether or not the voice uttered by the user is a command execution instruction. In addition, the voice recognition unit 22 extracts a warning sound such as a siren by erasing a human voice or noise from the voice collected by the microphone 14. The voice recognition unit 22 recognizes the meaning (type) of the alarm sound by comparing with a plurality of standard voice patterns that can be acquired from a database on the Internet. The control unit 17 executes processing based on the voice recognition result (for example, command execution processing). The control unit 17 may perform voice recognition without providing the voice recognition unit 22.
  • FIG. 3A is a flowchart illustrating an example of information registration processing executed by the mounting apparatus 10
  • FIG. 3B is a flowchart illustrating an example of notification processing executed by the mounting apparatus 10.
  • the information registration process of FIG. 3A is a process performed while the user wearing the mounting apparatus 10 is a Japanese user and the user is in Japan.
  • the user can register, for example, images such as road signs and signboards that call attention in Japan, and alarm sounds such as sirens. It is assumed that the user understands the meanings of road signs, signboards, and alarm sounds to be registered.
  • 3A starts when the user inputs the power of the mounting device 10 while the mounting device 10 is mounted.
  • step S1 the control unit 17 waits until an information registration instruction is input.
  • the control unit 17 waits until an information registration instruction is input.
  • the control unit 17 The process proceeds to step S2.
  • the user inputs an image registration instruction when there is a sign or the like to be registered in the field of view.
  • the user inputs a voice registration instruction when an alarm sound or the like to be registered is heard.
  • the image registration instruction and the voice registration instruction can be input by a predetermined operation on the touch pad of the operation unit 13.
  • step S ⁇ b> 2 the control unit 17 acquires the position of the user from the position detection unit 19. For example, if the user is in Japan, “Japan” is acquired.
  • step S3 the control unit 17 registers a sign or alarm sound that the user wants to register.
  • the control unit 17 acquires an image captured by the imaging unit 11 at a timing when an image registration instruction is received, and extracts an image portion that the user wants to register from the image.
  • a method of extracting the image portion that the user wants to register for example, a method of extracting a predetermined range at the approximate center of the image can be employed. This is because when a user registers a sign or the like, there is a high possibility that the sign or the like is stared at the center of the visual field.
  • the relationship between the attachment position of the imaging unit 11 and the position of the user's eye (right eye) may be calibrated based on the image and focal length and stored in the storage unit 16 as a machine constant.
  • the present invention is not limited to this, and as a method for extracting the image portion that the user wants to register, for example, the user may point to a sign or the like that the user wants to register, and the predetermined range located at the tip of the finger is extracted from the image at that time. A method may be adopted.
  • the control unit 17 registers the extracted range of images in the image data table shown in FIG. In this case, the control unit 17 gives an instruction to the image recognition unit 21 and recognizes what the meaning (type) of the image such as a sign is using a database on the Internet or the like. Then, the control unit 17 registers the image in the image data table together with the meaning (type) and position information. For example, when the extracted sign image is an image of a parking prohibition sign, the extracted image is registered in the image data table together with information on the type “parking prohibition” and the position “Japan”.
  • the control unit 17 acquires the voice input to the microphone 14 at the timing when the voice registration instruction is received.
  • the control unit 17 uses the voice recognition unit 22 to extract an alarm sound such as a siren by erasing a human voice or noise from the voice collected by the microphone 14.
  • the control part 17 registers the audio
  • the control unit 17 gives an instruction to the voice recognition unit 22 and recognizes the meaning (type) of the alarm sound using a database on the Internet.
  • control unit 17 registers the sound data of the alarm sound together with the meaning (type) and position information in the sound data table. For example, if the extracted alarm sound is an ambulance siren voice, the extracted image is registered in the voice data table together with information on the type “ambulance siren” and the position “Japan”.
  • FIG. 3A ends, the process of FIG. 3A is repeatedly executed until the power of the mounting apparatus 10 is turned off.
  • the user can register information (images and sounds) to be registered in advance in the image data table and the sound data table.
  • the registration process may be executed by a multifunctional mobile phone (smartphone) or a tablet terminal in addition to the mounting device 10.
  • a multifunctional mobile phone smart phone
  • a tablet terminal in addition to the mounting device 10.
  • a smartphone an image captured by the imaging unit of the smartphone or an image captured by the imaging unit 11 of the mounting apparatus 10 is displayed on the display unit of the smartphone, and the user selects among the images. What is necessary is just to register the performed part (part containing a label
  • proximity communication such as Bluetooth (registered trademark), RFID (Radio Frequency Identification), TransferJet (registered trademark), or human body communication via the human body is performed between the multifunctional mobile phone or tablet terminal and the mounting device 10.
  • the data may be registered in the storage unit 16 of the mounting apparatus 10 as used.
  • Human body communication includes a current system in which a weak current is passed through the human body and the current is modulated to transmit information, and an electric field system in which information is transmitted by modulating an electric field induced on the surface of the human body. .
  • a current system in which a weak current is passed through the human body and the current is modulated to transmit information
  • an electric field system in which information is transmitted by modulating an electric field induced on the surface of the human body.
  • FIG. 4A as an example of an image registered in the image data table, an example of parking prohibition, caution, and fire strict prohibition is shown, but the present invention is not limited to this.
  • image data of other road signs (speed limit etc.) and signs indicating prohibited items may be registered in the image data table.
  • FIG. 4B shows an ambulance siren, a police car siren, and a national protection siren as examples of voices registered in the voice data table, but is not limited thereto.
  • data of other voices time signal, alarm for notifying a disaster, etc.
  • FIG. 4B the case where data in mp3 format is registered in the audio data table as audio data has been described.
  • the present invention is not limited to this, and other file formats may be adopted.
  • step S10 the control unit 17 acquires the position of the user from the position detection unit 19.
  • the control unit 17 acquires information on a country or region such as “Japan” or “USA” as the position.
  • step S11 the control unit 17 determines whether or not conversion of information stored in the storage unit 16 is necessary.
  • the control unit 17 determines that information conversion is necessary when the position of the user detected in step S10 does not exist in the area column. For example, when the image data table of FIG. 4A and the audio data table of FIG. 4B are stored in the mounting apparatus 10 and the position detected in step S10 is “USA”, FIG. a) Since “America” does not exist in the area column of FIG. 4B, the control unit 17 determines that the information stored in the storage unit 16 needs to be converted, and the process proceeds to step S12. Transition.
  • the control unit 17 converts the information.
  • the control unit 17 connects to the Internet via the communication unit 18 and the information registered in Japan (image and audio data) registered in FIG. 4A and FIG. Get the corresponding US information.
  • the control unit 17 may perform an image search using the image shown in FIG. 4A or a voice search using the voice shown in FIG. 4B.
  • the image shown in FIG. Text data may be created from the voice of b) and a text search may be performed.
  • the control part 17 acquires the information of the record of the 2nd line of the image data table of Fig.5 (a), and the information of the record of the 2nd line of the audio
  • step S12 the process proceeds to step S13.
  • the control unit 17 may acquire information (accompanying information) attached to an American sign or warning sound through the Internet or the like.
  • the supplementary information is, for example, the meaning of the sign, penalties for violating the sign, information on how to deal with the alarm sound, and the like.
  • the control unit 17 may acquire incidental information on the state laws of the state where the user is located.
  • step S11 when the conversion of information is unnecessary, that is, when the information corresponding to the position of the user is already registered in the image data table and the audio data table, the determination in step S11 is denied. If the determination in step S11 is negative, the control unit 17 proceeds to step S13 without passing through step S12.
  • step S11 After step S11 is denied, or after step S11 is affirmed and the process of step S12 is performed, when the process proceeds to step S13, the control unit 17 stores information (region) registered in the image data table or the audio data table. It waits until information that matches the “American information” is input from the imaging unit 11 or the microphone 14. For example, the control unit 17 causes the image recognition unit 21 to compare the image captured by the imaging unit 11 with the image of the region “America” in the image data table of FIG. If there is an image that matches or approximates, the control unit 17 determines that the information registered in the image data table of FIG. 5A has been input, and proceeds to step S14.
  • control unit 17 instructs the voice recognition unit 22 to delete voice data or noise from the voice collected by the microphone 14 and the region “USA” in the voice data table of FIG. 5B. Compare audio data with If there is audio data that matches or approximates, the control unit 17 determines that the information registered in the image data table of FIG. 5B has been input, and proceeds to step S14.
  • the control unit 17 determines whether or not notification to the user is necessary. For example, the control unit 17 determines that notification to the user is necessary when it can be determined that the user is not aware of the sign or the warning sound.
  • the case where it can be determined that the user is not aware of the sign is, for example, the case where the user is not gazing at the sign, and the sign is captured by the imaging unit 11 but the sign is in the center of the image for a predetermined time (several seconds). Degree) if it is not located above.
  • the case where it can be determined that the user is not aware of the alarm sound is a case where the user is playing music or the like on the mounting device 10 when the alarm sound is input from the microphone 14.
  • step S14 determines that the user is not aware of the sign or the alarm sound and needs to be notified to the user. If the control unit 17 determines that the user is not aware of the sign or the alarm sound and needs to be notified to the user, the determination in step S14 is affirmed and the process proceeds to step S15. Even when the user is gazing at the sign, for example, when the user's voice such as “What do you mean?” Or “I do not know the meaning” is input to the microphone 14, It may be determined that notification is necessary.
  • the control unit 17 notifies the user. For example, the control unit 17 displays a message on the display unit 12 or outputs a sound from the speaker 15 to notify the user of the presence of a sign or an alarm sound. For example, when the user does not notice the parking prohibition sign, the control unit 17 outputs a message such as “There is a parking prohibition sign” from the display unit 12 or the speaker 15 based on the image data table, A display that guides the user's eyes to a parking prohibition sign can be displayed on the display unit 12. If the meaning of what the user is gazing at the parking prohibition sign is unclear, the control unit 17 displays a message such as “No parking prohibition sign” based on the image data table.
  • step S12 when the supplementary information of the sign (such as the meaning of the sign or the penalty when the sign is violated) is acquired, the control unit 17 outputs the supplementary information from the display unit 12 or the speaker 15. You may do it. The same applies to the notification of the presence of an alarm sound.
  • information on the presence of the alarm sound or a corresponding method regarding the alarm sound with the volume of the music lowered. Or the like may be output from the speaker 15.
  • step S15 After step S15 is performed as described above, the control unit 17 proceeds to step S16. If the determination in step S14 is negative, that is, if notification is determined to be unnecessary, the control unit 17 proceeds to step S16 without passing through step S15.
  • the control unit 17 detects the user's action and determines whether or not the action is appropriate. In this case, the control unit 17 determines whether or not the user is performing an appropriate action according to the sign imaged by the imaging unit 11 or the alarm sound collected by the microphone 14. For example, when the imaging unit 11 captures an image in which the user locks the car and leaves the vehicle within a predetermined time (several seconds to several minutes) after the image of the parking prohibition sign is captured by the imaging unit 11, Since the user parked in the parking prohibited area, the control unit 17 determines that the user is not taking an appropriate action.
  • step S16 it is determined from the image captured by the imaging unit 11 that the user who drives the car does not stop on the road shoulder despite detecting that the ambulance siren is approaching from the sound collected by the microphone 14. If possible, the control unit 17 determines that the user is not taking an appropriate action. Note that whether or not the user has approached the shoulder of the road can be determined based on the position of the road or the center line in the captured image. When the determination in step S16 is negative, the control unit 17 proceeds to step S17.
  • the control unit 17 notifies the user to take an appropriate action.
  • the control unit 17 can be confirmed from the display unit 12 or the speaker 15 “please check because there is a high possibility of a parking prohibited area” or “when an ambulance is approaching later, stop by the right side. Please output a message such as “Please”. By such notification, the user can know whether or not his / her behavior is appropriate.
  • step S17 the control unit 17 ends all the processes in FIG. If the user has taken an appropriate action (step S16 / Yes), the control unit 17 ends all the processes in FIG. 3B without going through step S17. Note that the process of FIG. 3B is repeatedly executed until the power of the mounting apparatus 10 is turned off. However, since the position (region) of the user does not change frequently, the processing / determination in steps S10 to S12 may be performed about once a day, for example.
  • the storage unit 16 stores images such as signs in a certain area (for example, Japan) and sound data of alarm sounds.
  • the control unit 17, according to the position of the user detected by the position detection unit 19, information on the current position of the user (for example, the United States) corresponding to the information (image and audio data) stored in the storage unit 16 ( It is determined whether or not (image or sound data) is acquired.
  • the usability of the mounting apparatus 10 can be improved.
  • control unit 17 refers to the storage unit 16 and acquires information corresponding to the current position of the user when information (image or audio data) corresponding to the current position of the user has not been acquired yet. , Necessary information can be acquired at an appropriate timing.
  • the control unit 17 displays the display unit 12 or the speaker 15. Is used to notify the user of the presence of a sign or warning sound, so that the user can recognize the presence of the sign or warning sound even in an unfamiliar place. Thereby, the user can take an appropriate action according to the sign or the warning sound.
  • control part 17 since the control part 17 also acquires and alert
  • control unit 17 performs notification regarding the user's behavior when the user's behavior is inappropriate that does not follow the sign or the alarm sound (S16: negative). .
  • reporting regarding a user's action can be performed at an appropriate timing.
  • the image captured by the imaging unit 11 and the audio data collected by the microphone 14 are registered in the image data table and the audio data table of the storage unit 16. Thereby, the user can register the actually seen image or the heard voice in the image data table or the voice data table.
  • the mounting apparatus 10 includes a frame 110 and is mounted by a user. For this reason, the mounting apparatus 10 can capture the scenery that the user is actually viewing and collect the voice that is actually being heard. In addition, it is possible to suppress the user from overlooking or overhearing the notification by the control unit 17.
  • the present invention is not limited to this.
  • the meaning (type) of the sign can be identified from the image captured by the imaging unit 11, an image of the sign of that meaning (type) is acquired from the Internet or the like and registered in the image data table. Good. The same applies to audio data.
  • the information stored in the storage unit 16 in the information registration process may be shared with other mounting devices (for example, mounting devices used by family members, friends, and the like).
  • the mounting apparatus 10 that manages the image data table of the parent mounting apparatus 10 and the image data table of the child mounting apparatus 10 on the server and performs notification processing
  • the image data table obtained by merging the image data tables is downloaded. You may make it use.
  • sharing with the other mounting apparatus 10 is not limited to privates, such as a family and a friend,
  • sharing with the other mounting apparatus 10 is not limited to privates, such as a family and a friend,
  • deployment to a business is also possible. Specifically, an image or sound to be noted in a factory registered by a veteran employee may be shared with a new employee. Further, the above-described conversion process may be performed when the mark (image) and sound are different between industries and companies.
  • the present invention is not limited to this.
  • information in Japan and information in the United States need only be associated with each other.
  • the database on the Internet may be searched using the image and audio data to convert the information.
  • the present invention is not limited to this. That is, when the user travels to the United States, the Japanese information may be rewritten with the American information.
  • the mounting apparatus 10 performs all the processes in FIGS. 3A and 3B .
  • the present invention is not limited to this.
  • a part of the processing of the mounting device 10 may be executed by another device (another terminal such as a server, a smartphone, or a wristwatch type terminal).
  • the mounting apparatus 10 performs image capturing, voice collection, and position information acquisition, and other apparatuses perform various processes such as voice recognition and image recognition based on the information acquired by the mounting apparatus 10.
  • the wearing device 10 may be notified.
  • the user wears a smartphone or a wristwatch-type terminal, the user performs special pairing and transmits / receives various data using the above-described proximity communication or human body communication. The trouble of performing the operation can be saved.
  • FIG. 6 is a block diagram showing the configuration of the information processing system 100 according to the second embodiment.
  • the information processing system 100 is a system used for guiding the user to evacuate.
  • the information processing system 100 includes a mounting device 10 and a server 30.
  • the mounting apparatus 10 has the same configuration as the mounting apparatus 10 according to the first embodiment, except that the process executed by the control unit 17 and the communication unit 18 communicate with the server 30 via a network or the like. Therefore, detailed description is omitted.
  • the server 30 communicates with the plurality of mounting devices 10.
  • the server 30 includes a storage unit 31, a communication unit 32, an OCR (Optical Character Recognition) unit 33, an image recognition unit 34, and a control unit 35.
  • OCR Optical Character Recognition
  • the storage unit 31 is, for example, a nonvolatile semiconductor memory such as a flash memory or a hard disk drive, and stores data transmitted from the mounting apparatus 10.
  • the storage unit 31 stores a face image (face dictionary) of a member of a group to which the user belongs, a position history of each user (member), information on the mounting device 10 worn by the member, and the like.
  • the communication unit 32 performs wireless communication (communication using a mobile phone line or a wireless LAN) or wired communication with other devices.
  • the communication unit 32 communicates with the mounting device 10, and the image captured by the imaging unit 11 of the mounting device 10, the sound collected by the speaker 15, and the position detection unit 19 acquire the image.
  • the received position information, the direction information acquired by the direction sensor 20, and the like are received.
  • the communication unit 32 communicates with each of the mounting devices 10 used by the members of the group based on the information of the mounting device 10 stored in the storage unit 31.
  • the OCR unit 33 recognizes characters from the image captured by the imaging unit 11 of the mounting apparatus 10, converts the characters into text data, and outputs the text data to the control unit 35.
  • the image recognition unit 34 extracts feature points of an image captured by the imaging unit 11 of the mounting apparatus 10 by a feature amount detection algorithm, and includes a plurality of recognition target standard patterns (included in the face dictionary) stored in the storage unit 31. The image recognition is performed by comparing with the image of the member's face). In the second embodiment, the image recognition unit 34 detects whether or not a group member is included in the image captured by the imaging unit 11.
  • the control unit 35 controls the entire server 30 in an integrated manner.
  • the control unit 35 includes a CPU, RAM, ROM, and the like.
  • evacuation route data collection processing executed by the control unit 35 of the server 30 will be described with reference to the flowchart of FIG.
  • a case where all or some of the members belonging to a certain group (a group of friends or the like) travel and stay at a certain hotel will be described as an example.
  • step S ⁇ b> 20 the control unit 35 identifies one user belonging to the group stored in the storage unit 31 and confirms with which member in the group the identified user is located. To do. For example, the control unit 35 acquires a predetermined number of images (images around the identified user) captured by the imaging unit 11 of the mounting apparatus 10 worn by the identified user, performs face recognition by the image recognition unit 34, and Confirm the members of the group to which the specified user exists.
  • the control part 35 may start the process of step S20 as a trigger that the specified user started the conversation, for example, and may start the input from the specified user as a trigger. Whether or not the user has started a conversation can be determined based on whether or not the voice collected by the microphone 14 includes a conversation between the identified user and another user.
  • the identified user and the confirmed member are hereinafter referred to as a common action member.
  • step S ⁇ b> 21 the control unit 35 displays the position information detected by the position detection unit 19 of the mounting apparatus 10 worn by the identified user and the history of the positions of the common behavior members stored in the storage unit 31. Referring to it, it is determined whether or not the position of the common action member is a place where all the common action members visit for the first time. If the determination in step S21 is negative, that is, if any of the common behavior members has visited, the process proceeds to step S22, but if the determination in step S21 is affirmed, If it is a place where none of the common behavior members have visited, the process proceeds to step S23.
  • the control unit 35 has already imaged information related to the evacuation route (for example, a hotel evacuation route map). Judge whether there is.
  • the control unit 35 determines that the position information that approximates the position information detected in step S21 out of the images stored in the storage unit 16 of the mounting device 10 worn by each common behavior member is Exif (Exchangeable image file). The image associated with the format) information is confirmed, and it is determined whether or not information related to the evacuation route (for example, an evacuation route map) has been captured.
  • the control unit 35 acquires an image in which position information approximate to the position information detected in step S21 is associated as Exif information, and uses the OCR unit 33 to convert characters in the acquired image into text data. Convert to When the converted text data includes text data related to evacuation such as “evacuation route”, “emergency exit”, and “Ex”, the control unit 35 captures the image of the evacuation route map. As specified. Note that the control unit 35 uses the image recognition unit 34 to extract an image in which a sign (an emergency exit sign, an arrow indicating an evacuation route, etc.) is present and specify the image as an image of the evacuation route map. Good.
  • a sign an emergency exit sign, an arrow indicating an evacuation route, etc.
  • FIG. 8 shows an evacuation route diagram as an example of information related to the evacuation route.
  • the evacuation route map is installed in the hallway and room of the building.
  • “EV” represents an elevator
  • “Ex” represents an emergency exit
  • each number represents a room number
  • “Staff Room” represents a room used by the building staff.
  • the mark M indicating the direction is displayed for convenience and may or may not be included in the actual evacuation route map.
  • the upper direction represents north (N)
  • the lower direction represents south (S)
  • the right direction represents east (E)
  • the left direction represents west (W).
  • step S23 determines whether the evacuation route map has been imaged. If the determination in step S23 described above is affirmed, that is, if the evacuation route map has been imaged, the process proceeds to step S26, but if denied, that is, the evacuation route diagram has not been imaged. In the case, the process proceeds to step S24.
  • step S24 the control unit 35 determines whether or not the user has been notified that information regarding the evacuation route (evacuation route map) has not been captured. If the determination in step S24 is affirmed, the process returns to step S23, but if the determination in step S24 is negative, the process proceeds to step S25.
  • control part 35 will alert
  • Steps S23 (No) and S24 (Yes) are repeated, and when the evacuation route map is imaged by the imaging unit 11 of the mounting device 10 worn by one of the common behavior members, the determination in Step S23 is positive, The process proceeds to S26.
  • the control unit 35 executes an association process between the image of the evacuation route map and the direction. Specifically, the control unit 35 associates the evacuation route map with the azimuth (direction in which the common action member is facing) detected by the azimuth sensor 20 when the evacuation route map is imaged. For example, when the direction (azimuth) that the common action member is facing when imaging the evacuation route map of FIG. 8 is north (N), the control unit 35 evacuates the evacuation route map when the orientation is north. 8 is stored in the storage unit 31.
  • step S26 When the process of step S26 is completed, the entire process of FIG.
  • step S22 information on the evacuation route (image of the evacuation route map) is acquired in the past. It is determined whether it is stored in the storage unit 31. That is, in the past, it is determined whether a diagram of an evacuation route at the same place has been captured and an image and orientation association process (S26) has been performed. If the determination in step S22 is negative, the process proceeds to step S23, and the same processing as described above is performed. However, if the determination in step S22 is affirmative, all the processes in FIG. .
  • evacuation guidance processing is a process performed after the image of the evacuation route map is acquired by the process of FIG.
  • step S27 the control unit 35 stands by until an emergency situation is detected.
  • the control unit 17 of the mounting device 10 is used in an emergency situation when siren sound or warning sound is included in the audio data input by the microphone 14 or when an image captured by the imaging unit 11 includes flame or smoke.
  • Information to that effect is transmitted to the control unit 35 of the server 30. Therefore, the control unit 35 waits until receiving information indicating that the situation is an emergency from the mounting apparatus 10, and proceeds to step S28 when the information is received.
  • the control unit 35 may start evacuation guidance in response to an evacuation guidance start request input by the user to the mounting apparatus 10.
  • control unit 35 executes the evacuation guidance process in cooperation with the mounting device 10.
  • FIGS. 10 (a) to 11 (b) As an example, a case where the user at the position P1 in FIG. 10A is guided to the emergency exit (Ex) will be described.
  • the control unit 35 requests the control unit 17 of the mounting apparatus 10 to transmit azimuth information.
  • the control unit 17 transmits the user orientation information detected by the orientation sensor 20 to the control unit 35.
  • FIG. 10A it is assumed that the user at the position P1 is facing the north (N) direction. In this case, the control unit 35 receives “north” as the orientation information of the user.
  • the control unit 35 rotates the image of the evacuation route map of FIG. 8 based on the user's azimuth information and transmits it to the control unit 17 of the mounting apparatus 10.
  • the evacuation route diagram of FIG. 8 is an evacuation route diagram when the direction is north, so if the received direction information of the user is “north”, it rotates as shown in FIG. Without doing so, the evacuation route map is transmitted to the control unit 17.
  • the control unit 17 displays the received evacuation route map on the display unit 12.
  • the control unit 17 transmits the user orientation information to the control unit 35 of the server 30 when the orientation (azimuth) of the user is changed by a predetermined value or more (for example, 45 ° or more). Then, the control unit 35 rotates the image of the evacuation route map of FIG. 8 based on the user orientation information and transmits the image to the control unit 17 of the mounting apparatus 10.
  • the azimuth information of the user is “west”
  • the evacuation route map of FIG. 8 is rotated 90 degrees to the right as shown in FIG.
  • the control unit 17 displays the received evacuation route map on the display unit 12.
  • the control unit 17 transmits the user direction information “south” to the control unit 35 of the server 30, the control unit 35 rotates the image of the evacuation route map of FIG. 8 by 180 ° based on the user direction information “south”. To the control unit 17 of the mounting apparatus 10. The control unit 17 displays the received evacuation route map on the display unit 12.
  • the evacuation route map can be rotated and displayed on the display unit 12 according to the direction (orientation) that the user is facing. ) Can be reached.
  • evacuation guidance process ends in response to an input (end instruction) from the user to the mounting device 10.
  • the control unit 35 of the server 30 acquires the position information of the user detected by the position detection unit 19 of the mounting apparatus 10 and sets the position of the user. Accordingly, it is determined whether or not the information necessary for the user (for example, an image of an evacuation route map corresponding to the user's position) has been acquired (S21). Thereby, in this embodiment, it is possible to determine whether or not it is necessary to acquire necessary information (an image of an evacuation route map corresponding to the user position) according to the user position.
  • control unit 35 acquires the direction in which the user is facing from the mounting apparatus 10 and rotates the acquired image of the evacuation route map according to the direction (direction) in which the user is facing, Since it is displayed on the mounting device 10, the user can evacuate without mistaking the moving direction.
  • the control unit 35 when it is determined that the information related to evacuation (image of the evacuation route map) has not been acquired (No in S23), the control unit 35 performs notification to the user (S25). . Thereby, the user can know that the information regarding evacuation is not acquired.
  • control unit 35 determines in step S23 whether or not the imaging unit 11 of the mounting apparatus 10 has captured the image of the evacuation route map. In this case, if the image of the evacuation route map is captured by the imaging unit 11 unconsciously by the user, in this embodiment, the evacuation guidance process using the image can be performed. 11 is advantageous in that it is not necessary to take an image of an evacuation route map.
  • the evacuation guidance process is started (S28). Thereby, an evacuation guidance process can be started at an appropriate timing.
  • the evacuation guidance process is executed in cooperation with the server 30 and the mounting device 10 in cooperation with the server 30 and the mounting device 10 has been described.
  • the present invention is not limited to this.
  • the control unit 35 of the server 30 immediately before the evacuation guidance process (S28) is executed, the control unit 35 of the server 30 sends the image of the evacuation route diagram of FIG. 8 (the evacuation route associated with the orientation) to the control unit 17 of the mounting device 10.
  • the image shown in the figure may be transmitted.
  • the control unit 17 may rotate the image of the evacuation route map on the display unit 12 based on the user orientation information.
  • the mounting device 10 worn by one user of the group may perform the processes of FIGS. 7 and 9 to display the evacuation route map on the mounting devices of other users.
  • the evacuation route data collection process of FIG. 7 is performed for each group.
  • the present invention is not limited to this, and the evacuation route data collection process may be performed for each individual.
  • the evacuation route map may be different for each floor of the building.
  • the control unit 35 grasps the floor on which the user is present from various information detected by the mounting apparatus 10, and determines one by one whether the image of the evacuation route map of the existing floor is captured. It is good to do.
  • the control unit 35 may grasp on which floor the user is present based on the communication state between the wireless LAN base station installed on each floor and the communication unit 18.
  • the control part 35 may grasp
  • the case where the user visits the hotel has been described as an example.
  • the present invention is not limited to this, and the user visits a restaurant, entertainment facility, school, hospital, station, office building, etc. Similar processing can be performed.
  • the imaging unit 11 of the mounting device 10 worn by one member images a part of the evacuation route map, and the imaging unit 11 of the mounting device 10 worn by another member.
  • the control unit 35 may create one evacuation route map by combining images captured by the image capturing units.
  • control unit 35 has described the case where the presence of a member is confirmed by face recognition using the image recognition unit 34.
  • the present invention is not limited to this.
  • the control unit 35 may analyze the voice prints collected by the microphone 14 and confirm the presence of the member.
  • Modification 1 In the second embodiment, the case of displaying the image of the evacuation route map as shown in FIG. 10B to FIG. 11B in the evacuation guidance processing has been described. However, the present invention is not limited to this. .
  • an arrow indicating the evacuation direction may be displayed on the display unit 12 so as to be superimposed on the user's field of view.
  • the control unit 35 detects that the user is located in the vicinity of the room number 202 or 208 by analyzing the image captured by the imaging unit 11 of the mounting apparatus 10 using the OCR unit 33. Can do. Further, the control unit 35 refers to the evacuation route diagram (similar to the schematic diagram of FIG. 12A), so that the user facing the west side in the vicinity of the room numbers 202 and 208 is in the west direction (forward). Since it can be determined that it should be moved to, the fact is transmitted to the control unit 17 of the mounting apparatus 10. In this case, the control unit 17 can display the arrow A1 as shown in FIG. 12B on the display unit 12 based on the information received from the control unit 35. Thus, the user can intuitively recognize the direction to move without referring to the evacuation route map.
  • the control unit 35 can detect that it is located in the vicinity of the room number 205 by analyzing the image captured by the imaging unit 11. Further, the control unit 35 refers to the evacuation route diagram (similar to the schematic diagram of FIG. 12A), so that the user facing the west side in the vicinity of the room number 205 is in the south direction (left direction). Since it can be determined that it should be moved to, the fact is transmitted to the control unit 17 of the mounting apparatus 10. In this case, the control unit 17 can display an arrow A2 as shown in FIG. 12C on the display unit 12 based on the information received from the control unit 35.
  • Modification 2 information regarding evacuation can be obtained from the Internet or the like. For example, when information (latitude, longitude) indicating the position of an evacuation hut to evacuate in the event of a lightning strike at a golf course or the like can be obtained from the Internet or the like, evacuation guidance is performed using the information. can do.
  • the control unit 35 acquires the position information (latitude, longitude) of the user detected by the position detection unit 19 of the mounting apparatus 10, and the position information of the user and the position information of the evacuation hut (latitude, The direction in which the user should move is specified from (longitude). And the control part 35 transmits the direction which the specified user should move with respect to the control part 17 of the mounting apparatus 10.
  • control unit 17 an arrow is displayed on the display unit 12 as shown in FIG. 13B based on the received moving direction and the direction (azimuth) that the user is detected detected by the direction sensor 20. A3 is displayed. In addition, the control part 17 changes the direction of arrow A3 according to the change of the direction (azimuth
  • FIG. 13B an arrow is displayed on the display unit 12 as shown in FIG. 13B based on the received moving direction and the direction (azimuth) that the user is detected detected by the direction sensor 20.
  • A3 is displayed.
  • the control part 17 changes the direction of arrow A3 according to the change of the direction (azimuth
  • the control unit 17 may display on the display unit 12 a precaution that the posture is kept low by not approaching a tall tree or lying down. Good. Such precautions may be acquired from the Internet or the like, and may be stored in the storage unit 16.
  • the information related to the evacuation route may be a voice instructing evacuation other than visual information such as an evacuation route map and an arrow.
  • a voice instructing evacuation other than visual information such as an evacuation route map and an arrow.
  • the control unit 17 or the control unit 35 acquires information on the occurrence of an earthquake via the Internet or the like, there is a risk of a tsunami, so an instruction to evacuate to a hill is given. Audio or the like may be output from the speaker 15.
  • the control unit 17 or the control unit 35 acquires information on volcanic eruptions, information such as being indoors, closing a window or door, covering the nose and mouth with a handkerchief, or removing a contact lens May be displayed on the display unit 12.
  • the information necessary for the user includes information related to the route to the own room, the front, the elevator, and the parking lot of the golf course, for example, in a hotel.
  • the spectacle-type electronic device has been described as an example of the mounting device 10, but the present invention is not limited to this.
  • the wearing device 10 may be, for example, a wearable terminal that can be worn at an arbitrary position on the body, and a part of its function may be separated.
  • a wristwatch type terminal may have other functions as a contact lens type terminal provided with a display unit.
  • the electronic device may be an electronic device other than the mounting device 10 such as a smartphone, a mobile phone, and a portable game device.
  • the above processing functions can be realized by a computer.
  • a program describing the processing contents of the functions that the processing apparatus should have is provided.
  • the program describing the processing contents can be recorded on a computer-readable recording medium (except for a carrier wave).
  • the program When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
  • a portable recording medium such as a DVD (Digital Versatile Disc) or CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
  • the computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Automation & Control Theory (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

　本発明の電子機器は、第１の情報を記憶する記憶部（１６）と、ユーザの位置を取得する位置取得部（１７）と、前記位置取得部が取得した前記ユーザの位置に応じて、前記第１の情報に対応する第２の情報を取得するか判断する判断部（１７）と、を備えている。　

Description

電子機器
　本発明は、電子機器に関する。
　従来より、各種の携帯端末が提案されており、最近では顔の近傍に装着するグラス型の携帯端末も提案されている（例えば、特許文献１等参照）。また、歩行中若しくは自動車などの運転中に緊急車輌などが発する特定音を検知し、警報する技術も提案されている（例えば、特許文献２等参照）。
米国特許出願公開第２０１３／００４４０４２号明細書 特開２００６－２６８８２４号公報
　しかしながら、従来においては、ユーザが保持する端末において、ユーザの状況に応じた必要な情報が十分に得られているとは言えなかった。
　本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。
　本発明の電子機器は、第１の情報を記憶する記憶部と、ユーザの位置を取得する位置取得部と、前記位置取得部が取得した前記ユーザの位置に応じて、前記第１の情報に対応する第２の情報を取得するか判断する判断部と、を備えている。
　この場合において、本発明の電子機器は、前記判断部が前記第２の情報を取得すると判断した場合、前記第２の情報、または前記第２の情報と前記第２の情報に付帯する付帯情報とを取得する第１取得部を備えることとしてもよい。また、前記記憶部は、前記第１の情報として画像および音声の少なくとも一方を記憶することとしてもよい。また、撮像を行う撮像部を備え、前記記憶部は前記撮像部の撮像した画像を前記第１の情報として記憶することとしてもよい。また、音声収集を行う音声収集部を備え、前記記憶部は前記音声収集部の収集した音声を前記第１の情報として記憶することとしてもよい。
　また、本発明の電子機器は、前記第１の情報と前記第２の情報とに関する情報を入力した際に、前記ユーザに報知する報知部を備えることとしてもよい。また、前記第１の情報と前記第２の情報とに関する情報を入力した際に、前記ユーザに前記付帯情報を報知する報知部を備えることとしてもよい。また、前記報知部は、前記ユーザの行動に関する報知を行うこととしてもよい。この場合、前記ユーザの行動を検出する検出部を備え、前記報知部は、前記検出部の検出結果に基づいて報知を行うこととしてもよい。
　また、本発明の電子機器は、表示を行う表示部と、前記表示部の表示に基づき、前記第１の情報を前記記憶部に記憶させる制御部と、を備えることとしてもよい。
　本発明の電子機器は、ユーザの位置を取得する位置取得部と、前記位置取得部が取得した位置に応じて、前記ユーザにとって必要な情報である第１の情報を取得済みか判定する判定部と、を備えている。
　この場合において、前記判定部は、撮像部が前記第１の情報を撮像済みか判定することとしてもよい。
　また、前記判定部が前記第１の情報は取得されていないと判定した場合に、前記ユーザに報知する報知部を備えていてもよい。また、前記判定部が前記第１の情報は取得されていないと判定した場合に、前記第１の情報を取得する第１取得部を備えていてもよい。また、前記第１の情報に関して、前記ユーザに取るべき行動を指示する指示部を備えていてもよい。
　この場合において、本発明の電子機器は、前記ユーザの視線の方位を取得する方位取得部を備え、前記指示部は、前記第１の情報と、前記方位取得部が検出した方位とに応じて、前記取るべき行動を前記ユーザに指示することとしてもよい。
　また、本発明の電子機器は、第２の情報を取得する第２取得部を備え、前記第２取得部が取得した第２の情報に基づき、前記指示部は前記指示を開始することとしてもよい。
　また、本発明の電子機器は、前記第１の情報を解析する解析部を備えることとしてもよい。また、本発明の電子機器は、前記ユーザに装着するための装着部を備えることとしてもよい。この場合において、前記装着部は、前記ユーザの目の近傍に装着可能であることとしてもよい。また、前記指示部は、前記ユーザの目の近傍に前記ユーザの安全を確保する指示を行うこととしてもよい。
　本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。
第１の実施形態に係る装着装置の構成を示す図である。 装着装置の斜視図である。 図３（ａ）は、装着装置が実行する情報登録処理の一例を示すフローチャートであり、図３（ｂ）は、装着装置が実行する報知処理の一例を示すフローチャートである。 図４（ａ）は画像データテーブルの一例を示す図であり、図４（ｂ）は音声データテーブルの一例を示す図である。 図５（ａ）は画像データテーブルの一例を示す図であり、図５（ｂ）は音声データテーブルの一例を示す図であり、図５（ｃ）は、撮像部が撮像する標識の一例を示す図である。 第２の実施形態に係る情報処理システムの構成を示す図である。 第２の実施形態に係るサーバが実行する報知処理の一例を示すフローチャートである。 避難経路図の一例を示す図である。 第２の実施形態における避難誘導処理の一例を示すフローチャートである。 図１０（ａ）はユーザの位置を示す図である。図１０（ｂ）は避難誘導のための画像の例を示す図である。 図１１（ａ）及び図１１（ｂ）は避難誘導のための画像の例を示す図である。 図１２（ａ）はユーザの位置を例示する模式図である。図１２（ｂ）、図１２（ｃ）はユーザの視界と表示部に表示される矢印とを重ねた図である。 図１３（ａ）はゴルフ場の地図の一例を示す図である。図１３（ｂ）はユーザの視界と表示部に表示される矢印とを重ねた図である。
《第１の実施形態》
　以下、第１の実施形態に係る装着装置について、図１～図５（ｃ）に基づいて、詳細に説明する。装着装置１０は、ユーザが身体（顔）に装着する眼鏡型の端末である。
　図１には、装着装置１０の構成がブロック図にて示されている。装着装置１０は、図１に示すように、撮像部１１と、表示部１２と、操作部１３と、マイク１４と、スピーカ１５と、記憶部１６と、制御部１７と、通信部１８と、位置検出部１９と、方位センサ２０と、画像認識部２１と、音声認識部２２と、を備える。なお、図２には、装着装置１０が斜視図にて示されている。図２に示すように、装着装置１０は、眼鏡型のフレーム１１０を備えている。なお、図１において図示され、図２において図示されていない装着装置１０の構成は、フレーム１１０の内部や、フレーム１１０の一部に設けられているものとする。
　撮像部１１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１１は、図２に示すようにフレーム１１０の端部近傍（ユーザの右目近傍）に設けられている。このため、ユーザが装着装置１０を装着した状態では、ユーザが向いている（見ている）方向の画像を撮像することができる。
　表示部１２は、フレーム１１０内部又はフレーム１１０近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部１２は、制御部１７の指示の下、各種情報を表示する。
　操作部１３は、フレーム１１０に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部１７に送信する。なお、撮像部１１、表示部１２、及び操作部１３などについては、例えば米国特許出願公開第２０１３／００４４０４２号明細書にもその詳細が開示されている。
　マイク１４は、フレーム１１０に設けられ、ユーザ周囲の音声及びユーザが発した音声を収集する音声収集装置である。
　スピーカ１５は、例えば、フレーム１１０に設けられ、制御部１７の制御の下、音声を出力する音声出力装置である。なお、スピーカ１５としては、イヤホンやヘッドホンのほか、指向性があり、主に装着装置１０を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
　記憶部１６は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１１が撮像した画像や、表示部１２に表示する表示データ、スピーカ１５から出力する音声などを記憶する。また、記憶部１６は、後述する画像データテーブル及び音声データテーブル（図４（ａ）及び図４（ｂ）参照）を記憶する。
　制御部１７は、装着装置１０全体を統括的に制御する。制御部１７は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。制御部１７が実行する処理の詳細については後述する。
　通信部１８は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ（Local Area Network）等を用いた通信）を行う。また、通信部１８は、無線通信を介して、インターネット等に接続する。
　位置検出部１９は、例えば、ＧＰＳ（Global Positioning System）モジュールを含み、装着装置１０の位置（例えば緯度及び経度）を検出し、制御部１７に出力する。位置検出部１９は、装着装置１０の位置（緯度及び経度）に基づいて、装着装置１０を装着したユーザのいる国や地域を検出し、制御部１７に出力してもよい。
　方位センサ２０は、例えば、互いに直交する方向の地磁気成分を検出する２軸の磁気センサを有し、当該２軸の地磁気センサによる磁界検出値から方位を検出する。本実施形態では、方位センサ２０は、ユーザの顔（目）が向いている方向（方位）や撮像部１１の撮像方向（方位）を検出する。
　画像認識部２１は、装着装置１０の撮像部１１が撮像した画像の特徴点を、例えばＳＵＲＦ(Speeded Up Robust Features)やＳＩＦＴ(Scale Invariant Feature Transform)といった特徴量検出アルゴリズムにより抽出し、インターネット上のデータベースなどから取得可能な複数の標準パターンと比較することにより画像認識を行うものである。本実施形態では、画像認識部２１は、例えば、撮像部１１により撮像された道路標識の画像が、どのような意味（種類）であるかを認識する。
　音声認識部２２は、マイク１４が収集した音声を音声認識し、該音声認識結果を制御部１７に送信する。本第１の実施形態では、音声認識部２２は、ユーザの発した音声がコマンドの実行指示であるか否かを認識する。また、音声認識部２２は、マイク１４が収集した音声から人の声や雑音などを消去することで、サイレンなどの警報音を抽出する。また、音声認識部２２は、インターネット上のデータベースなどから取得可能な複数の標準音声パターンと比較することにより、警報音が、どのような意味（種類）であるかを認識する。制御部１７は、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、音声認識部２２を設けずに、制御部１７が音声認識を実行するようにしてもよい。
　次に、図３（ａ）及び図３（ｂ）のフローチャートに沿って、装着装置１０が実行する処理の一例について詳細に説明する。図３（ａ）は、装着装置１０が実行する情報登録処理の一例を示すフローチャートであり、図３（ｂ）は、装着装置１０が実行する報知処理の一例を示すフローチャートである。
（情報登録処理）
　以下、情報登録処理について、説明する。なお、本第１の実施形態では、図３（ａ）の情報登録処理は、装着装置１０を装着するユーザが日本人であり、該ユーザが日本にいる間に行われる処理であるものとする。また、情報登録処理では、ユーザは、例えば、日本国内で使用されている道路標識や注意を促す看板などの画像や、サイレンなどの警報音の音声を登録することができる。なお、ユーザは、登録する道路標識や看板、警報音の意味を理解しているものとする。
　図３（ａ）の処理は、ユーザが装着装置１０を装着した状態で、装着装置１０の電源を入力すると開始する。
　図３（ａ）の処理では、まず、ステップＳ１において、制御部１７は、情報登録指示が入力されるまで待機する。この場合、例えば、ユーザが装着装置１０の操作部１３を用いて画像登録の指示を入力した場合、又は、ユーザが操作部１３を用いて音声登録の指示を入力した場合に、制御部１７は、ステップＳ２に移行する。なお、ユーザは、視野内に登録したい標識等が入っている場合に、画像登録の指示を入力する。また、ユーザは、登録したい警報音等が聞こえている場合に、音声登録の指示を入力する。なお、画像登録の指示及び音声登録の指示は、操作部１３のタッチパッドに対する所定の操作により入力することができる。
　ステップＳ２に移行すると、制御部１７は、位置検出部１９からユーザの位置を取得する。例えば、ユーザが日本にいる場合には、“日本”を取得する。
　次いで、ステップＳ３では、制御部１７は、ユーザが登録したい標識や警報音の登録を行う。例えば、ユーザから画像登録の指示が出されたとする。この場合、制御部１７は、画像登録の指示を受け付けたタイミングで撮像部１１が撮像している画像を取得し、該画像からユーザが登録したい画像部分を抽出する。ここで、ユーザが登録したい画像部分を抽出する方法としては、例えば、画像のほぼ中央の所定範囲を抽出する方法を採用することができる。ユーザが標識等を登録する場合、視野の中心で標識等を凝視する可能性が高いからである。この場合、撮像部１１の取り付け位置と、画像や焦点距離とに基づき、ユーザの目（右目）の位置との関係をキャリブレーションしておき機械定数として記憶部１６に記憶させておけばよい。ただし、これに限らず、ユーザが登録したい画像部分を抽出する方法としては、例えば、ユーザに登録したい標識等を指差しさせ、そのときの画像から、指の先に位置する所定範囲を抽出する方法を採用することとしてもよい。
　制御部１７は、抽出した範囲の画像を、図４（ａ）に示す画像データテーブルに登録する。この場合、制御部１７は、画像認識部２１に指示を出し、インターネット上のデータベースなどを用いて、標識等の画像が、どのような意味（種類）であるかを認識する。そして、制御部１７は、該画像を、意味（種類）及び位置の情報とともに、画像データテーブルに登録する。例えば、抽出された標識の画像が駐車禁止の標識の画像であった場合、種類“駐車禁止”、位置“日本”の情報とともに、抽出された画像が画像データテーブルに登録される。
　一方、ユーザから音声登録の指示が出された場合には、制御部１７は、音声登録の指示を受け付けたタイミングでマイク１４に入力されている音声を取得する。この場合、制御部１７は、音声認識部２２を利用して、マイク１４が収集した音声から人の声や雑音などを消去することで、サイレンなどの警報音を抽出する。そして、制御部１７は、抽出した警報音の音声データ（例えば、ｍｐ３形式のデータ）を、図４（ｂ）に示す音声データテーブルに登録する。この場合、制御部１７は、音声認識部２２に指示を出し、インターネット上のデータベースなどを用いて、警報音が、どのような意味（種類）であるかを認識する。そして、制御部１７は、該警報音の音声データを、意味（種類）及び位置の情報とともに、音声データテーブルに登録する。例えば、抽出された警報音が救急車のサイレンの音声であった場合、種類“救急車のサイレン”、位置“日本”の情報とともに、抽出された画像が音声データテーブルに登録される。
　なお、画像や音声の意味（種類）については、ユーザが音声等を用いて入力することとしてもよい。
　以上により、図３（ａ）の処理は終了するが、図３（ａ）の処理は、装着装置１０の電源がオフされるまで繰り返し実行される。
　以上のようにして、ユーザは、予め登録しておきたい情報（画像や音声）を、画像データテーブルや音声データテーブルに登録しておくことができる。
　なお、上記登録処理は、装着装置１０のほか、多機能型携帯電話（スマートフォン）又はタブレット型端末が実行することとしてもよい。例えば、スマートフォンを用いる場合には、スマートフォンの撮像部で撮像された画像や、装着装置１０の撮像部１１で撮像された画像を、スマートフォンの表示部に表示させ、該画像のうち、ユーザによって選択された部分（標識等を含む部分）を画像データテーブルに登録するようにすればよい。この場合、多機能型携帯電話やタブレット型端末と装着装置１０とでＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）などの近接通信や、人体を介した人体通信などを用いるようにして、装着装置１０の記憶部１６にデータを登録するようにすればいい。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがある。本実施形態では、電流方式及び電界方式のいずれのタイプを用いることも可能である。
　なお、図４（ａ）においては、画像データテーブルに登録される画像の例として、駐車禁止、注意、及び火気厳禁の例を示したが、これに限られるものではない。例えば、その他の道路標識（速度制限など）や、禁止事項を示す標識（立ち入り禁止、禁煙及びペット禁止など）の画像データが画像データテーブルに登録されてもよい。また、図４（ｂ）においては、音声データテーブルに登録される音声の例として、救急車のサイレン、パトカーのサイレン、及び国民保護サイレンを示したが、これに限られるものではない。たとえば、その他の音声（時報、災害を通知する警報など）のデータが音声データテーブルに登録されてもよい。なお、図４（ｂ）では、音声データとして、ｍｐ３形式のデータを音声データテーブルに登録する場合について説明したが、これに限らず、その他のファイル形式を採用してもよい。
（報知処理）
　次に、図３（ｂ）に基づき、装着装置１０が実行する報知処理の一例について説明する。なお、本第１の実施形態では、図４（ａ）の画像データテーブル及び図４（ｂ）の音声データテーブルが格納された装着装置１０を装着するユーザが、日本からアメリカに渡航したものとして、説明する。なお、図３（ｂ）の処理の間、撮像部１１は静止画を所定間隔で撮像しているか、動画を所定フレームレートで撮像しているものとする。また、マイク１４は、周辺の音声を常時収集しているものとする。
　図３（ｂ）の処理では、ステップＳ１０において、制御部１７は、位置検出部１９からユーザの位置を取得する。この場合、制御部１７は、位置として、“日本”や“アメリカ”などの国や地域の情報を取得する。
　次いで、ステップＳ１１では、制御部１７は、記憶部１６に記憶された情報の変換が必要であるか否かを判断する。この場合、制御部１７は、画像データテーブル及び音声データテーブルにおいて、ステップＳ１０で検出したユーザの位置が地域の欄に存在していない場合に、情報の変換が必要であると判断する。例えば、装着装置１０に図４（ａ）の画像データテーブル及び図４（ｂ）の音声データテーブルが格納されており、ステップＳ１０で検出された位置が“アメリカ”であった場合、図４（ａ）、図４（ｂ）の地域の欄には“アメリカ”が存在していないので、制御部１７は、記憶部１６に記憶された情報の変換が必要であると判断し、ステップＳ１２に移行する。
　ステップＳ１２に移行すると、制御部１７は、情報の変換を行う。例えば、制御部１７は、通信部１８を介してインターネットに接続する等して、図４（ａ）、図４（ｂ）に登録されている日本で登録された情報（画像や音声データ）と対応する、アメリカの情報を取得する。この場合、制御部１７は、図４（ａ）の画像を用いた画像検索や図４（ｂ）の音声を用いた音声検索を行ってもよく、図４（ａ）の画像や図４（ｂ）の音声からテキストデータを作成し、テキスト検索を行ってもよい。そして、制御部１７は、図５（ａ）の画像データテーブルの２行目のレコードの情報、及び図５（ｂ）の音声データテーブルの２行目のレコードの情報を取得する。そして、取得した情報を各テーブルに登録する。ステップＳ１２の後は、ステップＳ１３に移行する。
　なお、制御部１７は、ステップＳ１２において、インターネットなどを通じて、アメリカの標識や警報音に付帯する情報（付帯情報）を取得してもよい。ここで、付帯情報とは、例えば標識の意味や標識に違反した場合の罰則、警報音に関する対応方法の情報などである。また、アメリカでは連邦法と州法とがあるため、制御部１７は、ユーザがいる州の州法の付帯情報を取得するようにしてもよい。
　ところで、情報の変換が不要であった場合、すなわち、画像データテーブル及び音声データテーブルに、ユーザの位置に対応する情報が既に登録されていた場合には、ステップＳ１１の判断が否定される。ステップＳ１１の判断が否定された場合、制御部１７は、ステップＳ１２を経ずに、ステップＳ１３に移行する。
　ステップＳ１１が否定された後、又はステップＳ１１が肯定されステップＳ１２の処理が行われた後、ステップＳ１３に移行すると、制御部１７は、画像データテーブル又は音声データテーブルに登録されている情報（地域“アメリカ”の情報）と合致する情報が、撮像部１１又はマイク１４から入力されるまで待機する。例えば、制御部１７は、画像認識部２１に対して、撮像部１１が撮像した画像と図５（ａ）の画像データテーブルの地域“アメリカ”の画像とを比較させる。そして、一致又は近似する画像があった場合に、制御部１７は、図５（ａ）の画像データテーブルに登録されている情報が入力されたと判断し、ステップＳ１４へ移行する。同様に、制御部１７は、音声認識部２２に対して、マイク１４が収集した音声から人の声や雑音が削除された音声データと、図５（ｂ）の音声データテーブルの地域“アメリカ”の音声データとを比較させる。そして、一致又は近似する音声データがあった場合に、制御部１７は、図５（ｂ）の画像データテーブルに登録されている情報が入力されたと判断し、ステップＳ１４へ移行する。
　ステップＳ１４に移行すると、制御部１７はユーザへの報知が必要であるか否かを判断する。例えば、制御部１７は、ユーザが標識や警報音に気付いていないと判断できる場合に、ユーザへの報知が必要であると判断する。ユーザが標識に気づいていないと判断できる場合とは、例えば、ユーザが標識を注視していない場合であり、撮像部１１によって標識が撮像されたものの、標識が画像の中心部分に所定時間（数秒程度）以上位置しない場合であるものとする。また、ユーザが警報音に気づいていないと判断できる場合とは、警報音がマイク１４から入力されたときに、ユーザが装着装置１０で音楽等を再生している場合であるものとする。制御部１７は、ユーザが標識や警報音に気づいておらず、ユーザへの報知が必要であると判断すると、ステップＳ１４の判断が肯定され、ステップＳ１５に移行する。なお、ユーザが標識を注視している場合であっても、例えば、ユーザの“どういう意味だっけ？”や“意味が分からない”などの音声がマイク１４に入力された場合に、ユーザへの報知が必要であると判断することとしてもよい。
　ステップＳ１５に移行すると、制御部１７はユーザへの報知を行う。例えば、制御部１７は、表示部１２にメッセージを表示したり、スピーカ１５から音声を出力するなどして、ユーザに標識や警報音の存在を報知する。例えば、ユーザが駐車禁止の標識に気づかない場合には、制御部１７は、画像データテーブルに基づいて、“駐車禁止の標識があります”などのメッセージを表示部１２やスピーカ１５から出力したり、駐車禁止の標識に目線を誘導するような表示を表示部１２に表示するなどすることができる。また、ユーザが駐車禁止の標識を注視しているものの意味が分からないような場合には、制御部１７は、画像データテーブルに基づいて“駐車禁止の標識です”などのメッセージを表示部１２やスピーカ１５から出力したり、日本の駐車禁止の標識の画像を表示部１２に表示するなどすることができる。また、ステップＳ１２において、標識の付帯情報（標識の意味や標識に違反した場合の罰則など）を取得している場合には、制御部１７は、付帯情報を表示部１２やスピーカ１５から出力するようにしてもよい。警報音の存在を報知する場合も同様である。警報音の存在を報知する場合において、ユーザが装着装置１０を用いて音楽等を聞いている場合には、該音楽の音量を下げた状態で、警報音の存在や警報音に関する対応方法の情報などをスピーカ１５から出力するようにしてもよい。
　上記のようにしてステップＳ１５が行われた後は、制御部１７は、ステップＳ１６に移行する。また、ステップＳ１４の判断が否定された場合、すなわち報知が不要と判断された場合、制御部１７は、ステップＳ１５を経ずに、ステップＳ１６に移行する。
　ステップＳ１６に移行した場合、制御部１７は、ユーザの行動を検出し、その行動が適切であるか否かを判断する。この場合、制御部１７は、撮像部１１が撮像した標識又はマイク１４が収集した警報音に従った適切な行動をユーザが行っているか否かを判断する。例えば、駐車禁止の標識の画像が撮像部１１によって撮像されてから所定時間（数秒～数分程度）内に、ユーザが車に鍵をかけて車から離れる画像を撮像部１１が撮像した場合、制御部１７は、ユーザが駐車禁止区域において駐車したため、ユーザが適切な行動をとっていないと判断する。また、例えば、マイク１４が収集した音声から、救急車のサイレンが近づいてきていることを検出したにもかかわらず、車を運転するユーザが路肩に寄らないことが撮像部１１の撮像した画像から判定できる場合には、制御部１７は、ユーザが適切な行動をとっていないと判断する。なお、ユーザが路肩に寄ったか寄らないかは、撮像された画像における道路やセンターラインの位置等に基づいて判断することができる。ステップＳ１６の判断が否定された場合、制御部１７は、ステップＳ１７に移行する。
　ステップＳ１７に移行すると、制御部１７はユーザに適切な行動を取るように報知を行う。例えば、制御部１７は、表示部１２やスピーカ１５から、“駐車禁止区域の可能性が高いので、確認してください”や、“救急車が後から近づいてきている場合には、右側に寄ってください”などのメッセージを出力する。このような報知により、ユーザは自身の行動が適切か否かを知ることができる。
　ステップＳ１７の後、制御部１７は、図３（ｂ）の全処理を終了する。また、ユーザが適切な行動をとっていた場合（ステップＳ１６／肯定）には、制御部１７は、ステップＳ１７を経ずに、図３（ｂ）の全処理を終了する。なお、図３（ｂ）の処理は、装着装置１０の電源がオフされるまで繰り返し実行される。ただし、ユーザの位置（地域）は頻繁には変化しないため、ステップＳ１０～Ｓ１２の処理・判断は、例えば、１日に１回程度行うようにしてもよい。
　以上、詳細に説明したように、本第１の実施形態によると、装着装置１０では、記憶部１６が、ある地域（例えば日本）における標識等の画像や警報音の音声データを記憶しており、制御部１７は、位置検出部１９が検出したユーザの位置に応じて、記憶部１６に記憶されている情報（画像や音声データ）に対応する、ユーザの現在位置（例えばアメリカ）の情報（画像や音声データ）を取得するか否かを判断する。これにより、本実施形態では、ユーザの現在位置に対応する情報（画像や音声データ）の取得要否を適切なタイミングで判断することができるので、装着装置１０の使い勝手を向上することができる。また、制御部１７は、記憶部１６を参照して、ユーザの現在位置に対応する情報（画像や音声データ）が未だ取得されていない場合に、ユーザの現在位置に対応する情報を取得するので、必要な情報を適切なタイミングで取得することができる。
　また、本第１の実施形態では、制御部１７は、記憶部１６に記憶された情報（標識の画像や警報音の音声データ）が装着装置１０に入力された場合、表示部１２やスピーカ１５を用いて、ユーザに標識や警報音の存在を報知するので、ユーザは、不慣れな場所にいても、標識や警報音の存在を認識することが可能である。これにより、ユーザは、標識や警報音に従った適切な行動をとることができる。
　また、本実施形態では、制御部１７は、ユーザの現在位置に対応する情報に付帯する付帯情報も取得し、報知するので、ユーザの現在位置に対応する情報とともに、付帯情報についてもユーザに提供することができる。例えば、付帯情報が罰則情報であれば、標識や警報音に従わないユーザの不適切な行動を効果的に抑制することができる。
　また、本第１の実施形態では、制御部１７は、ユーザの行動が標識や警報音に従わない不適切なものであった場合（Ｓ１６：否定の場合）に、ユーザの行動に関する報知を行う。これにより、適切なタイミングで、ユーザの行動に関する報知を行うことができる。
　また、本第１の実施形態では、撮像部１１により撮像された画像やマイク１４により収集された音声データが、記憶部１６の画像データテーブルや音声データテーブルに登録される。これにより、ユーザは、実際に見た画像又は聞いた音声を画像データテーブルや音声データテーブルに登録することができる。
　また、本第１の実施形態では、装着装置１０はフレーム１１０を備え、ユーザによって装着されるようになっている。このため、装着装置１０はユーザが実際に見ている風景を撮像したり、実際に聞いている音声を収集することができる。また、制御部１７による報知をユーザが見落としたり聞き漏らしたりするのを抑制することができる。
　なお、上記第１の実施形態では、情報登録処理において、撮像部１１が撮像した画像を記憶部１６（画像データテーブル）に記憶する場合について説明したが、これに限られるものではない。例えば、撮像部１１が撮像した画像から標識の意味（種類）を特定できた場合には、その意味（種類）の標識の画像をインターネット等から取得し、画像データテーブルに登録するようにしてもよい。音声データについても同様である。
　なお、上記第１の実施形態では、情報登録処理において記憶部１６に記憶された情報は、他の装着装置（例えば、家族や友人などが利用する装着装置）と共有してもよい。例えば、親の装着装置１０の画像データテーブルや子の装着装置１０の画像データテーブルをサーバ上で管理し、報知処理を行う装着装置１０においては、各画像データテーブルをマージした画像データテーブルをダウンロードして用いるようにしてもよい。このようにすることで、画像データテーブルの情報を共有することができるため、各ユーザ、各装着装置における情報登録処理の負担を軽減することができる。なお、他の装着装置１０との共有は、家族や友人といったプライベートに限定されるものではなく、ビジネスへの展開も可能である。具体的には、ベテラン社員が登録した工場内で注意すべき画像や音声を新人社員と共有するようにしてもよい。また、業種間や会社間でマーク（画像）や音声が異なる場合に上述したような変換処理を施すようにしてもよい。
　なお、上記第１の実施形態においては、画像データテーブルや音声データテーブルに種類の項目を設ける場合について説明したが、これに限られるものではない。各テーブルにおいては、日本における情報と、アメリカにおける情報とが対応づけられていればよい。この場合、図３（ｂ）のステップＳ１２では、画像や音声データを用いてインターネット上のデータベースを検索し、情報の変換を行うようにすればよい。
　なお、上記第１の実施形態においては、画像データテーブルや音声データテーブルにおいて、ユーザがアメリカに渡航した場合でも日本の情報を保持し続ける場合について説明したが、これに限られるものではない。すなわち、ユーザがアメリカに渡航した場合に、日本の情報をアメリカの情報で書き換えることとしてもよい。
　なお、上記第１の実施形態では、装着装置１０が図３（ａ）、図３（ｂ）の全ての処理を行う場合について説明したが、これに限られるものではない。例えば、装着装置１０の処理の一部をその他の装置（サーバやスマートフォン、腕時計型端末などの他の端末）が実行することとしてもよい。例えば、画像の撮像、音声の収集、位置情報の取得などは、装着装置１０が行い、装着装置１０が取得した情報に基づいて、他の装置が音声認識、画像認識などの各種処理を行って、装着装置１０に報知を行わせるようにしてもよい。この場合、ユーザがスマートフォンや腕時計型端末などを身に着けている場合には、事前にペアリングを行って前述した近接通信や人体通信を用いて各種データの送受信を行うことにより、ユーザが特段の操作を行う手間を省くことができる。
《第２の実施形態》
　次に、第２の実施形態に係る情報処理システムについて、図６～図１１（ｂ）に基づいて詳細に説明する。図６には、第２の実施形態に係る情報処理システム１００の構成がブロック図にて示されている。情報処理システム１００は、ユーザの避難誘導に利用されるシステムである。
　図６に示すように、情報処理システム１００は、装着装置１０と、サーバ３０と、を備える。装着装置１０は、制御部１７が実行する処理、及び通信部１８がネットワーク等を介してサーバ３０との間で通信を行う点を除き、第１の実施形態に係る装着装置１０と同様の構成を備えるため、詳細な説明を省略する。なお、サーバ３０は、複数の装着装置１０と通信する。
　サーバ３０は、記憶部３１と、通信部３２と、ＯＣＲ（Optical Character Recognition）部３３と、画像認識部３４と、制御部３５と、を備える。
　記憶部３１は、例えば、フラッシュメモリ等の不揮発性の半導体メモリやハードディスクドライブであり、装着装置１０から送信されてきたデータ等を記憶する。また、記憶部３１はユーザの所属するグループのメンバーの顔の画像（顔辞書）や各ユーザ（メンバー）の位置の履歴、メンバーが装着する装着装置１０の情報などを記憶する。
　通信部３２は、他の装置と無線通信（携帯電話回線や無線ＬＡＮ等を用いた通信）や有線通信を行う。本第２の実施形態では、通信部３２は、装着装置１０との間で通信を行い、装着装置１０の撮像部１１が撮像した画像や、スピーカ１５が収集した音声、位置検出部１９が取得した位置情報、方位センサ２０が取得した方位の情報等を受信する。なお、通信部３２は、記憶部３１に記憶されている装着装置１０の情報に基づいて、グループのメンバーが使用する装着装置１０それぞれと通信を行う。
　ＯＣＲ部３３は、装着装置１０の撮像部１１が撮像した画像から文字を認識してテキストデータに変換し、制御部３５に出力する。
　画像認識部３４は、装着装置１０の撮像部１１が撮像した画像の特徴点を特徴量検出アルゴリズムにより抽出し、記憶部３１に記憶されている複数の認識対象の標準パターン（顔辞書に含まれるメンバーの顔の画像）と比較することにより画像認識を行うものである。本第２の実施形態において画像認識部３４は、撮像部１１が撮像した画像に、グループのメンバーが含まれているか否かを検出する。
　制御部３５は、サーバ３０全体を統括的に制御する。制御部３５は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。
　次に、図７、図９のフローチャートに沿って、サーバ３０の制御部３５が実行する処理について詳細に説明する。
（避難経路データ収集処理）
　まず、サーバ３０の制御部３５が実行する避難経路データ収集処理について、図７のフローチャートに沿って説明する。なお、本実施形態では、あるグループ（友人等のグループ）に所属するメンバーの全員又は一部が旅行をし、あるホテルに宿泊する場合を例にとり説明する。
　図７の処理では、ステップＳ２０において、制御部３５は、記憶部３１に記憶されているグループに属するユーザの１人を特定し、特定したユーザがグループ内のどのメンバーと一緒にいるのかを確認する。例えば、制御部３５は、特定したユーザが装着する装着装置１０の撮像部１１で撮像された画像（特定したユーザ周辺の画像）を所定枚数取得し、画像認識部３４による顔認識を行い、画像内に存在する特定したユーザが所属するグループのメンバーを確認する。なお、制御部３５は、ステップＳ２０の処理を、例えば、特定したユーザが会話を始めたことをトリガとして開始してもよいし、特定したユーザからの入力をトリガとして開始してもよい。ユーザが会話を始めたか否かは、マイク１４が収集した音声に、特定したユーザとその他のユーザの会話が含まれているか否かにより判断することができる。なお、特定したユーザと、確認されたメンバーとを、以下においては、共通行動メンバーと呼ぶものとする。
　次いで、ステップＳ２１では、制御部３５は、特定したユーザが装着する装着装置１０の位置検出部１９により検出される位置情報と、記憶部３１に格納されている共通行動メンバーそれぞれの位置の履歴を参照して、共通行動メンバーの位置が、共通行動メンバー全員が初めて訪れる場所であるか否かを判断する。このステップＳ２１の判断が否定された場合、すなわち、共通行動メンバーのいずれかが訪れたことがある場所である場合には、ステップＳ２２に移行するが、ステップＳ２１の判断が肯定された場合、すなわち、共通行動メンバーのいずれも訪れたことがない場所である場合には、ステップＳ２３に移行する。
　共通行動メンバーのいずれも訪れたことがない場所であり、ステップＳ２３に移行した場合には、制御部３５は、撮像部１１が避難経路に関する情報（例えば、ホテルの避難経路図）を撮像済みであるか否かを判断する。ここで、制御部３５は、共通行動メンバーそれぞれが装着する装着装置１０の記憶部１６に格納されている画像のうち、ステップＳ２１で検出された位置情報と近似する位置情報がＥｘｉｆ（Exchangeable image file format）情報として対応付けられた画像を確認し、避難経路に関する情報（例えば、避難経路図）を撮像済みであるか否かを判断する。
　この場合、制御部３５は、ステップＳ２１で検出された位置情報と近似する位置情報がＥｘｉｆ情報として対応付けられた画像を取得し、ＯＣＲ部３３を用いて、取得した画像中の文字をテキストデータに変換する。そして、制御部３５は、変換後のテキストデータの中に“避難経路”や“非常口”、“Ｅｘ”といった避難に関連するテキストデータが存在する場合に、該画像を避難経路図を撮像した画像として特定する。なお、制御部３５は、画像認識部３４を用いて、標識（非常口の標識、及び避難経路を表す矢印など）が存在する画像を抽出し、避難経路図が撮像された画像として特定してもよい。
　図８には、避難経路に関する情報の一例としての避難経路図が示されている。避難経路図は、建物の廊下及び部屋などに設置されている。図８の避難経路図において“ＥＶ”はエレベータを表し、“Ｅｘ”は非常口を表し、各数字は部屋番号を表し、“Ｓｔａｆｆ　Ｒｏｏｍ”は建物のスタッフが使用する部屋を表す。方位を表すマークＭは便宜上表示したものであり、実際の避難経路図に含まれてもよいし、含まれていなくてもよい。図８においては、上方向が北（Ｎ）、下方向が南（Ｓ）、右方向が東（Ｅ）、及び左方向が西（Ｗ）を表す。
　なお、上述したステップＳ２３の判断が肯定された場合、すなわち、避難経路図が撮像済みであった場合には、ステップＳ２６に移行するが、否定された場合、すなわち、避難経路図が撮像済みでない場合には、ステップＳ２４に移行する。
　ステップＳ２４に移行すると、制御部３５は、避難経路に関する情報（避難経路図）が撮像されていないことがユーザに報知されているか否かを判断する。このステップＳ２４の判断が肯定された場合には、ステップＳ２３に戻るが、ステップＳ２４の判断が否定された場合には、ステップＳ２５に移行する。
　ステップＳ２５に移行すると、制御部３５は、共通行動メンバーが装着する装着装置１０に対して報知を行う。例えば、制御部３５は、“現在滞在している場所の避難経路図を取得してください”等のメッセージを各装着装置１０の制御部１７に対して送信する。この場合、制御部１７は、受信したメッセージを表示部１２やスピーカ１５から出力するなどして、ユーザに対する報知を実行する。その後は、制御部３５は、ステップＳ２３に戻る。
　その後、ステップＳ２３（否定）、Ｓ２４（肯定）を繰り返し、共通行動メンバーの１人が装着する装着装置１０の撮像部１１により避難経路図が撮像されると、ステップＳ２３の判断が肯定され、ステップＳ２６に移行する。
　ステップＳ２６に移行すると、制御部３５は、避難経路図の画像と方位の対応付け処理を実行する。具体的には、制御部３５は、避難経路図と、該避難経路図を撮像したときの方位センサ２０が検出した方位（共通行動メンバーが向いていた方向）とを対応付ける。例えば、図８の避難経路図を撮像したときの共通行動メンバーの向いていた方向（方位）が北（Ｎ）であった場合には、制御部３５は方位が北向きの場合の避難経路図として、図８の避難経路図を記憶部３１に記憶する。
　ステップＳ２６の処理が終了すると、図７の全処理を終了する。
　ところで、共通行動メンバーのいずれかが訪れたことがある場所であったため、ステップＳ２１の判断が否定された場合には、ステップＳ２２において、避難経路の情報（避難経路図の画像）が過去に取得され、記憶部３１に記憶されているか否かを判断する。すなわち、過去において、同じ場所の避難経路の図が撮像され、画像と方位の対応付け処理（Ｓ２６）が行われたことがあるか否かを判断する。このステップＳ２２の判断が否定された場合には、ステップＳ２３に移行し、上述したのと同様の処理を行うが、ステップＳ２２の判断が肯定された場合には、図７の全処理を終了する。
（避難誘導処理）
　次に、災害が発生した際に、情報処理システム１００が行う避難誘導について図９のフローチャートに沿って説明する。なお、図９の処理は、図７の処理により避難経路図の画像が取得された後に行われる処理である。
　図９の処理では、ステップＳ２７において、制御部３５は、緊急事態を検出するまで待機する。例えば、装着装置１０の制御部１７は、マイク１４が入力した音声データにサイレン音や警報音が含まれる場合や、撮像部１１が撮像した画像に炎や煙が含まれる場合に、緊急事態である旨の情報をサーバ３０の制御部３５に対して送信する。したがって、制御部３５は、装着装置１０から緊急事態である旨の情報を受信するまで待機し、受信した段階で、ステップＳ２８に移行する。なお、制御部３５は、装着装置１０に対してユーザが入力する避難誘導の開始要求に応じて、避難誘導を開始してもよい。
　ステップＳ２８に移行すると、制御部３５は、装着装置１０と協働して避難誘導処理を実行する。
　以下、図１０（ａ）～図１１（ｂ）を参照し、避難誘導処理について説明する。一例として、図１０（ａ）の位置Ｐ１にいるユーザを非常口（Ｅｘ）まで誘導する場合について説明する。
　まず、制御部３５は、装着装置１０の制御部１７に対して、方位情報の送信を要求する。この場合、制御部１７は、方位センサ２０により検出されるユーザの方位情報を制御部３５に対して送信する。なお、図１０（ａ）において、位置Ｐ１にいるユーザは北（Ｎ）方向を向いていたものとする。この場合、制御部３５は、ユーザの方位情報として“北”を受信する。
　次いで、制御部３５は、ユーザの方位情報に基づいて、図８の避難経路図の画像を回転させ、装着装置１０の制御部１７に対して送信する。なお、図８の避難経路図は、方位が北向きの場合の避難経路図であるため、受信したユーザの方位情報が“北”である場合には、図１０（ｂ）に示すように回転させずに、避難経路図を制御部１７に対して送信する。制御部１７は、受信した避難経路図を表示部１２上に表示する。
　その後、ユーザは、避難経路図を参照して、位置Ｐ２（廊下４０）まで移動したとする。この場合、ユーザは、避難経路図を参照して、西（Ｗ）方向を向くこととなる。制御部１７では、ユーザの向き（方位）が所定以上（例えば、４５°以上）変更された場合に、該ユーザの方位情報をサーバ３０の制御部３５に送信する。そして、制御部３５では、ユーザの方位情報に基づいて、図８の避難経路図の画像を回転させ、装着装置１０の制御部１７に対して送信する。ここで、ユーザの方位情報が“西”である場合には、図１１（ａ）に示すように図８の避難経路図を９０°右回転させ、制御部１７に対して送信する。制御部１７は、受信した避難経路図を表示部１２上に表示する。
　その後、ユーザは、避難経路図を参照して、図１０（ａ）の位置Ｐ３（壁４１付近）まで移動したとする。この場合、ユーザは、避難経路図を参照して、南（Ｓ）方向を向くこととなる。制御部１７がユーザの方位情報“南”をサーバ３０の制御部３５に送信すると、制御部３５は、ユーザの方位情報“南”に基づいて、図８の避難経路図の画像を１８０°回転させ、装着装置１０の制御部１７に送信する。制御部１７は、受信した避難経路図を表示部１２上に表示する。
　上記のように避難誘導処理においては、ユーザの向いている方向（方位）に応じて、避難経路図を回転させて表示部１２に表示することができるため、ユーザは、迷わずに非常口（Ｅｘ）まで到達することが可能となっている。
　なお、避難誘導処理は、装着装置１０に対するユーザからの入力（終了指示）に応じて、終了する。
　以上、詳細に説明したように、本第２の実施形態によれば、サーバ３０の制御部３５は、装着装置１０の位置検出部１９が検出したユーザの位置情報を取得し、ユーザの位置に応じてユーザが必要な情報（例えば、ユーザの位置に対応する避難経路図の画像）が取得済みであるか否かを判断する（Ｓ２１）。これにより、本実施形態では、ユーザの位置に応じた必要な情報（ユーザの位置に対応する避難経路図の画像）の取得要否を適切なタイミングで判断することができる。また、本実施形態では、制御部３５は、ユーザが向いている方向を装着装置１０から取得し、取得した避難経路図の画像をユーザが向いている方向（方位）に応じて回転させて、装着装置１０に表示させるので、ユーザは、移動方向を誤ることなく、避難することができる。
　また、本第２の実施形態では、制御部３５は、避難に関する情報（避難経路図の画像）が取得されていないと判断した場合（Ｓ２３：否定）に、ユーザに対する報知を実行する（Ｓ２５）。これにより、ユーザは避難に関する情報が取得されていないことを知ることができる。
　また、本第２の実施形態では、制御部３５は、ステップＳ２３において、装着装置１０の撮像部１１が避難経路図の画像を撮像済みか否かを判断する。この場合、ユーザが無意識のうちに撮像部１１によって避難経路図の画像が撮像されていれば、本実施形態では、その画像を用いた避難誘導処理が可能であることから、ユーザは改めて撮像部１１による避難経路図の撮像を行う必要がないという利点がある。
　また、本第２の実施形態では、制御部３５が、装着装置１０から緊急事態が発生した旨の情報を取得した場合（Ｓ２７：肯定）に、避難誘導処理を開始する（Ｓ２８）。これにより、避難誘導処理を適切なタイミングで開始することができる。
　なお、上記第２の実施形態では、避難誘導処理が、サーバ３０と装着装置１０との協働により実行される場合について説明したが、これに限られるものではない。例えば、避難誘導処理（Ｓ２８）が実行される直前に、サーバ３０の制御部３５が、装着装置１０の制御部１７に対して図８の避難経路図の画像（方位と対応付けられた避難経路図の画像）を送信することとしてもよい。この場合、制御部１７は、ユーザの方位情報に基づいて、避難経路図の画像を回転させて表示部１２上に表示するようにすればよい。また、グループのうちの一人のユーザが装着する装着装置１０が、図７及び図９の処理を行って、他のユーザの装着装置に避難経路図を表示させるようにしてもよい。
　なお、上記第２の実施形態では、グループ毎に図７の避難経路データ収集処理を行う場合について説明したが、これに限らず、個人毎に避難経路データ収集処理を行うこととしてもよい。
　なお、上記第２の実施形態において、建物の階ごとに避難経路図が異なる場合もある。この場合、制御部３５は、装着装置１０において検出される各種情報から、ユーザが何階に存在しているのかを把握し、存在する階の避難経路図の画像が撮像されているかを逐一判断することとしてもよい。なお、制御部３５は、例えば、各階に設置された無線ＬＡＮ基地局と通信部１８との通信状態に基づいて、ユーザが何階に存在しているのかを把握してもよい。また、制御部３５は、例えば、撮像部１１が撮像した部屋番号やエレベータや案内看板の階数表示などに基づいて、ユーザが何階に存在しているのかを把握してもよい。
　なお、上記第２の実施形態では、ユーザがホテルを訪れた場合を例にとり説明したが、これに限らず、レストラン、娯楽施設、学校、病院、駅及びオフィスビルなどを訪れた場合にも、同様の処理を行うことができる。
　なお、上記第２の実施形態において、例えば、１人のメンバーが装着する装着装置１０の撮像部１１が避難経路図の一部を撮像し、別のメンバーが装着する装着装置１０の撮像部１１が別の一部を撮像したとする。この場合、制御部３５は、各撮像部が撮像した画像を組み合わせて１つの避難経路図を作成してもよい。
　なお、上記第２の実施形態では、制御部３５は、画像認識部３４を用いた顔認識によりメンバーの存在を確認する場合について説明したが、これに限られるものではない。例えば、制御部３５は、マイク１４が収集する音声の声紋を分析してメンバーの存在を確認することとしてもよい。
　なお、上記第２の実施形態では、ホテルのＷｅｂサイト等に避難経路図を掲載しているような場合やホテルのサーバにおいて避難経路図のデータを保持している場合に、ホテル内のユーザが装着する装着装置１０に対して避難経路図のデータを提供するようにしてもよい。これにより、ユーザは避難経路図を撮像する等の動作を行う必要がないため、ユーザの利便性を向上することができる。
（変形例１）
　なお、上記第２の実施形態では、避難誘導処理において、図１０（ｂ）～図１１（ｂ）のような避難経路図の画像を表示する場合について説明したが、これに限られるものではない。例えば、図１２（ｂ）、図１２（ｃ）に示すように、ユーザの視界に重畳するようにして、表示部１２に避難方向を示す矢印を表示させてもよい。
　例えば、ユーザが図１２（ａ）の模式図に示す位置Ｐ４に存在し、西側を向いていたとする。この場合、制御部３５は、装着装置１０の撮像部１１が撮像した画像をＯＣＲ部３３を用いて解析することで、ユーザが部屋番号２０２や２０８の近傍に位置していることを検出することができる。また、制御部３５は、避難経路図（図１２（ａ）の模式図と同様）を参照することで、部屋番号２０２、２０８の近傍で西側を向いているユーザは、西の方向（前方）に移動すべきことを判断できるので、その旨を装着装置１０の制御部１７に送信する。この場合、制御部１７では、制御部３５から受信した情報に基づいて、表示部１２に図１２（ｂ）に示すような矢印Ａ１を表示させることができる。これにより、ユーザは、避難経路図を参照しなくても、直感的に移動すべき方向を認識することができる。
　同様に、ユーザが位置Ｐ３に存在し、西側を向いていたとする。この場合、制御部３５は、撮像部１１が撮像した画像を解析することで、部屋番号２０５近傍に位置していることを検出することができる。また、制御部３５は、避難経路図（図１２（ａ）の模式図と同様）を参照することで、部屋番号２０５の近傍で西側を向いているユーザは、南の方向（左の方向）に移動すべきことを判断できるので、その旨を装着装置１０の制御部１７に送信する。この場合、制御部１７では、制御部３５から受信した情報に基づいて、表示部１２に図１２（ｃ）に示すような矢印Ａ２を表示させることができる。
（変形例２）
　なお、避難に関する情報をインターネット等から取得できる場合もある。例えば、ゴルフ場などにおいて、雷などが発生した場合に避難するための避難小屋の位置を示す情報（緯度、経度）がインターネット等から取得できた場合には、該情報を用いて、避難誘導をすることができる。
　例えば、図１３（ａ）に示すように、装着装置１０を装着したユーザが位置Ｐ５に存在しており、避難小屋が符号「４２」の位置に存在していたとする。この場合において、装着装置１０のマイク１４が収集した音声に雷鳴が含まれており、その情報がサーバ３０の制御部３５に入力された場合には、制御部３５は、装着装置１０との協働により避難誘導処理を実行する。
　避難誘導処理においては、制御部３５は、装着装置１０の位置検出部１９により検出されるユーザの位置情報（緯度、経度）を取得し、当該ユーザの位置情報と避難小屋の位置情報（緯度、経度）とから、ユーザが移動すべき方向を特定する。そして、制御部３５は、特定したユーザが移動すべき方向を、装着装置１０の制御部１７に対して送信する。
　制御部１７では、受信した移動すべき方向と、方位センサ２０により検出されるユーザが向いている方向（方位）と、に基づいて、図１３（ｂ）に示すように、表示部１２に矢印Ａ３を表示する。なお、制御部１７は、方位センサ２０により検出されるユーザが向いている方向（方位）の変化に応じて、矢印Ａ３の向きを変更させる。
　これにより、ユーザは、矢印Ａ３の向きに基づいて、避難する方向を把握することが可能であるので、適切な避難誘導を実現することができる。なお、避難小屋の情報が入手できない場合には、制御部１７は、高い木に近づかない、うつぶせになるなどして姿勢を低く保つと言った注意事項を表示部１２に表示させるようにすればいい。このような注意事項は、インターネット等から取得してもよく、記憶部１６に記憶させるようにしてもよい。
　なお、上記変形例２においては、ゴルフ場を例にとり説明したが、これに限らず、例えば山、海水浴場、ハイキングコース、キャンプ場などにおいても、上記避難誘導処理を行うことが可能である。
　なお、上記第２の実施形態及びその変形例では、避難経路に関する情報は、避難経路図や矢印などのような視覚的な情報以外に、避難を指示する音声であってもよい。例えば、ユーザが海岸を訪れている場合に、制御部１７や制御部３５が、地震発生の情報をインターネット等を介して取得した場合には、津波の恐れがあるため高台への避難を指示する音声などをスピーカ１５から出力してもよい。また、制御部１７や制御部３５が火山噴火の情報を取得した場合には、屋内に居ることや、窓やドアを閉めたり、ハンカチなどで鼻と口とを覆う、コンタクトレンズを外すといった情報を表示部１２に表示させるようにすればよい。
　また、上記第２の実施形態及びその変形例では、避難経路に関する情報を例にして説明を行ったが、ユーザに必要な情報はこれに限られるものではない。避難経路に関する情報以外にユーザに必要な情報として、例えばホテルなどにおける自室、フロント、エレベータ、及びゴルフ場の駐車場などへの経路に関する情報がある。
　なお、上記各実施形態では、装着装置１０の一例として眼鏡型電子機器について説明したが、これに限定されない。装着装置１０は、例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、表示部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。また電子機器は、例えばスマートフォン、携帯電話、及び携帯型ゲーム機器など、装着装置１０以外の電子機器でもよい。
　なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
　プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
　プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
　上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。なお、これまでの説明で引用した米国特許出願公開明細書の開示を援用して本明細書の一部とする。
　
　

Claims (21)

  1. 　第１の情報を記憶する記憶部と、
    　ユーザの位置を取得する位置取得部と、
    　前記位置取得部が取得した前記ユーザの位置に応じて、前記第１の情報に対応する第２の情報を取得するか判断する判断部と、を備える電子機器。
  2. 　前記判断部が前記第２の情報を取得すると判断した場合、前記第２の情報、または前記第２の情報と前記第２の情報に付帯する付帯情報とを取得する第１取得部を備える請求項１に記載の電子機器。
  3. 　前記記憶部は、前記第１の情報として画像および音声の少なくとも一方を記憶する請求項１または２に記載の電子機器。
  4. 　撮像を行う撮像部を備え、
    　前記記憶部は前記撮像部の撮像した画像を前記第１の情報として記憶する請求項１から３のいずれか一項に記載の電子機器。
  5. 　音声収集を行う音声収集部を備え、
    　前記記憶部は前記音声収集部の収集した音声を前記第１の情報として記憶する請求項１から４のいずれか一項に記載の電子機器。
  6. 　前記第１の情報と前記第２の情報とに関する情報を入力した際に、前記ユーザに報知する報知部を備える請求項１から５のいずれか一項に記載の電子機器。
  7. 　前記第１の情報と前記第２の情報とに関する情報を入力した際に、前記ユーザに前記付帯情報を報知する報知部を備える請求項２に記載の電子機器。
  8. 　前記報知部は、前記ユーザの行動に関する報知を行う請求項６または７に記載の電子機器。
  9. 　前記ユーザの行動を検出する検出部を備え、
    　前記報知部は、前記検出部の検出結果に基づいて報知を行う請求項８に記載の電子機器。
  10. 　表示を行う表示部と、
    　前記表示部の表示に基づき、前記第１の情報を前記記憶部に記憶させる制御部と、を備える請求項１から９のいずれか一項に記載の電子機器。
  11. 　ユーザの位置を取得する位置取得部と、
    　前記位置取得部が取得した位置に応じて、前記ユーザにとって必要な情報である第１の情報を取得済みか判定する判定部と、を備える電子機器。
  12. 　前記判定部は、撮像部が前記第１の情報を撮像済みか判定する請求項１１に記載の電子機器。
  13. 　前記判定部が前記第１の情報は取得されていないと判定した場合に、前記ユーザに報知する報知部を備える請求項１１または１２に記載の電子機器。
  14. 　前記判定部が前記第１の情報は取得されていないと判定した場合に、前記第１の情報を取得する第１取得部を備える請求項１１から１３のいずれか一項に記載の電子機器。
  15. 　前記第１の情報に関して、前記ユーザに取るべき行動を指示する指示部を備える請求項１１から１４のいずれか一項に記載の電子機器。
  16. 　前記ユーザの視線の方位を取得する方位取得部を備え、
    　前記指示部は、前記第１の情報と、前記方位取得部が検出した方位とに応じて、前記取るべき行動を前記ユーザに指示する請求項１５に記載の電子機器。
  17. 　第２の情報を取得する第２取得部を備え、
    　前記第２取得部が取得した第２の情報に基づき、前記指示部は前記指示を開始する請求項１５または１６に記載の電子機器。
  18. 　前記第１の情報を解析する解析部を備える請求項１１から１７のいずれか一項に記載の電子機器。
  19. 　前記ユーザに装着するための装着部を備える請求項１から１８のいずれか一項に記載の電子機器。
  20. 　前記装着部は、前記ユーザの目の近傍に装着可能である請求項１９に記載の電子機器。
  21. 　前記指示部は、前記ユーザの目の近傍に前記ユーザの安全を確保する指示を行う請求項１５に記載の電子機器。
    　
    　
PCT/JP2014/078081 2014-01-24 2014-10-22 電子機器 WO2015111264A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-011811 2014-01-24
JP2014011810A JP2015138017A (ja) 2014-01-24 2014-01-24 電子機器
JP2014011811A JP2015138534A (ja) 2014-01-24 2014-01-24 電子機器
JP2014-011810 2014-01-24

Publications (1)

Publication Number Publication Date
WO2015111264A1 true WO2015111264A1 (ja) 2015-07-30

Family

ID=53681087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/078081 WO2015111264A1 (ja) 2014-01-24 2014-10-22 電子機器

Country Status (1)

Country Link
WO (1) WO2015111264A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171302A (ja) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc 映像表示装置及び情報提供システム
JP2007108043A (ja) * 2005-10-14 2007-04-26 Xanavi Informatics Corp 位置測位装置、および位置測位方法
JP2008045893A (ja) * 2006-08-11 2008-02-28 Denso Corp カーナビゲーション装置
JP2008233960A (ja) * 2007-03-16 2008-10-02 Oki Electric Ind Co Ltd 情報提示装置
JP2012059203A (ja) * 2010-09-13 2012-03-22 Nec Access Technica Ltd 特定音声認識装置および特定音声認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171302A (ja) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc 映像表示装置及び情報提供システム
JP2007108043A (ja) * 2005-10-14 2007-04-26 Xanavi Informatics Corp 位置測位装置、および位置測位方法
JP2008045893A (ja) * 2006-08-11 2008-02-28 Denso Corp カーナビゲーション装置
JP2008233960A (ja) * 2007-03-16 2008-10-02 Oki Electric Ind Co Ltd 情報提示装置
JP2012059203A (ja) * 2010-09-13 2012-03-22 Nec Access Technica Ltd 特定音声認識装置および特定音声認識方法

Similar Documents

Publication Publication Date Title
US8606316B2 (en) Portable blind aid device
US10909759B2 (en) Information processing to notify potential source of interest to user
US10408629B2 (en) Navigation system, client terminal device, control method, and storage medium
US20080030580A1 (en) Command system, imaging device, command device, imaging method, command processing method, and program
US20120194554A1 (en) Information processing device, alarm method, and program
JP2005037181A (ja) ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
US10430572B2 (en) Information processing system that recognizes a user, storage medium, and information processing method
US9978243B2 (en) Wandering notification server and wandering notification system
JP2015138534A (ja) 電子機器
WO2016088611A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
WO2018154902A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2017047063A1 (ja) 情報処理装置、評価方法及びコンピュータプログラム
KR101634972B1 (ko) 위급 상황 알림 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2015158866A (ja) 混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法
KR20080076270A (ko) 시각 장애인 길 안내 시스템
KR20160127200A (ko) 웨어러블 카메라 기반의 안심 서비스 제공 시스템 및 방법
JP2016048301A (ja) 電子機器
WO2015111264A1 (ja) 電子機器
KR101832327B1 (ko) 안전 지역 정보 제공 방법 및 그를 위한 장치 및 시스템
KR20150066714A (ko) 일과 관리 방법 및 장치
JP2015138017A (ja) 電子機器
KR101598466B1 (ko) 청각장애인용 안전보조시스템
JP2018137683A (ja) 通報支援システム、携帯端末、通報支援方法およびプログラム
KR101853324B1 (ko) 안전 지역 정보 제공 방법 및 그를 위한 장치 및 시스템
JPWO2017179182A1 (ja) ドライブレコーダ撮像画像送信システム、ドライブレコーダ撮像画像送信方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14880157

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14880157

Country of ref document: EP

Kind code of ref document: A1