WO2020174554A1 - 映像表示装置及び映像表示方法 - Google Patents

映像表示装置及び映像表示方法 Download PDF

Info

Publication number
WO2020174554A1
WO2020174554A1 PCT/JP2019/007184 JP2019007184W WO2020174554A1 WO 2020174554 A1 WO2020174554 A1 WO 2020174554A1 JP 2019007184 W JP2019007184 W JP 2019007184W WO 2020174554 A1 WO2020174554 A1 WO 2020174554A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
unit
trajectory
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/007184
Other languages
English (en)
French (fr)
Inventor
眞弓 中出
伊藤　保
橋本　康宣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to US17/434,400 priority Critical patent/US12299771B2/en
Priority to PCT/JP2019/007184 priority patent/WO2020174554A1/ja
Priority to JP2021501411A priority patent/JP7168757B2/ja
Priority to CN201980093082.XA priority patent/CN113574491A/zh
Publication of WO2020174554A1 publication Critical patent/WO2020174554A1/ja
Anticipated expiration legal-status Critical
Priority to JP2022171963A priority patent/JP7427747B2/ja
Priority to JP2024008763A priority patent/JP7620128B2/ja
Priority to JP2025003150A priority patent/JP7855742B2/ja
Priority to US19/170,665 priority patent/US20250259342A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Definitions

  • the present invention relates to a portable video display device and video display method.
  • HMD Head Mounted Display
  • AR augmented reality
  • a sensor attaching a sensor to the HMD, the information acquired by the sensor can be displayed on the display screen as an AR image.
  • a terminal information acquisition unit that acquires position information and the like of its own terminal and a camera unit that generates a camera image of the surroundings are acquired in advance as a mobile terminal that depicts a user's action history.
  • Depiction history calculation means for calculating the action history depiction information (avatar) to be displayed based on the action history and the imaging range of the camera means, and image composition for generating a composite image in which the behavior history depiction information is depicted in the camera image.
  • a configuration including a unit and a display unit that displays a composite image is disclosed.
  • Patent Document 1 when a user gives an instruction to record an action history, it is registered in the action history server. Then, the activity history of the desired user is acquired from the activity history server, and the avatar is displayed in a superimposed manner on the camera image according to the position information of the user. However, in Patent Document 1, it is assumed that the behavior history of any other user is acquired and displayed, and displaying the behavior history of the user himself is not particularly considered. Also, when displaying the action history, the avatars are displayed in the order in which the user moved to the position where the user has moved, so it is not suitable as a tool for guiding the return route from the current position to the user who has forgotten the return route. ..
  • An object of the present invention is to provide a video display device that guides a return route along a route actually traveled by a user.
  • a video display device of the present invention includes a sensor that detects a position and a direction of a user who carries the video display device, and a locus information acquisition that acquires information of a locus of movement of the user from a detection result of the sensor.
  • Section a locus information of the user acquired by the locus information acquisition section, a storage section for storing information of an avatar which is a virtual image showing the user, a display section for displaying the locus of movement of the user by an avatar, and locus information acquisition
  • a control unit that controls the display unit.
  • control unit generates an avatar from the information of the avatar stored in the storage unit, obtains the current user's visual field area with the sensor, and based on the trajectory information of the user stored in the storage unit, An avatar is arranged on the user's movement locus according to the user's field of view and displayed on the display unit.
  • the control unit temporally moves from the new trajectory information toward the old trajectory information when moving the avatar along the user's trajectory.
  • FIG. 3 is an external view of the HMD according to the first embodiment.
  • FIG. The block diagram which shows the internal structure of HMD.
  • a differential trajectory information storage table that stores position information as differential values.
  • a start point/end point position coordinate table that saves start/end position information.
  • Still image data storage table for saving still images.
  • the flowchart which shows the whole avatar display process. 9 is a flowchart showing a rescue process in FIG. 9A.
  • FIG. 6 is a diagram illustrating an operation instruction by a user's finger.
  • trajectory information storage table which preserve
  • FIG. 8 is a schematic diagram of avatar display in the third embodiment.
  • FIG. 14 is a diagram showing an appearance of a smartphone of Example 8.
  • FIG. 16 is a diagram showing the configuration of a video display system in which a plurality of HMDs of Example 9 are connected.
  • the schematic diagram which shows the example of a display of a plurality of avatars.
  • HMD head mounted display
  • FIG. 1 shows an external view of the HMD according to the first embodiment.
  • the HMD 1 has a spectacles shape, and a display section 72 on which a user visually recognizes an image and an image pickup section 71 for photographing an outside scene are arranged on the front surface, and a temple section (vine) 91 stores various processing sections described later. ..
  • a part of the processing unit in the temple unit 91 may be separated from the HMD main body, stored in another housing, and connected to the HMD main body by a cable.
  • FIG. 2 is a block diagram showing the internal configuration of the HMD 1.
  • the HMD 1 includes a main control unit 10, a system bus 30, a storage unit 40, a sensor unit 50, a communication processing unit 60, a video processing unit 70, an audio processing unit 80, and an operation input unit 90.
  • the main control unit 10 is a microprocessor unit that controls the entire HMD 1 according to a predetermined operation program.
  • the system bus 30 is a data communication path for transmitting and receiving various commands and data between the main control unit 10 and each component block in the HMD 1.
  • the storage unit 40 stores various programs 41 for controlling the operation of the HMD 1 and various data 42 such as operation setting values, detection values from a sensor unit described later and objects including contents, and is used for various program operations. It has an area 43. At that time, the storage unit 40 can store the operation program downloaded from the network, various data created by the operation program, and the downloaded contents such as moving images, still images, and voices. Further, it is possible to store data such as moving images and still images taken by the image pickup unit 71. The storage unit 40 needs to hold the stored information even when the HMD 1 is not externally supplied with power.
  • a semiconductor element memory such as a flash ROM or an SSD (Solid State Drive), a magnetic disk drive such as an HDD (Hard Disc Drive), or the like is used.
  • the operation programs stored in the storage unit 40 can be updated and their functions can be expanded by a download process from each server device on the network.
  • the sensor unit 50 includes a GPS (Global Positioning System) sensor 51, a geomagnetic sensor 52, a distance sensor 53, an acceleration sensor 54, a gyro sensor 55, an altitude sensor 56, and the like in order to detect various states of the HMD 1.
  • the position, inclination, direction, movement, altitude, etc. of the HMD 1 are detected by these sensor groups.
  • other sensors such as an illuminance sensor and a proximity sensor may be provided.
  • the communication processing unit 60 includes a LAN (Local Area Network) communication unit 61 and a telephone network communication unit 62.
  • the LAN communication unit 61 is connected to a network such as the Internet via an access point or the like, and transmits/receives data to/from each server device on the network.
  • the connection with the access point or the like may be performed by a wireless connection such as Wi-Fi (registered trademark).
  • the telephone network communication unit 62 performs telephone communication (call) and data transmission/reception by wireless communication with a base station of the mobile telephone communication network. Communication with base stations etc. is W-CDMA (Wideband Code Division Multiple Access) (registered trademark) system, GSM (registered trademark) (Global System for Mobile communications) system, LTE (Long Term Evolution) system, or other communication system. May be done by.
  • the LAN communication unit 61 and the telephone network communication unit 62 each include an encoding circuit, a decoding circuit, an antenna and the like.
  • the communication processing unit 60 may further include another communication unit such as a Bluetooth (registered trademark) communication unit or an infrared communication unit.
  • the video processing unit 70 is composed of an image pickup unit 71 and a display unit 72.
  • the image capturing unit 71 inputs image data of an external scene by converting light input from a lens into an electric signal by using an electronic device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor. It is a camera unit.
  • the display unit 72 is a display device of a transmissive display that uses, for example, a laser projector and a half mirror, and provides image data to the user of the HMD 1.
  • the voice processing unit 80 includes a voice input/output unit 81, a voice recognition unit 82, and a voice decoding unit 83.
  • a voice input of the voice input/output unit 81 is a microphone, which converts a user's voice or the like into voice data and inputs the voice data.
  • the audio output of the audio input/output unit 81 is a speaker, and outputs audio information and the like required by the user.
  • the voice recognition unit 82 analyzes the input voice information and extracts an instruction command or the like.
  • the voice decoding unit 83 performs a decoding process of an encoded voice signal and a voice synthesis process.
  • the operation input unit 90 is an instruction input unit that inputs an operation instruction for the HMD 1.
  • the operation input unit 90 is composed of operation keys in which button switches and the like are arranged, but may further include other operation devices.
  • the communication processing unit 60 may be used to operate the HMD 1 by using a separate mobile terminal device connected by wire communication or wireless communication.
  • the voice recognition unit 82 of the voice processing unit 80 may be used to operate the HMD 1 by a voice command of an operation instruction.
  • the configuration example of the HMD 1 shown in FIG. 2 includes a large number of configurations that are not essential to this embodiment, but the configuration without these does not impair the effects of this embodiment. On the contrary, a configuration not shown such as a digital broadcast receiving function and an electronic money settlement function may be further added.
  • FIG. 3 is a diagram showing a connection configuration example with the external device by the communication processing unit 60.
  • the LAN communication unit 61 of the HMD 1 connects to the network 5 such as the Internet via the wireless router 4 which is an access point.
  • a server 6 is connected to the network 5 and transmits/receives data via the LAN communication unit 61 of the HMD 1.
  • FIG. 4 is a diagram showing a configuration of functional blocks of the HMD 1.
  • the main control unit 10 mainly executes the control processing of the entire HMD 1 using the various programs 41 and the various data 42 of the storage unit 40.
  • the processing in the HMD1 is composed of a trajectory collection processing (S100) that collects and saves information about the movement trajectory of the user and an avatar display processing (S200) that displays an avatar that is a virtual image showing the user based on the saved trajectory information. (Represented by a broken line and a chain line, respectively).
  • the various sensor information acquisition function 11 acquires information from various sensors of the sensor unit 50, and the trajectory information processing function 12 acquires information from the various sensors into trajectory information that is easily processed internally. Convert.
  • the converted trajectory information is stored by the trajectory information storage function 13.
  • the shooting is performed using the image pickup unit 71 of the video processing unit 70.
  • the shooting process in that case is performed by the shooting data acquisition function 14, and the acquired shooting data is stored in the shooting data storage function 15 in association with the trajectory information.
  • the avatar display processing (S200), the avatar information of the user stored in advance in the avatar information storage function 16 is read, and the avatar generated by the avatar generation function 17 is displayed by the avatar display function 18.
  • the display position of the avatar is determined based on the trajectory information stored in the trajectory information storage function 13.
  • the visual field calculation function 19 determines whether or not the display position of the avatar exists in the visual field of the HMD 1, and if it does not exist, the avatar is not displayed.
  • the photographing data reproducing function 20 reproduces the photographing data stored in the photographing data storing function 15 according to the route locus.
  • Storage functions such as the trajectory information storage function 13, the shooting data storage function 15, and the avatar information storage function 16 are stored in the external server 6 via the LAN communication unit 61 of the communication processing unit 60, as shown in FIG. You can also
  • FIG. 5 is a schematic diagram showing an example of user trajectory collection.
  • the user 2 wearing the HMD 1 is moving in the order of locus points 501, 502, 503, 504 (indicated by a ⁇ mark).
  • the image pickup unit 71 photographs the subject 510. Therefore, the locus point 503 becomes a shooting point.
  • the target to be photographed here is decided by the user's intention such as the place to stop by, the corner, the place where the route is wrong, the flora and fauna or buildings seen at that point, but when shooting the route trajectory later, the captured image Will be played.
  • FIG. 6 is a flowchart showing the trajectory collection process (S100) of the HMD 1, and takes the trajectory schematic diagram of FIG. 5 as an example.
  • This processing procedure is stored in various programs 41 of the storage unit 40.
  • the instruction to start the trajectory collection is given by the voice of the user 2 in this embodiment. For example, when the voice command “Kiseki Kaishi” is uttered, the voice recognition unit 82 determines that it is an instruction to start the trajectory collection process.
  • S111 Initialize the point number of the locus point.
  • 0 is set as the initial value of the point number p
  • the point number p 0 at the start of the trajectory collection process.
  • S112 Start the timer. The timer counts using a clock built in the main control unit 10. The reason for using the timer is to collect the data of the trajectory points of the user at regular time intervals (unit time).
  • the position of the HMD 1 is detected by the information from the sensor unit 50 (various sensor information acquisition function 11), converted into a format of saved data (trajectory information processing function 12), and saved in various data 42 of the storage unit 40. (Track information storage function 13).
  • the GPS sensor 51 of the sensor unit 50 detects the position of the HMD 1 on the plane.
  • Global position coordinates (longitude/latitude) of the HMD 1 can be detected by receiving radio waves from a plurality of GPS satellites.
  • the altitude can be detected by the height sensor 56 of the sensor unit 50. For example, the atmospheric pressure is measured to calculate the altitude.
  • the HMD 1's position information can also be acquired as global position information using Wi-Fi (registered trademark), Bluetooth (registered trademark), information transmitted from a mobile base station, or the like. Therefore, if the GPS information cannot be obtained, the position information of the HMD 1 is obtained from the information. Of course, other information may be combined with the GPS information.
  • GPS information and the like the information for acquiring the global position information will be referred to as “GPS information and the like”.
  • the user's trajectory information can be placed in the spatial coordinate system using the global position information.
  • a unique spatial coordinate system with the locus acquisition start position as the origin is generated, and the position changes from the moving distance and moving direction of the user detected by the acceleration sensor 54, the gyro sensor 55, etc. of the sensor unit 50. May be calculated and placed in the local coordinate system. Then, by acquiring the global position information at a position where the global position information can be acquired with high accuracy and associating the global position information with the position information of the local coordinate system, for example, even when the trajectory is not continuously acquired or the trajectory information of another person is viewed. Applicable.
  • S114 It is determined whether or not there is a shooting instruction by the user. If there is a shooting instruction, the process proceeds to S115, and if there is no shooting instruction, the process proceeds to S116.
  • the shooting function of the image pickup unit 71 provides two shooting modes: still image shooting and moving image shooting. In order to distinguish these, for example, the voice command “Satei” is used for a still image shooting instruction, and the voice command “Satei Kaishi” is used for a moving image shooting instruction. For moving images, the voice command “Satsuaiowari” is used as an instruction to end shooting.
  • S115 The subject in front of the HMD 1 is photographed by the image pickup unit 71 of the image processing unit 5 (photographing data acquisition function 14), and the photographed data is stored as various data 42 of the storage unit 40 (photographing data storage function 15).
  • S116 It is determined whether or not the user has given an instruction to end the trajectory information acquisition process. For example, the voice command “kisekiowari” is used to determine that it is an instruction to end the trajectory collection process. If the end is instructed, the process proceeds to S117 to end the trajectory information acquisition process. If the end of the trajectory information acquisition process is not instructed, the process proceeds to S118.
  • S118 It is determined whether a unit time has passed. Specifically, it is determined whether the timer has exceeded the unit time. When the unit time has elapsed, the process proceeds to S119, and when the unit time has not elapsed, the process returns to S114.
  • S119 Add 1 to the point number p, return to S112, reset the timer, and restart.
  • the trajectory points (position information) of the user can be collected at regular time intervals. For example, by setting the unit time of the timer to 1 second, the trajectory of the HMD 1 can be saved every 1 second. In addition, in parallel with this, a subject on the way can be photographed and saved according to a user's instruction.
  • trajectory information data data table
  • S100 trajectory collection processing
  • FIG. 7A shows a trajectory information storage table 710 that stores position information as it is as measured values.
  • the item is composed of a point number 711 indicating the order of each locus point and a position coordinate 712 corresponding to the locus point.
  • position coordinates 712 planar position information (X, Y) from GPS information and the value of the altitude (Y) by the altitude sensor 56 are used.
  • Point number 0 is the position coordinate (X 0 , Y 0 , Z 0 ) at the time when the trajectory collection process is started (S110), and point number 1 is the position coordinate (X 1 after the unit time (here, 1 second)).
  • Y 1 , Z 1 is the position coordinate (X 1 after the unit time (here, 1 second)
  • the point number k is the position coordinates (X k , Y k , Z k ) at the time when the user issues a shooting instruction (S114) after k seconds.
  • the point number n is the position coordinate (X n , Y n , Z n ) at the time when the trajectory collection process ends (S117) n seconds after the start.
  • the position coordinates 712 are fixed-length size data, so if the data are recorded in time series, the data of the point number 711 can be omitted. That is, the data of the target position coordinate of the point number p can be searched for by the multiple value p of the fixed length size.
  • the relative value information (difference value information) of the acceleration sensor 54 and the gyro sensor 55 of the sensor unit 50 is temporarily stored. Then, when the position information (absolute value information) from the GPS information or the like can be acquired at any one of the locus points, the once stored relative value is corrected to the absolute value.
  • FIG. 7B shows a differential trajectory information storage table 720 that stores position information as a differential value.
  • the item includes a point number 721 and differential position coordinates 722 corresponding to the locus point.
  • the difference position coordinate 722 the difference value between the position coordinate of the immediately previous trajectory point and the current position coordinate of the trajectory point is described. That is, the difference value ( ⁇ X, ⁇ Y) of the plane position coordinates is described by the distance in the longitude direction and the distance in the latitude direction between the two trajectory points.
  • the difference value ( ⁇ Z) in the height direction is also described by the distance.
  • the point number 1 is the difference position coordinates ( ⁇ X1, ⁇ Y1, ⁇ Z 1 ) one second after the start of the trajectory collection process
  • the point number k is the difference position coordinates ( ⁇ Xk, ⁇ Yk, ⁇ Z k ) after k seconds
  • the point number n indicates the differential position coordinates ( ⁇ Xn, ⁇ Yn, ⁇ Z n ) at the time when the trajectory collection process ends (n seconds after the start). The relationship with the value of the position coordinate 712 in FIG.
  • FIG. 7C shows a start point/end point position coordinate table 730 that stores position information at the start/end of trajectory collection. This table is necessary when calculating the display position (absolute position) of the avatar using the differential trajectory information storage table 720 of FIG. 7B.
  • the item includes a start point/end point distinction 731 that distinguishes a start point or an end point of trajectory collection, and a position coordinate 732 that indicates each position information by an absolute value.
  • the start point is equal to the position coordinate (X 0 , Y 0 , Z 0 ) at the point number 0 in FIG. 7A (trajectory information storage table 710)
  • the end point is the position coordinate (X n , Y) at the point number n. n , Z n ).
  • the differential trajectory information storage table 720 of FIG. 7B can be converted into the trajectory information storage table 710 of FIG. 7A.
  • the avatar can be displayed efficiently. The reason will be explained.
  • the avatar is displayed by reversing the time from the end point (point number n) of the trajectory.
  • the position coordinates of the end point for starting the display are not known, in order to calculate this, the position coordinates (X 0 , Y 0 , Z 0 ) of the start point in FIG.
  • the position coordinates 722 must be added. If the position coordinates (X n , Y n , Z n ) of the end point are known, the avatar is first displayed at the position coordinates. The position where the avatar is displayed next can be easily calculated by subtracting the difference position coordinate ( ⁇ Xn, ⁇ Yn, ⁇ Z n ) at the point number n in FIG. 7C from the current position coordinate. The same process may be repeated thereafter.
  • the locus information (the locus information storage table 710, the difference locus information storage table 720, the start point/end point position coordinate table 730) is not only stored in the various data 42 of the storage unit 40, but also as described in FIG. It is also possible to store it in the external server 6 via the network 5 for each trajectory point or when the table of trajectory information is completed. By storing the data in the server 6, the amount of data stored in the HMD 1 can be reduced.
  • FIG. 8A shows a still image data storage table 810 that stores still images.
  • the still image data storage table 810 includes a point number 811 indicating a locus point at the time of a shooting instruction, a shooting direction 812 indicating a shooting direction, a shooting data size 813, and shooting data 814.
  • the HMD 1 shoots in the direction of ⁇ k at the locus point k (point number k), and the shooting data D k of the shooting data size M k is stored in the various data 42 of the storage unit 40 (S115). doing.
  • the trajectory information storage table 710 and the still image data storage table 810 of this example are stored in association with each other.
  • the still image captured in synchronization with the moving position of the HMD 1 per unit time here, 1 second. You can play back images.
  • FIG. 8B shows a moving image data storage table 820 for storing moving images. Similar to the case of the still image in FIG. 8A, the moving image data storage table 820 includes a point number 821 indicating a locus point at the time of a shooting instruction, a shooting direction 822 at the start of shooting, a shooting data size 823, and shooting data 824. Composed. Furthermore, in the case of a moving image, the shooting time (start and end) 825 is described. This is to cope with the case where moving image shooting is performed over a plurality of locus points. If the moving image is played back every unit time (every 1 second), it can be synchronized with the time when the avatar is displayed.
  • the HMD 1 starts shooting from the start time T ks in the direction of ⁇ k , and shoots the shooting data D k of the data size M k until the end time T ke.
  • the storage unit 40 S115.
  • the video data playback but it may be the entire display screen of the HMD, in this example, displayed in Shukushoko screen, to play from the moving image shooting start time T ks to movie shooting end time T ke.
  • the information of these shooting data (still image data storage table 810, moving image data storage table 820) is also stored in the HMD 1 by being stored in the external server 6 via the network 5 as described in FIG.
  • the amount of data to be used can be reduced.
  • the avatar display process (S200) of the HMD 1 will be described.
  • This processing procedure is stored in various programs 41 of the storage unit 40.
  • the avatar is displayed by extracting the avatar information from the avatar information storage function 16 (avatar generation function 17) and displaying the avatar on the display unit 72 of the HMD 1 (avatar display function 18).
  • the shape of the avatar is the same size as the user, and the height of the avatar is set by the user himself.
  • the height of the height obtained by adding 10 cm to the distance from the ground (the height of the HMD 1 from the ground) can be set by the distance sensor 53 of the sensor unit 50.
  • the display position of the avatar is displayed on the display unit 72 of the HMD so as to be superimposed on the background image according to the position information stored in the trajectory information storage table 710 and the like.
  • the locus information and the shooting data to be used are stored in various data 42 in the HMD, the locus information and the shooting data are used, but the external server 6 is accessed via the LAN communication unit 61 of the communication processing unit 60. If it is stored, it is obtained from the server 6 and used.
  • the avatar is displayed by reversing from the new trajectory information to the old trajectory information in time based on the trajectory point of the user.
  • the display order is reversed in terms of time, so that the user can return from the end point (current point) to the start point (departure point) by the same route that has actually passed.
  • FIG. 9A is a flowchart showing the entire avatar display process (S200).
  • S210 Avatar display processing (S200) is started.
  • the user utters the voice command “avatar kaishi” which means to start the avatar display, and determines that this is the avatar display start instruction.
  • S211 Detect the current position and direction of the HMD 1 worn by the user.
  • the detection method is performed by the GPS sensor 51, the geomagnetic sensor 52, the height sensor 56, and the like of the sensor unit 50, as in S113 in the trajectory collection process (S100).
  • S212: The locus information storage table 710 (or the differential locus information storage table 720) is referred to, and the point number s of the position coordinate closest to the current position of the HMD 1 is searched. That is, if the current position is the end point of the trajectory collection, s n, but if the user subsequently moves from the end point, s ⁇ n.
  • S213 As the initial value of the point number m to be displayed, the point number s closest to the current position is set. Thereby, the display can be performed from the locus point close to the current position of the user.
  • the timer uses a clock built in the main control unit 10.
  • the reason for using the timer is that the user's trajectories are collected at constant time intervals (unit time), and are displayed accordingly.
  • the unit time used for displaying the avatar may be different from the unit time of the trajectory collection process and may be the time multiplied by an arbitrary coefficient. For example, if the unit time used for displaying the avatar is set to 1/2 time (0.5 seconds in this example), the displayed avatar can be moved at double speed. On the contrary, if the unit time used for displaying the avatar is set to double the time (2 seconds in this example), the displayed avatar can be moved at 1/2 speed (slow). Further, the avatar can be displayed as a moving image (animation) by sequentially interpolating (for example, every 1/24 seconds) the avatar between the trajectory points and displaying the avatar.
  • S215 The position and direction of displaying the avatar are calculated.
  • the locus information is stored in the locus information storage table 710
  • the value (X m , Y m , Z m ) of the position coordinate 712 corresponding to the point number m is read out, and the avatar is placed at the planar position (X m , Y m ) and altitude (Z m ).
  • X m X m+1- ⁇ X m+1
  • Y m Y m+1- ⁇ Y m+1
  • Z m Z m+1- ⁇ Z m+1
  • the position coordinates (X n , Y n , Z n ) of the end point described in the start point/end point position coordinate table 730 and the value of the differential position coordinate 722 up to the point number s are set. Calculate using.
  • the direction in which the avatar is facing is the direction connecting the previous locus point (m+1) and the current locus point (m).
  • S217 The visibility calculation function 19 determines the display area of the HMD1, that is, the user's visual field from the current position and direction of the HMD1, and determines whether the placement position of the avatar calculated in S215 is within the display area. If it is determined that the avatar can be placed in the display area of the HMD 1, the process proceeds to S218, and if it is determined that the avatar cannot be placed, the relief process of S300 is performed.
  • the rescue processing of S300 guidance processing such as changing the visual field direction of the user or moving the user to a position where the avatar can be seen is performed, and details will be described later with reference to FIG. 9B.
  • the avatar can be arranged within the field of view of the user, and the user can move (track) without losing sight of the avatar or overtaking the avatar.
  • S219 By referring to the still image data storage table 810 or the moving image data storage table 820, it is determined whether or not the currently displayed point number m is the shooting point k. When it is determined that the locus point is the shooting point, the process proceeds to S220. If it is determined that it is not the shooting point, the process proceeds to S222. S220: Notify that the current time is the shooting point. The shooting point notification method notifies the user by changing the color of the displayed avatar or blinking the avatar. S221: According to a user's instruction, the corresponding shooting data is read from the still image data storage table 810 or the moving image data storage table 820 and reproduced. The reproduction of the shooting data is executed by the voice command “Saisei”. The reproduction of the image data may be performed on the entire display screen of the HMD, but in this example, the image data is displayed on the reduced screen and the reproduction of the image data is ended after the display is continued for a certain time.
  • S222 It is determined whether or not the user has given an instruction to end the avatar display processing. For example, the voice command “avatar owari” is used to determine that the command is an instruction to end the avatar display process. If the end of the avatar display processing is instructed, the process proceeds to S226, and the avatar display processing ends.
  • S223 It is determined whether a unit time has passed. If it is determined that the unit time has elapsed, the process proceeds to S224. If it is determined that the unit time has not elapsed, the process returns to S222.
  • S224 1 is subtracted from the point number m to obtain a new point number. As a result, it returns to the previous trajectory point that was traced back in time.
  • FIG. 9B is a flowchart showing the rescue process (S300) in FIG. 9A. This process is performed when the determination in S217 is No, that is, when the avatar cannot be arranged in the display area. After the processing ends, the process returns to S211.
  • S301 The visibility calculation function 20 determines whether or not the avatar can be arranged by changing the direction of the HMD 1. If it is possible, the process proceeds to S302, and if it is not possible, the process proceeds to S303.
  • S302 This corresponds to the case where the HMD does not face the direction in which the avatar exists, and therefore the user is guided by voice or display to change the direction of the HMD.
  • the voice decoding unit 83 of the voice processing unit 80 generates voice guides “Migi”, “Hidari”, and the like. At that time, the avatar may be displayed on the screen and uttered. After that, the process returns to S211.
  • FIG. 10A is a diagram showing an example of the direction change guide display in S302.
  • the avatar 3 appears on the display screen 400, and a message 401 indicating that the avatar exists is displayed on the right side.
  • the new direction of the HMD is detected in S216 of FIG. 9A.
  • the avatar is present in the new display area, and the avatar can be displayed in S218.
  • S303 When it is impossible to place the avatar by changing the direction of the HMD1 in S301, it is considered that the current position is far from any of the points collected by the trajectory. Therefore, it is determined whether map information can be acquired in order to guide the user to the proximity point. For example, when the navigation application can be used, the process proceeds to S304. If the map information cannot be acquired, the process proceeds to S306.
  • S304 Using the navigation application, the route analysis to the closest locus point s searched in S212 is performed.
  • S305 Route information up to the locus point s (new locus point) is added to the locus information storage table 710. After that, the process returns to S211, and the display target position of the avatar including the added trajectory point is set. As a result, the avatar is placed in the display area of the HMD in S217, and the avatar can be displayed in S218.
  • S306 If the map information cannot be acquired in S303, the direction of movement to the closest locus point s is presented to the user.
  • the presentation method is voice or AR display. After that, the process returns to S211.
  • the user can approach the closest locus point s by moving in the presented direction.
  • the avatar is placed in the display area in S217, and the avatar can be displayed in S218.
  • FIG. 10B is a diagram showing an example of the moving direction guide display in S306.
  • the AR display 402 informs the display screen 400 of the direction in which the user should move.
  • the AR display 402 only needs to know the direction in which to proceed, and uses characters, icons (arrows), and the like.
  • the rescue process of S300 can be performed to guide the user to the position or direction in which the avatar can be seen. This allows the user to move (track) without losing sight of the avatar.
  • FIGS. 11A and 11B are diagrams showing display examples of avatars. This example corresponds to the schematic diagram at the time of trajectory collection shown in FIG.
  • each locus point of the HMD collected from the loci is temporally reversed to display the avatar 3. That is, the display position of the avatar 3 is moved in the direction of the arrow in the order of the locus points 504, 503, 502, 501 (displayed by ⁇ marks) and displayed.
  • the locus point 503 is the shooting point k, and is therefore indicated by a double circle to distinguish it from other positions.
  • the body orientation when moving the avatar 3 is set to a posture (backward) opposite to the traveling direction of the avatar 3. , Showing how to return to the original route.
  • the display screen 400 of FIG. 11B shows the display state of the avatar 3 at the trajectory point 503. Since the locus point 503 is a corner, the direction of the avatar 3 is changed. Further, since the locus point 503 is a photographing point, the color of the avatar 3 is changed and displayed. Here, when the user gives an instruction to reproduce the photographing data, an image 510' of the subject 510 photographed at the photographing point is displayed.
  • the trajectory point ( ⁇ mark) and the traveling direction (arrow) are displayed on the display screen 400, but these may be hidden.
  • the locus points of the avatar are displayed every unit time (1 second), but the present invention is not limited to this, and it is also possible to display at other time intervals. For example, if the image is interpolated and displayed every 1/24 second, the avatar is displayed as a smooth moving image such as a movie.
  • FIG. 12 is a table showing an example of voice commands used for operating the HMD.
  • the items of the voice command table 600 are composed of a command classification 601, a voice command 602 issued by the user, a command name 603, and a processing content 604.
  • the voice command classification 601 is divided into trajectory collection related and avatar display related.
  • the trajectory collection-related voice commands 602 include “kisekikaishi”, “kisekistart” for starting the trajectory collection process, “kisekiowari”, “kisekiend” for ending the trajectory collection process, “satsuei”, “kilok” for shooting still images, There are “Satsuei Kaishi” and “Kirok Start” to start video recording, and “Satsuei Owari” and “Kirok End” to end video recording.
  • Avatar display-related voice commands 602 include “avatar kaishi” and “avatar start” to start avatar display processing, “avatar owari” and “avatar end” to end avatar display processing, and “saisei” to play still images or videos. There is “Saturday data” etc.
  • the voice commands listed here are merely examples, and it goes without saying that they can be appropriately set according to the preference of the user.
  • the HMD 1 can make a voice response corresponding to the voice command issued by the user by using the voice synthesizing function of the voice decoding unit 83 of the voice processing unit 80.
  • the voice synthesizing function of the voice decoding unit 83 of the voice processing unit 80 As a result, for example, it is possible to respond with the same voice (aum return) as the voice command of the user, or to confirm the voice command of the user.
  • the user's response is "high”
  • a confirmation voice "XX Wokkokkomusu” is answered, and if the user's response is "yes", a confirmation voice "is displayed”.
  • the voice commands “high” and “yes” used by the user in the reply are not shown in FIG.
  • the voice synthesizing function of the voice decoding unit 83 can be used to generate a synthetic voice such as a voice "Migi” for urging a rightward rotation and a voice "Hidari” for urging a leftward rotation. This can be utilized in the step S306 of FIG. 9B.
  • Operation instructions for HMD1 can be realized by methods other than voice commands.
  • the operation menu is displayed on the display screen of the HMD 1 and the user selects with a gesture (movement of hand/finger).
  • the user's finger can be photographed by the imaging unit 71 of the image processing unit 70, and the movement of the finger can be recognized from the captured image and used for the operation.
  • FIG. 13 is a diagram for explaining an operation instruction with a user's finger.
  • a “photograph” menu 411 and a “video” menu 412 are displayed as selection menus.
  • the menu display is preferably semi-transparent, but not limited to this.
  • the imaging unit 71 detects the finger image 415 that gradually increases toward the display screen 410. Further, it recognizes that the finger image 415 is heading to the “video” menu 412, and determines that “video” is selected and designated. As other operations, only the "start” menu is displayed at the start of trajectory collection or avatar display, and the "end” menu is displayed at the end. Then, the approach of the user's finger image 415 by the imaging unit 71 is detected, and it is determined that the start or end is instructed. In addition to this, a method may be used in which a touch sensor is provided in the operation input unit 90 of the HMD 1 to detect that the user's hand or finger touches the HMD 1.
  • the first embodiment it is possible to easily guide the return route to the user who has forgotten the place to stop or the return route during the movement.
  • the position coordinates of the HMD are stored in three dimensions (X, Y, Z), but in the second embodiment, a case of storing the position coordinates in two dimensions (X, Y) will be described.
  • the basic configuration of the HMD in the second embodiment is similar to that of the first embodiment, and the differences from the first embodiment will be described.
  • the trajectory collection process is performed by the same flowchart (S100) as in the first embodiment (FIG. 6). Then, the collected data is stored in the tables shown in FIGS. 14A and 14B.
  • FIG. 14A shows a two-dimensional trajectory information storage table 740, in which position information is stored as a difference value.
  • a point number 741 indicating the number of each locus point
  • a differential position coordinate 742 indicating the plane position of the locus point are configured.
  • the difference position coordinate 742 is not an absolute value of the position coordinate but a difference value (change amount) between adjacent locus points to reduce the amount of data to be stored.
  • the point number 1 is the difference position coordinate ( ⁇ X1, ⁇ Y 1 ) 1 second after the start of the trajectory collection process, and the point number k is k seconds.
  • differential position coordinates after ( ⁇ Xk, ⁇ Y k), point number n indicates differential position coordinates (.DELTA.Xn, [Delta] Y n) of the time the trajectory collection process has been completed (after n seconds from the start), respectively.
  • the method of obtaining the differential position coordinates is the same as that in the first embodiment (FIG. 7B).
  • FIG. 14B shows a two-dimensional start point/end point position coordinate table 750 that stores position information at the start/end of trajectory collection. This table is needed when the display position (absolute position) of the avatar is calculated using the two-dimensional differential trajectory information storage table 740 of FIG. 14A.
  • the item is composed of a start point/end point distinction 751 for discriminating between the start point and the end point of trajectory collection, and a position coordinate 752 indicating respective position information by an absolute value, which is the same as in FIG. 7C.
  • a position coordinate 752 indicating respective position information by an absolute value, which is the same as in FIG. 7C.
  • the position coordinate 752 only the position coordinate (X 0 , Y 0 , Z 0 ) of the start point stores the position coordinate (Z 0 ) in the height direction. This is to cope with the case where the altitude change amount exceeds a predetermined value (threshold value) during acquisition of the trajectory information.
  • the change ( ⁇ X, ⁇ Y) in the planar position coordinates of the HMD are linear, and the changes in the altitude of the HMD ( ⁇ Z) are also linear.
  • the change ( ⁇ X, ⁇ Y) in the planar position coordinates of the HMD is the step width, and the change in the HMD altitude ( ⁇ Z) is the step difference.
  • the trajectory collection processing by the two-dimensional trajectory information storage tables 740 and 750 ends as trajectory A. Then, the process newly moves to the trajectory collecting process by the three-dimensional trajectory information storage tables 710 to 730 of the first embodiment, and the trajectory B is set. After that, when the amount of change in altitude falls within the threshold value, the trajectory collection processing by the two-dimensional trajectory information storage tables 740 and 750 is restarted to obtain the trajectory C. With this method, the amount of data to be stored can be reduced as much as possible.
  • the two-dimensional trajectory information storage tables 740 and 750 of the second embodiment can be converted into the three-dimensional trajectory information storage tables 710 to 730 of the first embodiment.
  • the GPS sensor 51 of the sensor unit 50 is relatively easy to acquire GPS information (positional information) outdoors, but when it is difficult to acquire GPS information such as in an underground mall or indoors. There is.
  • the information from the acceleration sensor 54 of the sensor unit 50, the gyro sensor 55, or the like is used for supplementation.
  • Example 1 when the avatar was displayed, the direction of the avatar was reversed from the traveling direction, and the avatar was moved backward.
  • the avatar is displayed so as to face the traveling direction.
  • FIG. 15 is a schematic diagram of avatar display in the third embodiment.
  • the avatar 3 On the display screen 400, the avatar 3 is displayed in a posture (forward) facing the traveling direction. That is, the orientation of the avatar 3 is set in the vector direction from the current locus point 503 to the next locus point 502.
  • FIG. 11B the uncomfortable feeling of the user (that the advancing direction of the avatar does not match the direction of the avatar) caused by the orientation of the avatar as shown in the first embodiment (FIG. 11B).
  • FIG. 16 is a schematic diagram of avatar display in the fourth embodiment.
  • the avatar 3 is moving backward.
  • the avatar 3 controls so that the part hidden by the building 521 is not displayed.
  • Whether or not the avatar 3 is hidden can be determined by comparing the distances to the buildings 521 and 522 and the avatar 3, and the distance to the buildings 521 and 522 can be measured by the distance sensor 53.
  • the hidden avatar may be displayed semi-transparently so that it can be tracked.
  • the images of the buildings 521 and 522 can also be displayed using, for example, Street View (Google, Inc.), which is an Internet service that provides panoramic photographs of landscapes along the road. Further, depending on the position and direction of the HMD 1, the name of a building attached to the building or the like can be used.
  • Street View Google, Inc.
  • the name of a building attached to the building or the like can be used.
  • the photographing instruction is not automatically given to the user but is automatically photographed.
  • the image capturing unit 71 of the HMD starts capturing from a start point and always loops and temporarily captures an image of a certain time (for example, twice the unit time between the trajectory points used in the trajectory collecting process) from the present time. save.
  • the image automatically captured is a moving image or a still image that is traced back a certain time (for example, 2 seconds) from the current time.
  • the function can be sufficiently exerted by temporarily storing one or two still images between the locus point and the next locus point. Then, an image taken at a peculiar place on the moving route, for example, a place where the moving direction is changed is left.
  • the specific operation of automatic shooting will be explained using the trajectory collection schematic diagram of FIG.
  • the image from the locus point 502 to the locus point 504 (twice the length of the unit time) is temporarily stored.
  • the movement direction (movement vector between points) changes by 90 degrees. Therefore, the image captured from the locus point 502 to the locus point 503 is automatically saved as the image immediately before the direction of the movement vector changes greatly.
  • the image data of the locus point 503 to be stored may be a moving image (moving image frame captured up to the locus point 503) or a still image (shooting data of the locus point 503).
  • the imaging method of the fifth embodiment when the user changes the traveling direction, the image of the traveling direction immediately before changing the traveling direction is stored, so that an image that is most suitable for recalling the user can be displayed. it can.
  • information such as the posture of the user is also collected in the trajectory collection processing and reflected when the avatar is displayed.
  • the distance sensor 53 of the sensor unit 50 detects the distance from the ground or floor surface to the HMD 1 (that is, the height of the user's head), and collects it for each trajectory point. By comparing this detected value with the height (known) of the user, the posture of the user wearing the HMD 1 (standing, sitting, crouching, sleeping, etc.) can be estimated. The standing avatar and the sitting avatar are displayed by reflecting this posture information on the displayed avatar.
  • the orientation of the face of the user wearing the HMD 1 can be known by the geomagnetic sensor 52 of the sensor unit 50.
  • the face orientation information is reflected in the displayed avatar, and the face orientation of the avatar is changed for each trajectory point.
  • the orientation of the body of the avatar may be estimated and changed based on the orientation of the face, but may be adjusted according to the vector information between the trajectory points (the traveling direction). With these displays, it is possible to display a more realistic avatar.
  • FIG. 17A shows an example of the trajectory information storage table 710′ in the seventh embodiment.
  • the passing time 713 when each trajectory point is passed is additionally described.
  • FIG. 17B is a diagram showing a display example of an avatar.
  • the passing time 420 is displayed together with the display of the avatar 3.
  • the passing time 713 corresponding to the point number 711 currently displaying the avatar in the trajectory information storage table 710' of FIG. 17A may be referred to.
  • the seventh embodiment when the user has passed the currently displayed locus point is displayed, which is effective information for recalling the user's memory.
  • Example 8 describes a case where a smartphone is used instead of the HMD as a portable video display device.
  • the smartphone has almost the same hardware configuration and software configuration as the HMD, and can realize equivalent functions.
  • FIG. 18 is a diagram showing an appearance of the smartphone 9, where (a) is a front side for displaying an image and (b) is a back side having a camera. As shown in (b), a camera 901 is provided on the back side to photograph an outside scene.
  • the smartphone 9 has a sensor for detecting the three-dimensional position and the direction of the camera 901, and can collect the trajectory information as in the case of the HMD.
  • the front side has a display screen 902 with a built-in touch panel, and displays an image taken with the camera 901 facing the outside scene. Then, on the display screen 902, the avatar 3 can be superimposed and displayed in accordance with the image of the displayed outside scene, based on the collected trajectory information, as in the first embodiment (FIG. 11A).
  • a smartphone is taken as an example of the portable video display device, but the operation of this embodiment can be realized if there is an equivalent or approximate hardware configuration or software configuration.
  • it can be applied to a notebook PC, a tablet PC, or the like.
  • FIG. 19 is a diagram showing a configuration of a video display system in which a plurality of HMDs are connected. Here, the case of two users 2a and 2b is shown, and the HMD 1a and the HMD 1b are worn, respectively. The same applies to cases other than two.
  • the HMD 1a worn by the user 2a is connected to the external server 6 via the wireless router 4a and the network 5.
  • the HMD 1b worn by the user 2b is connected to the same server 6 via the wireless router 4b and the network 5.
  • the wireless routers 4a and 4b can be shared.
  • each HMD 1a, 1b collects the trajectory of each user 2a, 2b. Then, the trajectory information of the user 2a who wears the HMD 1a and the trajectory information of the user 2b who wears the HMD 1b are stored in the common server 6. After that, the locus information of the two persons is read from the server 6 and displayed on the respective HMDs 1a and 1b as two avatars which are virtual images of the two persons. As a result, the loci can be referred to each other by the avatar.
  • FIG. 20 is a schematic diagram showing a display example of a plurality of avatars.
  • the avatar 3b of the user 2b wearing the HMD 1b is displayed on the display screen 400a of the HMD 1a.
  • the loci 520a and 520b in which the two persons have acted are displayed by respective locus points (marked by ⁇ and ⁇ ), and the positional relationship between the two can be displayed in reverse time.
  • the two people merged at the intersection of the locus points 521. The same is displayed on the display screen 400b of the HMD 1b.
  • the loci of a plurality of users can be mutually confirmed. As a result, if another user is out of the field of view during trajectory collection, the position of the other user can be immediately known.
  • the short-distance wireless communication such as Bluetooth (registered trademark) is used to communicate between the portable information terminals to use the server 6 via the wireless router 4 and the network 5.
  • Bluetooth registered trademark
  • the functions and the like of the present invention described above may be realized in hardware by designing a part or all of them with, for example, an integrated circuit.
  • the microprocessor unit or the like may be realized by software by interpreting and executing a program for realizing each function or the like.
  • Hardware and software may be used together.
  • the software may be stored in advance in various programs 41 of the HMD 1 at the time of product shipment. It may be obtained from various server devices on the Internet after the product is shipped. Further, the software provided by a memory card, an optical disc, or the like may be acquired.
  • control lines and information lines shown in the figure are those that are considered necessary for explanation, and not all control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.
  • HMD video display device
  • 2 User
  • 3 Avatar
  • 4 Wireless router
  • 5 Network
  • 6 Server
  • 9 Smartphone
  • Smartphone video display device 10
  • Main control part 40
  • Communication processing unit 70
  • Image processing unit 71
  • Imaging unit 72
  • Display unit 80
  • Audio processing Section 90... Operation input section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instructional Devices (AREA)

Abstract

携帯型の映像表示装置１は、ユーザ２の位置と方向を検出するセンサ５０と、ユーザの移動軌跡の情報を取得する軌跡情報取得部と、ユーザの軌跡情報とアバターの情報を保存する記憶部４０と、ユーザの移動軌跡をアバターで表示する表示部７２とを備える。制御部は、アバター３を生成するとともに、センサにより現在のユーザの視界領域を求め、記憶部に保存されたユーザの軌跡情報をもとに、現在のユーザの視界領域に合わせ、ユーザの移動軌跡にアバター３を配置して表示部７２に表示する。アバター３をユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させる。

Description

映像表示装置及び映像表示方法
　本発明は、携帯型の映像表示装置及び映像表示方法に関する。
　近年、スマートフォンを代表とする携帯型の映像表示装置が世の中に普及している。中でも、ユーザの頭部に装着するヘッドマウントディスプレイ（以下、ＨＭＤ：Head Mounted Display）は、眼鏡型の表示画面上に、現実空間の映像とコンピュータ等により作成した拡張現実（ＡＲ：Augmented Reality）の映像とを重畳させて表示するものである。さらにＨＭＤにセンサを取り付けることで、センサで取得した情報をＡＲ映像として表示画面に表示することができる。例えば特許文献１には、ユーザの行動履歴を描写する携帯端末として、自己の端末の位置情報などを取得する端末情報取得手段と、周囲を撮像したカメラ画像を生成するカメラ手段と、予め取得した行動履歴と、カメラ手段の撮像範囲と、に基づいて表示すべき行動履歴描写情報（アバター）を算出する描写履歴算出手段と、行動履歴描写情報をカメラ画像に描写した合成画像を生成する画像合成手段と、合成画像を表示する表示手段と、を備える構成が開示されている。
国際公開第２０１１／０９３０３１号
　ユーザが、複雑な経路を移動しているうちに、途中立ち寄った場所や戻り経路を失念するケースが、高齢者の中に多く見受けられる。このような場合、ナビゲーション装置のように、出発地を設定すればそこに戻る代表的な経路を案内する方法があるが、ユーザが実際に通過した経路と同一に案内するとは限らず、途中の経路を正確に再現することは期待できない。
　前記特許文献１では、ユーザが行動履歴の記録を指示すると、行動履歴サーバに登録される。そして、行動履歴サーバから所望のユーザの行動履歴を取得して、ユーザの位置情報に従いアバターをカメラ画像に重ねて表示するものである。しかし前記特許文献１では、任意の他のユーザの行動履歴を取得して表示することを想定しており、ユーザ本人の行動履歴を表示することは特に考慮されていない。また、行動履歴を表示する際、ユーザが移動した地点に移動した順序にアバターが表示されるので、戻り経路を失念したユーザに対し、現在位置から帰路の道順を案内するツールとしては適していない。
　本発明の目的は、ユーザが実際に移動した経路に沿って戻り経路を案内する映像表示装置を提供することである。
　前記課題を解決するため、本発明の映像表示装置は、当該映像表示装置を携帯したユーザの位置と方向を検出するセンサと、センサの検出結果からユーザの移動軌跡の情報を取得する軌跡情報取得部と、軌跡情報取得部にて取得したユーザの軌跡情報と、ユーザを示す仮想映像であるアバターの情報を保存する記憶部と、ユーザの移動軌跡をアバターで表示する表示部と、軌跡情報取得部と表示部を制御する制御部と、を備える。ここに制御部は、記憶部に保存されたアバターの情報からアバターを生成するとともに、センサにより現在のユーザの視界領域を求め、記憶部に保存されたユーザの軌跡情報をもとに、現在のユーザの視界領域に合わせ、ユーザの移動軌跡にアバターを配置して表示部に表示する構成とする。制御部は、アバターをユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させる。
　本発明によれば、移動の際に途中立ち寄った場所や戻り経路を失念したユーザに対し、戻り経路を分かりやすく案内することができる。
実施例１に係るＨＭＤの外観図。 ＨＭＤの内部構成を示すブロック図。 通信処理部による外部機器との接続構成例を示す図。 ＨＭＤの機能ブロックの構成を示す図。 ユーザの軌跡収集の例を示す模式図。 軌跡収集処理を示すフローチャート。 位置情報を保存する軌跡情報保存テーブル。 位置情報を差分値で保存する差分軌跡情報保存テーブル。 開始時／終了時の位置情報を保存する始点・終点位置座標テーブル。 静止画を保存する静止画データ格納テーブル。 動画を保存する動画データ格納テーブル。 アバター表示処理の全体を示すフローチャート。 図９Ａにおける救済処理を示すフローチャート。 方向転換ガイド表示の例を示す図。 移動方角ガイド表示の例を示す図。 アバターの表示例を示す図。 アバターが向きを変えた表示例を示す図。 ＨＭＤの操作に使用する音声コマンドの例を示すテーブル。 ユーザの指による操作指示を説明する図。 実施例２の位置情報を保存する２次元軌跡情報保存テーブル。 開始時／終了時の２次元始点・終点位置座標テーブル。 実施例３におけるアバター表示の模式図。 実施例４におけるアバター表示の模式図。 実施例７における軌跡情報保存テーブル。 アバターの表示例を示す図。 実施例８のスマートフォンの外観を示す図。 実施例９の複数のＨＭＤを接続した映像表示システムの構成を示す図。 複数のアバターの表示例を示す模式図。
　以下、本発明の実施形態を、頭部装着型の映像表示装置であるヘッドマウントディスプレイ（ＨＭＤ）の例を中心に説明する。
　図１は、実施例１に係るＨＭＤの外観図を示す。ＨＭＤ１はメガネ型形状で、前面にはユーザが映像を視認する表示部７２や外景を撮影する撮像部７１が配置され、テンプル部（つる）９１には、後述する各種処理部が格納されている。また、テンプル部９１内の一部の処理部は、ＨＭＤ本体と分離して別の筐体に格納し、ＨＭＤ本体とケーブルで接続する構成でも良い。
　図２は、ＨＭＤ１の内部構成を示すブロック図である。ＨＭＤ１は、主制御部１０、システムバス３０、記憶部４０、センサ部５０、通信処理部６０、映像処理部７０、音声処理部８０、操作入力部９０で構成される。
　主制御部１０は、所定の動作プログラムに従ってＨＭＤ１全体を制御するマイクロプロセッサユニットである。システムバス３０は、主制御部１０とＨＭＤ１内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。
　記憶部４０は、ＨＭＤ１の動作を制御するための各種プログラム４１、動作設定値や後述するセンサ部からの検出値やコンテンツを含むオブジェクトなどの各種データ４２を格納し、各種プログラム動作で使用するワークエリア４３を有する。その際記憶部４０は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ、ダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、撮像部７１で撮影した動画や静止画等のデータを記憶可能である。記憶部４０は、ＨＭＤ１に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、ＨＤＤ（Hard Disc Drive）などの磁気ディスクドライブ、等のデバイスが用いられる。なお、記憶部４０に記憶された前記各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。
　センサ部５０は、ＨＭＤ１の各種の状態を検出するため、ＧＰＳ（Global Positioning System）センサ５１、地磁気センサ５２、距離センサ５３、加速度センサ５４、ジャイロセンサ５５、高度センサ５６等で構成される。これらのセンサ群により、ＨＭＤ１の位置、傾き、方角、動き、高度等を検出する。これ以外に、照度センサ、近接センサ等、他のセンサを備えていても良い。
　通信処理部６０は、ＬＡＮ（Local Area Network）通信部６１と、電話網通信部６２で構成される。ＬＡＮ通信部６１はアクセスポイント等を介してインターネット等のネットワークと接続され、ネットワーク上の各サーバ装置とデータの送受信を行う。アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）等の無線接続で行われて良い。
　電話網通信部６２は移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局等との通信はＷ－ＣＤＭＡ（Wideband Code Division Multiple Access）（登録商標）方式やＧＳＭ（登録商標）（Global System for Mobile communications）方式、ＬＴＥ（Long Term Evolution）方式、或いはその他の通信方式によって行われて良い。ＬＡＮ通信部６１と電話網通信部６２は、それぞれ符号化回路や復号回路やアンテナ等を備える。また、通信処理部６０が、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部や赤外線通信部等、他の通信部をさらに備えていても良い。
　映像処理部７０は、撮像部７１と表示部７２で構成される。撮像部７１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、外景の被写体の画像データを入力するカメラユニットである。表示部７２は、例えばレーザープロジェクターとハーフミラー等を使った透過型ディスプレイの表示デバイスであり、画像データをＨＭＤ１のユーザに提供する。
　音声処理部８０は、音声入出力部８１と音声認識部８２と音声復号部８３とで構成される。音声入出力部８１の音声入力はマイクであり、ユーザの声などを音声データに変換して入力する。また、音声入出力部８１の音声出力はスピーカであり、ユーザに必要な音声情報等を出力する。音声認識部８２は、入力された音声情報を解析し、指示コマンド等を抽出する。音声復号部８３は、符号化音声信号の復号処理や音声合成処理を行う。
　操作入力部９０は、ＨＭＤ１に対する操作指示の入力を行う指示入力部である。操作入力部９０は、ボタンスイッチ等を並べた操作キー等で構成されるが、さらにその他の操作デバイスを備えても良い。例えば、通信処理部６０を利用し、有線通信または無線通信により接続された別体の携帯端末機器を用いてＨＭＤ１の操作を行っても良い。また、音声処理部８０の音声認識部８２を利用して、操作指示の音声コマンドによりＨＭＤ１の操作を行っても良い。
　なお、図２に示したＨＭＤ１の構成例は、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。逆に、デジタル放送受信機能や電子マネー決済機能等、図示していない構成をさらに加えても良い。
　図３は、上記の通信処理部６０による外部機器との接続構成例を示す図である。ＨＭＤ１のＬＡＮ通信部６１は、アクセスポイントである無線ルータ４を介して、インターネット等のネットワーク５と接続する。ネットワーク５にはサーバ６が接続されており、ＨＭＤ１のＬＡＮ通信部６１を介してデータの送受信を行なう。
　図４は、ＨＭＤ１の機能ブロックの構成を示す図である。
  ＨＭＤ１全体の制御処理は、主に、主制御部１０が記憶部４０の各種プログラム４１及び各種データ４２を用いて実行する。ＨＭＤ１における処理は、ユーザの移動軌跡の情報を収集し保存する軌跡収集処理（Ｓ１００）と、保存した軌跡情報に基づいてユーザを示す仮想映像であるアバターを表示するアバター表示処理（Ｓ２００）で構成される（それぞれ破線と鎖線で示す）。
　軌跡収集処理（Ｓ１００）では、各種センサ情報取得機能１１によりセンサ部５０の各種センサからの情報を取得し、軌跡情報処理機能１２により取得した各種センサからの情報を内部で処理しやすい軌跡情報に変換する。変換処理された軌跡情報は軌跡情報保存機能１３にて保存する。また、軌跡情報取得途上でユーザにより撮影指示があった場合は、映像処理部７０の撮像部７１を用いて撮影が行なわれる。その場合の撮影処理は撮影データ取得機能１４により行われ、取得した撮影データは軌跡情報に関連付けられて撮影データ保存機能１５にて保存する。
　アバター表示処理（Ｓ２００）では、アバター情報保存機能１６に予め保存されたユーザのアバター情報を読み出し、アバター生成機能１７により生成されたアバターを、アバター表示機能１８により表示する。アバターの表示位置は、軌跡情報保存機能１３に保存された軌跡情報に基づいて決定する。但し、視界算出機能１９により、アバターの表示位置がＨＭＤ１の視界に存在するかどうかを判断し、存在しない場合はアバターを表示しない。また、撮影データ再生機能２０では、撮影データ保存機能１５に保存された撮影データを経路軌跡に合わせて再生する。
　軌跡情報保存機能１３、撮影データ保存機能１５、アバター情報保存機能１６などの保存機能は、図３で示したように、通信処理部６０のＬＡＮ通信部６１を介して外部のサーバ６に保存させることもできる。
　図５は、ユーザの軌跡収集の例を示す模式図である。この例では、ＨＭＤ１を装着したユーザ２が、軌跡ポイント５０１、５０２、５０３、５０４、の順番に移動している（●印で示す）。また移動方向が９０度変化した軌跡ポイント５０３（曲がり角）において、撮像部７１により被写体５１０を撮影している。よってこの軌跡ポイント５０３は撮影ポイントとなる。ここで撮影する対象は、立ち寄った場所、曲がり角、経路を間違った場所、その地点で見かけた動植物や建物等、ユーザの意思により決定されるが、後で経路軌跡を再現するときにその撮影映像が再生されるものとなる。
　図６は、ＨＭＤ１の軌跡収集処理（Ｓ１００）を示すフローチャートであり、図５の軌跡模式図を例としている。この処理手順は、記憶部４０の各種プログラム４１に格納されている。
  Ｓ１１０：ユーザ２の指示で軌跡収集処理（Ｓ１００）を開始する。軌跡収集開始の指示は、本実施例ではユーザ２の音声で行う。例えば、音声コマンド「キセキカイシ」を発声すると、音声認識部８２は軌跡収集処理の開始指示であると判断する。
　Ｓ１１１：軌跡ポイントのポイント番号の初期化を行なう。ここでは、ポイント番号ｐの初期値として０を設定し、軌跡収集処理の開始時点のポイント番号ｐ＝０とする。
  Ｓ１１２：タイマーを起動する。タイマーは、主制御部１０に内蔵されているクロックを用いて計時する。タイマーを使用するのは、ユーザの軌跡ポイントのデータを一定時間（単位時間）の間隔で収集するためである。
　Ｓ１１３：ＨＭＤ１の位置をセンサ部５０からの情報により検出し（各種センサ情報取得機能１１）、保存データの形式に変換して（軌跡情報処理機能１２）、記憶部４０の各種データ４２に保存する（軌跡情報保存機能１３）。ＨＭＤ１の平面上の位置は、センサ部５０のＧＰＳセンサ５１にて検出する。複数のＧＰＳ衛星からの電波を受信することにより、ＨＭＤ１のグローバル位置座標（経度・緯度）を検出することができる。また、高度は、センサ部５０の高さセンサ５６により検出することができる。例えば、気圧を計測して高度を算出する。
　ＨＭＤ１の位置情報は、ＧＰＳ衛星からのＧＰＳ情報以外にも、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯基地局から発信される情報などを使ってグローバル位置情報を取得することもできるので、ＧＰＳ情報が取得できない場合は、それらの情報によりＨＭＤ１の位置情報を取得する。勿論、ＧＰＳ情報とともに他の情報を組み合わせてもよい。以下、グローバル位置情報を取得するための情報を「ＧＰＳ情報等」と呼ぶ。
　なお、上記グローバル位置情報が常に精度良く取得できる環境下であれば、ユーザの軌跡情報をグローバル位置情報を用いた空間座標系に配置することができる。一方、軌跡取得開始位置を原点とした独自の空間座標系（ローカル座標系）を生成し、センサ部５０の加速度センサ５４やジャイロセンサ５５等で検出したユーザの移動距離や移動方向から位置の変化を算出して、ローカル座標系に配置してもよい。そして、グローバル位置情報を精度良く取得できる地点でグローバル位置情報を取得し、ローカル座標系の位置情報と対応付けることにより、例えば、連続して軌跡を取得しない場合や他人の軌跡情報を見る場合にも適用できる。
　Ｓ１１４：ユーザにより撮影指示があるかどうかを判断し、撮影指示がある場合はＳ１１５へ進み、撮影指示がない場合はＳ１１６へ進む。なお、撮像部７１の撮影機能では、静止画撮影と動画撮影の２つの撮影モードを用意している。これらを区別するため、例えば、静止画の撮影指示には音声コマンド「サツエイ」を、動画の撮影指示には音声コマンド「サツエイカイシ」を用いる。また、動画については撮影終了の指示として音声コマンド「サツエイオワリ」を用いる。
  Ｓ１１５：ＨＭＤ１の前方にある被写体を映像処理部５の撮像部７１で撮影し（撮影データ取得機能１４）、撮影データを記憶部４０の各種データ４２として保存する（撮影データ保存機能１５）。
　Ｓ１１６：ユーザにより軌跡情報取得処理の終了の指示がなされたかどうかを判断する。例えば、音声コマンド「キセキオワリ」により、軌跡収集処理の終了指示であると判断する。終了が指示された場合は、Ｓ１１７に進み軌跡情報取得処理を終了する。軌跡情報取得処理の終了が指示されなかった場合は、Ｓ１１８に進む。
  Ｓ１１８：単位時間を経過したかどうかを判断する。具体的にはタイマーが単位時間を越えたかどうかで判断する。単位時間を経過した場合はＳ１１９へ進み、単位時間を経過していない場合はＳ１１４へ戻る。
  Ｓ１１９：ポイント番号ｐに１を加算し、Ｓ１１２へ戻りタイマーをリセットして再度起動する。
　以上の軌跡収集処理（Ｓ１００）により、ユーザの軌跡ポイント（位置情報）を一定時間の間隔で収集することができる。例えばタイマーの単位時間を１秒に設定することで、ＨＭＤ１の軌跡を１秒毎に保存することができる。また、これに並行してユーザの指示により途中の被写体を撮影し、保存することができる。
　ここで、上記の軌跡収集処理（Ｓ１００）により記憶部４０に保存される軌跡情報データ（データテーブル）について、２つの方式を説明する。
　図７Ａは、位置情報を測定値のまま保存する軌跡情報保存テーブル７１０を示す。項目として、各軌跡ポイントの順序を示すポイント番号７１１と、その軌跡ポイントに対応する位置座標７１２から構成される。位置座標７１２は、ＧＰＳ情報等からの平面的位置情報（Ｘ，Ｙ）と高度センサ５６による高度（Ｙ）の値を用いる。ポイント番号０は軌跡収集処理が開始（Ｓ１１０）された時点の位置座標（Ｘ０，Ｙ０，Ｚ０）、ポイント番号１は単位時間（ここでは１秒とする）後の位置座標（Ｘ１，Ｙ１，Ｚ１）である。ポイント番号ｋは、ｋ秒後にユーザから撮影指示（Ｓ１１４）があった時点の位置座標（Ｘｋ，Ｙｋ，Ｚｋ）である。ポイント番号ｎは開始からｎ秒後に軌跡収集処理が終了（Ｓ１１７）した時点の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）である。
　なお、データテーブルでは位置座標７１２は固定長サイズのデータなので、時系列に記録すれば、ポイント番号７１１のデータは省略できる。つまり、目的とするポイント番号ｐの位置座標のデータは、固定長サイズの倍数値ｐにより検索することができる。
　ここで、ＧＰＳ情報等から位置情報が取得できない場合は、センサ部５０の加速度センサ５４やジャイロセンサ５５などの相対値情報（差分値情報）で一旦保存する。そして、いずれかの軌跡ポイントで、ＧＰＳ情報等からの位置情報（絶対値情報）が取得できた段階で、一旦保存した相対値を絶対値に補正することで対応する。
　図７Ｂは、位置情報を差分値で保存する差分軌跡情報保存テーブル７２０を示す。軌跡ポイント間で測定値の変化が少ない場合には、測定値そのままではなく差分値（変化量）で保存する方が、保存するデータ量を低減することができ実用的である。
　項目として、ポイント番号７２１と、その軌跡ポイントに対応する差分位置座標７２２から構成される。差分位置座標７２２では、直前の軌跡ポイントの位置座標と、現時点での軌跡ポイントの位置座標との差分値を記述する。すなわち、平面位置座標の差分値（ΔＸ，ΔＹ）は、２つの軌跡ポイント間の経度方向の距離と緯度方向の距離で記述している。高さ方向の差分値（ΔＺ）についても距離で記述する。
　ポイント番号１は、軌跡収集処理が開始された時点から１秒後の差分位置座標（ΔＸ１，ΔＹ１，ΔＺ１）、ポイント番号ｋはｋ秒後の差分位置座標（ΔＸｋ，ΔＹｋ，ΔＺｋ）、ポイント番号ｎは軌跡収集処理が終了した時点（開始からｎ秒後）の差分位置座標（ΔＸｎ，ΔＹｎ，ΔＺｎ）をそれぞれ示している。前記図７Ａ（軌跡情報保存テーブル７１０）の位置座標７１２の値との関係は、
  ΔＸｐ＝Ｘｐ－Ｘｐ－１，ΔＹｐ＝Ｙｐ－Ｙｐ－１，ΔＺｐ＝Ｚｐ－Ｚｐ－１
となる。
　図７Ｃは、軌跡収集の開始時／終了時の位置情報を保存する始点・終点位置座標テーブル７３０を示す。このテーブルは、図７Ｂの差分軌跡情報保存テーブル７２０を用いて、アバターの表示位置（絶対位置）を算出するときに必要になる。
　項目は、軌跡収集の開始点か終了点かを区別する始点／終点区別７３１と、それぞれの位置情報を絶対値で示す位置座標７３２から構成される。当然ながら、始点は、図７Ａ（軌跡情報保存テーブル７１０）のポイント番号０での位置座標（Ｘ０，Ｙ０，Ｚ０）に等しく、終点は、ポイント番号ｎの位置座標（Ｘｎ，Ｙｎ，Ｚｎ）に等しい。
　このように、始点と終点の位置情報（絶対値）７３２を保存しておけば、図７Ｂの差分軌跡情報保存テーブル７２０を図７Ａの軌跡情報保存テーブル７１０に変換することができる。特に、終点の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）を保存しておくことで、アバターの表示を効率良く実行できるようになる。その理由を説明する。
　後述するように、アバターの表示は軌跡の終点（ポイント番号ｎ）から時間を逆行させて行う。その際、表示を開始する終点の位置座標が分からない場合には、これを算出するために、図７Ｃの始点の位置座標（Ｘ０，Ｙ０，Ｚ０）に、図７Ｂの全ての差分位置座標７２２を加算せねばならなくなる。終点の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）が分かっていれば、始めにその位置座標にアバターを表示する。次にアバターを表示する位置は、現在の位置座標から図７Ｃのポイント番号ｎにおける差分位置座標（ΔＸｎ，ΔＹｎ，ΔＺｎ）を減算することで容易に算出できる。以後同様に繰り返せばよい。
　これらの軌跡情報（軌跡情報保存テーブル７１０、差分軌跡情報保存テーブル７２０、始点・終点位置座標テーブル７３０）は、記憶部４０の各種データ４２に保存するだけでなく、図３で説明したように、ネットワーク５を介して外部のサーバ６に、軌跡ポイント毎もしくは軌跡情報のテーブルが完了した時点で、保存することもできる。サーバ６にデータを保存することにより、ＨＭＤ１に保存するデータ量を削減することができる。
　次に、撮影データの保存について説明する。撮影データは静止画と動画の両方に対応している。
  図８Ａは、静止画を保存する静止画データ格納テーブル８１０を示す。静止画データ格納テーブル８１０は、撮影指示があった時点の軌跡ポイントを示すポイント番号８１１、撮影方向を示す撮影方向８１２、撮影データサイズ８１３、撮影データ８１４から構成される。この例では、軌跡ポイントｋ（ポイント番号ｋ）の地点で、ＨＭＤ１がΘｋの方向で撮影し、撮影データサイズＭｋの撮影データＤｋを、記憶部４０の各種データ４２に保存（Ｓ１１５）している。
　前記した軌跡情報保存テーブル７１０と、本例の静止画データ格納テーブル８１０とを紐付けして保存することにより、単位時間（ここでは１秒）毎のＨＭＤ１の移動位置に同期して撮影した静止画映像を再生することができる。
　図８Ｂは、動画を保存する動画データ格納テーブル８２０を示す。動画データ格納テーブル８２０は、図８Ａの静止画の場合と同様に、撮影指示があった時点の軌跡ポイントを示すポイント番号８２１、撮影開始時の撮影方向８２２、撮影データサイズ８２３、撮影データ８２４から構成される。さらに動画の場合、撮影時刻（開始および終了）８２５を記述している。これは、動画撮影が複数の軌跡ポイントにまたがって撮影している場合に対応するためである。動画を単位時間毎（１秒毎）に再生すれば、アバター表示の時刻と同期させることができる。
　この例では、軌跡ポイントｋ（ポイント番号ｋ）の地点で、ＨＭＤ１がΘｋの方向で開始時刻Ｔｋｓから撮影を開始し、終了時刻Ｔｋeまで撮影したデータサイズＭｋの撮影データＤｋを、記憶部４０の各種データ４２に保存（Ｓ１１５）している。動画データの再生は、ＨＭＤの表示画面全体でも良いが、本例では、縮小子画面で表示し、動画撮影開始時刻Ｔｋｓから動画撮影終了時刻Ｔｋeまで再生する。
　これらの撮影データの情報（静止画データ格納テーブル８１０、動画データ格納テーブル８２０）についても、図３で説明したように、ネットワーク５を介して外部のサーバ６に保存することにより、ＨＭＤ１に保存すべきデータ量を削減することができる。
　次に、ＨＭＤ１のアバター表示処理（Ｓ２００）について説明する。この処理手順は、記憶部４０の各種プログラム４１に格納されている。アバターの表示は、アバター情報保存機能１６からアバター情報を抽出して（アバター生成機能１７）、ＨＭＤ１の表示部７２にアバターを表示する（アバター表示機能１８）。アバターの形状は、ユーザと等身大の大きさで、アバターの身長はユーザ自身が設定する。便宜的には、起立した状態で、センサ部５０の距離センサ５３により、地面からの距離（ＨＭＤ１の地面からの高さ）に１０ｃｍを加えた高さを身長とすることもできる。アバターの表示位置は、軌跡情報保存テーブル７１０等に保存されている位置情報に従い、ＨＭＤの表示部７２に背景映像に重畳して表示する。
　使用する軌跡情報や撮影データが、ＨＭＤ内の各種データ４２に保存されている場合はその軌跡情報や撮影データを使用するが、通信処理部６０のＬＡＮ通信部６１を介して外部のサーバ６に保存している場合は、サーバ６から入手して使用する。
　本実施例では、ユーザの軌跡ポイントに基づいて、時間的に新しい軌跡情報から古い軌跡情報へ逆戻りさせてアバターを表示する。このように時間的に逆行した表示順とすることで、ユーザは終点（現在地点）から始点（出発地点）まで実際に通過した同じ経路で戻ることができる。
　図９Ａは、アバター表示処理（Ｓ２００）の全体を示すフローチャートである。
  Ｓ２１０：アバター表示処理（Ｓ２００）を開始する。本例では、ユーザがアバター表示開始を意味する音声コマンド「アバターカイシ」を発声することにより、アバター表示開始指示と判断する。
　Ｓ２１１：ユーザが装着している現時点のＨＭＤ１の位置と方向を検出する。検出方法は前記軌跡収集処理（Ｓ１００）におけるＳ１１３と同様に、センサ部５０のＧＰＳセンサ５１、地磁気センサ５２、高さセンサ５６等で行う。
  Ｓ２１２：軌跡情報保存テーブル７１０（または差分軌跡情報保存テーブル７２０）を参照し、現時点のＨＭＤ１の位置に最も近い位置座標のポイント番号ｓを検索する。すなわち、現在位置が軌跡収集の終点であればｓ＝ｎとなるが、もしユーザがその後終点から移動した場合にはｓ≠ｎとなることもある。
  Ｓ２１３：表示するポイント番号ｍの初期値として、現在位置に最も近いポイント番号ｓを設定する。これにより、ユーザの現在位置に近い軌跡ポイントから表示を行うことができる。
　Ｓ２１４：タイマーを起動する。タイマーは、主制御部１０に内蔵されているクロックを用いる。タイマーを使用するのは、ユーザの軌跡が一定時間間隔（単位時間）で収集されているので、これに合わせて表示するためである。ただし、アバター表示に使用する単位時間を、軌跡収集処理の単位時間と異ならせ、任意の係数を乗じた時間とすることもできる。例えば、アバター表示に使用する単位時間を、１／２の時間（本例では０.５秒）に設定すれば、表示したアバターを２倍速で移動させることができる。逆に、アバター表示に使用する単位時間を、２倍の時間（本例では２秒）に設定すれば、表示したアバターを１／２速（スロー）で移動させることができる。また、軌跡ポイントと軌跡ポイントとの間にアバターを順次（例えば１／２４秒毎）補間して表示することにより、アバターを動画表示（アニメーション）することもできる。
　Ｓ２１５：アバターを表示する位置と方向を算出する。軌跡情報が軌跡情報保存テーブル７１０に保存されている場合は、ポイント番号ｍに対応する位置座標７１２の値（Ｘｍ，Ｙｍ，Ｚｍ）を読み出して、アバターを平面的位置（Ｘｍ，Ｙｍ）、高度（Ｚｍ）に配置する。
  軌跡情報が差分軌跡情報保存テーブル７２０に保存されている場合は、ポイント番号（ｍ＋１）における差分位置座標７２２の値（差分値）を読み出して、前回の表示位置（ポイント番号＝ｍ＋１）から減算する。すなわち、
    Ｘｍ＝Ｘｍ＋１－ΔＸｍ＋１，Ｙｍ＝Ｙｍ＋１－ΔＹｍ＋１，Ｚｍ＝Ｚｍ＋１－ΔＺｍ＋１
となる。ただし、初回（ｍ＝ｓ）については、始点・終点位置座標テーブル７３０に記述された終点の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）、およびポイント番号ｓまでの差分位置座標７２２の値を用いて算出する。
  アバターの向いている方向は、便宜的に、前回の軌跡ポイント（ｍ＋１）と今回の軌跡ポイント（ｍ）を結ぶ方向とする。
　Ｓ２１６：現時点のＨＭＤ１の位置と方向を検出する。これはＳ２１１と同じ処理であり、初回（ｍ＝ｓ）についてはＳ２１１で検出済みなので省略できる。
  Ｓ２１７：視界算出機能１９により、現時点のＨＭＤ１の位置と方向から、ＨＭＤ１の表示領域、すなわちユーザの視野領域を求め、Ｓ２１５で算出したアバターの配置位置が表示領域内かどうかを判断する。ＨＭＤ１の表示領域内にアバターを配置できると判断した場合はＳ２１８へ進み、アバターを配置できないと判断した場合はＳ３００の救済処理を行う。Ｓ３００の救済処理では、ユーザに対し視野方向を変えさせるとかユーザをアバターの見える位置まで移動させるなどの誘導処理を行うもので、詳細は図９Ｂで後述する。このＳ２１７の判断処理とＳ３００の救済処理により、ユーザの視界内にアバターを配置させることができ、ユーザはアバターを見失うことなく、あるいはアバターを追い越すことなく移動（追跡）することができる。
　Ｓ２１８：ＨＭＤ１の表示領域内にアバターが表示できると判断した場合は、アバター情報保存機能１６からアバター情報を読み出してアバターを生成する。そして、ＨＭＤ１の表示部７２に、Ｓ２１５で算出したアバターの表示位置と方向となるようアバターを表示する。
　Ｓ２１９：静止画データ格納テーブル８１０または動画データ格納テーブル８２０を参照し、表示している現在のポイント番号ｍが撮影ポイントｋであるかどうかを判断する。軌跡ポイントが撮影ポイントであると判断した場合は、Ｓ２２０へ進む。撮影ポイントでないと判断した場合は、Ｓ２２２へ進む。
  Ｓ２２０：現時点が撮影ポイントであることを報知する。撮影ポイントの報知方法は、表示中のアバターの色を変えたり、アバターをブリンク（点滅）させたりすることでユーザに知らせる。
  Ｓ２２１：ユーザの指示により、静止画データ格納テーブル８１０または動画データ格納テーブル８２０から該当する撮影データを読み出して再生する。撮影データの再生は、音声コマンド「サイセイ」により実行する。撮影データの再生は、ＨＭＤの表示画面全体でも良いが、本例では、縮小子画面で表示し、一定の時間表示を継続した後に撮影データの再生を終了する。
　Ｓ２２２：ユーザにより、アバター表示処理の終了が指示されたかどうかを判断する。例えば、音声コマンド「アバターオワリ」により、アバター表示処理の終了指示であると判断する。アバター表示処理の終了が指示された場合は、Ｓ２２６へ進み、アバター表示処理を終了する。
  Ｓ２２３：単位時間を経過したかどうかを判断する。単位時間を経過したと判断した場合は、Ｓ２２４へ進む。単位時間を経過しないと判断した場合は、Ｓ２２２へ戻る。
  Ｓ２２４：ポイント番号ｍから１を減算して新しいポイント番号とする。これにより、時間的に遡った１つ前の軌跡ポイントに戻る。
　Ｓ２２５：新しいポイント番号ｍの値が０未満になったかどうか（すなわち軌跡の始点ｍ＝０を越えたかどうか）を判断する。ポイント番号ｍの値が０未満にならなかった場合は、Ｓ２１４に戻り、次の軌跡ポイントについてアバター表示を継続する。ポイント番号ｍの値が０未満になった場合は、全ての軌跡ポイントでのアバターの表示が完了しているので、Ｓ２２６に進みアバター表示処理を終了する。
　図９Ｂは、図９Ａにおける救済処理（Ｓ３００）を示すフローチャートである。この処理は、Ｓ２１７の判定でＮｏの場合、すなわちアバターを表示領域内に配置できない場合に実施する。処理終了後はＳ２１１へ戻る。
　Ｓ３０１：視界算出機能２０により、ＨＭＤ１の方向転換でアバターを配置可能かを判断する。可能であればＳ３０２へ進み、不可能である場合はＳ３０３へ進む。
  Ｓ３０２：ＨＭＤがアバターの存在方向に向いていない場合に該当するので、ユーザにＨＭＤの方向を転換するように音声又は表示でガイドする。例えば、音声処理部８０の音声復号部８３により音声ガイド「ミギ」、「ヒダリ」等を発生する。その際、アバターを画面に出して発声させても良い。その後、Ｓ２１１へ戻る。
　ここで図１０Ａは、Ｓ３０２の方向転換ガイド表示の例を示す図である。表示画面４００にアバター３が出現して、右側にアバターが存在する旨のメッセージ４０１を表示している。これに呼応してユーザが右側を向くと、図９ＡのＳ２１６でＨＭＤの新たな方向を検出する。Ｓ２１７の判定では新たな表示領域内にアバターが存在することになり、Ｓ２１８でアバターを表示することができる。
　Ｓ３０３：Ｓ３０１でＨＭＤ１の方向転換ではアバターの配置が不可能な場合、現在位置が軌跡収集したいずれのポイントからも離れている場合と考えられる。そこで、ユーザを近接ポイントへ誘導するために、地図情報が取得できるかどうかを判断する。例えば、ナビゲーションアプリを利用できる場合はＳ３０４へ進む。地図情報が取得できない場合はＳ３０６へ進む。
　Ｓ３０４：ナビゲーションアプリを利用して、Ｓ２１２で検索した最も近い軌跡ポイントｓへのルート解析を行う。
  Ｓ３０５：軌跡ポイントｓまでのルート情報（新たな軌跡ポイント）を軌跡情報保存テーブル７１０に追加する。その後Ｓ２１１へ戻り、追加した軌跡ポイントを含めてアバターの表示対象位置となる。その結果、Ｓ２１７ではＨＭＤの表示領域内にアバターが配置されることになり、Ｓ２１８でアバターを表示することができる。
　Ｓ３０６：Ｓ３０３で地図情報を取得できない場合は、最も近い軌跡ポイントｓへの移動方角をユーザに提示する。提示方法は、音声またはＡＲ表示で行う。その後、Ｓ２１１へ戻る。ユーザは提示された方角に移動すると、最も近い軌跡ポイントｓへ近づくことができる。その結果、Ｓ２１７では表示領域内にアバターが配置されることになり、Ｓ２１８でアバターを表示することができる。
　ここで図１０Ｂは、Ｓ３０６の移動方角ガイド表示の例を示す図である。表示画面４００には、ユーザが移動すべき方角をＡＲ表示４０２により知らせている。ＡＲ表示４０２は進む方向が分かればよく、文字やアイコン（矢印）等を用いている。
　以上のように、アバターをＨＭＤ表示領域に配置できないと判断した場合は、Ｓ３００の救済処理を行うことで、ユーザをアバターの見える位置や方向に誘導することができる。これにより、ユーザはアバターを見失うことなく移動（追跡）することができる。
　図１１Ａと図１１Ｂは、アバターの表示例を示す図である。この例は、前記図５に示した軌跡収集時の模式図に対応させている。
  図１１Ａの表示画面４００では、軌跡収集したＨＭＤの各軌跡ポイントを時間的に逆行させてアバター３を表示する。すなわち、アバター３の表示位置を軌跡ポイント５０４、５０３、５０２、５０１（●印で表示）の順に、矢印方向に移動させて表示する。この中で軌跡ポイント５０３は撮影ポイントｋであるので、他の位置と識別するため◎印で表示している。また、軌跡収集処理の過程でユーザ２（ＨＭＤ）が向いていた方向を再現するため、アバター３を移動させるときの体の向きを、アバター３の進行方向とは逆向き（後ろ向き）の姿勢として、元来た経路を戻る様子を示している。
　図１１Ｂの表示画面４００は、軌跡ポイント５０３でのアバター３の表示状態を示す。軌跡ポイント５０３は曲がり角なので、アバター３の向きを変えている。またこの軌跡ポイント５０３は撮影ポイントであるので、アバター３の色を変えて表示している。ここでユーザが撮影データの再生を指示すると、撮影ポイントにて撮影した被写体５１０の画像５１０’が表示される。
　本例では、戻り経路の道順をユーザに知らせるため、表示画面４００上に軌跡ポイント（●印）と進行方向（矢印）を表示しているが、これらを非表示とすることもできる。
  また、アバターの軌跡ポイントを単位時間（１秒）毎に表示しているが、これに限らず、他の時間間隔で表示することもできる。例えば、1／２４秒毎に補間して表示すると、アバターが映画のような滑らかな動画で表示される。
　次に、ＨＭＤ１に対するユーザの操作方法について説明する。上記したように、本実施例では、ユーザの操作として音声コマンドを使用している。
  図１２は、ＨＭＤの操作に使用する音声コマンドの例を示すテーブルである。音声コマンドテーブル６００の項目は、コマンドの分類６０１と、ユーザの発する音声コマンド６０２と、コマンドの名称６０３と、処理内容６０４から構成されている。
　音声コマンドの分類６０１は、軌跡収集関連とアバター表示関連に分けられる。軌跡収集関連の音声コマンド６０２には、軌跡収集処理を開始する「キセキカイシ」「キセキスタート」、軌跡収集処理を終了する「キセキオワリ」「キセキエンド」、静止画を撮影する「サツエイ」「キロク」、動画撮影を開始する「サツエイカイシ」「キロクスタート」、動画撮影を終了する「サツエイオワリ」「キロクエンド」などがある。
　アバター表示関連の音声コマンド６０２には、アバター表示処理を開始する「アバターカイシ」「アバタースタート」、アバター表示処理を終了する「アバターオワリ」「アバターエンド」、静止画もしくは動画を再生する「サイセイ」「サツエイデータ」などがある。なお、ここに掲げた音声コマンドは一例であり、ユーザの好みに応じて適宜設定できることは言うまでもない。
　一方ＨＭＤ１は、音声処理部８０の音声復号部８３の音声合成機能を用いて、ユーザの発した音声コマンドに対応する音声応答を行なうことができる。その結果、例えば、ユーザの音声コマンドと同じ音声（オウム返し）で応答することや、ユーザの音声コマンドの確認の音声応答などが可能となる。例えば、ＨＭＤからの問合せ「ＸＸデスネ？」に対して、ユーザの返答が「ハイ」ならば確認の音声「ＸＸヲジッコウシマス」で応答し、ユーザの返答が「イイエ」ならば確認の音声「ＸＸヲトリケシマス」で応答する。なお、ユーザが返答で用いる音声コマンド「ハイ」、「イイエ」は図１２には記載していないが、これらも音声コマンドテーブル６００に含まれることは言うまでもない。
  さらに、音声復号部８３の音声合成機能を用いて、右方向への回転を促す音声「ミギ」や、左方向への回転を促す音声「ヒダリ」などの合成音声を発生させることができる。これは、図９ＢのＳ３０６の工程で利用することができる。
　ＨＭＤ１に対する操作指示は、音声コマンド以外の方法でも実現できる。例えば、ＨＭＤ１の表示画面に操作メニューを表示して、ユーザがジェスチャー（手・指の動き）で選択するものである。その場合、映像処理部７０の撮像部７１によりユーザの指を撮影し、その撮影映像から指の動きを認識して操作に利用することができる。
　図１３は、ユーザの指による操作指示を説明する図である。ＨＭＤ１の操作画面４１０には、選択メニューとして、例えば「写真」メニュー４１１と、「ビデオ」メニュー４１２が表示されている。メニュー表示は、半透明とするのが好ましいがこれに限定する訳ではない。
　ユーザが例えば「ビデオ」メニュー４１２を選択するため、指４１５をＨＭＤ１の外側から表示画面４１０に近づけると、撮像部７１は、表示画面４１０に向かって次第に大きくなる指映像４１５を検出する。また、指映像４１５が「ビデオ」メニュー４１２に向かっていることを認識し、「ビデオ」が選択指定されたと判断する。それ以外の操作として、軌跡収集やアバター表示の開始時は、単に「開始」メニューのみを表示し、終了時は単に「終了」メニューを表示する。そして、撮像部７１によるユーザの指映像４１５の接近を検出して、開始または終了が指示されたと判断する。
  これ以外に、ＨＭＤ１の操作入力部９０にタッチセンサを設け、ＨＭＤ１にユーザの手や指が触れたことを検出する方式でも良い。
　実施例１によれば、移動の際に途中立ち寄った場所や戻り経路を失念したユーザに対し、戻り経路を分かりやすく案内することができる
　実施例１では、ＨＭＤの位置座標を３次元（Ｘ，Ｙ，Ｚ）で保存していたが、実施例２では、２次元（Ｘ，Ｙ）の位置座標で保存する場合について説明する。実施例２におけるＨＭＤの基本構成は実施例１と同様であり、実施例１との相違点について説明する。
　通常の平坦な地面での移動状態では高さ方向の変化は少ないので、高さ方向のデータを省略しても、平面位置座標に基づきアバターを表示させることができる。軌跡収集処理は実施例１（図６）と同じフローチャート（Ｓ１００）で行う。そして、収集したデータを、図１４Ａと図１４Ｂに示すテーブルで保存する。
　図１４Ａは、２次元軌跡情報保存テーブル７４０を示すが、ここでは位置情報を差分値で保存している。項目として、各軌跡ポイントの番号を示すポイント番号７４１と、その軌跡ポイントの平面位置を示す差分位置座標７４２から構成される。差分位置座標７４２は前記図７Ｂのように、位置座標の絶対値ではなく、隣接する軌跡ポイント間の差分値（変化量）として、保存するデータ量を低減させている。
　本例では、単位時間を１秒に設定しているので、ポイント番号１は、軌跡収集処理が開始された時点から１秒後の差分位置座標（ΔＸ１，ΔＹ１）、ポイント番号ｋはｋ秒後の差分位置座標（ΔＸｋ，ΔＹｋ）、ポイント番号ｎは軌跡収集処理が終了した時点（開始からｎ秒後）の差分位置座標（ΔＸｎ，ΔＹｎ）をそれぞれ示している。差分位置座標の求め方は、実施例１（図７Ｂ）と同様である。
　図１４Ｂは、軌跡収集の開始時／終了時の位置情報を保存する２次元始点・終点位置座標テーブル７５０を示す。このテーブルは、図１４Ａの２次元差分軌跡情報保存テーブル７４０を用いて、アバターの表示位置（絶対位置）を算出するときに必要になる。
　項目は、軌跡収集の開始点か終了点かを区別する始点／終点区別７５１と、それぞれの位置情報を絶対値で示す位置座標７５２から構成され、前記図７Ｃと同様である。ただし位置座標７５２において、始点の位置座標（Ｘ０，Ｙ０，Ｚ０）のみが高さ方向の位置座標（Ｚ０）を保存している。これは、軌跡情報取得中に高度変化量が所定の値（閾値）を超えた場合に対応するためである。
　実施例２では２次元の位置座標のみを扱っているが、高度が変化する場合については次のように処理する。
  坂道を上る（下る）場合は、ＨＭＤの平面的位置座標の変化（ΔＸ，ΔＹ）が直線的であり、ＨＭＤの高度の変化（ΔＺ）も直線的になる。階段を上る（下る）場合は、ＨＭＤの平面的位置座標の変化（ΔＸ，ΔＹ）が階段幅分であり、ＨＭＤの高度の変化（ΔＺ）も階段の段差分になる。
　エスカレータの場合は、ＨＭＤの平面的位置座標の変化（ΔＸ，ΔＹ）が直線的であり、ＨＭＤの高度の変化（ΔＺ）も直線的になる。坂道との識別は、エスカレータの方が加速度の変化量が少ないことから判別する。エレベータの場合は、ＨＭＤの平面的位置座標がほとんど変化しないで（ΔＸ＝０，ΔＹ＝０）、ＨＭＤの高度のみが変化する（ΔＺ≠０）。
　このように、坂道、階段、エスカレータ、エレベータ等で移動する場合は、平面的位置座標と高度の検出値にそれぞれ特徴的な変化（ΔＸ，ΔＹ）、（ΔＺ）が生じるので、アバターを表示する際には、この変化を捉えて経路情報（坂道、階段、エスカレータ、エレベータ等）を表示する。また、坂道、階段、エスカレータ、エレベータ等の映像と重畳して表示することで、臨場感にあふれたアバターを表示できる。さらに、地下街マップ等の地図情報とリンクすることにより、大きな効果が得られる。
　高度変化量が所定の値（閾値）を超えた場合は、２次元の軌跡情報保存テーブル７４０，７５０による軌跡収集処理を軌跡Ａとして終了する。そして新規に、実施例１の３次元の軌跡情報保存テーブル７１０～７３０による軌跡収集処理に移行し、軌跡Ｂとする。その後、高度変化量が閾値に収まった場合に、２次元の軌跡情報保存テーブル７４０，７５０による軌跡収集処理を再開して軌跡Ｃとする。
  この手法により、保存するデータ量を極力少なくすることができる。勿論、実施例２の２次元軌跡情報保存テーブル７４０，７５０から、実施例１の３次元の軌跡情報保存テーブル７１０～７３０に変換することも可能である。
　前記した実施例１，２では、センサ部５０のＧＰＳセンサ５１によりＧＰＳ情報（位置情報）の取得が比較的容易な屋外を想定したが、地下街や屋内のようにＧＰＳ情報の取得が困難な場合がある。ＧＰＳ情報が取得できない場合は、センサ部５０の加速度センサ５４やジャイロセンサ５５などからの情報により補完する。
　始点から終点まで一度もＧＰＳ情報等から位置情報が取得できなかった場合は、始点の位置座標がＸ０＝０，Ｙ０＝０のまま格納する。その場合は、高さの位置座標についても、Ｚ０＝０として格納する。さらに、終点の位置座標については、始点から終点までの全ての差分位置座標を積算して算出する。
　実施例１では、アバター表示の際、アバターの向きを進行方向と逆にして、後ろ向きでアバターを進行させた。これに対し実施例３では、アバターの向きを進行方向に向けて表示する。
  図１５は、実施例３におけるアバター表示の模式図である。表示画面４００において、アバター３を進行方向に向く姿勢（前向き）で表示している。すなわち、現在の軌跡ポイント５０３から次の軌跡ポイント５０２へのベクトル方向にアバター３の向きを設定している。これにより、実施例１（図１１Ｂ）に示したようなアバターの向きにより生じるユーザの違和感（アバターの進行方向とアバターの向きが一致しないこと）を解消することができる。
　なお、アバターの向きを前向き（実施例３）にするか、あるいは後ろ向き（実施例１）にするかは、ユーザの好みにも依存する。よって、アバターの向きをいずれの表示形態にするかをユーザが選択して設定できる構成がより好ましい。
　実施例４では、ＨＭＤの視界に建物等が存在し、アバターがその陰に位置するときにはアバターを非表示にする。
  図１６は、実施例４におけるアバター表示の模式図である。ここでは、アバター３を後ろ向きで進行させている。そして移動経路の近くに建物５２１と建物５２２が存在し、アバター３が建物５２１で隠れる場合を示している。このような場合には、アバター３は建物５２１により隠れる部分を表示しないように制御する。アバター３が隠れるか否かは、建物５２１、５２２とアバター３までの距離を比較することで判断でき、建物５２１、５２２までの距離は距離センサ５３で測定可能である。
　これにより、ＨＭＤを介して視認できる実空間にアバターを重ねて表示するとき、違和感のない現実的な表示が可能になる。なお、アバター全体が隠れてこれを完全に非表示にすると、それ以降追跡することができなくなる恐れがある。そこで、隠れたアバターの部分を半透明に表示することで、追跡可能にする構成でも良い。
　建物５２１や建物５２２の映像は、例えば、道路沿いの風景をパノラマ写真で提供するインターネットサービスであるのストリートビュー（Ｇｏｏｇｌｅ社）などを利用して表示することもできる。また、ＨＭＤ１の位置・方向により、建物等に付随する建物等の名称なども利用することができる。
　実施例５では、撮影の指示をユーザではなく、自動的に撮影する構成とする。
  ＨＭＤの撮像部７１は、始点から撮影を開始し、現時点から一定時間（例えば、軌跡収集処理で使用する軌跡ポイント間の単位時間の２倍の長さ）の映像を、常にループ撮影して一時保存する。これにより自動的に撮影される映像は、現時点から一定時間（例えば２秒）だけ遡った動画もしくは静止画となる。静止画の場合は、軌跡ポイントと次の軌跡ポイントとの間に、１個もしくは２個程度の静止画を一時保存するだけで十分機能は発揮できる。そして、移動経路中の特異箇所、例えば移動方向を変えた地点において撮影した映像を残すようにする。
　自動撮影の具体的動作を、前記図５の軌跡収集模式図を用いて説明する。図５において、軌跡ポイント５０４の時点では、軌跡ポイント５０２から軌跡ポイント５０４までの映像（単位時間の２倍の長さ）が一時保存されている。ただし、軌跡ポイント５０３において移動方向（ポイント間の移動ベクトル）が９０度変化している。そこで、移動ベクトルの方向が大きく変化する直前の映像として、軌跡ポイント５０２から軌跡ポイント５０３までに撮影した映像を自動的に保存する。保存する軌跡ポイント５０３の映像データは、動画（軌跡ポイント５０３までに撮影した動画フレーム）でも、静止画（軌跡ポイント５０３の撮影データ）でも良い。
　実施例５の撮影方法によれば、ユーザが進行方向を変えた場合に進行方向を変える直前の進行方向の映像が保存されるので、ユーザの記憶を呼び起こすのに最適な映像を表示することができる。
　実施例６では、軌跡収集処理においてユーザの姿勢等の情報も収集して、アバターを表示する際に反映させるようにした。
  例えば、センサ部５０の距離センサ５３により、地面もしくは床面からＨＭＤ１までの距離（すなわちユーザの頭部の高さ）を検出し、軌跡ポイント毎に収集する。この検出値をユーザの身長（既知）と比較することで、ＨＭＤ１を装着したユーザの姿勢（立っている、座っている、しゃがんでいる、寝ている等）を推定することができる。この姿勢情報を表示するアバターに反映させて、立っているアバターや座っているアバターなどの表示を行う。
　また、センサ部５０の地磁気センサ５２により、ＨＭＤ１を装着したユーザの顔の向きが分かる。この顔の向きの情報を表示するアバターに反映させ、軌跡ポイント毎にアバターの顔の向き変えるようにする。なお、アバターの体の向きは、顔の向きで推定して変化させても良いが、軌跡ポイント間のベクトル情報（進行方向）に合わせても良い。これらの表示により、より臨場感のあるアバターを表示することができる。
　実施例７では、軌跡収集処理において各軌跡ポイントを通過した時刻を記憶しておき、アバター表示の際、表示画面に通過時刻を表示する。
  図１７Ａは、実施例７における軌跡情報保存テーブル７１０’の例を示す。実施例１（図７Ａ）の軌跡情報保存テーブル７１０に対し、各軌跡ポイントを通過した通過時刻７１３を追加して記載している。
　図１７Ｂは、アバターの表示例を示す図である。表示画面４００には、アバター３の表示とともに通過時刻４２０を表示している。この時刻は、図１７Ａの軌跡情報保存テーブル７１０’において、現在アバターを表示しているポイント番号７１１に対応する通過時刻７１３を参照すればよい。
　このように実施例７によれば、現在表示している軌跡ポイントをユーザがいつ通過したかが表示されるので、ユーザの記憶を呼び起こすのに有効な情報となる。
　実施例８では、携帯型の映像表示装置としてＨＭＤの代わりにスマートフォンを使用する場合について説明する。スマートフォンは、ＨＭＤとほぼ同じハードウェア構成及びソフトウェア構成を有し、同等の機能を実現できる。
　図１８は、スマートフォン９の外観を示す図であり、（ａ）は映像を表示する正面側、（ｂ）はカメラを有する背面側である。
  （ｂ）に示すように背面側にはカメラ９０１を有し、外景を撮影する。スマートフォン９の内部には、３次元位置やカメラ９０１の方向を検出するセンサを有し、ＨＭＤと同等に軌跡情報を収集することができる。
　（ａ）に示すように正面側には、タッチパネルが組み込まれた表示画面９０２を有し、外景にカメラ９０１を向けて撮影した映像を表示する。そして表示画面９０２には、表示されている外景の映像に合わせ、前記収集した軌跡情報に基づき、実施例１（図１１Ａ）と同様にアバター３を重畳して表示することができる。
　ＨＭＤと比較するとスマートフォン９の場合には、軌跡情報収集における撮影処理では、その都度カメラ９０１を被写体に向けて撮影する必要があり、撮影ポイントが多くなると撮影操作が煩雑になる。また、自動撮影については、ユーザがカメラ９０１の撮影方向を一定に維持するのは、現実的でないなどの欠点もある。しかしながら、既存のスマートフォンで軌跡情報収集をすることができるので、利便性が向上する。但し、ユーザが撮影しながら移動するには困難が伴うので、主要なポイントのみ単独で行なう方が現実的である。
　ここでは、携帯型の映像表示装置としてスマートフォンを例に挙げたが、同等及び近似のハードウェア構成やソフトウェア構成があれば、本実施例の動作を実現することができる。例えば、ノートＰＣやタブレットＰＣ等にも適用可能である。
　実施例９では、ＨＭＤを装着した複数のユーザが連携して使用する映像表示システムについて説明する。
  図１９は、複数のＨＭＤを接続した映像表示システムの構成を示す図である。ここでは、２人のユーザ２ａ，２ｂの場合を示し、それぞれＨＭＤ１ａとＨＭＤ１ｂを装着している。２人以外の場合も同様である。
　ユーザ２ａが装着したＨＭＤ１ａは、無線ルータ４ａ及びネットワーク５を介して外部のサーバ６に接続されている。また、ユーザ２ｂが装着したＨＭＤ１ｂは、無線ルータ４ｂ及びネットワーク５を介して、同じサーバ６に接続されている。ＨＭＤ１ａ（ユーザ２ａ）とＨＭＤ１ｂ（ユーザ２ｂ）が近距離の場合は、無線ルータ４ａ，４ｂを共通とすることができる。
　この場合、それぞれのＨＭＤ１ａ，１ｂではそれぞれのユーザ２ａ，２ｂの軌跡収集を行う。そして、ＨＭＤ１ａを装着したユーザ２ａの軌跡情報と、ＨＭＤ１ｂを装着したユーザ２ｂの軌跡情報は、共通のサーバ６に保存する。その後、サーバ６から２人の軌跡情報を読み出して、それぞれのＨＭＤ１ａ，１ｂにて、２人の仮想映像である２つのアバターとして表示する。これにより、それぞれの軌跡をアバターにより相互に参照することができる。
　図２０は、複数のアバターの表示例を示す模式図である。例えばＨＭＤ１ａの表示画面４００ａには、ＨＭＤ１ａを装着したユーザ２ａのアバター３ａに加えて、ＨＭＤ１ｂを装着したユーザ２ｂのアバター３ｂが表示されている。そして、２人が行動した軌跡５２０ａ、５２０ｂがそれぞれの軌跡ポイント（●印と▲印）で表示され、２人の位置関係を時間を逆行させて表示することができる。この例では軌跡ポイント５２１の交差点で２人が合流したことが分かる。ＨＭＤ１ｂの表示画面４００ｂでも、同様に表示される。
　このように実施例９によれば、複数のユーザのお互いの軌跡を相互に確認することができる。この結果付随的な効果として、軌跡収集中に他のユーザが視界から外れた場合、他のユーザの位置を即座に知ることができる。
　本実施例の実用的な形態として、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信を用いて、携帯型情報端末間で通信を行うことにより、無線ルータ４やネットワーク５を介したサーバ６を使用しない構成も可能である。例えば、親子連れで移動中に子供にスマートフォンを携帯させ、子供が行方不明になったような場合に、親のＨＭＤまたはスマートフォンで即座に探すことができる。
　以上、本発明の実施形態の例を実施例１～９を用いて説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤ１の各種プログラム４１等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。
　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
　１…ＨＭＤ（映像表示装置）、２…ユーザ、３…アバター、４…無線ルータ、５…ネットワーク、６…サーバ、９…スマートフォン（映像表示装置）１０…主制御部、４０…記憶部、５０…センサ部、５１…ＧＰＳセンサ、５２…地磁気センサ、５３…距離センサ、５６…高度センサ、６０…通信処理部、７０…映像処理部、７１…撮像部、７２…表示部、８０…音声処理部、９０…操作入力部。

Claims (13)

  1. 　ユーザが携帯し、該ユーザの移動軌跡を映像で表示する映像表示装置において、
    　当該映像表示装置を携帯した前記ユーザの位置と方向を検出するセンサと、
    　前記センサの検出結果から前記ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
    　前記軌跡情報取得部にて取得した前記ユーザの軌跡情報と、前記ユーザを示す仮想映像であるアバターの情報を保存する記憶部と、
    　前記ユーザの移動軌跡を前記アバターで表示する表示部と、
    　前記軌跡情報取得部と前記表示部を制御する制御部と、を備え、
    　前記制御部は、
    　前記記憶部に保存された前記アバターの情報から前記アバターを生成するとともに、前記センサにより現在の前記ユーザの視界領域を求め、
    　前記記憶部に保存された前記ユーザの軌跡情報をもとに、現在の前記ユーザの視界領域に合わせ、前記ユーザの移動軌跡に前記生成したアバターを配置して前記表示部に表示することを特徴とする映像表示装置。
  2. 　請求項１記載の映像表示装置において、
    　前記制御部は前記アバターを前記ユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させることを特徴とする映像表示装置。
  3. 　請求項２記載の映像表示装置において、
    　前記軌跡情報取得部は、前記ユーザの移動軌跡の情報を予め定めた単位時間毎に取得して、各軌跡ポイントの位置座標を前記記憶部に保存し、
    　前記制御部は、前記単位時間毎、あるいは前記単位時間に任意の係数を乗じた時間毎に、前記記憶部から各軌跡ポイントの位置座標を読み出して、該位置座標に前記アバターを配置することを特徴とする映像表示装置。
  4. 　請求項３記載の映像表示装置において、
    　前記軌跡情報取得部は、各軌跡ポイントの位置座標を、時間的に１つ前の軌跡ポイントの位置座標との差分値として前記記憶部に保存するとともに、少なくとも終点の軌跡ポイントの位置座標は、絶対値として前記記憶部に保存することを特徴とする映像表示装置。
  5. 　請求項２記載の映像表示装置において、
    　前記制御部は前記アバターを移動させるときの体の向きを、前記アバターの進行方向とは逆向きに表示することを特徴とする映像表示装置。
  6. 　請求項２記載の映像表示装置において、
    　当該映像表示装置は前記ユーザが頭部に装着して使用するものであり、
    　前記センサにより、さらに当該映像表示装置を装着した前記ユーザの頭部の高さと方向を検出し、
    　前記軌跡情報取得部は、前記センサが検出した前記ユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存し、
    　前記制御部は前記アバターを生成して表示させるとき、前記記憶部に保存された前記ユーザの頭部の高さと方向の情報をもとに、前記ユーザの身長情報と比較して、前記アバターの姿勢と顔の向きを決定することを特徴とする映像表示装置。
  7. 　請求項２記載の映像表示装置において、
    　前記制御部は、現在の前記ユーザの視界領域内に前記アバターを配置できないとき、前記ユーザに対し、視野方向を変えさせる、または前記アバターの見える位置まで移動させるための誘導処理を行うことを特徴とする映像表示装置。
  8. 　請求項３記載の映像表示装置において、
    　さらに外景を撮影する撮像部を備え、
    　前記撮像部で撮影した撮影データを、撮影位置である撮影ポイントと対応付けて前記記憶部に保存し、
    　前記制御部は、前記アバターの位置が前記撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。
  9. 　請求項８記載の映像表示装置において、
    　前記制御部は、前記撮像部で撮影した撮影データのうち、前記ユーザの移動軌跡の方向が変化した撮影ポイントにおいて撮影された映像を前記記憶部に保存し、
    　前記制御部は、前記アバターの位置が前記ユーザの移動軌跡の方向が変化した撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。
  10. 　請求項３記載の映像表示装置において、
    　さらに外景を撮影する撮像部を備え、
    　前記表示部には、前記撮像部で撮影されている現在の映像を表示するとともに、
    　前記制御部は、前記表示部に表示されている外景の映像に合わせ、前記ユーザの移動軌跡に基づき前記アバターを重畳して表示することを特徴とする映像表示装置。
  11. 　複数のユーザが携帯する複数の映像表示装置を接続して、該複数のユーザの移動軌跡を前記複数の映像表示装置にて映像で表示する映像表示システムにおいて、
    　前記複数の映像表示装置は、それぞれ、
    　当該映像表示装置を携帯した当該ユーザの位置と方向を検出するセンサと、
    　前記センサの検出結果から当該ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
    　前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバターの情報を保存する記憶部と、
    　他のユーザが携帯する他の映像表示装置との間でそれぞれのユーザの軌跡情報を送受信する通信処理部と、
    　それぞれのユーザの移動軌跡をそれぞれのアバターで表示する表示部と、
    　前記軌跡情報取得部、前記通信処理部、前記表示部を制御する制御部と、を備え、
    　前記制御部は、
    　前記記憶部に保存されたアバターの情報からそれぞれのユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求め、
    　前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザと他のユーザの移動軌跡に前記生成したそれぞれのアバターを配置して前記表示部に表示することを特徴とする映像表示システム。
  12. 　ユーザの移動軌跡を映像で表示する映像表示方法において、
    　前記ユーザの位置と方向を検出し前記ユーザの移動軌跡の情報を取得するステップと、
    　取得した前記ユーザの軌跡情報を記憶部に保存するステップと、
    　前記ユーザを示す仮想映像であるアバターを生成するステップと、
    　現在の前記ユーザの視界領域を求めるステップと、
    　前記記憶部に保存された前記ユーザの軌跡情報をもとに、現在の前記ユーザの視界領域に合わせ、前記ユーザの移動軌跡に前記生成したアバターを配置して表示部に表示するステップと、
    　を備えることを特徴とする映像表示方法。
  13. 　請求項１２記載の映像表示方法において、
    　前記表示するステップでは、前記アバターを前記ユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させることを特徴とする映像表示方法。
PCT/JP2019/007184 2019-02-26 2019-02-26 映像表示装置及び映像表示方法 Ceased WO2020174554A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US17/434,400 US12299771B2 (en) 2019-02-26 2019-02-26 Video display device and video display method
PCT/JP2019/007184 WO2020174554A1 (ja) 2019-02-26 2019-02-26 映像表示装置及び映像表示方法
JP2021501411A JP7168757B2 (ja) 2019-02-26 2019-02-26 映像表示装置及び映像表示方法
CN201980093082.XA CN113574491A (zh) 2019-02-26 2019-02-26 影像显示装置和影像显示方法
JP2022171963A JP7427747B2 (ja) 2019-02-26 2022-10-27 映像表示装置及び映像表示方法
JP2024008763A JP7620128B2 (ja) 2019-02-26 2024-01-24 映像表示装置及び映像表示方法
JP2025003150A JP7855742B2 (ja) 2019-02-26 2025-01-09 映像表示装置及び映像表示方法
US19/170,665 US20250259342A1 (en) 2019-02-26 2025-04-04 Video display device and video display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007184 WO2020174554A1 (ja) 2019-02-26 2019-02-26 映像表示装置及び映像表示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/434,400 A-371-Of-International US12299771B2 (en) 2019-02-26 2019-02-26 Video display device and video display method
US19/170,665 Continuation US20250259342A1 (en) 2019-02-26 2025-04-04 Video display device and video display method

Publications (1)

Publication Number Publication Date
WO2020174554A1 true WO2020174554A1 (ja) 2020-09-03

Family

ID=72238282

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007184 Ceased WO2020174554A1 (ja) 2019-02-26 2019-02-26 映像表示装置及び映像表示方法

Country Status (4)

Country Link
US (2) US12299771B2 (ja)
JP (4) JP7168757B2 (ja)
CN (1) CN113574491A (ja)
WO (1) WO2020174554A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210312842A1 (en) * 2018-12-20 2021-10-07 Ns West Inc. Display light emission device, head-up display device, image display system, and helmet
JP2022544116A (ja) * 2019-08-07 2022-10-17 マジック リープ， インコーポレイテッド 複合現実における空間命令およびガイド
JP2024119906A (ja) * 2021-06-28 2024-09-03 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
WO2025084164A1 (ja) * 2023-10-18 2025-04-24 Ｎｅｃプラットフォームズ株式会社 可視範囲特定装置、可視範囲表示システム、可視範囲特定方法、可視範囲表示方法、及び、記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
JP7663915B2 (ja) * 2021-02-08 2025-04-17 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
US12003273B2 (en) * 2021-12-20 2024-06-04 Microsoft Technology Licensing, Llc Secure element authentication using over the air optical communication
US12380238B2 (en) 2022-01-25 2025-08-05 Sightful Computers Ltd Dual mode presentation of user interface elements
EP4595015A1 (en) 2022-09-30 2025-08-06 Sightful Computers Ltd Adaptive extended reality content presentation in multiple physical environments
US20250252638A1 (en) * 2024-02-05 2025-08-07 Htc Corporation Avatar control method and system and non-transitory computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06258088A (ja) * 1993-03-09 1994-09-16 Maspro Denkoh Corp 走行軌跡表示装置
JP2001134595A (ja) * 1999-11-08 2001-05-18 Mega Chips Corp 地理情報システム
JP2008157880A (ja) * 2006-12-26 2008-07-10 Victor Co Of Japan Ltd 車載カメラ装置を用いた運転支援装置
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279266A (ja) * 2005-03-28 2006-10-12 Noritsu Koki Co Ltd 電子アルバム作成装置、電子アルバム作成システム、及び、電子アルバム作成プログラム
JP5004777B2 (ja) * 2007-12-06 2012-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想空間における行動履歴の効率的記録方法および再生方法
EP2533188A1 (en) 2010-02-01 2012-12-12 Nec Corporation Portable terminal, action history depiction method, and action history depiction system
JP2012212225A (ja) 2011-03-30 2012-11-01 Nifty Corp 情報処理装置、方法およびプログラム
EP2754131B1 (en) * 2011-09-08 2022-10-26 Nautilus, Inc. System and method for visualizing synthetic objects withinreal-world video clip
US10866100B2 (en) * 2012-10-15 2020-12-15 Kamino Labs, Inc. Method of providing urban hiking trails
EP3457705A1 (en) * 2013-05-30 2019-03-20 Sony Corporation Display controller, display control method, and computer program
JP6375597B2 (ja) * 2013-07-22 2018-08-22 カシオ計算機株式会社 ネットワークシステム、サーバー、プログラム、並びにトレーニング支援方法
US20160134840A1 (en) * 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
JP6658545B2 (ja) * 2015-01-05 2020-03-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6569452B2 (ja) * 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
US11054272B2 (en) * 2017-05-11 2021-07-06 Disney Enterprises, Inc. Physical navigation guided via story-based augmented and/or mixed reality experiences
US11219075B2 (en) * 2018-10-22 2022-01-04 Honda Motor Co., Ltd. Systems and methods for providing a mobility service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06258088A (ja) * 1993-03-09 1994-09-16 Maspro Denkoh Corp 走行軌跡表示装置
JP2001134595A (ja) * 1999-11-08 2001-05-18 Mega Chips Corp 地理情報システム
JP2008157880A (ja) * 2006-12-26 2008-07-10 Victor Co Of Japan Ltd 車載カメラ装置を用いた運転支援装置
JP2012063253A (ja) * 2010-09-16 2012-03-29 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210312842A1 (en) * 2018-12-20 2021-10-07 Ns West Inc. Display light emission device, head-up display device, image display system, and helmet
US11651714B2 (en) * 2018-12-20 2023-05-16 Ns West Inc. Display light emission device, head-up display device, image display system, and helmet
JP2022544116A (ja) * 2019-08-07 2022-10-17 マジック リープ， インコーポレイテッド 複合現実における空間命令およびガイド
JP2023130426A (ja) * 2019-08-07 2023-09-20 マジック リープ， インコーポレイテッド 複合現実における空間命令およびガイド
JP7464694B2 (ja) 2019-08-07 2024-04-09 マジック リープ， インコーポレイテッド 複合現実における空間命令およびガイド
JP7627720B2 (ja) 2019-08-07 2025-02-06 マジック リープ， インコーポレイテッド 複合現実における空間命令およびガイド
JP2024119906A (ja) * 2021-06-28 2024-09-03 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP7674008B2 (ja) 2021-06-28 2025-05-09 グリーホールディングス株式会社 情報処理システム、情報処理方法、情報処理プログラム
WO2025084164A1 (ja) * 2023-10-18 2025-04-24 Ｎｅｃプラットフォームズ株式会社 可視範囲特定装置、可視範囲表示システム、可視範囲特定方法、可視範囲表示方法、及び、記録媒体
JP2025069489A (ja) * 2023-10-18 2025-05-01 Ｎｅｃプラットフォームズ株式会社 可視範囲特定装置、可視範囲表示システム、可視範囲特定方法、可視範囲表示方法、及びプログラム

Also Published As

Publication number Publication date
JP2023017832A (ja) 2023-02-07
JP2024050675A (ja) 2024-04-10
JP2025063131A (ja) 2025-04-15
US20220044450A1 (en) 2022-02-10
US12299771B2 (en) 2025-05-13
JPWO2020174554A1 (ja) 2020-09-03
JP7855742B2 (ja) 2026-05-08
US20250259342A1 (en) 2025-08-14
JP7620128B2 (ja) 2025-01-22
CN113574491A (zh) 2021-10-29
JP7427747B2 (ja) 2024-02-05
JP7168757B2 (ja) 2022-11-09

Similar Documents

Publication Publication Date Title
JP7427747B2 (ja) 映像表示装置及び映像表示方法
KR102355135B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
KR101591579B1 (ko) 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US10169923B2 (en) Wearable display system that displays a workout guide
CN116324675B (zh) 使用可穿戴设备识别可控设备的位置
US12519924B2 (en) Multi-perspective augmented reality experience
JP7441926B2 (ja) 映像コーディングを行うコンピュータプログラム
CN113678171B (zh) 信息处理装置、信息处理方法和记录介质
US11523055B1 (en) Super resolution/super field of view (FOV) digital photography
JP7400882B2 (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP7279646B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102919939B1 (ko) 디지털 멀티미디어 파일을 사용한 증강 현실 컨텐츠 경험 공유
US20240273835A1 (en) Communication devices, adapting entity and methods for augmented/mixed reality communication
JP2020532219A (ja) ストリートビューサービス方法およびこのような方法を遂行する装置
CN114207670B (zh) 信息处理装置、信息处理方法和程序
US12591312B2 (en) Wearable terminal apparatus, program, and image processing method
JP7293991B2 (ja) サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
US12530087B1 (en) Tracking interacting hands using sensor of wearable multimedia device
JP2021034976A (ja) サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
WO2026105312A1 (ja) 情報処理装置、および、情報処理方法
CN119744381A (zh) 用于控制虚拟现实装置的方法以及使用该方法的虚拟现实装置
KR20240028893A (ko) 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치
US20200289920A1 (en) Synchronized augmented reality gameplay across multiple gaming environments

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501411

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19917132

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17434400

Country of ref document: US