WO2020157995A1 - プログラム、情報処理方法、及び情報処理端末 - Google Patents

プログラム、情報処理方法、及び情報処理端末 Download PDF

Info

Publication number
WO2020157995A1
WO2020157995A1 PCT/JP2019/005615 JP2019005615W WO2020157995A1 WO 2020157995 A1 WO2020157995 A1 WO 2020157995A1 JP 2019005615 W JP2019005615 W JP 2019005615W WO 2020157995 A1 WO2020157995 A1 WO 2020157995A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
display data
product
terminal
user
Prior art date
Application number
PCT/JP2019/005615
Other languages
English (en)
French (fr)
Inventor
慧 ▲柳▼澤
Original Assignee
株式会社メルカリ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メルカリ filed Critical 株式会社メルカリ
Priority to JP2020569341A priority Critical patent/JP7296406B2/ja
Publication of WO2020157995A1 publication Critical patent/WO2020157995A1/ja
Priority to US17/381,019 priority patent/US11734898B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • the present invention relates to a program, an information processing method, and an information processing terminal.
  • Patent Document 1 discloses a virtual mall store layout system that enables real-time construction of a virtual mall/shop that reflects customer characteristics for each customer in an online shopping service.
  • the footprint data of the customer is automatically collected from the movement of the mouse of the user terminal without the customer's intention, and the product information indicating the interest is acquired.
  • an object of the present disclosure is to provide a program, an information processing method, and an information processing terminal that allow users to safely experience electronic commerce such as online shopping while moving.
  • a program includes a step of acquiring position information indicating a position of the information processing terminal in the information processing terminal, a step of transmitting the position information to the information processing device, and a step of transmitting the position information from the information processing device to the position information.
  • FIG. 1 is a diagram for explaining the outline of the system according to the present embodiment.
  • the present system is a system used to provide electronic commerce (EC: Electric Commerce), and uses glasses having an imaging unit and an output unit as an example of the information processing terminal 130 worn or held by the user U.
  • EC Electric Commerce
  • the user U who wears the information processing terminal 130 can perform window shopping while walking around the city.
  • the information processing terminal 130 transmits the position information to the server as needed.
  • the “display data” is data for causing the information processing terminal 130 to display information about a product (product information).
  • the display data may include at least one of 3D model data, 2D (two-dimensional) image data (including moving image data), and data indicating product discount information.
  • the display data may further include attribute data indicating the attribute of the product.
  • the attribute data may be, for example, without limitation, a product name, price, specification, product number, and product category name.
  • the display data of the product transmitted from the server 110 to the information processing terminal 130 will be described as a 3D model, but the display data is intended to be limited to the 3D model. I'm not.
  • the information processing terminal 130 determines the position to display the received display data based on the captured camera image.
  • the information processing terminal 130 is an area within the camera image for the received display data, and relates to the safety of the user U (safety when the user passes or safety when viewing the superimposed display data). It is displayed in an area satisfying a predetermined condition.
  • the area satisfying the predetermined condition regarding the safety of the user U is, for example, without limitation, an area recognized as a place where the user U can safely enter, and a place where the user U can walk safely. Areas, areas other than the area where the user U is prohibited from entering for safety reasons, and areas other than the area where the user U may be at risk may be mentioned.
  • the “predetermined condition” for identifying the area where the user U can safely recognize walking is, for example and without limitation, that the pedestrian is in the area specified from the camera image, Is a region sandwiched between a curb and a building, and the region has a pattern registered in advance as a pattern for identifying a sidewalk. Further, the “predetermined condition” for identifying the area other than the area where the user U is prohibited to enter for safety reasons or the area other than the area where the user U may be in danger is limited.
  • the area specified from the camera image does not show the car, the roadway center line, the lane boundary line or the pedestrian crossing, and the sign indicating no entry or the character string prohibiting people from entering. , Railroad crossings, railroad tracks, gravel or trains are not visible, and yellow linear Braille blocks are not.
  • the area satisfying the predetermined condition regarding the safety of the user U include a sidewalk, a park, a public area, the inside of a building, an accessible site, an area other than a private land, an area other than a dangerous area, an area other than stairs, and others. Areas other than the standing place, areas other than the area where the obstacle exists, areas other than the area between the obstacle and the user U, and/or the inside of the yellow line or white line at the edge of the platform of the station, etc. Are listed.
  • the area satisfying the predetermined condition regarding the safety of the user U is referred to as “safe area” or “first area” for convenience.
  • the camera image includes a roadway S1 and a sidewalk S2.
  • the information processing terminal 130 uses a technique of semantic segmentation that analyzes pixels of an image, or collates a 3D map obtained by scanning the real world in advance with a camera image, The boundary between the road S1 and the sidewalk S2, the area of the road S1 and the area of the sidewalk S2 are specified. Then, the information processing terminal 130 determines that the area of the road S1 is inappropriate as the display position of the 3D model D10, and determines the area of the sidewalk S2 as the display position. As a result, as shown in FIG. 1, for example, the 3D model D10 can be displayed on the ground along the sidewalk S2.
  • the user U can browse the product as if they were window shopping while walking. Furthermore, since the 3D model D10 of the product is controlled so as not to be displayed on the road S1, it is possible to prevent the user U from entering the road even when the user U is absorbed in browsing the product.
  • the determination of the display position of the 3D model D10 is not limited to the road or the sidewalk. For example, the structure may not be displayed on the stairs if it is a private land, a dangerous place, or indoors. Further, the information processing terminal 130 may specify an obstacle or a person and perform control so that the obstacle or the person is not displayed between the obstacle and the user U.
  • the information processing terminal 130 may specify the 3D model D10 in the line of sight of the user U by using the line-of-sight tracking technology, head tracking, and position tracking.
  • the information processing terminal 130 causes the user U to detect that the position of the hand acquired by the position tracking and the displayed 3D model are close to each other, or when the gesture is performed in a state where the distance is close to each other. It is determined that the 3D model is selected.
  • the information processing terminal 130 may register the specified 3D model D10 as a favorite.
  • the position of the information processing terminal 130 can be estimated based on the information of the 3D map obtained by scanning the real world in advance, Bluetooth (registered trademark), or the like,
  • the system according to this embodiment may be used indoors.
  • FIG. 2 is a diagram showing the communication system 1 according to the present embodiment.
  • the communication system 1 is a system that executes the process described with reference to FIG. 1, and includes a server (information processing device) 110, a wearable terminal 130A, a terminal 130B, and a terminal 150.
  • the server 110, the wearable terminal 130A, the terminal 130B, and the terminal 150 are communicatively connected to each other via the communication network N such as the Internet, wireless LAN, Bluetooth (registered trademark), or wired communication.
  • the number of the server 110, the wearable terminal 130A, the terminal 130B, and the terminal 150 included in the communication system 1 is not limited to one, and a plurality of them may be included.
  • the server 110 may be configured by one device, may be configured by a plurality of devices, or may be a server realized on the cloud.
  • the server 110 receives the position information from the wearable terminal 130A or the terminal 130B, and transmits the display data regarding the product corresponding to the received position information to the information processing terminal 130.
  • the wearable terminal 130A may be, for example, a glasses-type terminal (smart glasses), a contact lens-type terminal (smart contact lenses), a head-mounted display, an artificial eye, or the like that can use augmented reality (AR: Augmented Reality) technology. ..
  • AR Augmented Reality
  • the wearable terminal is not limited to the one using the AR technology, and may be the one using the technology such as adjusted reality (Mediated Reality), mixed reality (Mixed Reality), artificial reality (Virtual Reality), and impaired reality (Diminished Reality). Good.
  • the terminal 130B is an electronic device used by the user U.
  • the terminal 130B may be, for example, a smartphone, a tablet terminal, a mobile phone, a personal computer (PC), a personal digital assistant (PDA: Personal Digital Assistant), a home game machine, or the like.
  • PDA Personal Digital Assistant
  • the wearable terminal 130A and the terminal 130B are not distinguished, they are collectively referred to as an information processing terminal.
  • the terminal 130B is not an essential component of the information processing terminal 130, and the wearable terminal 130A may also have the function of the terminal 130B, or may not have the function of the terminal 130B.
  • the terminal 130A is not an essential component of the information processing terminal 130, and the wearable terminal 130A may be omitted.
  • the terminal 150 is an information processing terminal used by a product manager.
  • the terminal 150 may be a smartphone, a tablet terminal, a mobile phone, a personal computer (PC), a personal digital assistant (PDA: Personal Digital Assistant), a home game machine, or the like.
  • the product manager is, for example, without limitation, a product seller, a product wholesaler, a product explainer, a person who registers a 3D model of a product in the server 110, and the like.
  • FIG. 3 is a diagram illustrating a hardware configuration example of the server 110, the wearable terminal 130A, the terminal 130B, and the terminal 150.
  • the server 110, the wearable terminal 130A, the terminal 130B, and the terminal 150 use a CPU (Central Processing Unit) 11, a memory, a storage device 12 such as an HDD (Hard Disk Drive) and/or an SSD (Solid State Drive), or wired or wireless communication. It has a communication IF (Interface) 13 to perform, an input device 14 that receives an input operation, an output device 15 that outputs information, and a sensor 16.
  • a communication IF Interface
  • the input device 14 is, for example, a keyboard, a touch panel, a mouse, a microphone, an input device 14 attached to the body of the user U (for example, a ring-type wearable device called a smart ring, etc.) and/or an imaging device (two-dimensional camera, Depth camera).
  • the output device 15 is, for example, a display (which may be a retina scanning type) and/or a speaker.
  • the sensor 16 is, for example, a GPS positioning sensor, a gyro sensor, a geomagnetic sensor, a line-of-sight detection sensor, or the like.
  • the server 110, the wearable terminal 130A, the terminal 130B, and the terminal 150 may have a configuration in which some of the hardware shown in FIG. 3 is not included.
  • the sensor 110 may not be included in the server 110, the terminal 130B, and the terminal 150.
  • FIG. 4 is a diagram showing an example of the outer appearance of the wearable terminal 130A according to the embodiment.
  • the wearable terminal 130A includes an imaging unit 1210, a display 1136, a frame 1137, a hinge unit 1138, and a temple 1139.
  • the image capturing unit 1210 is a device for capturing an image (hereinafter, the image includes a moving image unless otherwise specified).
  • the image pickup unit 1210 may include an image pickup device such as a CCD image sensor, a CMOS image sensor, or a lens (not shown).
  • the image capturing unit 1210 may be provided at a position where the line of sight of the user U can be captured. Further, another image capturing unit may be provided at a position where the user's eyes can be captured and the user's line of sight can be detected.
  • the display 1136 is an output device 15 that displays various information such as product information under the control of the output unit 137 described later.
  • the display 1136 may be formed of a member that transmits visible light so that the user U who wears the wearable terminal 130A can visually recognize the view of the real space.
  • the display 1136 may be a liquid crystal display using a transparent substrate or an organic EL display.
  • the display 1136 may be a retinal scanning type display that displays information to be displayed on the human retina.
  • the frame 1137 is provided so as to surround the outer periphery of the display 1136, and protects the display 1136 from impacts and the like.
  • the frame 1137 may be provided over the entire outer circumference of the display 1136, or may be provided in a part thereof.
  • the frame 1137 may be made of, for example, metal or resin.
  • the hinge portion 1138 rotatably connects the temple 1139 to the frame 1137.
  • the temple 1139 is a vine extending from both ends of the frame 1137, and may be made of, for example, metal or resin.
  • the wearable terminal 130A is mounted so that the temple 1139 opened so as to be separated from the frame 1137 is located near the temple of the user U.
  • the temple 1139 has a locking portion 1139a that is partially recessed.
  • the locking portion 1139a is located so as to touch the ear of the user U when the wearable terminal 130A is attached, and prevents the wearable terminal 130A from falling off the head of the user U.
  • FIG. 5 is a diagram showing an example of the functional configuration of the server 110 according to the present embodiment.
  • the server 110 includes a storage unit 111, a generation unit 112, a registration unit 113, a reception unit 114, a specification unit 115, a transmission unit 116, and a route acquisition unit 117.
  • the generation unit 112, the registration unit 113, the reception unit 114, the identification unit 115, the transmission unit 116, and the route acquisition unit 117 can be realized by the CPU 11 of the server 110 executing a program stored in the storage device 12. .. Further, the program can be stored in a storage medium.
  • the storage medium storing the program may be a computer-readable non-transitory computer readable medium.
  • the non-transitory storage medium is not particularly limited, but may be a storage medium such as a USB memory or a CD-ROM.
  • the storage unit 111 can be realized by using the storage device 12 included in the server 110.
  • the storage unit 111 stores a product DB in which product information, display position information indicating a position where the product should be displayed, and display data about the product are associated with each other.
  • FIG. 6 is a diagram showing an example of the product DB.
  • the “product ID” is an identifier that uniquely identifies the product in the product DB.
  • 3D model data 3D model data, image data, data indicating discount information of products and/or attribute data of products are stored.
  • the 3D model data may include data for arbitrarily operating the 3D model.
  • the 3D model can be dynamically operated by generating the 3D model data in a format such as glTF format.
  • the "display position information” stores information indicating the position (or range) where the display data should be displayed.
  • the information may be, for example, information represented by longitude and latitude, or may be information indicating a specific place (for example, information indicating an address, a park, etc.).
  • a plurality of display position information may be stored in the display position information. That is, the display data and the display position information may be in one-to-one correspondence, or may be in one-to-N (plural) correspondence.
  • the "manager ID" stores an identifier indicating the manager of the product.
  • the administrator ID may include information capable of calling the terminal 150 used by the administrator. The information may be, for example, a telephone number, a mail address, an ID issued by an application used by the administrator on the terminal 150, or the like.
  • the display data may be associated with the display position information based on the "product category" included in the product attribute data. For example, it is possible to associate the display position information of the office district with the suit and the display position information of the residential district with the daily necessities. Thus, when the user U is in the residential area, daily necessities are displayed on the information processing terminal 130, and when the user U is in the office area, the suit is displayed on the information processing terminal 130. Returning to FIG. 5, the description will be continued.
  • the generation unit 112 generates display data regarding the product from the shooting data obtained by shooting the product. For example, the generation unit 112 generates display data regarding a product by analyzing a plurality of pieces of image data or moving image data obtained by photographing the periphery of the product.
  • the product may be imaged by, for example, a predetermined user associated with the product, and the image data of the product may be transmitted from the terminal 150 used by the user to the server 110.
  • the predetermined user related to the product may be, for example, without limitation, a user (administrator, etc.) of a store that provides the product, a user of the store, or a system provider.
  • the display data may be generated by the system provider, the vendor requested by the system provider, or the like. Further, the display data may be generated in real time.
  • the registration unit 113 stores display data relating to products and display position information in association with each other in the product DB.
  • the product and the display position information may be associated with each other by a predetermined user related to the product or by a system provider or the like.
  • a predetermined user who registers a product may be provided with a function of associating the product with display position information by arranging the product on a map (which may be two-dimensional or three-dimensional). ..
  • the receiving unit 114 receives position information indicating the position of the information processing terminal 130 from the information processing terminal 130. Further, the receiving unit 114 receives image data captured by the information processing terminal 130.
  • the identifying unit 115 exists within a predetermined range from the position indicated by the position information received by the receiving unit 114 among the display data regarding one or more products associated with the display position information stored in the storage unit 111.
  • the display data relating to one or more products associated with the display position information is specified.
  • the identifying unit 115 may identify the display data by searching the product DB for display data whose display position information exists within a predetermined range from the position of the information processing terminal 130.
  • the transmitting unit 116 transmits, to the information processing terminal 130, display data regarding one or more products displayed in a region within the image captured by the image capturing unit that satisfies a predetermined condition regarding the safety of the user U.
  • the route acquisition unit 117 acquires the route from the current position of the user U to the destination desired by the user U by searching, for example, map data.
  • FIG. 7 is a diagram showing an example of each function of the information processing terminal 130 according to the present embodiment.
  • the information processing terminal 130 includes a position acquisition unit 131, a transmission unit 132, a reception unit 133, an imaging unit 134, a specification unit 135, an acquisition unit 136, an output unit 137, and a reception unit 138.
  • the position acquisition unit 131, the transmission unit 132, the reception unit 133, the imaging unit 134, the identification unit 135, the acquisition unit 136, the output unit 137, and the reception unit 138 are programs stored in the storage device 12 by the CPU 11 of the information processing terminal 130. Can be realized by executing. Further, the program can be stored in a storage medium.
  • the storage medium storing the program may be a computer-readable non-transitory storage medium.
  • the non-transitory storage medium is not particularly limited, but may be a storage medium such as a USB memory or a CD-ROM.
  • This program may be a program (application) that can be downloaded from the server 110 and installed in the information processing terminal 130.
  • the position acquisition unit 131 acquires position information indicating the position of the information processing terminal 130 itself.
  • the position acquisition unit 131 may acquire the position information of the information processing terminal 130 using known GPS, Beacon, or VPS (Visual Positioning Service) for the position information.
  • VPS Vehicle Positioning Service
  • the transmission unit 132 transmits the position information acquired by the position acquisition unit 131 to the server 110. Further, the transmission unit 132 may transmit the information for identifying the product accepted by the acceptance unit 138, which will be described later, to the server 110.
  • the receiving unit 133 receives, from the server 110, display data regarding one or more products associated with the position information of the information processing terminal 130. Further, the receiving unit 133 may receive the attribute data of one or more products from the server 110.
  • the reception unit 133 receives, from the server 110 or another information processing device (for example, the terminal 150), a manager (of the sales source) of a specific product (first product) included in one or more products displayed in the safe area. You may make it receive the display data of an administrator obtained by photographing (user).
  • the display data of the administrator may be, for example and without limitation, a moving image of the administrator or 3D model data of the administrator generated by capturing the surroundings of the administrator.
  • the image capturing unit 134 uses the input device 14 (image capturing apparatus) to capture an image in the direction in which the image capturing apparatus faces.
  • the identifying unit 135 identifies the safety area from the area in the image captured by the image capturing unit 134. The method by which the identifying unit 135 identifies the safety area will be described later.
  • the acquisition unit 136 acquires, from the specification unit 135, information indicating the safe area of the areas in the captured image specified by the specification unit 135.
  • the identifying unit 135 may be mounted on the server 110 side instead of the information processing terminal 130.
  • the transmission unit 132 transmits the image captured by the image capturing unit 134 to the server 110, and the acquisition unit 136 acquires from the server 110 the data indicating the safe area in the area in the captured image.
  • the acquisition unit 136 may also acquire route information indicating a route traveled by the user from the server 110 or another information processing device (for example, the terminal 150).
  • the route traveled by the user is a walking route generated from a current position to a destination designated by the user, which is generated by using a pedestrian navigation service or the like.
  • the output unit 137 displays one or more products in the safety area acquired by the acquisition unit 136 in the actual space corresponding to the image or moving image captured by the image capturing unit 134 or the image or moving image captured by the image capturing unit 134. Output the data.
  • the output unit 137 When the information processing terminal 130 is the wearable terminal 130A, the output unit 137 outputs the display data to a position overlapping with the safety area visually recognized by the user. For example, when the output device 15 is a liquid crystal display or an organic EL display using a transparent substrate, the output unit 137 displays the display data at a position overlapping with the safety area visually recognized by the user through the transparent substrate. For example, when the output device 15 is a retinal scanning type display, the output unit 137 outputs the display data to the area of the user's retina where the safety area overlaps with the area of the retina. When the information processing terminal 130 is the terminal 130B, the output unit 137 displays the display data at a position overlapping with the safety area in the area in the image captured by the imaging unit 134.
  • the output unit 137 may arrange and output one or more pieces of display data along the boundary of the safety area.
  • the boundary of the safety region is, for example, a region between a boundary of the safety region and a region other than the safety region and a position at a predetermined distance (for example, 1 meter or 2 meters in the real world) and a position inside the safety region. May be
  • the output unit 137 outputs the display data regarding the administrator received by the receiving unit 133 in association with the display data of the specific product (first product) included in one or more products displayed in the safety area. May be.
  • the output unit 137 may output display data related to the administrator next to the particular product. This allows the user to select a particular product while receiving an explanation from the administrator.
  • the output unit 137 outputs one or more items along the route indicated by the route information indicating the route that the user travels, acquired by the acquisition unit 136, when the display data regarding the one or more products is output to the safety area. You may make it output the display data regarding goods. As a result, the display data is displayed on the user's walking route, so that the user can browse the products as if they were window-shopping without leaving the route while moving to the destination. become.
  • the output unit 137 attributes the product corresponding to the specific display data. Data may be output.
  • the output unit 137 stores the position at which the display data is first output, and compares the position with the current position of the user U (current position of the information processing terminal 130) to display the information on the information processing terminal 130. Can be determined.
  • the output unit 137 switches to display the product name, price, etc. near the display data when the user U approaches the display data, and not display the product name, price, etc., when the user U moves away from the display data.
  • Good This makes it possible to prevent the deterioration of visibility due to the large number of characters such as product names and prices displayed even when the display data for many products is displayed on the screen. Become.
  • the reception unit 138 receives selection of the one or more products from the display data regarding the one or more products output from the output unit 137.
  • the accepting unit 138 may accept the selection of the product by detecting the user's instruction using the input device 14.
  • the accepting unit 138 may accept the selection of the product by analyzing the image captured by the imaging unit 134 and detecting that the user has performed a specific gesture.
  • the receiving unit 138 may use the line-of-sight detection sensor, which is the sensor 16, to detect a product for which the user's line of sight is facing for a predetermined period of time, thereby receiving the selection of the product.
  • FIG. 8 is a diagram showing an example of each function of the terminal 150 according to the present embodiment.
  • the terminal 150 includes a transmission unit 151, a reception unit 152, an imaging unit 153, a position acquisition unit 154, a display unit 155, and a generation processing unit 156.
  • the transmission unit 151, the reception unit 152, the imaging unit 153, the position acquisition unit 154, the display unit 155, and the generation processing unit 156 can be realized by the CPU 11 of the terminal 150 executing a program stored in the storage device 12. it can.
  • the program can be stored in a storage medium.
  • the storage medium storing the program may be a computer-readable non-transitory storage medium.
  • the non-transitory storage medium is not particularly limited, but may be a storage medium such as a USB memory or a CD-ROM.
  • This program may be a program (application) that can be downloaded from the server 110 and installed in the terminal 150.
  • the transmitting unit 151 transmits various kinds of information to the server 110 or the information processing terminal 130.
  • the receiving unit 152 receives various kinds of information from the server 110 or the information processing terminal 130.
  • the image capturing unit 153 captures an image of a product or an administrator of the product by using the input device 14 (imaging device).
  • the imaging device may be an imaging device built in the terminal 150 or a plurality of imaging devices connected to the terminal 150.
  • the plurality of imaging devices may be, for example, a plurality of imaging devices arranged so as to surround the product or the manager of the product.
  • the imaging unit 153 transmits the captured image to the server 110 via the transmission unit 151.
  • the position acquisition unit 154 acquires position information indicating the position of the terminal 150 itself.
  • the position acquisition unit 154 may acquire the position information of the information processing terminal 130 using a known GPS, Beacon, or VPS.
  • the display unit 155 displays predetermined information on the display which is the output device 15.
  • the display unit 155 may display, on the display, the same image that the receiving unit 152 has received from the information processing terminal 130 and that is being viewed by the user U using the information processing terminal 130.
  • the display may be a display included in the terminal 150 or an external display capable of communicating with the terminal 150.
  • a glasses-type terminal (smart glasses) of the wearable terminal 130A will be used as an example of the information processing terminal.
  • the display data regarding the product will be described as including the 3D model data of the product. Further, it is assumed that the manager of the product is the seller of the product.
  • FIG. 9 is a sequence diagram showing an example of a processing procedure when registering a product in the server 110.
  • the processing procedure when the seller of the product registers the product in the server 110 in order to put up the product to be sold to the user U will be described with reference to FIG. 9.
  • step S100 the seller of the product operates the terminal 150 to make preparations for registering the product in the server 110.
  • the preparation for registering a product includes, for example, an operation of starting an application having a function of registering a product, an operation of starting a camera, and the like.
  • step S101 the seller captures an image of the area around the product using the image capturing device provided in the terminal 150 or one or more image capturing devices connected to the terminal 150.
  • step S102 the transmission unit 151 of the terminal 150 transmits to the server 110 a moving image of the surroundings of the captured product.
  • the generation unit 112 of the server 110 analyzes the moving image received from the terminal 150 to generate 3D model data of the product.
  • the generation unit 112 provides, for example, an API (Application Programming Interface) that generates a 3D model from a moving image, and may input 3D model data of the product by inputting moving image data to the API. ..
  • the API is provided by an external information processing device different from the server 110, and the generation unit 112 generates the 3D model data of the product by using the API provided by the external information processing device. May be.
  • step S104 the transmission unit 116 of the server 110 transmits the generated 3D model data to the terminal 150.
  • step S105 the position acquisition unit 154 of the terminal 150 acquires the current location of the terminal 150 itself. Further, the position acquisition unit 154 of the terminal 150 may acquire the position information designated by the user.
  • step S106 the seller operates the terminal 150 to specify the display position for displaying the product.
  • the seller may specify the position information acquired in step S105 as the display position, or may directly specify the display position on the map screen or the like.
  • the seller may designate the display position not only on the two-dimensional map but also on the three-dimensional map (for example, designating a predetermined floor on the third floor of the building). However, a real place (for example, a current position is designated) may be designated.
  • the seller instructs the terminal 150 to register the designated display position information and the 3D model data in the server 110 in association with each other.
  • step S107 the transmission unit 151 of the terminal 150 transmits registration data including display position information and 3D model data to the server 110.
  • step S108 the registration unit 113 of the server 110 registers the received display position information and the 3D model data in the product DB in association with each other.
  • the processing procedure of step S104 may be omitted, and in the processing procedure of step S106, the terminal 150 may transmit registration data including only position information to the server 110.
  • the terminal 150 may transmit registration data including only position information to the server 110. For example, it is possible to reduce the amount of data communication between the terminal 150 and the server 110 by temporarily storing the 3D model data having a large data size in the server 110 without transmitting it to the terminal 150.
  • the seller may input the attribute data of the product (product name, price, etc.) to the terminal 150.
  • the transmission unit 151 of the terminal 150 may transmit the attribute data input in step S107 to the server 110 together with the display position information and the display data.
  • the registration unit 113 of the server 110 may register the display position information, the display data, and the attribute data in the product DB in step S108.
  • FIG. 10 is a sequence diagram illustrating an example (part 1) of a processing procedure when displaying a product in the field of view of the user.
  • a processing procedure when a product registered in the server 110 is displayed in the field of view of the user U by the AR technique will be described with reference to FIG. 10.
  • step S200 the user U moves while wearing the wearable terminal 130A.
  • step S201 the position acquisition unit 131 of the wearable terminal 130A acquires position information as the user moves.
  • step S202 the transmission unit 132 of the wearable terminal 130A transmits the acquired position information to the server 110.
  • step S203 the identification unit 115 of the server 110 stores the display data in which the display position information exists within a predetermined range from the position of the wearable terminal 130A (for example, a radius of 30 m, 50 m, 100 m from the position of the wearable terminal 130A) in the product DB. Display data relating to one or more products is obtained by searching from among the items.
  • step S204 the transmission unit 116 of the server 110 transmits the acquired display data regarding one or more products to the wearable terminal 130A.
  • step S205 the position acquisition unit 131 of the wearable terminal 130A acquires the orientation of the wearable terminal 130A using the sensor 16 that is an acceleration sensor and a magnetic sensor.
  • the orientation of the wearable terminal 130A is, for example, the angle of the front direction of the wearable terminal 130A when a specific direction (for example, north) is used, the angle of the horizontal plane of the wearable terminal 130A when the ground surface is used as a reference, the wearable terminal It is represented by three of the rotation angles of 130A and indicates the line-of-sight direction of the user.
  • step S206 the imaging unit 134 of the wearable terminal 130A photographs the real world in the direction the user is facing.
  • the acquisition unit 136 of the wearable terminal 130 ⁇ /b>A acquires information indicating the range of the safe area specified by the specification unit 135 from the area in the image captured by the imaging unit 134.
  • the identifying unit 135 of the wearable terminal 130A classifies the pixels of the captured image by using, for example, the semantic segmentation technique or the instance segmentation technique to classify each pixel into a safe area from the image.
  • You may specify. For example, by preparing in advance a learned model that has learned the ability to classify sidewalks, roadways, and buildings, and inputting the captured image into the learned model, the area where the sidewalk is shown in the image. It is also possible to classify the area where the road is shown and the area where the building is shown. For example, an area that is not a safe area may be set in advance, and the identifying unit 135 may specify that the area classified by learning is a safe area if it is not the set area.
  • the safety area may be set in advance, and the identifying unit 135 may identify the area classified by learning as the safety area if it is the set area. Accordingly, the identifying unit 135 can identify the area corresponding to the sidewalk in the captured image as the safety area.
  • the identifying unit 135 of the wearable terminal 130A divides the image into a plurality of areas by classifying each pixel of the captured image using a semantic segmentation technique, an instance segmentation technique, or the like, It may be possible to determine by image analysis whether or not each area satisfies the above-mentioned “predetermined condition” regarding the safety of the user U (that is, whether or not each area is a safe area).
  • the identifying unit 135 associates the three-dimensional shapes of roads, sidewalks, buildings, etc., obtained by scanning the real world in advance with the categories of each shape (sidewalks, roadways, buildings, etc.).
  • the safety area may be specified from the area in the image captured by the image capturing unit 134 using the 3D map information.
  • the 3D map information may be stored in the storage device 12 included in the information processing terminal 130.
  • the identifying unit 135 collates the image captured by the image capturing unit 134 with the 3D map information, so that an area including a sidewalk, an area including a roadway, and a building are included in the image. You may make it classify with the area in which it exists. Accordingly, the identifying unit 135 can identify the area corresponding to the sidewalk in the captured image as the safety area.
  • the 3D map information may include data indicating the range of the safety area. For example, sidewalks, parks, and the like may be preliminarily provided with data indicating a safe area.
  • the identifying unit 135 can identify the safety region by collating the image captured by the image capturing unit 134 with the 3D map information, and thus the process of identifying the safety region can be speeded up.
  • the identifying unit 135 may also identify the safety area by multiplying (combining) a plurality of pieces of information included in the image captured by the image capturing unit 134. For example, among the areas in the image, the area including the white line, the vending machine, the signboard with the station name, and the like may be determined not to be the safe area. This is because, in this case, the user U is likely to be at the platform of the station, and it is considered that there is a risk of falling if the 3D model is displayed. The identifying unit 135 may determine whether or not a dangerous area exists in the image.
  • the output unit 137 When the identifying unit 135 determines that there is a dangerous area, the output unit 137 outputs an alert by a three-dimensional or two-dimensional object to warn the user U or a route for avoiding a dangerous area (such as a manhole). You may do so.
  • step S207 the output unit 137 outputs the display data regarding one or more products received from the server 110 in step S204 on the ground surface of the safety area in the space of the viewing angle recognized by the user. If the space corresponding to the safety area does not exist, the output unit 137 does not output the display data. Further, when a plurality of display data are received from the server 110, the output unit 137 may output the plurality of display data side by side at predetermined intervals.
  • the display data regarding the product notified to the wearable terminal 130A from the server 110 includes the display position information, and the output unit 137 causes the display data regarding the product to be displayed at the position indicated by the display position information. It may be controlled. When the same seller has registered a plurality of products, it is assumed that a plurality of display data have the same display position information. In this case, the output unit 137 may move the display position of each display data within a predetermined range in order to prevent the display data from overlapping.
  • the output unit 137 determines the specific position for outputting the output data. You may decide and memorize it yourself. For example, when the display position information is in the park, the output unit 137 may determine an arbitrary place in the park as the position to output the display data.
  • the output unit 137 moves the display position to the safe region. You may do it.
  • the display position information is set in a place other than the safe area, it is possible to prevent the display data regarding the product from being hidden without being displayed.
  • step S208 the user U can enjoy window shopping by viewing the 3D model of the product displayed in the field of view.
  • the processing procedure of steps S201 to S204 described above is repeatedly executed according to the movement of the user.
  • the display data transmitted from the server 110 to the wearable terminal 130A in the processing procedure of step S204 is changed (updated) according to the movement of the user.
  • the server 110 transmits the display data regarding the product to the wearable terminal 130A, and the wearable terminal 130A displays the display data.
  • the wearable terminal 130A may be notified that the display of the display data should be stopped when the position information is out of the predetermined range.
  • the server 110 transmits display data including display position information within 20 m from the current position of the wearable terminal 130A to the wearable terminal 130A.
  • the server 110 transmits the display data regarding the product A to the user U.
  • the display data regarding the product A is displayed in the field of view of the user U.
  • the server 110 notifies the wearable terminal 130A that display of the display data regarding the product A should be stopped. In this state, even if the user U faces the point indicated by the display position information of the product A, the display data regarding the product A is not displayed in the field of view of the user U.
  • FIG. 11 is a diagram showing an example of displaying display data regarding products.
  • a region S1 is a roadway
  • a region S2 is a sidewalk
  • a region S3 is a plant
  • a region S4 is a building. It is assumed that the safe area is the area S2 and the display data received by the wearable terminal 130A from the server 110 includes 3D model data for four bodies D10-1 to D10-4.
  • the acquisition unit 136 of the wearable terminal 130A acquires the range of the area S2, which is a safe area, from the image P1 captured by the imaging unit 134. Further, the output unit 137 superimposes and displays the four 3D model data D10-1 to D10-4 on the acquired area S2. At this time, the output unit 137 stores the positions at which the 3D model data D10-1 to D10-4 are first displayed, and when the orientation of the wearable terminal 130A or the current location has changed (that is, the orientation of the face has changed). In such a case or when the user U moves), the display positions of the 3D model data D10-1 to D10-4 are controlled so as not to change. For example, when the user U faces back in the state shown in FIG.
  • the 3D model data D10-1 to D10-4 disappear from the field of view. Further, for example, when the user U goes straight straight toward the back of the image P1, the 3D model data D10-1, the 3D model data D10-2, the 3D model data D10-3, the 3D model data D10-4 are displayed in this order. It will disappear from sight.
  • the output unit 137 When the user U moves to approach specific display data, the output unit 137 outputs the attribute data related to the product of the display data. For example, when the user U is interested in the product D10-4 and approaches the product D10-4, attribute data such as a product name and a price is displayed around the 3D model of the product D10-4.
  • the reception unit 138 of the wearable terminal 130A detects that the user U is facing a specific product for a predetermined time by using a line-of-sight detection sensor, so that the user U can install a wearable device such as a smart ring.
  • the selection of the product is accepted by detecting that the user has designated a specific product by operation or by detecting that the user has designated the specific product by voice using a voice recognition technique.
  • the information indicating the product received by the receiving unit 138 may be transmitted to the server 110 and registered in the server 110 as the user U's favorite product, or the purchase process for the product may be executed. Good.
  • the output unit 137 arranges the display data regarding a plurality of products at the left end of the area S2, but the present invention is not limited to this.
  • the output unit 137 may arrange the display data regarding the product in the lateral direction of the region S2 at a predetermined interval, or may arrange the display data side by side at the right end of the region S2.
  • FIG. 12 is a sequence diagram showing an example (part 2) of a processing procedure when displaying a product in the field of view of the user.
  • Steps S300 to S304 are the same as the processing procedures of steps S200 to S204 of FIG. 10, respectively, and therefore description thereof will be omitted.
  • step S305 the transmission unit 132 of the wearable terminal 130A transmits the current position of the wearable terminal 130A and the destination desired by the user U to the server 110.
  • the route acquisition unit 117 of the server 110 acquires a route (route) from the current position to the destination by searching map data and the like. Further, the transmission unit 116 of the server 110 transmits the route data indicating the acquired route to the wearable terminal 130A.
  • the route data may be data expressing a route by arranging a plurality of positions (waypoints) indicated by latitude and longitude, or may be an identifier of a node (intersection) assigned on a map and a link (between intersections). It may be data that expresses a route by combining the identifiers of lines connecting the lines. In the latter case, the map data is also stored in the information processing terminal 130 so that the information processing terminal 130 can recognize the latitude and longitude of the line segment indicating the route from the node identifier and the link identifier. Good.
  • Steps S307 and S308 are the same as the processing procedures of steps S205 and S206 of FIG. 10, respectively, and therefore description thereof will be omitted.
  • step S309 the output unit 137 outputs the display data along the route indicated by the route information indicating the route of the user U, which is acquired in the processing procedure of step S306.
  • the output unit 137 may create an image of the route to be AR-displayed using the route data received in the processing procedure of step S306, and output the created route together with the display data.
  • the output unit 137 identifies the position where the route should be drawn on the display 1136 by collating the current position, the orientation, and/or the camera image of the wearable terminal 130A with the route data, and the route image at the identified position. May be displayed.
  • step S310 the user U can enjoy window shopping while walking to the destination by visually recognizing the 3D model of the product displayed along the route.
  • FIG. 13 is a diagram showing an example of displaying display data about products along a route.
  • a region S1 is a roadway
  • regions S2-1 and S2-2 are sidewalks
  • a region S4 is a building.
  • the safe areas are the areas S2-1 and S2-2
  • the display data received by the wearable terminal 130A from the server 110 includes 3D model data for seven bodies D11-1 to D11-7.
  • the route R is an image showing a route from the current position to the destination.
  • the image P2 is illustrated from a viewpoint viewed from above the viewpoint of the user U for convenience of description, but the visual field visually recognized by the user U through the wearable terminal 130A is on the road surface as shown in FIG. 11 described above. It will be close.
  • the image showing the route may be a line segment, a dotted line, or an arrow indicating the traveling direction of the user U.
  • the acquisition unit 136 of the wearable terminal 130A acquires the ranges of the areas S2-1 and 2-2, which are the safe areas, from the image P2 captured by the imaging unit 134, and the output unit 137 acquires the acquired region S2-1. In addition, 7 pieces of 3D model data D11-1 to D11-7 are superimposed and displayed in the area S2-2. At this time, the output unit 137 stores the positions at which the 3D model data D11-7 to D11-7 are first displayed, and when the orientation of the wearable terminal 130A or the current location changes (that is, the orientation of the face of the user U). The display position is controlled so that the display positions of the 3D model data D11-1 to D11-7 do not change even when the display position changes or the user U moves).
  • the 3D model data D11-1 to D11-7 disappear from the field of view.
  • the 3D model data D11-1, 3D model data D11-2, and 3D model data D11-3 disappear from the field of view in that order, and the user turns left across the intersection.
  • the 3D model data D11-5 to D11-7 are displayed in front of the user's field of view.
  • the product manager and the user U may be able to directly communicate with each other.
  • FIG. 14 is a sequence diagram showing an example of a processing procedure when communication is performed between a user and a seller.
  • step S400 the accepting unit 138 of the wearable terminal 130A accepts an instruction from the user U that he/she wants to communicate with a manager about a specific product (hereinafter referred to as product A). For example, when the reception unit 138 detects that the user U makes a specific gesture while facing the product A, the reception unit 138 instructs the user U to communicate with the administrator of the product A. May be recognized.
  • product A a specific product
  • step S401 the transmission unit 132 acquires information (a telephone number, a mail address, a predetermined ID, or the like) that can call the terminal 150 and is included in the administrator ID of the product A in the product DB, and the administrator A message for calling the terminal 150 corresponding to the ID is transmitted to the server 110.
  • information a telephone number, a mail address, a predetermined ID, or the like
  • step S402 the server 110 calls the terminal 150.
  • a communication path is established between the wearable terminal 130A and the terminal 150 via the server 110.
  • the wearable terminal 130A and the terminal 150 can have a conversation by voice or moving image.
  • the world that the user U sees through the wearable terminal 130A is like a road shop, and the administrator (seller) receives a question and details of the product with the waiting user U (buyer). It becomes possible to have a conversation such as explaining.
  • the moving image of the administrator taken by the imaging unit 153 of the terminal 150 may be output as a 2D image next to the display data of the product A output to the wearable terminal 130A. ..
  • step S405 the product administrator operates the image of the product A displayed on the display of the terminal 150 to draw a predetermined image on the image of the product A.
  • step S406 and S407 operation data indicating the content drawn on the image of the product A is transmitted to the wearable terminal 130A via the server 110.
  • step S408 the output unit 137 of the wearable terminal 130A draws the same contents as the contents drawn on the image of the product A on the display of the terminal 150 on the display data of the product A.
  • FIG. 15 is a diagram showing an example of a communication method performed between the user U and the product manager.
  • 15A shows the display data of the product A recognized by the user U via the wearable terminal 130A
  • FIG. 15B shows the display example of the screen of the terminal 150 used by the administrator of the product A. Is shown.
  • the administrator when explaining the product A to the user U, the administrator superimposes a drawing such as a line or a circle on the product A in addition to the voice or the like, that is, a mark such as a line or a circle. It becomes possible to explain while sharing between the administrator (seller) and the user U (purchaser).
  • the administrator by transmitting the 3D model data (real-time 3D capture data) S of the administrator himself instead of the operation data from the terminal 150 to the wearable terminal 130A via the server 110 in real time, the administrator
  • the 3D model data S may be displayed next to the 3D model data of the product A visually recognized by the user U via the wearable terminal 130A.
  • the terminal 150 uses the plurality of imaging devices (imaging devices CA1 to CA3 in the example of A of FIG. 16) connected to the terminal 150 to perform 3D of the administrator himself/herself.
  • the model data S may be generated.
  • the transmission unit 151 of the terminal 150 may transmit the generated 3D model data S of the administrator to the wearable terminal 130A via the server 110 in real time.
  • the 3D model data S of the administrator of the product A can be displayed next to the 3D model data of the product A viewed by the user U.
  • the image recognized by the user U via the wearable terminal 130A may be transmitted to the terminal 150.
  • the administrator can explain while grasping the positional relationship between the position of the product A and his/her own 3D model data S.
  • the terminal 150 tracks the body of the administrator in real time from the images captured by the imaging devices C1 to C3, and uses the existing human body posture estimation technology to detect the nose, eyes, ears, and neck.
  • the characteristic points of the administrator such as the shoulder, the elbow, the wrist, the waist, the knee, and the ankle may be detected.
  • the imaging devices C1 to C3 have infrared depth sensors, the feature points may be detected by calculating the depth of infrared rays.
  • the method of storing the characteristic points of the human body detected by the human body posture estimation may be 2D or 3D.
  • the terminal 150 generates 3D model data S of the administrator of the product A based on the detected characteristic points of the administrator, and transmits the 3D model data S to the wearable terminal 130A in real time.
  • the administrator can display his or her real-time 3D captured image in front of the eyes of the user U, making full use of voice, characters, gestures using hands displayed in real time, and the like. It is possible to teach the user U the characteristics of the product.
  • the administrator (seller) may display not only the real-time 3D captured image of himself/herself but also a 2D or 3D avatar in front of the user U to explain the product.
  • the movement of the avatar can be synchronized with the movement of the manager (seller) by optical, mechanical, inertial sensor type, magnetic type, video type motion capture.
  • the display data of the product A instead of the operation data, is transmitted from the terminal 150 to the wearable terminal 130A via the server 110 in real time, so that the administrator shoots the product taken by the terminal 150.
  • the 3D model data of A may be displayed in real time as the 3D model data of the product A visually recognized by the user U via the wearable terminal 130A.
  • the terminal 150 when the administrator puts the skirt on the torso M, the terminal 150 causes the plurality of imaging devices (in the example of FIG. 17B, the imaging device CA1) connected to the terminal 150. CA3) may be used to generate 3D model data of the torso M wearing a skirt. Further, the transmitting unit 151 of the terminal 150 may transmit the generated 3D model data of the torso to the wearable terminal 130A via the server 110 in real time. Thereby, as shown in A of FIG. 17, a 3D model of the torso M wearing the skirt can be displayed.
  • the imaging devices in the example of FIG. 17B, the imaging device CA1 connected to the terminal 150.
  • CA3 may be used to generate 3D model data of the torso M wearing a skirt.
  • the transmitting unit 151 of the terminal 150 may transmit the generated 3D model data of the torso to the wearable terminal 130A via the server 110 in real time. Thereby, as shown in A of FIG. 17, a 3D model of the torso M wearing the skirt can be
  • the administrator can make various coordinate proposals to the user U in real time and remotely.
  • the information processing terminal 130 and the terminal 150 may receive the setting of the area for suppressing the display of the 3D model from the user U or the manager of the product in advance. In this case, the information processing terminal 130 may switch display/non-display of the 3D model based on its own position information and the setting of the place where the output of the 3D model is suppressed. Further, the information processing terminal 130 may switch display/non-display of the 3D model according to the moving speed (whether moving on foot or moving on a vehicle). The moving speed may be measured using GPS or VPS. For example, when the position acquisition unit 131 detects that the moving speed of the information processing terminal 130 is equal to or higher than a certain speed, the output unit 137 determines that the user U is moving in a vehicle and outputs a 3D model. You may not.
  • the information processing terminal 130 may output the display data so that the product is displayed on the wall surface when the display data regarding the product is suitable for display on the wall surface (for example, in the case of a painting). If the display data related to the product is suitable for display on the desk (for example, in the case of a vase), the display data may be output so that the product is displayed on the desk.
  • the information indicating the attribute of the place suitable for displaying the display data regarding each product is registered in the product DB in advance, and the server 110 transmits the display data together with the display data when transmitting the display data to the information processing terminal 130. Information indicating the attribute may be transmitted to the information processing terminal 130.
  • the information to be displayed may be changed depending on the user's trend (behavior).
  • the information processing terminal 130 may generate a heat map indicating a location where the user's line of sight is gathered by acquiring the user's line of sight and notify the server 110 of the heat map.
  • the server 110 can estimate that the user U is interested in the specific product.
  • the server 110 analyzes the tendency of the product in which the user U is interested (the tendency of the product in which the user's eyes are concentrated) and the tendency of the product selected by the user U (the product registered as a favorite), thereby May be estimated.
  • the identifying unit 115 of the server 110 selects (identifies) the product to be notified to the information processing terminal 130 based on the estimated user preference, and transmits the display data regarding the selected product to the information processing terminal 130.
  • the identifying unit 115 searches the product DB for one or more products corresponding to the position information of the information processing terminal 130, and displays the display data regarding the products that match the taste of the user U from the searched one or more products. May be further selected and transmitted to the information processing terminal 130. That is, the server 110 may transmit the display data regarding the product recommended to the user U to the information processing terminal 130.
  • the recommended product may be changed every day, may be a new product, or may be a popular product. Even if the user U passes through the same place every day, the merchandise displayed in the user's field of view changes, so that the user U can be prevented from getting tired.
  • the server 110 may transmit the display data regarding the product estimated to show the interest of the user U to the information processing terminal 130 at a predetermined frequency regardless of the display position information of the product. .. Products that the user U is interested in can be frequently displayed in the field of view of the user U.
  • the information processing terminal 130 includes a device that expands the sense of touch, the sense of smell, the sense of taste, and/or the sense of hearing of the user U, and in addition to or instead of the user U recognizing the shape of the product by the 3D model, Haptic, scent, taste and/or sound may be recognizable.
  • the server 110 may transmit data regarding the tactile sensation, smell, taste, and/or sound of the product to the information processing terminal 130.
  • the information processing terminal 130 may reduce and output or enlarge and output. For example, displaying a large 3D model in a narrow corridor indoors is not preferable because the field of view of the user U is blocked. Therefore, in such a case, the 2D model or the 3D model is usually reduced and outputted, and enlarged to the actual size when the user U approaches or when the instruction of the user U is received. Good.
  • a part of the character string is usually omitted or the display itself of the character is omitted so that the user U approaches or the instruction of the user U.
  • the character string may be output without being omitted. This makes it possible to show a large amount of information to the user U without impairing the field of view of the user U.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

情報処理端末に、情報処理端末の位置を示す位置情報を取得するステップと、位置情報を情報処理装置に送信するステップと、情報処理装置から、位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、画像に対応する現実の空間又は画像のうち、取得された第１領域に１以上の商品に関する表示データを出力するステップと、を実行させるプログラムを提供する。

Description

プログラム、情報処理方法、及び情報処理端末 関連出願の相互参照
　本出願は、２０１９年１月２８日に出願された日本出願番号（特願）２０１９－０１２３５８号に基づくもので、ここにその記載内容を援用する。
　本発明は、プログラム、情報処理方法、及び情報処理端末に関する。
　従来から、インターネット等のネットワークを介して商品を購入するオンラインショッピングが普及している。これにより、遠方にある商品を購入できるようになった反面、商品の良し悪しの判断を商品情報や画像のみでしなければならなくなった。そこで店舗をＶＲ（Virtual Reality）に構築し、３６０度あらゆる角度から商品を確認することができるＶＲショッピングの技術が台頭している。
　例えば、特許文献１には、オンラインショッピングサービスにおいて、顧客単位に顧客特性を反映したバーチャルモール／ショップをリアルタイム構築することを可能とした仮想商店街店舗レイアウトシステムが開示されている。このシステムでは、利用者端末のマウスの動きから顧客の足跡データを、顧客に意思表示させることなく自動収集し、興味を示した商品情報を取得している。
特開２００１－３２５５３６号公報
　ところで昨今、スマートフォンを使用しながら歩くこと（歩きスマホ）の危険性が取り沙汰されている。上述した従来技術をスマートフォンに適用した場合、事故の危険があるため、徒歩や自転車で移動する際にショッピングをすることが困難である。
　そこで、本開示は、移動中でも安全にオンラインショッピング等の電子商取引を体験させることが可能なプログラム、情報処理方法、及び情報処理端末を提供することを目的とする。
　本発明の一態様に係るプログラムは、情報処理端末に、情報処理端末の位置を示す位置情報を取得するステップと、位置情報を情報処理装置に送信するステップと、情報処理装置から、位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、画像に対応する現実の空間又は画像のうち、取得された第１領域に１以上の商品に関する表示データを出力するステップと、を実行させる。
　本開示によれば、移動中でも安全にオンラインショッピング等の電子商取引を体験させることが可能である。
本実施形態に係るシステム概要を説明するための図である。 本実施形態に係る通信システムを示す図である。 本実施形態に係る通信システムのハードウェア構成例を示す図 実施形態に係るウェアラブル端末の外観の一例を示す図である。 本実施形態に係るサーバの機能構成の一例を示す図である。 商品ＤＢの一例を示す図である。 本実施形態に係る情報処理端末の各機能の一例を示す図である。 本実施形態に係る端末の各機能の一例を示す図である。 商品をサーバに登録する際の処理手順の一例を示すシーケンス図である。 ユーザの視界に商品を表示する際の処理手順の一例（その１）を示すシーケンス図である。 商品に関する表示データを表示する際の一例を示す図である。 ユーザの視界に商品を表示する際の処理手順の一例（その２）を示すシーケンス図である。 経路に沿って商品に関する表示データを表示する際の一例を示す図である。 ユーザと販売者との間でコミュニケーションが行われる際の処理手順の一例を示すシーケンス図である。 ユーザと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。 ユーザと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。 ユーザと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。
　添付図面を参照して、本開示の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　＜システム概要＞
　図１は、本実施形態に係るシステム概要を説明するための図である。本システムは、電子商取引（EC : Electric Commerce）の提供に用いられるシステムであり、ユーザＵが装着又は保持する情報処理端末１３０の一例として撮像部や出力部を有するメガネを用いる。例えば、情報処理端末１３０を装着したユーザＵは、街を散策中にウィンドウショッピングを行うことができる。情報処理端末１３０は、位置情報を、随時サーバに送信する。
　次に、サーバは、情報処理端末１３０から送信された位置情報に対応する商品に関する表示データをデータベースから取得し、情報処理端末１３０に送信する。「表示データ」とは、商品に関する情報（商品情報）を情報処理端末１３０に表示させるためのデータである。表示データは、３Ｄモデルデータ、２Ｄ（２次元）の画像データ（動画データを含む）及び、商品の割引情報を示すデータのうち少なくとも１つを含むものであってもよい。また、表示データは、更に、商品の属性を示す属性データを含んでいてもよい。属性データは、限定でなく例として、商品の名称、価格、仕様、品番、商品のカテゴリ名であってもよい。以下の説明では、特に断りが無い限り、サーバ１１０から情報処理端末１３０に送信される商品の表示データは、３Ｄモデルである前提で説明するが、表示データが３Ｄモデルに限定されることを意図しているのではない。
　情報処理端末１３０は、撮影したカメラ画像に基づいて、受信した表示データを表示する位置を決定する。情報処理端末１３０は、受信した表示データを、カメラ画像内の領域であって、ユーザＵの安全性（ユーザが通行する際の安全性又は重畳された表示データを視聴する際の安全性）に関する所定条件を満たす領域に表示する。ユーザＵの安全性に関する所定条件を満たす領域とは、限定でなく例として、ユーザＵが安全に立ち入ることが可能な場所として認識される領域、ユーザＵが安全に歩行可能な場所として認識される領域、安全上の理由によりユーザＵが立ち入ることが禁止されている領域以外の領域、及び、ユーザＵに危険が生じる可能性のある領域以外の領域等が挙げられる。
　ユーザＵが安全に歩行可能な場所として認識される領域を識別するための“所定条件”とは、限定でなく例として、カメラ画像から特定される領域に歩行者が写っていること、当該領域が縁石と建築物との間に挟まれた領域であること、当該領域が歩道を識別するための模様として予め登録された模様を有する領域であること等が挙げられる。また、安全上の理由によりユーザＵが立ち入ることが禁止されている領域以外の領域又はユーザＵに危険が生じる可能性のある領域以外の領域を識別するための“所定条件”とは、限定でなく例として、カメラ画像から特定される領域に自動車、車道中央線、車線境界線又は横断歩道が写っていないこと、進入禁止を示す標識や人が立ち入ることを禁止する文字列が写っていないこと、踏切、線路、砂利又は電車が写っていないこと、黄色の線状の点字ブロックが写っていないこと等が挙げられる。
　ユーザＵの安全性に関する所定条件を満たす領域の具体例としては、歩道、公園、公共エリア、建物の内部、立ち入り可能な敷地、私有地以外、危険な領域以外の領域、階段以外の領域、他人が立っている場所以外の領域、障害物が存在する領域以外の領域、障害物とユーザＵとの間の領域以外の領域、及び／又は、駅のホームの端にある黄色線又は白線の内側等が挙げられる。以下、ユーザＵの安全性に関する所定条件を満たす領域を、便宜上「安全領域」又は「第１領域」と称する。
　図１の例では、カメラ画像には車道Ｓ１と歩道Ｓ２とを含んでいる。例えば、情報処理端末１３０は、画像のピクセルを解析するセマンテックセグメンテーションの技術を用いたり、事前に現実の世界をスキャンすることで得られた３Ｄマップとカメラ画像とを照合したりすることで、車道Ｓ１と歩道Ｓ２との境界、車道Ｓ１の領域及び歩道Ｓ２の領域を特定する。そして、情報処理端末１３０は、３ＤモデルＤ１０の表示位置として、例えば車道Ｓ１の領域は不適切であると判定し、歩道Ｓ２の領域を表示位置に決定する。この結果、図１に示すように、例えば３ＤモデルＤ１０を歩道Ｓ２に沿って地面の上に表示することができる。
　このように、商品の３ＤモデルＤ１０が歩道上に表示されることで、ユーザＵは徒歩で移動しながらウィンドウショッピングをする感覚で商品を閲覧することができる。さらに、車道Ｓ１には商品の３ＤモデルＤ１０が表示されないよう制御されるため、ユーザＵが商品の閲覧に夢中になった場合でも、ユーザＵが車道に立ち入ってしまうことを防ぐことができる。なお、前述の通り、３ＤモデルＤ１０の表示位置の決定は、車道か歩道かに限定されない。例えば、私有地や危険な場所、屋内であれば階段上には表示されない構成でもよい。また、情報処理端末１３０が、障害物や人を特定して、当該障害物とユーザＵとの間には表示させないように制御してもよい。
　ユーザＵは、表示される３ＤモデルＤ１０をお気に入り登録することができる。例えば情報処理端末１３０は、視線追従技術やヘッドトラッキング、ポジショントラッキングを用いてユーザＵの視線上にある３ＤモデルＤ１０を特定するようにしてもよい。また、情報処理端末１３０は、ポジショントラッキングによって取得できた手の位置と、表示された３Ｄモデルとの距離が近づいた場合や、お互いの距離が近い状態でジェスチャをした場合も、ユーザＵが当該３Ｄモデルを選択したと判断する。また、ユーザＵが、スマートリングやジェスチャ、音声認識等を用いて、特定の商品について登録指示を出すと、情報処理端末１３０は、特定した３ＤモデルＤ１０をお気に入り登録するようにしてもよい。
　以上、システム概要について説明したが、事前に現実の世界をスキャンすることで得られた３Ｄマップの情報やBluetooth（登録商標）等に基づいて情報処理端末１３０の位置を推定可能な場合には、本実施形態にかかるシステムは、屋内で利用されても良い。
　＜システム構成＞
　図２は、本実施形態に係る通信システム１を示す図である。通信システム１は、図１を用いて説明した処理を実行するシステムであり、サーバ（情報処理装置）１１０、ウェアラブル端末１３０Ａ及び端末１３０Ｂ、端末１５０を備える。サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０は、インターネットや無線ＬＡＮ、Bluetooth（登録商標）、有線通信等の通信ネットワークＮを介して互いに通信可能に接続される。なお、通信システム１が備えるサーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ、端末１５０の数は１つに限られず、複数備えていてもよい。また、サーバ１１０は、１つの機器から構成されてもよいし、複数の機器から構成されてもよいし、クラウド上で実現されるサーバであってもよい。
　サーバ１１０は、ウェアラブル端末１３０Ａ又は端末１３０Ｂから位置情報を受信し、受信した位置情報に対応する商品に関する表示データを情報処理端末１３０に送信する。
　ウェアラブル端末１３０Ａは、例えば、拡張現実（AR : Augmented Reality）技術を利用可能なメガネ型端末（スマートグラス）、コンタクトレンズ型端末（スマートコンタクトレンズ）、ヘッドマウントディスプレイ、又は義眼等であってもよい。なお、ウェアラブル端末はＡＲ技術を用いるものに限定されず、調整現実（Mediated Reality）や、複合現実（Mixed Reality）、人工現実（Virtual Reality）、減損現実（Diminished Reality）等の技術を用いるものでもよい。
　端末１３０Ｂは、ユーザＵが利用する電子デバイスである。端末１３０Ｂは、例えば、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ：Personal Digital Assistant）、家庭用ゲーム機器等であってもよい。以下、ウェアラブル端末１３０Ａと端末１３０Ｂとを区別しない場合は、まとめて情報処理端末と称する。なお、情報処理端末１３０に端末１３０Ｂは必須の構成ではなく、ウェアラブル端末１３０Ａが端末１３０Ｂの機能を兼ねてもよいし、端末１３０Ｂの機能を有しない構成としてもよい。また、情報処理端末１３０に端末１３０Ａは必須の構成ではなく、ウェアラブル端末１３０Ａを有しない構成としてもよい。
　端末１５０は、商品の管理者が利用する情報処理端末である。端末１５０は、スマートフォン、タブレット端末、携帯電話機、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ:Personal Digital Assistant）、家庭用ゲーム機器等であってもよい。なお、商品の管理者は、限定でなく例として、商品の販売者、商品の卸業者、商品の説明者、商品の３Ｄモデルをサーバ１１０に登録する者等である。
　＜ハードウェア構成＞
　図３は、サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０のハードウェア構成例を示す図である。サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０は、ＣＰＵ（Central Processing Unit）１１、メモリ、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等の記憶装置１２、有線又は無線通信を行う通信ＩＦ（Interface）１３、入力操作を受け付ける入力デバイス１４、情報の出力を行う出力デバイス１５及びセンサ１６を有する。入力デバイス１４は、例えば、キーボード、タッチパネル、マウス、マイク、ユーザＵの身体に取り付けられた入力デバイス１４（例えば、スマートリングと呼ばれる指輪型のウェアラブル装置など）及び／又は撮像装置（２次元カメラ、深度（Depth）カメラ）等である。出力デバイス１５は、例えば、ディスプレイ（網膜走査型でもよい）及び／又はスピーカ等である。センサ１６は、例えば、ＧＰＳ測位センサ、ジャイロセンサ、地磁気センサ、視線検出センサ等である。
　なお、サーバ１１０、ウェアラブル端末１３０Ａ、端末１３０Ｂ及び端末１５０は、図３に示すハードウェアのうち一部が含まれない構成であってもよい。例えばサーバ１１０、端末１３０Ｂ及び端末１５０にはセンサ１６は含まれていなくてもよい。
　＜ウェアラブル端末１３０Ａの外観＞
　図４は、実施形態に係るウェアラブル端末１３０Ａの外観の一例を示す図である。ウェアラブル端末１３０Ａは、撮像部１２１０、ディスプレイ１１３６、フレーム１１３７、ヒンジ部１１３８及びテンプル１１３９を備える。
　撮像部１２１０は、画像（以下、特に断りのない限り、画像には動画を含む）を撮像するためのデバイスである。撮像部１２１０は、図示しないＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、レンズ等の撮像素子等を含んでいてもよい。撮像部１２１０は、ユーザＵの視線方向が撮像できる位置に設けられるとよい。また、ユーザの目を撮像可能であり、ユーザの視線が検出可能な位置に別の撮像部が設けられてもよい。
　ディスプレイ１１３６は、後述する出力部１３７の制御に基づいて、商品情報等の各種情報を表示する出力デバイス１５である。ディスプレイ１１３６は、ウェアラブル端末１３０Ａを装着したユーザＵが実空間の景観を視認可能なように可視光を透過させる部材で形成されていてもよい。例えば、ディスプレイ１１３６は、透明基板を用いた液晶ディスプレイや有機ＥＬディスプレイであってもよい。或いは、ディスプレイ１１３６は、表示する情報を人間の網膜に表示させる、網膜走査型のディスプレイであってもよい。
　フレーム１１３７は、ディスプレイ１１３６の外周を囲むように設けられ、ディスプレイ１１３６を衝撃等から保護する。フレーム１１３７は、ディスプレイ１１３６の外周全域にわたって設けられていてもよいし、一部に設けられていてもよい。フレーム１１３７は、例えば、金属や樹脂等で形成されていてもよい。
　ヒンジ部１１３８は、テンプル１１３９をフレーム１１３７に対して回動可能に接続する。テンプル１１３９は、フレーム１１３７の両端から延在する蔓であり、例えば、金属や樹脂等で形成されていてもよい。ウェアラブル端末１３０Ａは、フレーム１１３７から離間するように開かれたテンプル１１３９がユーザＵのこめかみ付近に位置するように装着される。
　テンプル１１３９は、一部が窪んだ係止部１１３９ａを有している。係止部１１３９ａは、ウェアラブル端末１３０Ａが装着された状態でユーザＵの耳に係るように位置し、ウェアラブル端末１３０ＡがユーザＵの頭部から脱落することを防止する。
　＜機能構成＞
　（サーバ１１０の機能構成）
　図５は、本実施形態に係るサーバ１１０の機能構成の一例を示す図である。図５に示す例では、サーバ１１０は、記憶部１１１、生成部１１２、登録部１１３、受信部１１４、特定部１１５、送信部１１６及び経路取得部１１７を備える。生成部１１２、登録部１１３、受信部１１４、特定部１１５、送信部１１６及び経路取得部１１７は、サーバ１１０のＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。また、記憶部１１１は、サーバ１１０が備える記憶装置１２を用いて実現することができる。
　記憶部１１１は、商品情報と、商品を表示させるべき位置を示す表示位置情報と、商品に関する表示データとを対応づけた商品ＤＢを記憶する。
　図６は、商品ＤＢの一例を示す図である。「商品ＩＤ」は、商品ＤＢにおいて商品を一意に識別する識別子である。「表示データ」には、３Ｄモデルデータ、画像データ、商品の割引情報を示すデータ及び／又は商品の属性データが格納される。３Ｄモデルデータには、３Ｄモデルを任意に動作させるデータが含まれていてもよい。例えば、glTF形式等のフォーマットで３Ｄモデルデータを生成することで、３Ｄモデルを動的に動作させることができる。「表示位置情報」には、表示データを表示させるべき位置（又は範囲）を示す情報が格納される。当該情報は、例えば、経度及び緯度で表現される情報であってもよいし、特定の場所を示す情報（例えば住所や公園等を示す情報）であってもよい。また、表示位置情報には、複数の表示位置情報が格納されていてもよい。つまり、表示データと表示位置情報とは１対１に対応づけられていてもよいし、１対Ｎ（複数）で対応づけられていてもよい。「管理者ＩＤ」には、商品の管理者を示す識別子が格納される。管理者ＩＤは、管理者が利用する端末１５０を呼び出すことが可能な情報が含まれていてもよい。当該情報は、例えば電話番号、メールアドレス、管理者が端末１５０上で利用するアプリケーションにより払い出されたＩＤ等であってもよい。
　なお、表示データは、商品の属性データに含まれる「商品のカテゴリ」に基づいて表示位置情報と紐付けられてもよい。例えば、スーツについてはオフィス街の表示位置情報を対応づけておき、日用品については住宅街の表示位置情報を対応づけておくことが考えられる。これにより、ユーザＵが住宅街にいる場合は、日用品が情報処理端末１３０に表示され、ユーザＵがオフィス街にいる場合は、スーツが情報処理端末１３０に表示される。図５に戻り説明を続ける。
　生成部１１２は、商品を撮影した撮影データから、商品に関する表示データを生成する。例えば、生成部１１２は、商品の周囲を撮影した複数枚の画像データ又は動画データを解析することで、商品に関する表示データを生成する。商品の撮影は、例えば商品に関連する所定のユーザが行い、当該ユーザが利用する端末１５０からサーバ１１０に商品の撮影データが送信されることとしてもよい。
　商品に関連する所定のユーザは、限定でなく例として、商品を提供する店舗のユーザ（管理者等）でもよいし、店舗の利用者でもよいし、システム提供者であってもよい。また、表示データは、システム提供者や、システム提供者により依頼されたベンダーなどが生成してもよい。さらに表示データは、リアルタイムに生成されてもよい。
　登録部１１３は、商品に関する表示データと表示位置情報とを対応づけて商品ＤＢに格納する。商品と表示位置情報との対応付けは、商品に関連する所定のユーザが行うようにしてもよいしシステム提供者等が行うことしてもよい。商品を登録する所定のユーザに対し、例えば、マップ（２次元でも３次元でもよい）上に商品を配置することで商品と表示位置情報を対応づけることができる機能を提供するようにしてもよい。
　受信部１１４は、情報処理端末１３０から、情報処理端末１３０の位置を示す位置情報を受信する。また、受信部１１４は、情報処理端末１３０で撮影された画像データを受信する。
　特定部１１５は、記憶部１１１に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、受信部１１４が受信した位置情報により示される位置から所定範囲内に存在する表示位置情報に関連付けられた、１以上の商品に関する表示データを特定する。例えば、特定部１１５は、情報処理端末１３０の位置から所定範囲内に表示位置情報が存在する表示データを商品ＤＢの中から検索することで、表示データを特定してもよい。
　送信部１１６は、撮像部により撮影される画像内の領域であって、ユーザＵの安全性に関する所定条件を満たす領域に表示される１以上の商品に関する表示データを情報処理端末１３０に送信する。
　経路取得部１１７は、ユーザＵの現在位置から、ユーザＵが希望する目的地までの経路を例えば地図データ等を検索することで取得する。
　（情報処理端末１３０の機能構成）
　図７は、本実施形態に係る情報処理端末１３０の各機能の一例を示す図である。図７に示す例では、情報処理端末１３０は、位置取得部１３１、送信部１３２、受信部１３３、撮像部１３４、特定部１３５、取得部１３６、出力部１３７及び受付部１３８を備える。位置取得部１３１、送信部１３２、受信部１３３、撮像部１３４、特定部１３５、取得部１３６、出力部１３７及び受付部１３８は、情報処理端末１３０のＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。このプログラムは、サーバ１１０からダウンロードされて情報処理端末１３０にインストール可能なプログラム（アプリケーション）であってもよい。
　位置取得部１３１は、情報処理端末１３０自身の位置を示す位置情報を取得する。位置取得部１３１は、位置情報について、公知のＧＰＳやＢｅａｃｏｎ、ＶＰＳ（Visual Positioning Service）を用いて情報処理端末１３０の位置情報を取得してもよい。
　送信部１３２は、位置取得部１３１で取得された位置情報をサーバ１１０に送信する。また、送信部１３２は、後述する受付部１３８が受け付けた商品を識別する情報をサーバ１１０に送信するようにしてもよい。
　受信部１３３は、サーバ１１０から、情報処理端末１３０の位置情報に対応づけられる１以上の商品に関する表示データを受信する。また、受信部１３３は、サーバ１１０から、１以上の商品の属性データを受信するようにしてもよい。
　また、受信部１３３は、サーバ１１０又は他の情報処理装置（例えば端末１５０）から、安全領域に表示する１以上の商品に含まれる特定の商品（第１商品）についての管理者（販売元のユーザ）を撮影することで得られる、管理者の表示データを受信するようにしてもよい。管理者の表示データは、限定でなく例として、管理者を撮影した動画、又は、管理者の周囲を撮影することで生成された、管理者の３Ｄモデルデータであってもよい。
　撮像部１３４は、入力デバイス１４（撮像装置）を用いて、撮像装置が向いている方向の画像を撮影する。
　特定部１３５は、撮像部１３４により撮影された画像内の領域から安全領域を特定する。特定部１３５が安全領域を特定する方法については後述する。
　取得部１３６は、特定部１３５にて特定された、撮影された画像内の領域のうち安全領域を示す情報を、特定部１３５から取得する。なお、特定部１３５は、情報処理端末１３０ではなく、サーバ１１０側に実装するようにしてもよい。この場合、送信部１３２は、撮像部１３４で撮影された画像をサーバ１１０に送信し、取得部１３６は、サーバ１１０から、撮影された画像内の領域のうち安全領域を示すデータを取得する。
　また、取得部１３６は、サーバ１１０又は他の情報処理装置（例えば端末１５０）から、ユーザが移動する経路を示す経路情報を取得するようにしてもよい。ユーザが移動する経路とは、歩行者用ナビゲーションサービス等を用いて生成された、現在位置から、ユーザが指定した目的地までの歩行経路である。
　出力部１３７は、撮像部１３４で撮影された画像又は動画に対応する現実の空間又は撮像部１３４で撮影された画像又は動画のうち、取得部１３６が取得した安全領域に１以上の商品に関する表示データを出力する。
　情報処理端末１３０がウェアラブル端末１３０Ａである場合、出力部１３７は、表示データを、ユーザが肉眼で視認する安全領域と重なる位置に出力する。例えば、出力デバイス１５が透明基板を用いた液晶ディスプレイや有機ＥＬディスプレイである場合、出力部１３７は、ユーザが透明基盤を介して視認する安全領域と重なる位置に、表示データを表示する。例えば、出力デバイス１５が網膜走査型のディスプレイである場合、出力部１３７は、ユーザの網膜のうち、安全領域が網膜に写る領域と重なる領域に向けて表示データを出力する。また、情報処理端末１３０が端末１３０Ｂである場合、出力部１３７は、表示データを、撮像部１３４で撮影された画像内の領域のうち安全領域と重なる位置に表示する。
　なお、出力部１３７は、安全領域の境界に沿って１以上の表示データを配置して出力するようにしてもよい。安全領域の境界とは、例えば、安全領域及び安全領域以外の領域の境目から、所定の距離（例えば、現実世界において１メートルや２メートルなど）、安全領域側に入った位置との間の領域であってもよい。
　また、出力部１３７は、受信部１３３で受信した管理者に関する表示データを、安全領域に表示する１以上の商品に含まれる特定の商品（第１商品）の表示データと対応づけて出力ようにしてもよい。例えば、出力部１３７は、当該特定の商品の隣に、管理者に関する表示データを出力するようにしてもよい。これにより、ユーザは、特定の商品について、管理者による説明を受けながら商品の選択を行うことが可能になる。
　また、出力部１３７は、安全領域に１以上の商品に関する表示データを出力する際、取得部１３６により取得された、ユーザが移動する経路を示す経路情報により示される経路に沿って、１以上の商品に関する表示データを出力するようにしてもよい。これにより、ユーザの歩行経路上に表示データが表示されることになるため、ユーザは、目的地まで移動する間に、経路を外れることなく、ウィンドウショッピングをする感覚で商品を閲覧することが可能になる。
　また、出力部１３７は、１以上の商品に関する表示データに含まれる特定の表示データ（第１表示データ）に近づく方向に情報処理端末１３０が移動すると、当該特定の表示データに対応する商品の属性データを出力するようにしてもよい。出力部１３７は、表示データを最初に出力した位置を記憶しておき、当該位置とユーザＵの現在位置（情報処理端末１３０の現在位置）とを比較することで、表示データに情報処理端末１３０が近づいたのか否かを判定することができる。
　例えば、出力部１３７は、ユーザＵが表示データに近づくと商品の名称や価格等を表示データ付近に表示させ、ユーザＵが表示データから離れると商品の名称や価格等を表示しないように切り替えてもよい。これにより、多数の商品に関する表示データが画面内に表示されている場合であっても、商品の名称や価格等の文字が大量に表示されることによる視認性の劣化を防止することが可能になる。
　受付部１３８は、出力部１３７より出力された１以上の商品に関する表示データの中から、当該１以上の商品の選択を受け付ける。例えば、受付部１３８は、入力デバイス１４を用いたユーザの指示を検出することで商品の選択を受け付けるようにしてもよい。若しくは、受付部１３８は、撮像部１３４により撮影された画像を解析し、ユーザが特定のジェスチャを行ったことを検出することで、商品の選択を受け付けるようにしてもよい。若しくは、受付部１３８は、センサ１６である視線検出センサを用いて、ユーザの視線が所定の時間向いている商品を検出することで、商品の選択を受け付けるようにしてもよい。
　（端末１５０の機能構成）
　図８は、本実施形態に係る端末１５０の各機能の一例を示す図である。図８に示す例では、端末１５０は、送信部１５１、受信部１５２、撮像部１５３、位置取得部１５４、表示部１５５及び生成処理部１５６を備える。送信部１５１、受信部１５２、撮像部１５３、位置取得部１５４、表示部１５５及び生成処理部１５６は、端末１５０のＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。このプログラムは、サーバ１１０からダウンロードされて端末１５０にインストール可能なプログラム（アプリケーション）であってもよい。
　送信部１５１は、サーバ１１０又は情報処理端末１３０に対して各種の情報を送信する。受信部１５２は、サーバ１１０又は情報処理端末１３０から各種の情報を受信する。
　撮像部１５３は、入力デバイス１４（撮像装置）を用いて、商品又は商品の管理者の画像を撮影する。撮像装置は、端末１５０に内蔵された撮像装置であってもよいし、端末１５０に接続された複数の撮像装置であってもよい。当該複数の撮像装置とは、例えば、商品又は商品の管理者を囲むように配置された複数の撮像装置であってもよい。撮像部１５３は、撮影した画像を、送信部１５１を介してサーバ１１０に送信する。
　位置取得部１５４は、端末１５０自身の位置を示す位置情報を取得する。位置取得部１５４は、位置情報について、公知のＧＰＳやＢｅａｃｏｎ、ＶＰＳを用いて情報処理端末１３０の位置情報を取得してもよい。
　表示部１５５は、出力デバイス１５であるディスプレイに所定の情報を表示する。例えば、表示部１５５は、受信部１５２が情報処理端末１３０より受信した、情報処理端末１３０を用いてユーザＵが見ている画像と同一の画像をディスプレイに表示するようにしてもよい。このとき、ディスプレイは、端末１５０が備えるディスプレイであってもよいし、端末１５０と通信可能な外部のディスプレイであってもよい。
　＜処理手順＞
　以下、本実施形態の通信システム１が行う処理手順を説明する。以下の説明では、情報処理端末の一例として、ウェアラブル端末１３０Ａのメガネ型端末（スマートグラス）を用いて説明する。また、商品に関する表示データは商品の３Ｄモデルデータを含むものとして説明する。また、商品の管理者は、商品の販売者であるものとして説明する。
　（商品の登録）
　図９は、商品をサーバ１１０に登録する際の処理手順の一例を示すシーケンス図である。図９を用いて、商品の販売者が、ユーザＵに向けて販売する商品の出品を行うために、商品をサーバ１１０に登録する際の処理手順を説明する。
　ステップＳ１００で、商品の販売者は、端末１５０を操作することで、サーバ１１０に商品を登録するための準備を行う。商品を登録するための準備とは、例えば、商品の登録を行う機能を備えるアプリケーションを起動する等の操作や、カメラを起動する操作等を含む。
　ステップＳ１０１で、販売者は、端末１５０が備える撮像装置又は端末１５０に接続された１又は複数の撮像装置を用いて商品の周囲を撮影する。
　ステップＳ１０２で、端末１５０の送信部１５１は、撮影された商品の周囲を撮影した動画をサーバ１１０に送信する。
　ステップＳ１０３で、サーバ１１０の生成部１１２は、端末１５０から受信した動画を解析することで、商品の３Ｄモデルデータを生成する。生成部１１２は、例えば、動画から３Ｄモデルを生成するＡＰＩ（Application Programming Interface）を提供しており、当該ＡＰＩに動画データを入力することで、商品の３Ｄモデルデータを生成するようにしてもよい。若しくは、当該ＡＰＩはサーバ１１０とは異なる外部の情報処理装置により提供されており、生成部１１２は、当該外部の情報処理装置が提供するＡＰＩを利用して商品の３Ｄモデルデータを生成するようにしてもよい。
　ステップＳ１０４で、サーバ１１０の送信部１１６は、生成された３Ｄモデルデータを端末１５０に送信する。
　ステップＳ１０５で、端末１５０の位置取得部１５４は、端末１５０自身の現在地を取得する。また、端末１５０の位置取得部１５４は、ユーザにより指定された位置情報を取得してもよい。
　ステップＳ１０６で、販売者は、端末１５０を操作することで、商品を表示させる表示位置を指定する。販売者は、ステップＳ１０５で取得した位置情報を表示位置に指定してもよいし、地図画面等にて表示位置を直接指定するようにしてもよい。表示位置を直接指定する際、販売者は、２次元の地図のみならず、３次元の地図で表示位置を指定（例えば、ビルの３階にある所定のフロアを指定する等）してもよいし、現実の場所（例えば、現在位置を指定する等）を指定してもよい。続いて、販売者は、指定した表示位置情報と３Ｄモデルデータとを対応づけてサーバ１１０に登録することを端末１５０に指示する。
　ステップＳ１０７で、端末１５０の送信部１５１は、表示位置情報と３Ｄモデルデータとを含む登録データをサーバ１１０に送信する。
　ステップＳ１０８で、サーバ１１０の登録部１１３は、受信した表示位置情報と３Ｄモデルデータとを対応づけて商品ＤＢに登録する。
　以上説明した処理手順において、ステップＳ１０４の処理手順は省略され、ステップＳ１０６の処理手順において、端末１５０は、位置情報のみを含む登録データをサーバ１１０に送信するようにしてもよい。例えばデータサイズが大きい３Ｄモデルデータを端末１５０に送信せずにサーバ１１０内に一時的に記憶しておくことで、端末１５０及びサーバ１１０間のデータ通信量を削減することができる。
　また、ステップＳ１０６の処理手順において、販売者は、商品の属性データ（商品名、価格等）を端末１５０に入力するようにしてもよい。端末１５０の送信部１５１は、ステップＳ１０７にて入力された属性データを、表示位置情報及び表示データと共にサーバ１１０に送信するようにしてもよい。また、サーバ１１０の登録部１１３は、ステップＳ１０８にて、表示位置情報と表示データと属性データとを商品ＤＢに登録するようにしてもよい。
　（商品の表示（その１））
　図１０は、ユーザの視界に商品を表示する際の処理手順の一例（その１）を示すシーケンス図である。図１０を用いて、サーバ１１０に登録された商品が、ＡＲ技術によりユーザＵの視界に表示される際の処理手順を説明する。
　ステップＳ２００で、ユーザＵは、ウェアラブル端末１３０Ａを装着しながら移動する。
　ステップＳ２０１で、ウェアラブル端末１３０Ａの位置取得部１３１は、ユーザの移動と共に位置情報を取得する。
　ステップＳ２０２で、ウェアラブル端末１３０Ａの送信部１３２は、取得した位置情報をサーバ１１０に送信する。
　ステップＳ２０３で、サーバ１１０の特定部１１５は、ウェアラブル端末１３０Ａの位置から所定範囲内（例えば、ウェアラブル端末１３０Ａの位置から半径３０ｍ、５０ｍ、１００ｍなど）に表示位置情報が存在する表示データを商品ＤＢの中から検索することで、１以上の商品に関する表示データを取得する。
　ステップＳ２０４で、サーバ１１０の送信部１１６は、取得した１以上の商品に関する表示データをウェアラブル端末１３０Ａに送信する。
　ステップＳ２０５で、ウェアラブル端末１３０Ａの位置取得部１３１は、センサ１６である加速度センサ及び磁気センサを使用し、ウェアラブル端末１３０Ａの向きを取得する。ウェアラブル端末１３０Ａの向きは、例えば、特定の方向（例えば北など）を基準とした場合におけるウェアラブル端末１３０Ａの正面方向の角度、地表面を基準とした場合におけるウェアラブル端末１３０Ａの水平面の角度、ウェアラブル端末１３０Ａの回転角の３つで表現され、ユーザの視線方向を示している。
　ステップＳ２０６で、ウェアラブル端末１３０Ａの撮像部１３４は、ユーザが向いている方向の現実の世界を撮影する。また、ウェアラブル端末１３０Ａの取得部１３６は、撮像部１３４により撮影された画像内の領域から特定部１３５により特定された安全領域の範囲を示す情報を取得する。
　ここで、ウェアラブル端末１３０Ａの特定部１３５は、例えば、撮影された画像のピクセルをセマンテックセグメンテーション技術やインスタンスセグメンテーション技術等を用いて、各ピクセルを分類分けすることで、画像の中から安全領域を特定するようにしてもよい。例えば、歩道と車道と建造物を分類分けする能力を学習した学習済みモデルを予め用意しておき、撮影された画像を当該学習済みモデルに入力することで、画像内において歩道が写っている領域と、車道が写っている領域と、建造物が写っている領域とを分類分けするようにしてもよい。例えば、安全領域ではない領域が予め設定され、特定部１３５は、学習により分類された領域が、設定された領域でなければ安全領域であると特定してもよい。逆に、安全領域が予め設定され、特定部１３５は、学習により分類された領域が、設定された領域であれば安全領域であると特定してもよい。これにより特定部１３５は、撮影された画像のうち歩道に該当する領域については安全領域であると特定することができる。
　また、ウェアラブル端末１３０Ａの特定部１３５は、例えば、撮影された画像のピクセルをセマンテックセグメンテーション技術やインスタンスセグメンテーション技術等を用いて、各ピクセルを分類分けすることで画像を複数の領域に区分けし、各々の領域が、上述したユーザＵの安全性に関する“所定条件”を満たすか否か（つまり各々の領域が安全領域であるか否か）を画像分析により判定するようにしてもよい。
　また、特定部１３５は、事前に現実の世界をスキャンすることで得られた、道路、歩道、建物等の３次元形状と各形状のカテゴリ（歩道、車道、建造物など）とが対応づけられた３Ｄマップ情報を用いて、撮像部１３４により撮影された画像内の領域から安全領域を特定するようにしてもよい。３Ｄマップ情報は、情報処理端末１３０が備える記憶装置１２に格納されていてもよい。例えば、特定部１３５は、撮像部１３４により撮影された画像と３Ｄマップ情報とを照合することで、画像内において歩道が写っている領域と、車道が写っている領域と、建造物が写っている領域とを分類分けするようにしてもよい。これにより特定部１３５は、撮影された画像のうち歩道に該当する領域については安全領域であると特定することができる。
　また、３Ｄマップ情報には、安全領域の範囲を示すデータが含まれていてもよい。例えば、歩道や公園等には安全領域を示すデータが予め付与されていてもよい。特定部１３５は、撮像部１３４により撮影された画像と３Ｄマップ情報とを照合することで、安全領域を特定することができるため、安全領域を特定する処理を高速化することができる。
　また、特定部１３５は、安全領域の特定を、撮像部１３４により撮影された画像内に含まれる複数の情報をかけ合わせて（組み合わせて）行うようにしてもよい。例えば、画像内の領域のうち、白線、自動販売機、及び、駅名が書いている看板等が含まれている領域については、安全領域ではないと判定するようにしてもよい。この場合には、ユーザＵは駅のホームにいる可能性が高く、３Ｄモデルを表示させると転落の危険があると考えられるためである。なお、特定部１３５は、画像内に危険な領域が存在するか否かを判断するようにしてもよい。特定部１３５が危険な領域が存在すると判断した場合、出力部１３７は、ユーザＵへの警告のために３次元又は２次元オブジェクトによるアラートや危険な領域（マンホール等）を避けるためのルートを出力するようにしてもよい。
　ステップＳ２０７で、出力部１３７は、ユーザが認識する視野角の範囲の空間のうち安全領域の地表面に、ステップＳ２０４でサーバ１１０から受信した１以上の商品に関する表示データを出力する。もし、安全領域に該当する空間が存在しない場合、出力部１３７は、表示データを出力しない。また、サーバ１１０から複数の表示データを受信した場合、出力部１３７は、複数の表示データを、所定の間隔で並べて出力するようにしてもよい。
　例えば、サーバ１１０からウェアラブル端末１３０Ａに通知される商品に関する表示データには表示位置情報を含めておき、出力部１３７は、商品に関する表示データが、表示位置情報で示される位置に表示されるように制御するようにしてもよい。なお、同一の販売者が複数の商品を登録している場合、複数の表示データが同一の表示位置情報を有していることが想定される。この場合、各々の表示データが重ならないようにするため、出力部１３７は、各表示データの表示位置を所定の範囲内で移動させるようにしてもよい。
　また、表示位置情報で示される位置が、緯度経度で示される具体的な位置ではなく、公園内といったように大まかな位置である場合、出力部１３７は、出力データを出力する具体的な位置を自ら決定して記憶しておくようにしてもよい。例えば、表示位置情報が公園内である場合、出力部１３７は、公園内のうち任意の場所を、表示データを出力する位置として決定するようにしてもよい。
　また、表示位置情報で示される位置が安全領域ではない場合で、かつ、表示位置情報から所定の範囲内に安全領域が存在する場合、出力部１３７は、当該安全領域内に表示位置を移動させるようにしてもよい。表示位置情報が安全領域ではない場所に設定されている場合に、商品に関する表示データが表示されず埋もれてしまうことを抑止することができる。
　ステップＳ２０８で、ユーザＵは、視界に表示された商品の３Ｄモデルを視認することで、ウィンドウショッピングを楽しむことができる。
　以上説明したステップＳ２０１乃至ステップＳ２０４の処理手順は、ユーザの移動に応じて繰り返し実行される。これにより、ステップＳ２０４の処理手順にてサーバ１１０からウェアラブル端末１３０Ａに送信される表示データは、ユーザの移動に応じて変更（更新）されることになる。例えば、サーバ１１０は、ある商品に関する表示データについて、ウェアラブル端末１３０Ａが当該商品の表示位置情報から所定範囲内に入った場合、当該商品に関する表示データをウェアラブル端末１３０Ａに送信し、ウェアラブル端末１３０Ａが表示位置情報から所定範囲外に出た場合に、表示データの表示を中止すべきことをウェアラブル端末１３０Ａに通知するようにしてもよい。
　例えば、商品Ａの表示位置情報は、緯度及び経度で具体的に指定された地点Ａであると仮定する。また、サーバ１１０は、ウェアラブル端末１３０Ａの現在位置から２０ｍ以内に表示位置情報が含まれる表示データをウェアラブル端末１３０Ａに送信するものとする。この場合、ウェアラブル端末１３０Ａを装着したユーザＵが移動し、ユーザＵと地点Ａとの距離が２０ｍ以内になった場合、サーバ１１０は、商品Ａに関する表示データをユーザＵに送信する。この状態では、ユーザＵが商品Ａの表示位置情報が示す地点を向いた場合に、ユーザＵの視界に商品Ａに関する表示データが表示される。続いて、ユーザＵが移動し、ユーザＵと地点Ａとの距離２０ｍ以上になった場合、サーバ１１０は、商品Ａに関する表示データの表示を中止すべきことをウェアラブル端末１３０Ａに通知する。この状態では、ユーザＵが商品Ａの表示位置情報が示す地点を向いても、ユーザＵの視界に商品Ａに関する表示データは表示されない。
　図１１は、商品に関する表示データを表示する際の一例を示す図である。図１１のうち領域Ｓ１は車道であり、領域Ｓ２は歩道であり、領域Ｓ３は植え込みであり、領域Ｓ４は建築物である。安全領域は領域Ｓ２であると仮定し、ウェアラブル端末１３０Ａがサーバ１１０から受信した表示データには、Ｄ１０－１～Ｄ１０－４までの４体分の３Ｄモデルデータが含まれているとする。
　ウェアラブル端末１３０Ａの取得部１３６は、撮像部１３４により撮影された画像Ｐ１から、安全領域である領域Ｓ２の範囲を取得する。また、出力部１３７は、取得した領域Ｓ２に、４体の３ＤモデルデータＤ１０－１～Ｄ１０－４を重畳表示する。このとき、出力部１３７は、３ＤモデルデータＤ１０－１～Ｄ１０－４を最初に表示した位置を記憶しておき、ウェアラブル端末１３０Ａの向きや現在位置が変わった場合（つまり顔の向きが変わった場合やユーザＵが移動した場合）でも、３ＤモデルデータＤ１０－１～Ｄ１０－４の表示位置が変化しないように表示位置を制御する。例えば、図１１に示す状態でユーザＵが後ろを向いた場合は３ＤモデルデータＤ１０－１～Ｄ１０－４は視界から消えることになる。また、例えばユーザＵが画像Ｐ１の奥に向かってまっすぐ直進した場合、３ＤモデルデータＤ１０－１、３ＤモデルデータＤ１０－２、３ＤモデルデータＤ１０－３、３ＤモデルデータＤ１０－４の順に３Ｄモデルが視界から消えることになる。
　また、ユーザＵが移動することで特定の表示データに近づくと、出力部１３７は、当該表示データの商品に関する属性データを出力する。例えば、ユーザＵが商品Ｄ１０－４に興味を持って近づいた場合、商品Ｄ１０－４の３Ｄモデルの周囲に、商品名や価格等の属性データが表示される。
　また、ウェアラブル端末１３０Ａの受付部１３８は、ユーザＵが特定の商品の方を所定の時間向いていることを、視線検出センサを用いて検出することで、ユーザＵがスマートリング等のウェアラブルデバイスを操作して特定の商品を指定したことを検出することで、又は、ユーザが音声にて特定の商品を指定したことを音声認識技術を用いて検出することで、商品の選択を受け付ける。受付部１３８が受け付けた商品を示す情報はサーバ１１０に送信され、ユーザＵのお気に入り商品としてサーバ１１０に登録されるようにしてもよいし、その商品についての購入処理が実行されるようにしてもよい。
　図１１の例では、出力部１３７は、複数の商品に関する表示データを、領域Ｓ２の左端に配置しているが、これに限定されない。出力部１３７は、商品に関する表示データを、領域Ｓ２の横方向に所定の間隔で配置するようにしてもよいし、領域Ｓ２の右端に並べて配置するようにしてもよい。
　（商品の表示（その２））
　商品の表示（その２）では、ユーザＵは、歩行者用ナビゲーションを利用する前提とし、商品に関する表示データを、目的地までのルートに沿って表示する。
　図１２は、ユーザの視界に商品を表示する際の処理手順の一例（その２）を示すシーケンス図である。
　ステップＳ３００～ステップＳ３０４は、それぞれ図１０のステップＳ２００～ステップＳ２０４の処理手順と同一であるため説明は省略する。
　ステップＳ３０５で、ウェアラブル端末１３０Ａの送信部１３２は、ウェアラブル端末１３０Ａの現在位置と、ユーザＵが希望する目的地とをサーバ１１０に送信する。
　ステップＳ３０６で、サーバ１１０の経路取得部１１７は、地図データ等を検索することで現在位置から目的地までの経路（ルート）を取得する。また、サーバ１１０の送信部１１６は、取得した経路を示す経路データをウェアラブル端末１３０Ａに送信する。経路データは、緯度及び経度により示される位置（ウェイポイント）を複数並べることで経路を表現するデータであってもよいし、地図上に割り振られたノード（交差点）の識別子と及びリンク（交差点間を結ぶ線）の識別子を組み合わせることで経路を表現するデータであってもよい。後者の場合、情報処理端末１３０にも当該地図データが格納されており、情報処理端末１３０が、ノードの識別子及びリンクの識別子から、経路を示す線分を緯度及び経度を認識できるようにしてもよい。
　ステップＳ３０７及びステップＳ３０８は、それぞれ、図１０のステップＳ２０５及びステップＳ２０６の処理手順と同一であるため説明は省略する。
　ステップＳ３０９で、出力部１３７は、ステップＳ３０６の処理手順で取得した、ユーザＵが移動する経路を示す経路情報により示される経路に沿って表示データを出力する。出力部１３７は、ステップＳ３０６の処理手順で受信した経路データを用いて、ＡＲ表示すべき経路の画像を作成し、作成したルートを表示データと共に出力するようにしてもよい。例えば、出力部１３７は、ウェアラブル端末１３０Ａの現在位置、向き及び／又はカメラ画像と経路データとを照合することでディスプレイ１１３６上において経路を描画すべき位置を特定し、特定した位置に経路の画像を表示するようにしてもよい。
　ステップＳ３１０で、ユーザＵは、経路に沿って表示された商品の３Ｄモデルを視認することで、目的地まで歩行しながらウィンドウショッピングを楽しむことができる。
　図１３は、経路に沿って商品に関する表示データを表示する際の一例を示す図である。図１３のうち領域Ｓ１は車道であり、領域Ｓ２－１及び領域Ｓ２－２は歩道であり、領域Ｓ４は建築物である。安全領域は領域Ｓ２－１及び領域Ｓ２－２であるとし、ウェアラブル端末１３０Ａがサーバ１１０から受信した表示データには、Ｄ１１－１～Ｄ１１－７までの７体分の３Ｄモデルデータが含まれているとする。また、経路Ｒは、現在地から目的地までの経路を示す画像である。なお、画像Ｐ２は、説明の便宜上、ユーザＵの視点よりも上から見た視点で図示しているが、ウェアラブル端末１３０Ａを通じてユーザＵが視認する視界は、前述した図１１のように、路面に近い位置になる。経路を示す画像は、線分でもよいし点線でもよいし、ユーザＵの進行方向を示す矢印でもよい。
　ウェアラブル端末１３０Ａの取得部１３６は、撮像部１３４により撮影された画像Ｐ２から、安全領域である領域Ｓ２－１及び領域２－２の範囲を取得し、出力部１３７は、取得した領域Ｓ２－１及び領域Ｓ２－２に、７体の３ＤモデルデータＤ１１－１～Ｄ１１－７を重畳表示する。このとき、出力部１３７は、３ＤモデルデータＤ１１－７～Ｄ１１－７を最初に表示した位置を記憶しておき、ウェアラブル端末１３０Ａの向きや現在位置が変わった場合（つまりユーザＵの顔の向きが変わった場合やユーザＵが移動した場合）でも、３ＤモデルデータＤ１１－１～Ｄ１１－７の表示位置が変化しないように表示位置を制御する。例えば、図１２に示す状態でユーザＵが後ろを向いた場合は３ＤモデルデータＤ１１－１～Ｄ１１－７は視界から消えることになる。また、ユーザＵが経路Ｒに沿って移動すると、３ＤモデルデータＤ１１－１、３ＤモデルデータＤ１１－２、３ＤモデルデータＤ１１－３の順に視界から消えていき、ユーザが交差点を渡って左折するために左を向くと、３ＤモデルデータＤ１１－５～Ｄ１１－７がユーザの視界の正面に表示される。
　（ユーザＵと商品の管理者との間のコミュニケーション）
　本実施形態では、商品の管理者とユーザＵとが直接コミュニケーションを行うことを可能としてもよい。
　図１４は、ユーザと販売者との間でコミュニケーションが行われる際の処理手順の一例を示すシーケンス図である。
　ステップＳ４００で、ウェアラブル端末１３０Ａの受付部１３８は、ユーザＵから、特定の商品（以下、商品Ａとする）について管理者とコミュニケーションを取りたいとの指示を受け付ける。受付部１３８は、例えば、ユーザＵが商品Ａの方を向きながら特定のジェスチャを行ったことを検出した場合に、ユーザＵが、商品Ａの管理者とコミュニケーションを取りたいことを指示していると認識するようにしてもよい。
　ステップＳ４０１で、送信部１３２は、商品ＤＢのうち商品Ａの管理者ＩＤに含まれる、端末１５０を呼び出すことが可能な情報（電話番号、メールアドレス又は所定のＩＤ等）を取得し、管理者ＩＤに対応する端末１５０を呼び出すメッセージを、サーバ１１０に送信する。
　ステップＳ４０２で、サーバ１１０は、端末１５０を呼び出す。
　ステップＳ４０３及びステップＳ４０４で、ウェアラブル端末１３０Ａと端末１５０との間で、サーバ１１０を介して通信経路が確立される。この状態で、ウェアラブル端末１３０Ａと端末１５０との間で音声又は動画による会話が可能になる。つまり、ユーザＵがウェアラブル端末１３０Ａを介して見る世界は路店のようになっており、管理者（売り手）は待機中のユーザＵ（買い手）との間で、質問を受けたり商品の詳細を説明したりといった会話をすることが可能になる。
　なお、動画で会話を行う場合、端末１５０の撮像部１５３で管理者を撮影した動画が、ウェアラブル端末１３０Ａに出力される商品Ａの表示データの隣に２Ｄ画像として出力されるようにしてもよい。
　ステップＳ４０５で、商品の管理者は、端末１５０のディスプレイに表示される、商品Ａの画像の上を操作することで、商品Ａの画像の上に所定の描画を行う。
　ステップＳ４０６及びステップＳ４０７で、商品Ａの画像の上に描画された内容を示す操作データがサーバ１１０を介してウェアラブル端末１３０Ａに送信される。
　ステップＳ４０８で、ウェアラブル端末１３０Ａの出力部１３７は、商品Ａの表示データの上に、端末１５０のディスプレイ上で商品Ａの画像の上に描画された内容と同一の内容を描画する。
　図１５は、ユーザＵと商品の管理者との間で行われるコミュニケーション手法の一例を示す図である。図１５のＡは、ユーザＵがウェアラブル端末１３０Ａを介して認識している商品Ａの表示データを示しており、図１５のＢは、商品Ａの管理者が利用する端末１５０の画面の表示例を示している。
　例えば、図１５のＢに示すように、管理者が商品Ａのネック部分を円Ｃで囲った場合、図１５のＡに示すように、ユーザＵが見ている商品Ａの３Ｄモデルデータ上にも円Ｃが重畳されて表示される。
　これにより、管理者は、ユーザＵに商品Ａを説明する際に、音声等に加えて、線や円などの描画を商品Ａの上に重畳表示させながら、つまり、線や丸などの印を管理者（販売者）とユーザＵ（購入者）との間で共有し合いながら説明をすることが可能になる。
　なお、図１６に示すように、操作データに代えて管理者自身の３Ｄモデルデータ（リアルタイム３Ｄキャプチャデータ）Ｓを端末１５０からサーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信することで、管理者の３ＤモデルデータＳを、ユーザＵがウェアラブル端末１３０Ａを介して視認している商品Ａの３Ｄモデルデータの隣に表示させるようにしてもよい。
　この場合、図１６のＡに示すように、端末１５０は、端末１５０に接続された複数台の撮像装置（図１６のＡの例では撮像装置ＣＡ１～ＣＡ３）を用いて、管理者自身の３ＤモデルデータＳを生成するようにしてもよい。また、端末１５０の送信部１５１は、生成された管理者の３ＤモデルデータＳを、サーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信するようにしてもよい。これにより、図１６のＡに示すように、ユーザＵが見ている商品Ａの３Ｄモデルデータの隣に、商品Ａの管理者の３ＤモデルデータＳを表示することができる。なお、ユーザＵがウェアラブル端末１３０Ａを介して認識している画像は、端末１５０に送信されるようにしてもよい。管理者は、商品Ａの位置と自身の３ＤモデルデータＳとの位置関係を把握しながら説明をすることができる。
　なお、図１６の例では、端末１５０は、撮像装置Ｃ１～Ｃ３により撮像された画像から管理者の身体をリアルタイムにトラッキングし、既存の人体姿勢推定技術を用いて、鼻、目、耳、首、肩、肘、手首、腰、膝、足首など管理者の特徴点を検出するようにしてもよい。なお、撮像装置Ｃ１～Ｃ３に赤外線深度センサがある場合には、赤外線の奥行きを計算することで特徴点を検出してもよい。また、人体姿勢推定で検出した人体の特徴点の記憶方法は、２Ｄでも３Ｄでもよい。端末１５０は、検出した管理者の特徴点に基づいて、商品Ａの管理者の３ＤモデルデータＳを生成し、ウェアラブル端末１３０Ａにリアルタイムに送信する。
　これにより、管理者（販売者）は、自身のリアルタイム３Ｄキャプチャ画像をユーザＵの目の前に表示させることができ、音声や文字、リアルタイムで表示された手などを使用したジェスチャなどを駆使して商品の特徴をユーザＵに教えることが可能になる。なお、管理者（販売者）は、自身のリアルタイム３Ｄキャプチャ画像だけでなく、２Ｄや３ＤのアバターをユーザＵの前に表示させて商品の説明等を行ってもよい。この場合、アバターの動きは光学式や機械式、慣性センサ式、磁気式、ビデオ式などのモーションキャプチャによって管理者（販売者）の動きと同期させることができる。
　また、図１７に示すように、操作データに代えて、商品Ａの表示データを、端末１５０からサーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信することで、管理者が端末１５０で撮影した商品Ａの３Ｄモデルデータを、ユーザＵがウェアラブル端末１３０Ａを介して視認している商品Ａの３Ｄモデルデータとしてリアルタイムに表示させるようにしてもよい。
　この場合、図１７のＢに示すように、管理者がトルソーＭにスカートを履かせると、端末１５０は、端末１５０に接続された複数台の撮像装置（図１７のＢの例では撮像装置ＣＡ１～ＣＡ３）を用いて、スカートを履かせたトルソーＭの３Ｄモデルデータを生成するようにしてもよい。また、端末１５０の送信部１５１は、生成されたトルソーの３Ｄモデルデータを、サーバ１１０を介してウェアラブル端末１３０Ａにリアルタイムに送信するようにしてもよい。これにより、図１７のＡに示すように、スカートを履いたトルソーＭの３Ｄモデルを表示することができる。
　これにより、管理者は、ユーザＵに対して、様々なコーディネート提案等をリアルタイムかつ遠隔で行うことが可能になる。
　＜変形例＞
　情報処理端末１３０及び端末１５０は、３Ｄモデルの表示を抑制する領域の設定をあらかじめユーザＵ又は商品の管理者から受け付けてもよい。この場合には、情報処理端末１３０は、例えば、自身の位置情報と、３Ｄモデルの出力を抑制する場所の設定とに基づいて３Ｄモデルの表示／非表示を切り替えるようにしてもよい。また、情報処理端末１３０は、移動速度（徒歩で移動しているか、乗り物に乗って移動しているか）に応じて３Ｄモデルの表示／非表示を切り替えるようにしてもよい。移動速度は、ＧＰＳやＶＰＳを利用して測定するようにしてもよい。例えば、位置取得部１３１が、情報処理端末１３０の移動速度が一定以上であることを検出した場合、出力部１３７は、ユーザＵは乗り物に乗って移動していると判断し、３Ｄモデルを出力しないようにしてもよい。
　情報処理端末１３０は、商品に関する表示データが壁面への表示に適している場合（例えば絵画などの場合）、壁面に商品が表示されるように表示データを出力するようにしてもよい。また、商品に関する表示データが机上への表示に適している場合（例えば花瓶などの場合）、机上に商品が表示されるように表示データを出力するようにしてもよい。各商品に関する表示データの表示に適している場所の属性を示す情報は、商品ＤＢに予め登録されており、サーバ１１０は、表示データを情報処理端末１３０に送信する際に、表示データと一緒に当該属性を示す情報を情報処理端末１３０に送信するようにしてもよい。
　本実施形態では、ユーザの動向（行動）によって表示させる情報を変更するようにしてもよい。例えば、情報処理端末１３０は、ユーザの視線を取得することでユーザの視線が集まっている箇所を示すヒートマップを生成してサーバ１１０に通知するようにしてもよい。例えば、サーバ１１０は、複数の商品のうち特定の商品にユーザの視線が集中している場合、ユーザＵは当該特定の商品に興味を示していると推定することができる。また、サーバ１１０は、ユーザＵが興味を示している商品の傾向（ユーザの視線が集中する商品の傾向）やユーザＵが選択した商品（お気に入り登録した商品）の傾向を分析することで、ユーザの趣向を推定するようにしてもよい。
　この場合、サーバ１１０の特定部１１５は、推定したユーザの趣向に基づいて、情報処理端末１３０に通知する商品を選択（特定）し、選択した商品に関する表示データを情報処理端末１３０に送信するようにしてもよい。若しくは、特定部１１５は、情報処理端末１３０の位置情報に対応する１以上の商品を商品ＤＢの中から検索し、検索した１以上の商品の中からユーザＵの趣向に合致する商品に関する表示データを更に選択して情報処理端末１３０に送信するようにしてもよい。すなわち、サーバ１１０は、ユーザＵにレコメンドする商品に関する表示データを情報処理端末１３０に送信するようにしてもよい。レコメンドする商品は、日ごとに変化させるようにしてもよいし、新商品でもよいし、人気商品でもよい。仮にユーザＵが毎日同じ場所を通る場合であっても、ユーザの視界に表示される商品が変化するため、ユーザＵを飽きさせないことが可能になる。
　また、サーバ１１０は、ユーザＵが興味を示していると推定される商品に関する表示データを、当該商品の表示位置情報に関わらず、所定の頻度で情報処理端末１３０に送信するようにしてもよい。ユーザＵが興味を示している商品については、頻繁にユーザＵの視界に表示させることができる。
　情報処理端末１３０は、ユーザＵの触覚、嗅覚、味覚及び／又は聴覚を拡張するデバイスを備えており、ユーザＵが、３Ｄモデルにより商品の形状を認識することに加えて又は代えて、商品に関する触覚、匂い、味及び／又は音を認識できるようにしてもよい。この場合、サーバ１１０は、商品の触覚、匂い、味及び／又は音に関するデータを情報処理端末１３０に送信するようにしてもよい。
　情報処理端末１３０は、２Ｄモデル又は３Ｄモデルを出力する際、縮小して出力又は拡大して出力するようにしてもよい。例えば、屋内の狭い廊下などで大きい３Ｄモデルを表示すると、ユーザＵは視界が遮られてしまうことから好ましくない。そこで、このような場合には、通常は２Ｄモデル又は３Ｄモデルを縮小して出力しておき、ユーザＵが接近した場合又はユーザＵの指示を受けた場合に実寸大等に拡大するようにしてもよい。また、商品名や商品の価格等の文字等を表示する場合、通常は文字列の一部を省略するか又は文字の表示自体を省略しておき、ユーザＵが接近した場合又はユーザＵの指示を受けた場合に、文字列を省略せずに出力するようにしてもよい。これにより、ユーザＵの視界を損なうことなく、多くの情報をユーザＵに見せることが可能になる。
　＜まとめ＞
　以上説明した実施形態によれば、移動中でも安全にオンラインショッピング等の電子商取引を体験させることが可能になる。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　１…通信システム、１１…ＣＰＵ、１２…記憶装置、１３…通信ＩＦ、１４…入力デバイス、１５…出力デバイス、１６…センサ、１１０…サーバ、１１１…記憶部、１１２…生成部、１１３…登録部、１１４…受信部、１１５…特定部、１１６…送信部、１１７…経路取得部、１３０…情報処理端末、１３０Ａ…端末、１３０Ａ…ウェアラブル端末、１３０Ｂ…端末、１３１…位置取得部、１３２…送信部、１３３…受信部、１３４…撮像部、１３５…特定部、１３６…取得部、１３７…出力部、１３８…受付部、１５０…端末、１５１…送信部、１５２…受信部、１５３…撮像部、１５４…位置取得部、１５５…表示部、１５６…生成処理部、１１３６…ディスプレイ、１１３７…フレーム、１１３８…ヒンジ部、１１３９…テンプル、１１３９ａ…係止部、１２１０…撮像部

Claims (12)

  1. 　情報処理端末に、
    　前記情報処理端末の位置を示す位置情報を取得するステップと、
    　前記位置情報を情報処理装置に送信するステップと、
    　前記情報処理装置から、前記位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、
    　撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、
    　前記画像に対応する現実の空間又は前記画像のうち、取得された前記第１領域に前記１以上の商品に関する表示データを出力するステップと、を実行させるプログラム。
  2. 　前記出力するステップは、前記第１領域の境界に、前記１以上の商品に関する表示データを配置して出力する、請求項１に記載のプログラム。
  3. 　前記情報処理端末に、
    　前記ユーザから、前記１以上の商品の選択を受け付けるステップと、
    　受け付けた商品を識別する情報を前記情報処理装置に送信するステップと、をさらに実行させる、請求項１又は２に記載のプログラム。
  4. 　前記情報処理端末に、
    　前記情報処理装置又は他の情報処理装置から、前記１以上の商品に含まれる第１商品についての管理者のユーザに関する表示データを受信するステップ、をさらに実行させ、
    　前記出力するステップは、受信した前記管理者のユーザに関する表示データを、前記第１商品に関する表示データと対応づけて出力する、請求項１～３のいずれか一項に記載のプログラム。
  5. 　前記情報処理端末に、
    　前記情報処理装置又は他の情報処理装置から、前記ユーザが移動する経路を示す経路情報を取得するステップ、をさらに実行させ、
    　前記出力するステップは、前記経路情報により示される前記経路に沿って、前記１以上の商品に関する商品データを出力する、請求項１～４のいずれか一項に記載のプログラム。
  6. 　前記受信するステップは、前記情報処理装置から、前記１以上の商品の属性データを更に受信し、
    　前記出力するステップは、前記１以上の商品の表示データに含まれる第１表示データに近づく方向に当該情報処理端末が移動すると、該第１表示データに対応する商品の属性データを出力する、請求項１～５のいずれか一項に記載のプログラム。
  7. 　前記表示データは、商品の画像データ、商品の３次元モデルデータ、及び商品の割引情報の少なくとも１つを含む、請求項１～６のいずれか一項に記載のプログラム。
  8. 　情報処理端末が実行する情報処理方法であって、
    　前記情報処理端末の位置を示す位置情報を取得するステップと、
    　前記位置情報を情報処理装置に送信するステップと、
    　前記情報処理装置から、前記位置情報に対応づけられる１以上の商品に関する表示データを受信するステップと、
    　撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得するステップと、
    　前記画像に対応する現実の空間又は前記画像のうち、取得された前記第１領域に前記１以上の商品に関する表示データを出力するステップと、を含む情報処理方法。
  9. 　情報処理端末であって、
    　前記情報処理端末の位置を示す位置情報を取得する位置取得部と、
    　前記位置情報を情報処理装置に送信する送信部と、
    　前記情報処理装置から、前記位置情報に対応づけられる１以上の商品に関する表示データを受信する受信部と、
    　撮像部により撮影された画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域を取得する取得部と、
    　前記画像に対応する現実の空間又は前記画像のうち、取得された前記第１領域に前記１以上の商品に関する表示データを出力する出力部と、を有する情報処理端末。
  10. 　情報処理装置が行う情報処理方法であって、
    　情報処理端末から、前記情報処理端末の位置を示す位置情報を受信するステップと、
    　記憶装置に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、前記位置情報により示される位置から所定範囲内の位置を示す前記表示位置情報に関連付けられた１以上の商品に関する表示データを特定するステップと、
    　撮像部により撮影される画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域に表示される前記１以上の商品に関する表示データを前記情報処理端末に送信するステップと、を含む情報処理方法。
  11. 　情報処理装置に、
    　情報処理端末から、前記情報処理端末の位置を示す位置情報を受信するステップと、
    　記憶装置に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、前記位置情報により示される位置から所定範囲内の位置を示す前記表示位置情報に関連付けられた１以上の商品に関する表示データを特定するステップと、
    　撮像部により撮影される画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域に表示される前記１以上の商品に関する表示データを前記情報処理端末に送信するステップと、を実行させるプログラム。
  12. 　情報処理装置であって、
    　情報処理端末から、前記情報処理端末の位置を示す位置情報を受信する受信部と、
    　記憶装置に記憶される、表示位置情報が関連付けられた１以上の商品各々に関する表示データの中から、前記位置情報により示される位置から所定範囲内の位置を示す前記表示位置情報に関連付けられた１以上の商品に関する表示データを特定する特定部と、
    　撮像部により撮影される画像内の領域であって、ユーザの安全性に関する所定条件を満たす第１領域に表示される前記１以上の商品に関する表示データを前記情報処理端末に送信する送信部と、を有する情報処理装置。
PCT/JP2019/005615 2019-01-28 2019-02-15 プログラム、情報処理方法、及び情報処理端末 WO2020157995A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020569341A JP7296406B2 (ja) 2019-01-28 2019-02-15 プログラム、情報処理方法、及び情報処理端末
US17/381,019 US11734898B2 (en) 2019-01-28 2021-07-20 Program, information processing method, and information processing terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-012358 2019-01-28
JP2019012358 2019-01-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/381,019 Continuation US11734898B2 (en) 2019-01-28 2021-07-20 Program, information processing method, and information processing terminal

Publications (1)

Publication Number Publication Date
WO2020157995A1 true WO2020157995A1 (ja) 2020-08-06

Family

ID=71841026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005615 WO2020157995A1 (ja) 2019-01-28 2019-02-15 プログラム、情報処理方法、及び情報処理端末

Country Status (3)

Country Link
US (1) US11734898B2 (ja)
JP (1) JP7296406B2 (ja)
WO (1) WO2020157995A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287928A (zh) * 2020-10-20 2021-01-29 深圳市慧鲤科技有限公司 一种提示方法、装置、电子设备及存储介质
US20210350628A1 (en) * 2019-01-28 2021-11-11 Mercari, Inc. Program, information processing method, and information processing terminal
WO2022158573A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2023507687A (ja) * 2020-11-27 2023-02-27 深▲セン▼市商▲湯▼科技有限公司 リソースローディング方法、装置、電子機器、記憶媒体及びプログラム
WO2023171341A1 (ja) * 2022-03-08 2023-09-14 株式会社Ｎｔｔドコモ 表示制御装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP2014535112A (ja) * 2011-10-27 2014-12-25 イーベイ インク．Ｅｂａｙ Ｉｎｃ． 拡張現実を使用した物品の視覚化
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2015523624A (ja) * 2012-05-07 2015-08-13 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325536A (ja) 2000-05-12 2001-11-22 Nec Software Shikoku Ltd 仮想商店街店舗レイアウトシステム
US8924261B2 (en) * 2009-10-30 2014-12-30 Etsy, Inc. Method for performing interactive online shopping
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
EP2875491A4 (en) * 2012-07-19 2016-06-15 Gaurav Vats USER-CONTROLLED 3D SIMULATION PROVIDING REALISTIC AND ENHANCED VISUALIZATION AND INTERACTION EXPERIENCE WITH DIGITAL OBJECT
JPWO2015145544A1 (ja) * 2014-03-24 2017-04-13 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
US9916010B2 (en) * 2014-05-16 2018-03-13 Visa International Service Association Gesture recognition cloud command platform, system, method, and apparatus
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US9928648B2 (en) * 2015-11-09 2018-03-27 Microsoft Technology Licensing, Llc Object path identification for navigating objects in scene-aware device environments
US10140464B2 (en) * 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments
US11645840B2 (en) * 2017-08-31 2023-05-09 Sony Corporation Information processing apparatus, information processing method, program, and moving body
CN107492022A (zh) * 2017-09-04 2017-12-19 佛山市文飞科技有限公司 一种基于vr虚拟购物系统
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
WO2020157995A1 (ja) * 2019-01-28 2020-08-06 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
JP6720385B1 (ja) * 2019-02-07 2020-07-08 株式会社メルカリ プログラム、情報処理方法、及び情報処理端末
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
US11107291B2 (en) * 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
US11106915B1 (en) * 2020-03-26 2021-08-31 International Business Machines Corporation Generating in a gaze tracking device augmented reality representations for objects in a user line-of-sight

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JP2014535112A (ja) * 2011-10-27 2014-12-25 イーベイ インク．Ｅｂａｙ Ｉｎｃ． 拡張現実を使用した物品の視覚化
JP2015523624A (ja) * 2012-05-07 2015-08-13 本田技研工業株式会社 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210350628A1 (en) * 2019-01-28 2021-11-11 Mercari, Inc. Program, information processing method, and information processing terminal
US11734898B2 (en) * 2019-01-28 2023-08-22 Mercari, Inc. Program, information processing method, and information processing terminal
CN112287928A (zh) * 2020-10-20 2021-01-29 深圳市慧鲤科技有限公司 一种提示方法、装置、电子设备及存储介质
JP2023507687A (ja) * 2020-11-27 2023-02-27 深▲セン▼市商▲湯▼科技有限公司 リソースローディング方法、装置、電子機器、記憶媒体及びプログラム
JP7450641B2 (ja) 2020-11-27 2024-03-15 深▲セン▼市商▲湯▼科技有限公司 リソースローディング方法、装置、電子機器、記憶媒体及びプログラム
WO2022158573A1 (ja) * 2021-01-22 2022-07-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP2022113023A (ja) * 2021-01-22 2022-08-03 エヌ・ティ・ティ・コミュニケーションズ株式会社 処理装置、処理方法及び処理プログラム
JP7233454B2 (ja) 2021-01-22 2023-03-06 株式会社Ｎｔｔコノキュー 処理装置、処理方法及び処理プログラム
WO2023171341A1 (ja) * 2022-03-08 2023-09-14 株式会社Ｎｔｔドコモ 表示制御装置

Also Published As

Publication number Publication date
JPWO2020157995A1 (ja) 2021-10-28
US20210350628A1 (en) 2021-11-11
US11734898B2 (en) 2023-08-22
JP7296406B2 (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
WO2020157995A1 (ja) プログラム、情報処理方法、及び情報処理端末
JP7133470B2 (ja) ネットワークの拡張現実表現のためのシステムおよび方法
CN105659304B (zh) 车辆、导航系统及生成并递送导航信息的方法
CN102999160B (zh) 混合现实显示器中用户控制的现实对象的消失
WO2015145544A1 (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
US10878629B2 (en) Display apparatus, information processing system, and control method
JP6720385B1 (ja) プログラム、情報処理方法、及び情報処理端末
US20090289955A1 (en) Reality overlay device
CN110487262A (zh) 基于增强现实设备的室内定位方法及系统
US11378413B1 (en) Augmented navigational control for autonomous vehicles
CN110531847B (zh) 一种基于增强现实的社交方法及系统
US20180314889A1 (en) Information processing device, information processing method, and program
JP2003132068A (ja) ナビゲーションシステム及びナビゲーション端末
CN104919398A (zh) 可佩戴的基于行为的视觉系统
CN103460256A (zh) 在扩增现实系统中将虚拟图像锚定到真实世界表面
CN105393284A (zh) 基于人类身体数据的空间雕刻
US20170115749A1 (en) Systems And Methods For Presenting Map And Other Information Based On Pointing Direction
US9672588B1 (en) Approaches for customizing map views
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
CN109887099A (zh) 一种ar与路牌相结合的互动展示方法
JP2018200699A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
US20230296906A1 (en) Systems and methods for dynamic image processing
CN112055034B (zh) 基于光通信装置的交互方法和系统
WO2017008749A1 (zh) 一种具备隐藏视像屏及多种传感器的耳机
KR101153127B1 (ko) 스마트 폰의 지리정보 표시장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19912250

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569341

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19912250

Country of ref document: EP

Kind code of ref document: A1