WO2023095770A1 - 拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム - Google Patents

拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム Download PDF

Info

Publication number
WO2023095770A1
WO2023095770A1 PCT/JP2022/043117 JP2022043117W WO2023095770A1 WO 2023095770 A1 WO2023095770 A1 WO 2023095770A1 JP 2022043117 W JP2022043117 W JP 2022043117W WO 2023095770 A1 WO2023095770 A1 WO 2023095770A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
posted
augmented reality
data
reality display
Prior art date
Application number
PCT/JP2022/043117
Other languages
English (en)
French (fr)
Inventor
真 則枝
良志 田中
翔悟 赤崎
麻貴 黒川
和樹 江口
浩司 篠崎
悠志 中島
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2023563686A priority Critical patent/JPWO2023095770A1/ja
Publication of WO2023095770A1 publication Critical patent/WO2023095770A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention is based on the priority claim of Japanese Patent Application: Japanese Patent Application No. 2021-189898 (filed on November 24, 2021), and the entire description of the application is incorporated herein by reference. shall be The present invention relates to an augmented reality display device, a server device, an augmented reality display system, an augmented reality display method, and a program.
  • Augmented Reality Using Augmented Reality (AR) technology to display related posted data (photos, text, etc.) overlaid at a predetermined position in the actual image captured by the camera of a mobile device (e.g., smartphone)
  • a mobile terminal transmits current position information from a GPS (Global Positioning System) or the like and direction information from a direction sensor or the like to a server device, and the server device transmits the current position information.
  • GPS Global Positioning System
  • direction information from a direction sensor or the like
  • the server device transmits the current position information.
  • Acquire the posted data posted at a position around the information and the direction information and display the posted data superimposed on the specified position (the specified position set in the posted data) in the image taken by the camera.
  • a main object of the present invention is to provide an augmented reality display device, a server device, an augmented reality display system, an augmented reality display method, and a program that can contribute to displaying post data at an accurate position in a photographed image. to provide.
  • An augmented reality display device includes a display unit configured to display information, and a photographing unit configured to analyze image data and digitize feature points of a photographing object included in the image data.
  • an image analysis unit configured to detect a feature amount of an object; and a control unit configured to control the display unit and the image analysis unit and perform predetermined information processing, wherein the control a processing for transmitting posted download instruction information including photographing position information regarding the photographing position of the image data and the photographing object feature amount to a server device; and the photographing position information transmitted from the server device.
  • the posted data superimposed on a position relative to the feature amount of the object to be shot in the image data displayed on the display unit, based on information about the post data related to the feature amount of the object to be shot. and the position relative to the photographed object feature amount is a position based on the posted position information included in the information on the posted data.
  • a server device includes shooting position information about the shooting position of image data; a storage configured to associate and store information about posted data including posted position information about a position relative to a feature; and configured to control the storage and perform predetermined information processing. and a control unit configured to store the shooting position information and the shooting object included in the posted download instruction information from the storage unit when the posted download instruction information is acquired from the augmented reality display device. It is configured to perform a process of reading out information about the post data related to the feature quantity and transmitting the information to the augmented reality display device.
  • An augmented reality display system related to a third viewpoint includes an augmented reality display device related to the first viewpoint and a server device related to the second viewpoint.
  • An augmented reality display method analyzes shooting position information about the shooting position of image data from an augmented reality display device and the image data, and analyzes the features of the shooting object included in the image data.
  • the position relative to the object feature amount is a position based on the posted position information included in the information on the posted data.
  • a program according to a fifth viewpoint includes photographing position information relating to the photographing position of image data, and photographing object features obtained by analyzing the image data and digitizing feature points of the photographing object included in the image data. and a process of transmitting posted download instruction information including an amount to a server device; is superimposed on the position relative to the feature amount of the shooting object in the displayed image data, and the augmented reality display device executes a process, and the position relative to the feature amount of the shooting object is This position is based on the posted position information included in the information on the posted data.
  • a program when acquiring post download instruction information from an augmented reality display device, from a storage unit, post related to photographing position information and photographing object feature amount included in the post download instruction information.
  • the server device is caused to execute processing of reading out information about the data and transmitting it to the augmented reality display device.
  • FIG. 1 is a block diagram schematically showing the configuration of an augmented reality display system according to Embodiment 1;
  • FIG. 4 is an image diagram schematically showing an example of augmented reality displayed by the augmented reality display device in the augmented reality display system according to Embodiment 1.
  • FIG. FIG. 4 is an image diagram schematically showing the relationship between shooting position information related to image data and feature amounts of shooting objects in the augmented reality display system according to the first embodiment;
  • 4 is a flowchart diagram schematically showing an operation related to registration of post data in the augmented reality display system according to Embodiment 1.
  • FIG. 5 schematically showing an example of the display screen of the augmented reality display device when posting data is registered in the augmented reality display system according to the first embodiment
  • FIG. 7 is a transition diagram following FIG. 6 schematically showing an example of the display screen of the augmented reality display device when posting data is registered in the augmented reality display system according to the first embodiment
  • FIG. FIG. 4 is a flowchart diagram schematically showing operations related to display of posted data in the augmented reality display system according to Embodiment 1
  • FIG. 10 is a transition diagram schematically showing an example of a display screen of the augmented reality display device when posting data is displayed in the augmented reality display system according to the first embodiment
  • FIG. 7 is a transition diagram schematically showing an example of a display screen of the management device when deleting posted data in the augmented reality display system according to the first embodiment
  • 2 is a block diagram schematically showing the configuration of an augmented reality display system according to Embodiment 2.
  • FIG. FIG. 11 is a transition diagram schematically showing an example of a display screen of an augmented reality display device when linking posted data to an SNS in the augmented reality display system according to the second embodiment
  • FIG. 11 is a block diagram schematically showing the configuration of an augmented reality display device according to Embodiment 3
  • 3 is a block diagram schematically showing the configuration of hardware resources;
  • connection lines between blocks in drawings and the like referred to in the following description include both bidirectional and unidirectional connections.
  • the unidirectional arrows schematically show the flow of main signals (data) and do not exclude bidirectionality.
  • an input port and an output port exist at the input end and the output end of each connection line, respectively, although not explicitly shown.
  • the input/output interface is the same.
  • the program is executed via a computer device, and the computer device includes, for example, a processor, a storage device, an input device, a communication interface, and optionally a display device. It is configured to be able to communicate with external devices (including computers), whether wired or wireless.
  • FIG. 1 is a block diagram schematically showing the configuration of an augmented reality display system according to Embodiment 1.
  • FIG. 2 is an image diagram schematically showing an example of augmented reality displayed by the augmented reality display device in the augmented reality display system according to the first embodiment.
  • FIG. 3 is an image diagram schematically showing the relationship between the photographing position information and the photographing target object feature amount related to the image data in the augmented reality display system according to the first embodiment.
  • the augmented reality display system 1 superimposes related post data at a predetermined position in real image data (for example, image data obtained by photographing the photographing object 2) displayed on the augmented reality display devices 10A and 10B.
  • This is a system for displaying augmented reality images (AR images) (see FIGS. 1 and 2).
  • the augmented reality display system 1 displays the posted data as an augmented reality based on the photographing position information associated with the image data and the photographing object feature amount obtained by digitizing the feature points of the photographing object 2 in the image data. It has a function of superimposing the image displayed on the display devices 10A and 10B on the relative position (position based on the posted position information associated with the posted data) with respect to the object feature amount (see FIG. 3).
  • the feature points of the object 2 to be photographed include, for example, planes, edges, and corners of the object 2 to be photographed. Further, as digitization of feature points, for example, assignment of coordinate information such as three-dimensional coordinate information and polar coordinate information can be mentioned.
  • the augmented reality display system 1 can be used for information sharing services that share AR images in real space among a plurality of users. , navigation, etc.
  • the augmented reality display system 1 includes augmented reality display devices 10 ⁇ /b>A and 10 ⁇ /b>B, a server device 30 , a management device 40 and a network 60 .
  • the augmented reality display devices 10A and 10B are devices that display augmented reality images (see FIG. 1).
  • the augmented reality display devices 10A and 10B are communicably connected (wireless or wired) to a network 60 .
  • the augmented reality display devices 10A and 10B are devices (computer devices) equipped with functional units (for example, a processor, a storage device, an input device, a communication interface, and a display device) that constitute a computer, Any device capable of acquiring image data associated with a device such as a smartphone, tablet, personal computer, glasses-type device, or the like can be used.
  • the image data includes image data captured by the imaging unit 13 of the augmented reality display devices 10A and 10B, image data stored in the storage unit of the augmented reality display devices 10A and 10B, and external data via the network 60 (for example, Image data acquired from a remote monitoring camera, a position image providing site, etc.) can be used, and the image data associated with the azimuth information may also be used.
  • the shooting position information associated with the image data includes shooting position information detected by the position detection unit 15 of the augmented reality display devices 10A and 10B themselves, shooting position information associated with the image data by another device, and the like. good too.
  • the augmented reality display devices 10A and 10B have a time function.
  • the augmented reality display devices 10A and 10B include a communication unit 11, a display unit 12, an imaging unit 13, an image analysis unit 14, a position detection unit 15, an input unit 16, A configuration including a storage unit 17 and a control unit 18 is realized.
  • the communication unit 11 is a functional unit that performs information communication (wired communication or wireless communication) (see FIG. 1).
  • the communication unit 11 is communicably connected to the network 60 .
  • the communication unit 11 performs communication under the control of the control unit 18 .
  • a wireless communication interface may be used, or a wired communication interface may be used.
  • the display unit 12 is a functional unit that displays information (see FIG. 1).
  • the display unit 12 displays information under the control of the control unit 18 .
  • a display device such as a liquid crystal display or an organic EL (ElectroLuminescence) display, a spectacles-type display connected to the communication unit 11 so as to be communicable, or the like can be used.
  • the imaging unit 13 is a functional unit that photographs the object 2 to be photographed (see FIGS. 1 and 2).
  • the imaging unit 13 generates image data by photographing the object 2 to be photographed.
  • the imaging unit 13 photographs the object 2 to be photographed under the control of the control unit 18 .
  • the augmented reality display devices 10A and 10B acquire image data from the outside, the augmented reality display device 10 may be configured without the imaging unit 13 .
  • Image sensors such as a CCD (Charge Coupled Device) sensor and a CMOS (Complementary Metal Oxide Semiconductor) sensor can be used for the imaging unit 13, and a three-dimensional sensor for feature amount detection (for example, ToF (Time of Flight) camera, stereo camera, 3D-LIDAR (Laser Imaging Detection And Ranging), depth sensor, ranging sensor, distance camera, etc.) may be used.
  • the imaging unit 13 may have a zoom lens capable of telephoto or wide-angle imaging.
  • the image analysis unit 14 is a functional unit that analyzes image data (see FIG. 1).
  • the image analysis unit 14 acquires image data from the imaging unit 13, the storage unit 17, the communication unit 11 (the communication unit 11 connected to the outside), and the like.
  • the image analysis unit 14 analyzes the acquired image data, and detects feature amounts (three-dimensional coordinate information, polar coordinate information, etc.) of the object to be photographed obtained by digitizing the feature points of the object to be photographed 2 included in the image data. do.
  • feature amounts three-dimensional coordinate information, polar coordinate information, etc.
  • feature points of the photographing object 2 are extracted based on the image data, the coordinates of the space related to the image data are determined based on the extracted feature points, and the feature points are detected based on the determined coordinates.
  • SIFT Scale-Invariant Feature Transform
  • HOG Heistograms of Oriented Gradients
  • the position detection unit 15 is a functional unit that detects information (corresponding to shooting position information; for example, longitude and latitude) related to the current position of the augmented reality display devices 10A and 10B (imaging unit 13) (see FIG. 1).
  • the position detection unit 15 uses, for example, GPS (Global Positioning System), radio field intensity with a plurality of wireless base stations with position information set in advance, QR (Quick Response) code with position information set in advance, etc. , the shooting position information of the augmented reality display devices 10A and 10B may be detected.
  • GPS Global Positioning System
  • QR Quick Response
  • the position detection unit 15 may also detect angle information about the direction in which the optical axis of the imaging unit 13 is directed and the elevation angle using a direction sensor, a geomagnetic sensor, an acceleration sensor, or the like.
  • the augmented reality display devices 10A and 10B may be configured without the position detection unit 15 .
  • the input unit 16 is a functional unit that inputs information (see FIG. 1).
  • the input unit 16 inputs information input by a user's operation under the control of the control unit 18 .
  • a touch panel, keyboard, mouse, non-contact UI (User Interface), gesture sensor, microphone, headset, etc. can be used.
  • the input unit 16 inputs (can also select or specify) information about post data, information about filtering conditions, and the like by user's operation.
  • information about the posted data for example, user ID, disclosure range (group ID, etc.), posted date and time, display format (balloon, icon display, color, shape, etc.), text (font, character size, character color, etc.) , pictograms, stamps, images, video files, audio files, hashtags, posting location information, and the like.
  • display format balloon, icon display, color, shape, etc.
  • text font, character size, character color, etc.
  • pictograms stamps, images, video files, audio files, hashtags, posting location information, and the like.
  • filtering conditions for example, period (for example, posts within one week from today), keywords (for example, "cafe”), hashtags (for example, "# cafe dining"), distance (for example, current location within 10 m from), user ID, age, gender, group ID, number of favorable evaluations (for example, 10 or more likes), number of comments, number of questions, and the like.
  • the storage unit 17 is a functional unit that stores various types of information (data, programs, etc.) (see FIG. 1).
  • a storage device such as a RAM (Random Access Memory), SSD (Solid State Drive), HDD (Hard Disk Drive), or the like can be used.
  • the storage unit 17 writes and reads information under the control of the control unit 18 .
  • the control unit 18 is a functional unit that controls the communication unit 11, the display unit 12, the imaging unit 13, the image analysis unit 14, the position detection unit 15, the input unit 16, and the storage unit 17 (see FIG. 1).
  • a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processor Unit) can be used for the control unit 18, for example.
  • the control unit 18 can perform predetermined processing described in the program.
  • the control unit 18 When posting (registering in the server device 30) posting data, the control unit 18 performs the following processing.
  • the control unit 18 acquires image data from the imaging unit 13, the storage unit 17, the communication unit 11 (the communication unit 11 connected to the outside), and the like, and causes the display unit 12 to display the image data.
  • the control unit 18 acquires shooting position information (angle information may be included if there is angle information) from the position detection unit 15 or acquired image data (including shooting position information).
  • the control unit 18 causes the image analysis unit 14 to detect a photographing object feature amount obtained by digitizing the feature points of the photographing object 2 based on the acquired image data, and acquires the detected photographing object feature amount. .
  • the control unit 18 acquires information regarding the posted data from the input unit 16 .
  • the control unit 18 transmits post upload instruction information that associates the acquired shooting position information, the shooting target feature amount, and the information on the posted data to the server device 30 via the communication unit 11 and the network 60 .
  • the control unit 18 performs the following processing when displaying post data (including cases where it is filtered and displayed).
  • the control unit 18 acquires image data from the imaging unit 13, the storage unit 17, the communication unit 11 (the communication unit 11 connected to the outside), and the like, and causes the display unit 12 to display the image data.
  • the control unit 18 acquires the shooting position information from the position detection unit 15 or the acquired image data (including the shooting position information).
  • the control unit 18 causes the image analysis unit 14 to detect a photographing object feature amount obtained by digitizing the feature points of the photographing object 2 based on the acquired image data, and acquires the detected photographing object feature amount. .
  • the control unit 18 acquires information about filtering conditions from the input unit 16 .
  • the control unit 18 transmits the acquired post download instruction information including the photographing position information and the photographing target feature amount (in the case of filtering, information related to filtering conditions is also associated) to the server device via the communication unit 11 and the network 60. 30.
  • the control unit 18 transmits information about the posted data related to the photographing position information and the photographing object feature amount included in the posted download instruction information, which is transmitted from the server device 30 that has received the posted download instruction information, to the network 60 and the Acquired via the communication unit 11 .
  • the control unit 18 Based on the acquired information about the posted data, converts the posted data to a relative position (based on the posted position information in the information about the posted data) with respect to the feature amount of the shooting object in the image data displayed on the display unit 12. position).
  • the control unit 18 When filtering and displaying post data after displaying the post data, the control unit 18 acquires information about the filtering conditions from the input unit 16, and filters the displayed post data based on the acquired information about the filtering conditions. You may make it display. When displaying a plurality of pieces of posted data, the control unit 18 displays the pieces of posted data in a staggered manner so that they do not overlap each other, displays a list of posted data icons, and determines where and how many posts were made. It is also possible to tabulate, organize and display.
  • the server device 30 is a device that provides information on post data to be superimposed and displayed at a predetermined position in the image data displayed on the augmented reality display devices 10A and 10B (see FIG. 1).
  • the server device 30 associates and stores the shooting position information, the feature amount of the shooting object, and the posted data.
  • the server device 30 is connected to the network 60 so as to be communicable (wireless or wired).
  • a device computer device equipped with functional units (for example, a processor, a storage device, and a communication interface) that constitute a server. may be used.
  • the server device 30 implements a configuration including a communication unit 31, a storage unit 32, and a control unit 33 by executing a predetermined program.
  • the communication unit 31 is a functional unit that performs information communication (wired communication or wireless communication) (see FIG. 1).
  • the communication unit 31 is communicably connected to the network 60 .
  • the communication unit 31 performs communication under the control of the control unit 33 .
  • a wired communication interface may be used, or a wireless communication interface may be used.
  • the communication unit 31 can receive posted upload instruction information, posted download instruction information, and the like from the augmented reality display devices 10A and 10B.
  • the communication unit 31 can transmit information about posted data corresponding to the posted download instruction information to the augmented reality display devices 10A and 10B.
  • the storage unit 32 is a functional unit that stores various types of information (data, programs, etc.) (see FIG. 1). Storage devices such as RAM, SSD, HDD, and RAID (Redundant Arrays of Inexpensive Disks) can be used for the storage unit 32 .
  • the storage unit 32 writes and reads information under the control of the control unit 33 .
  • the storage unit 32 can store data from the augmented reality display devices 10A and 10B.
  • the storage unit 32 can store data processed by the control unit 33 .
  • the data stored in the storage unit 32 can be transmitted to the augmented reality display devices 10A and 10B.
  • the storage unit 32 can store the shooting position information, the feature amount of the shooting target, and the information related to the posted data in association with each other.
  • the control unit 33 is a functional unit that controls the communication unit 31 and the storage unit 32 (see FIG. 1).
  • a processor such as a CPU or an MPU can be used for the control unit 33, for example.
  • the control unit 33 can perform predetermined information processing described in the program.
  • the control unit 33 When registering post data, the control unit 33 acquires post upload instruction information from the augmented reality display devices 10A and 10B via the network 60 and the communication unit 31. The control unit 33 causes the storage unit 32 to store the shooting position information, the feature amount of the shooting target, and the information on the posted data included in the acquired post upload instruction information in association with each other. When the posted data is registered, the control unit 33 may notify the augmented reality display devices 10A and 10B of the followers following the poster of the posted data (followee) that the posted data has been registered.
  • the control unit 33 performs the following processing when providing post data (including filtering and providing).
  • the control unit 33 acquires post download instruction information from the augmented reality display devices 10 ⁇ /b>A and 10 ⁇ /b>B via the network 60 and the communication unit 31 .
  • the control unit 33 acquires from the storage unit 32 the photographed object features that are within a predetermined range of the position related to the photographing position information included in the posted download instruction information acquired from the storage unit 32 and that are included in the posted download instruction information.
  • Information about the posted data corresponding to the amount is acquired from the storage unit 32 . If the obtained posted download instruction information includes information about the filtering conditions, the control unit 33 stores the captured position information and the captured object feature amount included in the acquired posted download instruction information from the storage unit 32.
  • the control unit 33 transmits information about the acquired posted data to the augmented reality display devices 10A and 10B that have transmitted the posted download instruction information via the communication unit 31 and the network 60 .
  • the management device 40 is a device used to manage information related to post data stored in the server device 30 (see FIG. 1).
  • the management device 40 is connected to the network 60 so as to be communicable (wireless or wired).
  • the management device 40 can use a device (computer device) including functional units (eg, a processor, a storage device, an input device, a communication interface, and a display device) that constitute a computer. , smartphones, etc. can be used.
  • the management device 40 is used by an administrator of the server device 30 .
  • the management device 40 can delete the user ID, the information related to the posted data, and the like on the page dedicated to the administrator by the operation of the administrator.
  • the network 60 is a wired or wireless communication network that communicably connects the augmented reality display devices 10A and 10B, the server device 30, and the management device 40 (see FIG. 1).
  • a communication network such as a PAN (Personal Area Network), a LAN (Local Area Network), a MAN (Metropolitan Area Network), a WAN (Wide Area Network), or a GAN (Global Area Network) can be used. .
  • FIG. 4 is a flowchart diagram schematically showing an operation related to registration of post data in the augmented reality display system according to the first embodiment.
  • 5 to 7 are transition diagrams schematically showing an example of the display screen of the augmented reality display device when posting data is registered in the augmented reality display system according to the first embodiment. Please refer to FIG. 1 for the configuration of the augmented reality display system.
  • the control unit 18 of the augmented reality display device 10A acquires image data from the imaging unit 13 and displays it on the display unit 12 according to the user's operation (step A1).
  • the image data may be obtained from the storage unit 17, the communication unit 11 (the communication unit 11 connected to the outside), or the like.
  • the control unit 18 of the augmented reality display device 10A acquires shooting position information from the position detection unit 15 according to the user's operation (step A2). If the shooting position information cannot be obtained from the position detection unit 15, the process ends. Note that if the image data is acquired from the storage unit 17, the communication unit 11, or the like, the shooting position information included in the image data is acquired. If the image data acquired from the storage unit 17, the communication unit 11, etc. does not contain the shooting position information, the processing ends. In step A2, for example, when the display screen of the augmented reality display device is a display screen as shown in FIG. is completed, the display screen changes to that shown in FIG. 5(1-2).
  • the control unit 18 of the augmented reality display device 10A causes the image analysis unit 14 to quantify the feature points of the object 2 based on the acquired image data in accordance with the user's operation. is detected, and the detected photographing object feature amount is obtained (step A3). If the photographing object feature amount cannot be acquired, the process is terminated.
  • step A3 for example, when the display screen of the augmented reality display device is a display screen as shown in FIG. 5 (1-2), by tapping the screen, the display screen as shown in FIG. 5 (1-3) 5 ( 1-4) to transition to the display screen.
  • feature points planes such as walls and floors, edges, corners, etc.
  • the coordinates of the space related to the image data are determined based on the extracted feature points. It is possible to detect a photographing object feature amount obtained by digitizing the feature point based on the coordinates obtained.
  • step A4 the control unit 18 of the augmented reality display device 10A acquires information about the posted data from the input unit 16 according to the user's operation (step A4).
  • Information about the posted data includes, for example, text, photos, posted position information, and the like (see above for details).
  • step A4 for example, when the display screen of the augmented reality display device is a display screen as shown in FIG. 6 (1-5), by tapping the "+” button, the display as shown in FIG. By tapping the place where you want to post and setting the position, you can transition to the display screen as shown in Fig. 6 (1-7). Enter the post text and tap the "Post” button to transition to the display screen shown in Fig. 7 (1-9). Tap the "Adjust post position” button. By adjusting the posting position, a display screen such as that shown in FIG. 7 (1-10) is displayed, and information about the posted data can be obtained by tapping the "post to this place” button.
  • control unit 18 of the augmented reality display device 10A transmits post upload instruction information that associates the obtained shooting position information, the shooting target feature amount, and the information on the posted data according to the user's operation to the communication unit 11. and transmitted to the server device 30 via the network 60 (step A5).
  • control unit 33 of the server device 30 acquires the posting upload instruction information from the augmented reality display device 10A via the network 60 and the communication unit 31 (step A6).
  • control unit 33 of the server device 30 causes the storage unit 32 to store (register) information related to the shooting position information, the feature amount of the shooting target, and the posted data included in the acquired post upload instruction information in association with each other ( Step A7), and then terminate.
  • FIG. 8 is a flowchart diagram schematically showing an operation regarding display of posted data in the augmented reality display system according to the first embodiment.
  • FIG. 9 is a transition diagram schematically showing an example of a display screen of the augmented reality display device when posting data is displayed in the augmented reality display system according to the first embodiment. Please refer to FIG. 1 for the configuration of the augmented reality display system.
  • the control unit 18 of the augmented reality display device 10A acquires image data from the imaging unit 13 and displays it on the display unit 12 according to the user's operation (step B1).
  • the image data may be obtained from the storage unit 17, the communication unit 11 (the communication unit 11 connected to the outside), or the like.
  • the control unit 18 of the augmented reality display device 10A acquires shooting position information from the position detection unit 15 according to the user's operation (step B2). If the shooting position information cannot be obtained from the position detection unit 15, the process ends. Note that if the image data is acquired from the storage unit 17, the communication unit 11, or the like, the shooting position information included in the image data is acquired. If the image data acquired from the storage unit 17, the communication unit 11, etc. does not contain the shooting position information, the processing ends.
  • control unit 18 of the augmented reality display device 10A causes the image analysis unit 14 to quantify the feature points of the object 2 based on the acquired image data in accordance with the user's operation. is detected, and the detected photographing object feature amount is obtained (step B3). If the photographing object feature amount cannot be acquired, the process is terminated.
  • control unit 18 of the augmented reality display device 10A transmits, via the communication unit 11 and the network 60, the posted download instruction information that associates the acquired shooting position information and the shooting target feature amount according to the user's operation. , to the server device 30 (step B4).
  • control unit 33 of the server device 30 acquires post download instruction information from the augmented reality display devices 10A and 10B (step B5).
  • control unit 33 of the server device 30 determines whether the photographing target included in the acquired posted download instruction information is located within a predetermined range of the position related to the photographing position information included in the acquired posted download instruction information.
  • Information about the posted data corresponding to the object feature quantity is acquired from the storage unit 32 (step B6).
  • control unit 33 of the server device 30 transmits information about the acquired posted data to the augmented reality display devices 10A and 10B that have transmitted the posted download instruction information via the communication unit 31 and the network 60 (step B7).
  • control unit 18 of the augmented reality display device 10A acquires, via the network 60 and the communication unit 11, information regarding the posted data transmitted from the server device 30 that received the posted download instruction information (step B8). .
  • control unit 18 of the augmented reality display device 10A converts the posted data to a relative position (posted data position based on the posted position information in the information regarding the position) (step B9).
  • the control unit 18 of the augmented reality display device 10A acquires information about filtering conditions from the input unit 16 according to the user's operation (step B10).
  • Information related to filtering conditions includes, for example, posters, posting times, hashtags, and the like (see above for details).
  • step B10 for example, when the display screen of the augmented reality display device is a display screen as shown in FIG. By inputting information about filtering conditions, information about filtering conditions can be obtained.
  • step B11 the control unit 18 filters and displays the displayed posted data based on the acquired information regarding the filtering conditions (step B11), and then terminates.
  • step B11 for example, based on the acquired information about the filtering conditions, the display screen shown in FIG. 9(2-1) in which a plurality of pieces of posted data are displayed in reduced size is displayed as shown in FIG. 9(2). -3) can be transitioned to the display screen. Also, instead of filtering, by tapping the posted data to be referred to on the display screen as shown in FIG. It is possible to transition to a display screen such as (2-3).
  • FIG. 10 is a transition diagram schematically showing an example of a display screen of the management device when deleting posted data in the augmented reality display system according to the first embodiment. Please refer to FIG. 1 for the configuration of the augmented reality display system.
  • the management device 40 can open a page dedicated to the administrator and delete the user ID, information related to the posted data, etc. by the administrator's operation. For example, when a screen such as that shown in Fig. 10 (3-1) displaying a list of multiple post data icons for a given user ID (JNS JNFR) is displayed on the administrator-only page, the post data that the administrator wants to delete is When the icon is tapped, the screen transitions to the screen shown in FIG. 10 (3-2), where the content of the posted data can be confirmed, as shown in FIG. 10 (3-3), and the button for deletion is tapped. 10 (3-4), and the post data can be deleted.
  • a screen such as that shown in Fig. 10 (3-1) displaying a list of multiple post data icons for a given user ID (JNS JNFR) is displayed on the administrator-only page
  • the post data that the administrator wants to delete is When the icon is tapped, the screen transitions to the screen shown in FIG. 10 (3-2), where the content of the posted data can be confirmed, as shown
  • the posted data since the posted data is superimposed on the image data using not only the shooting position information but also the feature amount of the shooting object, the posted data can be displayed at the correct position in the shot image data. can contribute.
  • matching is performed using the shooting position information and the feature amount of the shooting target, so that the search range is limited and post data to be displayed in the image data being displayed can be searched quickly. can.
  • the data can be displayed in a list by inputting information related to filtering conditions, or can be aggregated and displayed in an organized manner. This makes it easier to find the information you want from among the miscellaneous information, and can contribute to increasing customer satisfaction.
  • FIG. 11 is a block diagram schematically showing the configuration of an augmented reality display system according to the second embodiment.
  • FIG. 12 is a transition diagram schematically showing an example of a display screen of an augmented reality display device when linking posted data with an SNS in the augmented reality display system according to the second embodiment.
  • Embodiment 2 is a modification of Embodiment 1, and allows post data to be shared by server device 30 and SNS device 50 by linking post data with SNS (see FIG. 11).
  • the server device 30 in contrast to the augmented reality display system (1 in FIG. 1) according to the first embodiment, the server device 30 includes the SNS information posting unit 34, the SNS information collecting unit 35, and the posted position estimation. A unit 36 is added, and an SNS device 50 is added.
  • a mode of sharing post data between the server device 30 and the SNS device 50 there are a mode of sharing the post data registered in the server device 30 with the SNS device 50, and a mode of sharing the post data registered in the SNS device 50 (image data and shooting position). (including information) is shared by the server device 30 .
  • the augmented reality display devices 10 ⁇ /b>A and 10 ⁇ /b>B include the acquired shared SNS selection information in the information regarding the posted data and transmit the information to the server device 30 .
  • a display screen as shown in FIG. 12 (4-2) for selecting the SNS to be shared, and by selecting the SNS to be shared the shared SNS selection information is included in the information related to the post data. be able to.
  • the SNS information posting unit 34 of the server device 30 acquires information about the posted data included in the posting upload instruction information from the augmented reality display devices 10A and 10B, and sends the SNS to the SNS device 50 based on the acquired information about the posted data.
  • SNS information posting information for posting information is generated, and the generated SNS information posting information is transmitted to the SNS device 50 associated with the SNS selected by the shared SNS selection information.
  • the SNS information posting unit 34 posts the SNS information posted information based on the information about the posted data acquired from the augmented reality display devices 10A and 10B. may be generated, and the generated SNS information posting information may be transmitted to the SNS device 50 associated with any SNS.
  • the SNS device 50 acquires SNS information posted information from the server device 30 and registers SNS information based on the acquired SNS information posted information.
  • the SNS information related to the posted data posted by the augmented reality display devices 10A and 10B can be referenced in the SNS associated with the SNS device 50, and the posted data registered in the server device 30 (the augmented reality display device 10A, 10B) can be accessed and referred to.
  • the SNS information collection unit 35 of the server device 30 receives the SNS data registered in the SNS device 50 .
  • Information is collected from the SNS device 50, and SNS information including at least image data and shooting position information is selected from the collected SNS information.
  • the posting position estimating unit 36 of the server device 30 digitizes the feature points of the photographing object 2 based on the image data included in the selected SNS information. ).
  • the posting position estimating unit 36 is located within a predetermined range of the position related to the shooting position information included in the selected SNS information, and information about the posted data corresponding to the detected shooting target object feature amount, Acquired from the storage unit 32 .
  • the post position estimation unit 36 compares the hashtag or text included in the acquired information about the posted data with the hashtag or text included in the selected SNS information, and extracts information about the matching posted data. do.
  • the posting position estimation unit 36 extracts the posting position information included in the information regarding the extracted posted data, and generates posting position information related to a position near the position of the extracted posting position information.
  • Post position estimation unit 36 generates post data for server device 30 based on the extracted SNS information, associates the generated post position information with the generated post data, and generates post data relating to the SNS information. Generate information.
  • the posting position estimating unit 36 generates information on the posted data, shooting position information related to the extracted SNS information, and detected shooting target object feature quantity (shooting target object feature quantity related to the extracted SNS information). and are associated with each other and stored (registered) in the storage unit 32 . As a result, it becomes possible to access and refer to post data (post data related to SNS information) registered in the server device 30 .
  • the post data is superimposed on the image data using not only the photographing position information but also the feature amount of the photographed object. You can contribute to display posted data.
  • the posted data for the augmented reality image registered in the server device 30 can be registered in the SNS device 50 as SNS information, the posted data registered in the server device 30 can be viewed. You can increase your chances of getting
  • the post data for augmented reality images is registered in the server device 30 based on the SNS information registered in the SNS device 50, the amount of information registered in the server device 30 is increased. It is possible to make it easier for the user to obtain the necessary information.
  • FIG. 13 is a block diagram schematically showing the configuration of an augmented reality display device according to Embodiment 3.
  • FIG. 13 is a block diagram schematically showing the configuration of an augmented reality display device according to Embodiment 3.
  • the augmented reality display device 10 is a device that displays an augmented reality image (see FIG. 13).
  • the augmented reality display device 10 is communicably connected to the server device 30 .
  • the augmented reality display device 10 includes a display section 12 , an image analysis section 14 and a control section 18 .
  • the display unit 12 is configured to display information.
  • the image analysis unit 14 is configured to analyze image data and detect a photographing object feature amount obtained by digitizing the feature points of the photographing object included in the image data.
  • the control unit 18 is configured to control the display unit 12 and the image analysis unit 14 and perform predetermined information processing.
  • the control unit 18 performs a process of transmitting to the server device 30 posting download instruction information including shooting position information about the shooting position of the image data and the feature amount of the shooting object.
  • the control unit 18 converts the posted data into the image data displayed on the display unit 12 based on the information about the posted data related to the shooting position information and the shooting target object feature amount transmitted from the server device 30.
  • a process for superimposing the position relative to the feature amount of the object to be photographed and displaying it on the display unit 12 is performed.
  • the relative position with respect to the photographed object feature value is a position based on the posted position information included in the information on the posted data.
  • the posted data since the posted data is displayed superimposed on the image data using not only the shooting position information but also the feature amount of the shooting object, the posted data can be displayed at an accurate position in the shot image data. can contribute.
  • the augmented reality display device and the server device according to Embodiments 1 to 3 can be configured by so-called hardware resources (information processing device, computer), and the configuration illustrated in FIG. 14 can be used.
  • hardware resource 100 includes processor 101 , memory 102 , network interface 103 , etc. interconnected by internal bus 104 .
  • the configuration shown in FIG. 14 is not intended to limit the hardware configuration of the hardware resource 100 .
  • the hardware resource 100 may include hardware not shown (for example, an input/output interface).
  • the number of units such as the processors 101 included in the device is not limited to the illustration in FIG.
  • a CPU Central Processing Unit
  • MPU Micro Processor Unit
  • GPU Graphics Processing Unit
  • RAM Random Access Memory
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • LAN Local Area Network
  • network adapter for example, a LAN (Local Area Network) card, network adapter, network interface card, etc. can be used.
  • the functions of the hardware resource 100 are realized by the processing modules described above.
  • the processing module is implemented by the processor 101 executing a program stored in the memory 102, for example.
  • the program can be downloaded via a network or updated using a storage medium storing the program.
  • the processing module may be realized by a semiconductor chip.
  • the functions performed by the above processing modules may be realized by executing software in some kind of hardware.
  • [Appendix 1] a display configured to display information; an image analysis unit configured to analyze image data and detect a photographing object feature amount obtained by digitizing a feature point of the photographing object included in the image data; a control unit configured to control the display unit and the image analysis unit and perform predetermined information processing; with The control unit a process of transmitting posted download instruction information including photographing position information regarding the photographing position of the image data and the photographing object feature amount to a server device; Based on the information on the posted data related to the shooting position information and the shooting target feature amount transmitted from the server device, the posting data is converted to the shooting target in the image data displayed on the display unit.
  • a process to display on the display unit superimposed on the relative position with respect to the feature amount; is configured to do the relative position with respect to the photographed object feature amount is a position based on the posted position information included in the information on the posted data;
  • Augmented reality display device is configured.
  • [Appendix 2] further comprising an input unit configured to input information by user operation;
  • the control unit further performs a process of transmitting post upload instruction information including the photographing position information, the photographing object feature amount, and information regarding the post data input from the input unit to the server device. It is configured,
  • the information about the posted data includes shared SNS selection information for selecting an SNS to be shared;
  • the control unit When displaying the posted data on the display unit, the control unit filters the posted data based on information about filtering conditions input from the input unit and displays the posted data on the display unit.
  • the augmented reality display device according to appendix 2 or 3.
  • Appendix 6 further comprising a communication unit configured to externally acquire the image data associated with the shooting position information; 6.
  • the augmented reality display device according to any one of Appendices 1 to 5.
  • Appendix 7 further comprising a storage unit that stores the image data associated with the shooting position information; 7.
  • the augmented reality display device according to any one of Appendices 1 to 6.
  • Appendix 8 Shooting position information about the shooting position of the image data, a shooting target feature amount obtained by digitizing the feature points of the shooting target included in the image data, and a posting position regarding a position relative to the shooting target feature amount a storage configured to associate and store information relating to posted data including information; a control unit configured to control the storage unit and perform predetermined information processing; with When the posted download instruction information is acquired from the augmented reality display device, the control unit reads from the storage unit the posted data related to the shooting position information and the shooting target feature amount included in the posted download instruction information.
  • the control unit When the post upload instruction information is acquired from the augmented reality display device, the control unit associates the shooting position information, the feature amount of the shooting target, and the information on the posted data included in the post upload instruction information, and It is configured to further perform processing to store in the storage unit, The server device according to appendix 8.
  • An SNS that generates SNS information post information for posting SNS information to an SNS device based on information about the post data included in the post upload instruction information, and transmits the SNS information post information to the SNS device. further comprising an information posting section, The server device according to appendix 9.
  • an SNS information collection unit that collects SNS information from an SNS device; a posting position estimation unit that estimates the posting position information of the SNS information based on the image data and the shooting position information included in the SNS information; further comprising The posting position estimation unit A process of detecting a photographing object feature amount obtained by digitizing a feature point of the photographing object based on the image data included in the SNS information; a process of acquiring, from the storage unit, information related to posted data related to the photographed object feature quantity detected at a position within a predetermined range from the position of the photographing position information included in the SNS information; , a process of comparing the hashtag or text included in the acquired information about the posted data and the hashtag or text included in the SNS information, and extracting information about the matching posted data; a process of generating posted position information related to a position near the position of the posted position information included in the information about the extracted posted data; a process of generating post data for the server device based on the SNS information; a process of
  • [Appendix 12] The augmented reality display device according to any one of Appendices 1 to 7; The server device according to any one of Appendices 8 to 11; comprising Augmented reality display system.
  • [Appendix 13] further comprising an SNS device configured to be communicably connected to the server device; 13.
  • [Appendix 14] From the augmented reality display device, the shooting position information about the shooting position of the image data, and the shooting object feature amount obtained by analyzing the image data and digitizing the feature points of the shooting object included in the image data.
  • a step of transmitting posted download instruction information including
  • the server device when the posted download instruction information is acquired, post data related to the shooting position information and the shooting target feature amount included in the posted download instruction information is retrieved from the storage unit of the server device. reading and transmitting information to the augmented reality display device;
  • the posted data is superimposed on a position relative to the feature value of the object in the displayed image data based on the information about the posted data transmitted from the server device.
  • a step of causing including the relative position with respect to the photographed object feature amount is a position based on the posted position information included in the information on the posted data; Augmented reality display method.
  • the process of superimposing and displaying at a typical position Let the augmented reality display device execute the relative position with respect to the photographed object feature amount is a position based on the posted position information included in the information on the posted data; program.
  • Augmented Reality Display System 1 Augmented Reality Display System 2 Shooting Object 10, 10A, 10B Augmented Reality Display Device 11 Communication Unit 12 Display Unit 13 Imaging Unit 14 Image Analysis Unit 15 Position Detection Unit 16 Input Unit 17 Storage Unit 18 Control Unit 30 Server Device 31 Communication Unit 32 storage unit 33 control unit 34 SNS information posting unit 35 SNS information collecting unit 36 posting position estimation unit 40 management device 50 SNS device 60 network 100 hardware resources 101 processor 102 memory 103 network interface 104 internal bus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

拡張現実表示装置は、表示部と、画像データ含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量を検出する画像解析部と、制御部と、を備え、制御部は画像データの撮影した位置に関する撮影位置情報と、撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信し、サーバ装置から送信された、撮影位置情報及び撮影対象物特徴量に関連する投稿データに関する情報に基づいて、投稿データを、表示部に表示された画像データにおける撮影対象物特徴量に対する相対的な位置に重ねて表示部に表示させる。撮影対象物特徴量に対する相対的な位置は、投稿データに関する情報に含まれた投稿位置情報に基づく位置である（図１３）。

Description

拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム
　［関連出願についての記載］
　本発明は、日本国特許出願：特願２０２１－１８９８９８号（２０２１年１１月２４日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラムに関する。
　携帯端末（例えば、スマートフォン）のカメラで撮影されている現実の画像における所定の位置に、関連する投稿データ（写真、テキスト等）を重ねて表示する拡張現実（ＡＲ：Augmented Reality）技術を用いた情報共有サービスがある。ＡＲ技術を用いた情報共有サービスにおいては、携帯端末が、ＧＰＳ（Global Positioning System）等による現在位置情報と、方位センサ等による方位情報と、をサーバ装置に送信し、当該サーバ装置から当該現在位置情報及び当該方位情報の周辺の位置に投稿された投稿データを取得し、カメラで撮影されている画像における指定位置（当該投稿データに設定されている指定位置）に当該投稿データを重ねて表示している（例えば、特許文献１～３参照）。
特開２０１４－６５８２号公報 特開２０１３－２３１６５５号公報 特開２０１１－１２３８０７号公報
　なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
　特許文献１～３に記載されたＡＲ技術を用いた情報共有サービスでは、携帯端末のＧＰＳで測定される位置の精度の問題で、携帯端末のカメラで撮影された画像における特定の物体（例えば、室内にあるサーバなど）のような詳細な位置に、投稿データを表示することが困難であった。例えば、オフィスビルにおける隣り合う２つの部屋のそれぞれに同じ型式のサーバＡとサーバＢがある場合、サーバのみが撮影されている画像だけでは、その画像におけるサーバがサーバＡかサーバＢかを判別できず、サーバＡに投稿された投稿データが、サーバＢの周辺に表示される可能性がある。つまり、特許文献１～３に記載されたＡＲ技術を用いた情報共有サービスでは、正確な位置に投稿データを表示させることができず、ユーザの欲しい情報を得ることができない可能性がある。
　本発明の主な目的は、撮影された画像における正確な位置に投稿データを表示させることに貢献することができる拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラムを提供することである。
　第１の視点に係る拡張現実表示装置は、情報を表示するように構成された表示部と、画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量を検出するように構成された画像解析部と、前記表示部及び前記画像解析部を制御するとともに、所定の情報処理を行うように構成された制御部と、を備え、前記制御部は、前記画像データの撮影した位置に関する撮影位置情報と、前記撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信する処理と、前記サーバ装置から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、前記投稿データを、前記表示部に表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて前記表示部に表示させる処理と、を行うように構成され、前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である。
　第２の視点に係るサーバ装置は、画像データの撮影した位置に関する撮影位置情報と、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量と、前記撮影対象物特徴量に対する相対的な位置に関する投稿位置情報を含む投稿データに関する情報と、を関連付けて記憶するように構成された記憶部と、前記記憶部を制御するとともに、所定の情報処理を行うように構成された制御部と、を備え、前記制御部は、拡張現実表示装置から投稿ダウンロード指示情報を取得したときに、前記記憶部から、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する前記投稿データに関する情報を読み出して前記拡張現実表示装置に送信する処理を行うように構成されている。
　第３の視点に係る拡張現実表示システムは、前記第１の視点に係る拡張現実表示装置と、前記第２の視点に係るサーバ装置と、を備える。
　第４の視点に係る拡張現実表示方法は、拡張現実表示装置から、画像データの撮影した位置に関する撮影位置情報と、前記画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信するステップと、前記サーバ装置において、前記投稿ダウンロード指示情報を取得したときに、前記サーバ装置の記憶部から、前記投稿ダウンロード指示情報に含まれた前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報を読み出して前記拡張現実表示装置に送信するステップと、前記拡張現実表示装置において、前記サーバ装置から送信された前記投稿データに関する情報に基づいて、前記投稿データを、表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて表示させるステップと、を含み、前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である。
　第５の視点に係るプログラムは、画像データの撮影した位置に関する撮影位置情報と、前記画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信する処理と、前記サーバ装置から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、前記投稿データを、表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて表示させる処理と、を拡張現実表示装置に実行させ、前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である。
　第６の視点に係るプログラムは、拡張現実表示装置から投稿ダウンロード指示情報を取得したときに、記憶部から、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する投稿データに関する情報を読み出して前記拡張現実表示装置に送信する処理をサーバ装置に実行させる。
　前記第１～６の視点によれば、撮影された画像における正確な位置に投稿データを表示させることに貢献することができる。
実施形態１に係る拡張現実表示システムの構成を模式的に示したブロック図である。 実施形態１に係る拡張現実表示システムにおける拡張現実表示装置で表示される拡張現実の一例を模式的に示したイメージ図である。 実施形態１に係る拡張現実表示システムにおける画像データに係る撮影位置情報と撮影対象物特徴量との関係を模式的に示したイメージ図である。 実施形態１に係る拡張現実表示システムにおける投稿データの登録に関する動作を模式的に示したフローチャート図である。 実施形態１に係る拡張現実表示システムにおける投稿データの登録の際の拡張現実表示装置の表示画面の一例を模式的に示した遷移図である。 実施形態１に係る拡張現実表示システムにおける投稿データの登録の際の拡張現実表示装置の表示画面の一例を模式的に示した図５に続く遷移図である。 実施形態１に係る拡張現実表示システムにおける投稿データの登録の際の拡張現実表示装置の表示画面の一例を模式的に示した図６に続く遷移図である。 実施形態１に係る拡張現実表示システムにおける投稿データの表示に関する動作を模式的に示したフローチャート図である。 実施形態１に係る拡張現実表示システムにおける投稿データの表示の際の拡張現実表示装置の表示画面の一例を模式的に示した遷移図である。 実施形態１に係る拡張現実表示システムにおける投稿データの削除の際の管理装置の表示画面の一例を模式的に示した遷移図である。 実施形態２に係る拡張現実表示システムの構成を模式的に示したブロック図である。 実施形態２に係る拡張現実表示システムにおける投稿データをＳＮＳに連携する際の拡張現実表示装置の表示画面の一例を模式的に示した遷移図である。 実施形態３に係る拡張現実表示装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。
　以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。
［実施形態１］
　実施形態１に係る拡張現実表示システムについて図面を用いて説明する。図１は、実施形態１に係る拡張現実表示システムの構成を模式的に示したブロック図である。図２は、実施形態１に係る拡張現実表示システムにおける拡張現実表示装置で表示される拡張現実の一例を模式的に示したイメージ図である。図３は、実施形態１に係る拡張現実表示システムにおける画像データに係る撮影位置情報と撮影対象物特徴量との関係を模式的に示したイメージ図である。
　拡張現実表示システム１は、拡張現実表示装置１０Ａ、１０Ｂに表示された現実の画像データ（例えば、撮影対象物２を撮影した画像データ）における所定の位置に、関連する投稿データを重ねて配置した拡張現実画像（ＡＲ画像）を表示するシステムである（図１、図２参照）。拡張現実表示システム１は、画像データに関連付けられた撮影位置情報と、当該画像データにおける撮影対象物２の特徴点を数値化した撮影対象物特徴量と、に基づいて、投稿データを、拡張現実表示装置１０Ａ、１０Ｂに表示された画像における撮影対象物特徴量に対する相対的な位置（投稿データに関連付けられた投稿位置情報に基づく位置）に重ねて表示させる機能を有する（図３参照）。
　ここで、撮影対象物２の特徴点として、例えば、撮影対象物２の平面、エッジ、コーナー等が挙げられる。また、特徴点の数値化として、例えば、３次元座標情報、極座標情報等の座標情報の付与が挙げられる。
　拡張現実表示システム１は、複数のユーザ間で実空間上のＡＲ画像をシェアする情報共有サービスに用いることができ、例えば、ＳＮＳ（Social Networking Service）、設備管理、保守、在庫管理、道路情報提供、ナビゲーション等に用いることができる。拡張現実表示システム１は、拡張現実表示装置１０Ａ、１０Ｂと、サーバ装置３０と、管理装置４０と、ネットワーク６０と、を備える。
　拡張現実表示装置１０Ａ、１０Ｂは、拡張現実画像を表示する装置である（図１参照）。拡張現実表示装置１０Ａ、１０Ｂは、ネットワーク６０と通信可能（無線通信可能又は有線通信可能）に接続されている。図１では２台の拡張現実表示装置１０Ａ、１０Ｂが存在するが、１台でもよく、３台以上でもよい。拡張現実表示装置１０Ａ、１０Ｂには、コンピュータを構成する機能部（例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置）を備えた装置（コンピュータ装置）であって、撮影位置情報と関連付けられた画像データを取得することが可能なものを用いることができ、例えば、スマートフォン、タブレット、パーソナルコンピュータ、眼鏡型デバイス等を用いることができる。画像データは、拡張現実表示装置１０Ａ、１０Ｂ自身の撮像部１３で撮影された画像データ、拡張現実表示装置１０Ａ、１０Ｂ自身の記憶部に記憶された画像データ、ネットワーク６０を介して外部（例えば、遠隔監視カメラ、位置画像提供サイト等）から取得した画像データ等を用いることができ、方位情報も関連付けられた画像データであってもよい。画像データに関連付けられた撮影位置情報は、拡張現実表示装置１０Ａ、１０Ｂ自身の位置検出部１５で検出された撮影位置情報や、他の装置によって画像データに関連付けられた撮影位置情報等であってもよい。拡張現実表示装置１０Ａ、１０Ｂは、時刻機能を有する。拡張現実表示装置１０Ａ、１０Ｂは、所定のプログラムを実行することによって、通信部１１と、表示部１２と、撮像部１３と、画像解析部１４と、位置検出部１５と、入力部１６と、記憶部１７と、制御部１８と、を備えた構成を実現する。
　通信部１１は、情報の通信（有線通信又は無線通信）を行う機能部である（図１参照）。通信部１１は、ネットワーク６０と通信可能に接続されている。通信部１１は、制御部１８の制御により、通信を行う。通信部１１には、例えば、無線通信インタフェイスを用いてもよく、有線通信インタフェイスを用いてもよい。
　表示部１２は、情報を表示する機能部である（図１参照）。表示部１２は、制御部１８の制御により、情報を表示する。表示部１２には、例えば、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示デバイス、通信部１１と通信可能に接続された眼鏡型ディスプレイ等を用いることができる。
　撮像部１３は、撮影対象物２を撮影する機能部である（図１、図２参照）。撮像部１３は、撮影対象物２を撮影することによって画像データを生成する。撮像部１３は、制御部１８の制御により、撮影対象物２を撮影する。なお、拡張現実表示装置１０Ａ、１０Ｂが外部から画像データを取得する場合には、拡張現実表示装置１０は、撮像部１３を有さない構成であってもよい。撮像部１３には、例えば、ＣＣＤ（Charge Coupled Device）センサとＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサを用いることができ、さらに特徴量検出用の３次元センサ（例えば、ＴｏＦ（Time of Flight）カメラ、ステレオカメラ、３次元－ＬＩＤＡＲ（Laser Imaging Detection And Ranging）、デプスセンサ、測距センサ、距離カメラ等）が組み込まれたものを用いてもよい。撮像部１３は、望遠や広角で撮影できるズームレンズを有するものであってもよい。
　画像解析部１４は、画像データを解析する機能部である（図１参照）。画像解析部１４は、撮像部１３、記憶部１７、通信部１１（外部に接続された通信部１１）等から画像データを取得する。画像解析部１４は、取得した画像データを解析して、当該画像データに含まれた撮影対象物２の特徴点を数値化した撮影対象物特徴量（３次元座標情報、極座標情報等）を検出する。特徴量の検出方法として、画像データに基づいて撮影対象物２の特徴点を抽出し、抽出した特徴点に基づいて画像データに係る空間の座標を決定し、決定した座標に基づいて当該特徴点を数値化した撮影対象物特徴量を検出することができ、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）等を用いることができる。
　位置検出部１５は、拡張現実表示装置１０Ａ、１０Ｂ（撮像部１３）の現在位置に係る情報（撮影位置情報に相当；例えば、経度、緯度）を検出する機能部である（図１参照）。位置検出部１５は、例えば、ＧＰＳ（Global Positioning System）、予め位置情報が設定された複数の無線基地局との電波強度、予め位置情報が設定されたＱＲ（Quick Response）コード等を利用して、拡張現実表示装置１０Ａ、１０Ｂの撮影位置情報を検出するようにしてもよい。位置検出部１５は、撮影位置の検出に加え、方位センサ、地磁気センサ、加速度センサ等を用いて撮像部１３の光軸が向いている方向や仰角に関する角度情報も検出するものであってもよい。なお、拡張現実表示装置１０Ａ、１０Ｂが外部から撮影位置情報と関連付けられた画像データを取得する場合、拡張現実表示装置１０Ａ、１０Ｂは、位置検出部１５を有さない構成であってもよい。
　入力部１６は、情報を入力する機能部である（図１参照）。入力部１６は、制御部１８の制御により、ユーザの操作によって入力された情報を入力する。入力部１６には、例えば、タッチパネル、キーボード、マウス、非接触ＵＩ（User Interface）、ジェスチャセンサ、マイク、ヘッドセット等を用いることができる。入力部１６は、ユーザの操作により、投稿データに関する情報、フィルタリング条件に関する情報等を入力（選択、指定でも可）する。
　ここで、投稿データに関する情報として、例えば、ユーザＩＤ、公開範囲（グループＩＤ等）、投稿日時、表示形式（吹き出し、アイコン表示、色、形等）、テキスト（フォント、文字サイズ、文字色等）、絵文字、スタンプ、画像、動画ファイル、音声ファイル、ハッシュタグ、投稿位置情報等が挙げられる。投稿位置情報については、位置の微修正（例えば、図７（１－１０）の矢印ボタンの操作による微修正）が可能である。
　また、フィルタリング条件に関する情報として、例えば、期間（例えば、本日から１週間以内の投稿）、キーワード（例えば、「カフェ」）、ハッシュタグ（例えば、「＃カフェダイニング」）、距離（例えば、現在位置から１０ｍ以内）、ユーザＩＤ、年齢、性別、グループＩＤ、好評価数（例えば、いいね数１０以上）、コメント数、質問数等が挙げられる。
　記憶部１７は、各種の情報（データ、プログラム等）を記憶する機能部である（図１参照）。記憶部１７には、例えば、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等の記憶装置を用いることができる。記憶部１７は、制御部１８の制御により、情報の書き込みや読み出しを行う。
　制御部１８は、通信部１１、表示部１２、撮像部１３、画像解析部１４、位置検出部１５、入力部１６、及び、記憶部１７を制御する機能部である（図１参照）。制御部１８には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等のプロセッサを用いることができる。制御部１８は、記憶部１７に記憶された所定のプログラムを実行することにより、プログラムに記述された所定の処理を行うことができる。
　制御部１８は、投稿データを投稿（サーバ装置３０に登録）する際、以下のような処理を行う。制御部１８は、撮像部１３、記憶部１７、通信部１１（外部に接続された通信部１１）等から画像データを取得して表示部１２に表示させる。制御部１８は、位置検出部１５、又は、取得した画像データ（撮影位置情報を含むもの）から撮影位置情報（角度情報がある場合は角度情報を含めても可）を取得する。制御部１８は、画像解析部１４において、取得した画像データに基づいて撮影対象物２の特徴点を数値化した撮影対象物特徴量を検出させて、検出された撮影対象物特徴量を取得する。制御部１８は、入力部１６から投稿データに関する情報を取得する。制御部１８は、取得した撮影位置情報、撮影対象物特徴量、及び投稿データに関する情報を関連付けた投稿アップロード指示情報を、通信部１１及びネットワーク６０を介して、サーバ装置３０に送信する。
　制御部１８は、投稿データを表示（フィルタリングして表示する場合を含む）する際、以下のような処理を行う。制御部１８は、撮像部１３、記憶部１７、通信部１１（外部に接続された通信部１１）等から画像データを取得して表示部１２に表示させる。制御部１８は、位置検出部１５、又は、取得した画像データ（撮影位置情報を含むもの）から撮影位置情報を取得する。制御部１８は、画像解析部１４において、取得した画像データに基づいて撮影対象物２の特徴点を数値化した撮影対象物特徴量を検出させて、検出された撮影対象物特徴量を取得する。制御部１８は、フィルタリングする場合、入力部１６からフィルタリング条件に関する情報を取得する。制御部１８は、取得した撮影位置情報及び撮影対象物特徴量を含む投稿ダウンロード指示情報（フィルタリングする場合はフィルタリング条件に関する情報も関連付けたもの）を、通信部１１及びネットワーク６０を介して、サーバ装置３０に送信する。制御部１８は、投稿ダウンロード指示情報を受信したサーバ装置３０から送信された、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する投稿データに関する情報を、ネットワーク６０及び通信部１１を介して、取得する。制御部１８は、取得した投稿データに関する情報に基づいて、投稿データを、表示部１２に表示された画像データにおける撮影対象物特徴量に対する相対的な位置（投稿データに関する情報における投稿位置情報に基づく位置）に重ねて表示させる。制御部１８は、投稿データを表示した後にフィルタリングして表示する場合、入力部１６からフィルタリング条件に関する情報を取得し、取得したフィルタリング条件に関する情報に基づいて、表示されている投稿データをフィルタリングして表示させるようにしてもよい。制御部１８は、複数の投稿データを表示する場合、投稿データが互いに重ならないようにずらして表示させるようにしたり、投稿データのアイコンを一覧表示させるようにしたり、どの地点でどれくらい投稿があったかを集計して整理して表示させるようにもよい。
　サーバ装置３０は、拡張現実表示装置１０Ａ、１０Ｂに表示された画像データにおける所定の位置に重ねて表示させる投稿データに関する情報を提供するサービスを行う装置である（図１参照）。サーバ装置３０は、撮影位置情報、撮影対象物特徴量、及び投稿データに関する情報を関連付けて記憶する。サーバ装置３０は、ネットワーク６０と通信可能（無線通信可能又は有線通信可能）に接続されている。サーバ装置３０として、サーバを構成する機能部（例えば、プロセッサ、記憶装置、及び通信インタフェイス）を備えた装置（コンピュータ装置）を用いることができ、例えば、物理サーバ、仮想サーバ、クラウドサーバ等を用いてもよい。サーバ装置３０は、所定のプログラムを実行することによって、サーバ装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備えた構成を実現する。
　通信部３１は、情報の通信（有線通信又は無線通信）を行う機能部である（図１参照）。通信部３１は、ネットワーク６０と通信可能に接続されている。通信部３１は、制御部３３の制御により、通信を行う。通信部３１には、例えば、有線通信インタフェイスを用いてもよく、無線通信インタフェイスを用いてもよい。通信部３１は、拡張現実表示装置１０Ａ、１０Ｂからの投稿アップロード指示情報、投稿ダウンロード指示情報等を受信することができる。通信部３１は、投稿ダウンロード指示情報に応じた投稿データに関する情報を拡張現実表示装置１０Ａ、１０Ｂに送信することができる。
　記憶部３２は、各種の情報（データ、プログラム等）を記憶する機能部である（図１参照）。記憶部３２には、例えば、ＲＡＭ、ＳＳＤ、ＨＤＤ、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）等の記憶装置を用いることができる。記憶部３２は、制御部３３の制御により、情報の書き込みや読み出しを行う。記憶部３２は、拡張現実表示装置１０Ａ、１０Ｂからのデータを記憶することができる。記憶部３２は、制御部３３で処理されたデータを記憶することができる。記憶部３２に記憶されたデータは、拡張現実表示装置１０Ａ、１０Ｂに送信することができる。記憶部３２には、撮影位置情報、撮影対象物特徴量、及び投稿データに関する情報を関連付けて記憶することができる。
　制御部３３は、通信部３１及び記憶部３２を制御する機能部である（図１参照）。制御部３３には、例えば、ＣＰＵ、ＭＰＵ等のプロセッサを用いることができる。制御部３３は、記憶部３２に記憶された所定のプログラムを実行することにより、プログラムに記述された所定の情報処理を行うことができる。
　制御部３３は、投稿データを登録する際、拡張現実表示装置１０Ａ、１０Ｂからの投稿アップロード指示情報を、ネットワーク６０及び通信部３１を介して、取得する。制御部３３は、取得した投稿アップロード指示情報に含まれた撮影位置情報、撮影対象物特徴量、及び投稿データに関する情報を関連付けて記憶部３２に記憶させる。制御部３３は、投稿データを登録した際、投稿データの投稿者（フォロイー）をフォローしているフォロワーの拡張現実表示装置１０Ａ、１０Ｂに投稿データの登録を知らせる通知を行うようにしてもよい。
　制御部３３は、投稿データを提供（フィルタリングして提供する場合を含む）する際、以下のような処理を行う。制御部３３は、拡張現実表示装置１０Ａ、１０Ｂからの投稿ダウンロード指示情報（フィルタリングする場合はフィルタリング条件に関する情報も関連付けたもの）を、ネットワーク６０及び通信部３１を介して、取得する。制御部３３は、記憶部３２から、取得した投稿ダウンロード指示情報に含まれた撮影位置情報に係る位置の所定範囲内の位置にあり、かつ、当該投稿ダウンロード指示情報に含まれた撮影対象物特徴量に対応する投稿データに関する情報を、記憶部３２から取得する。制御部３３は、取得した投稿ダウンロード指示情報においてフィルタリング条件に関する情報が含まれている場合に、記憶部３２から、取得した投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に対応する投稿データに関する情報のうち、フィルタリング条件に関する情報に該当する投稿データに関する情報を取得する。制御部３３は、取得した投稿データに関する情報を、通信部３１及びネットワーク６０を介して、投稿ダウンロード指示情報を送信してきた拡張現実表示装置１０Ａ、１０Ｂに送信する。
　管理装置４０は、サーバ装置３０に記憶されている投稿データに関する情報の管理に用いられる装置である（図１参照）。管理装置４０は、ネットワーク６０と通信可能（無線通信可能又は有線通信可能）に接続されている。管理装置４０は、コンピュータを構成する機能部（例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置）を備えた装置（コンピュータ装置）を用いることができ、例えば、パーソナルコンピュータ、タブレット、スマートフォン等を用いることができる。管理装置４０は、サーバ装置３０の管理者によって用いられる。管理装置４０は、管理者の操作により、管理者専用のページで、ユーザＩＤ、投稿データに関する情報等を削除することができる。
　ネットワーク６０は、拡張現実表示装置１０Ａ、１０Ｂとサーバ装置３０と管理装置４０との間を通信可能に接続する有線又は無線の通信網である（図１参照）。ネットワーク６０には、例えば、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）等の通信網を用いることができる。
　実施形態１に係る拡張現実表示システムにおける投稿データの登録に関する動作について図面を用いて説明する。図４は、実施形態１に係る拡張現実表示システムにおける投稿データの登録に関する動作を模式的に示したフローチャート図である。図５～図７は、実施形態１に係る拡張現実表示システムにおける投稿データの登録の際の拡張現実表示装置の表示画面の一例を模式的に示した遷移図である。なお、拡張現実表示システムの構成については図１を参照されたい。
　まず、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、撮像部１３から画像データを取得して表示部１２に表示させる（ステップＡ１）。なお、画像データは、記憶部１７、通信部１１（外部に接続された通信部１１）等から取得したものでもよい。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、位置検出部１５から撮影位置情報を取得する（ステップＡ２）。位置検出部１５から撮影位置情報を取得することができない場合、処理を終了する。なお、画像データが記憶部１７、通信部１１等から取得した画像データである場合、画像データに含まれている撮影位置情報を取得する。記憶部１７、通信部１１等から取得した画像データに撮影位置情報が含まれていない場合、処理を終了する。ステップＡ２では、例えば、拡張現実表示装置の表示画面が図５（１－１）のような表示画面である場合、「投稿登録」ボタンをタップすることで撮影位置情報を取得し、撮影位置情報の取得が完了すると、図５（１－２）のような表示画面に遷移する。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、画像解析部１４において、取得した画像データに基づいて撮影対象物２の特徴点を数値化した撮影対象物特徴量を検出させて、検出された撮影対象物特徴量を取得する（ステップＡ３）。撮影対象物特徴量を取得することができない場合、処理を終了する。ステップＡ３では、例えば、拡張現実表示装置の表示画面が図５（１－２）のような表示画面である場合、画面をタップすることで、図５（１－３）のような表示画面に遷移し、撮影対象物２の側面を回るように拡張現実表示装置１０Ａ（撮像部１３）を移動させて撮影対象物特徴量を取得し、撮影対象物特徴量の取得が完了すると、図５（１－４）のような表示画面に遷移する。撮影対象物特徴量の取得では、画像データにおける特徴点（壁や床等の平面、エッジ、コーナー等）を検出し、抽出した特徴点に基づいて画像データに係る空間の座標を決定し、決定した座標に基づいて当該特徴点を数値化した撮影対象物特徴量を検出することができる。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、入力部１６から投稿データに関する情報を取得する（ステップＡ４）。投稿データに関する情報として、例えば、テキスト、写真、投稿位置情報等が挙げられる（詳細は上記参照）。ステップＡ４では、例えば、拡張現実表示装置の表示画面が図６（１－５）のような表示画面である場合、「＋」ボタンをタップすることで図６（１－６）のような表示画面に遷移し、投稿したい場所をタップして位置を設定することで図６（１－７）のような表示画面に遷移し、投稿画面を選択することで図７（１－８）のような表示画面に遷移し、投稿テキストを入力して「投稿」ボタンをタップすることで図７（１－９）のような表示画面に遷移し、「投稿位置を調整する」ボタンをタップして投稿位置を調整することで図７（１－１０）のような表示画面になり、「この場所に投稿」ボタンをタップすることで投稿データに関する情報を取得することができる。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、取得した撮影位置情報、撮影対象物特徴量、及び投稿データに関する情報を関連付けた投稿アップロード指示情報を、通信部１１及びネットワーク６０を介して、サーバ装置３０に送信する（ステップＡ５）。
　次に、サーバ装置３０の制御部３３は、拡張現実表示装置１０Ａからの投稿アップロード指示情報を、ネットワーク６０及び通信部３１を介して、取得する（ステップＡ６）。
　次に、サーバ装置３０の制御部３３は、取得した投稿アップロード指示情報に含まれた撮影位置情報、撮影対象物特徴量、及び投稿データに関する情報を関連付けて記憶部３２に記憶（登録）させ（ステップＡ７）、その後、終了する。
　実施形態１に係る拡張現実表示システムにおける投稿データの表示に関する動作について図面を用いて説明する。図８は、実施形態１に係る拡張現実表示システムにおける投稿データの表示に関する動作を模式的に示したフローチャート図である。図９は、実施形態１に係る拡張現実表示システムにおける投稿データの表示の際の拡張現実表示装置の表示画面の一例を模式的に示した遷移図である。なお、拡張現実表示システムの構成については図１を参照されたい。
　まず、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、撮像部１３から画像データを取得して表示部１２に表示させる（ステップＢ１）。なお、画像データは、記憶部１７、通信部１１（外部に接続された通信部１１）等から取得したものでもよい。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、位置検出部１５から撮影位置情報を取得する（ステップＢ２）。位置検出部１５から撮影位置情報を取得することができない場合、処理を終了する。なお、画像データが記憶部１７、通信部１１等から取得した画像データである場合、画像データに含まれている撮影位置情報を取得する。記憶部１７、通信部１１等から取得した画像データに撮影位置情報が含まれていない場合、処理を終了する。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、画像解析部１４において、取得した画像データに基づいて撮影対象物２の特徴点を数値化した撮影対象物特徴量を検出させて、検出された撮影対象物特徴量を取得する（ステップＢ３）。撮影対象物特徴量を取得することができない場合、処理を終了する。
　次に、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、取得した撮影位置情報及び撮影対象物特徴量を関連付けた投稿ダウンロード指示情報を、通信部１１及びネットワーク６０を介して、サーバ装置３０に送信する（ステップＢ４）。
　次に、サーバ装置３０の制御部３３は、拡張現実表示装置１０Ａ、１０Ｂからの投稿ダウンロード指示情報を取得する（ステップＢ５）。
　次に、サーバ装置３０の制御部３３は、取得した投稿ダウンロード指示情報に含まれた撮影位置情報に係る位置の所定範囲内の位置にあり、かつ、当該投稿ダウンロード指示情報に含まれた撮影対象物特徴量に対応する投稿データに関する情報を、記憶部３２から取得する（ステップＢ６）。
　次に、サーバ装置３０の制御部３３は、取得した投稿データに関する情報を、通信部３１及びネットワーク６０を介して、投稿ダウンロード指示情報を送信してきた拡張現実表示装置１０Ａ、１０Ｂに送信する（ステップＢ７）。
　次に、拡張現実表示装置１０Ａの制御部１８は、投稿ダウンロード指示情報を受信したサーバ装置３０から送信された投稿データに関する情報を、ネットワーク６０及び通信部１１を介して、取得する（ステップＢ８）。
　次に、拡張現実表示装置１０Ａの制御部１８は、取得した投稿データに関する情報に基づいて、投稿データを、表示部１２に表示された画像における撮影対象物特徴量に対する相対的な位置（投稿データに関する情報における投稿位置情報に基づく位置）に重ねて表示させる（ステップＢ９）。
　その後、フィルタリングして投稿データを表示する場合、拡張現実表示装置１０Ａの制御部１８は、ユーザの操作に応じて、入力部１６からフィルタリング条件に関する情報を取得する（ステップＢ１０）。フィルタリング条件に関する情報として、例えば、投稿者、投稿時期、ハッシュタグ等が挙げられる（詳細は上記参照）。ステップＢ１０では、例えば、拡張現実表示装置の表示画面が、複数の投稿データが縮小表示された図９（２－１）のような表示画面である場合、フィルタリング条件入力用のボタンをタップしてフィルタリング条件に関する情報を入力することで、フィルタリング条件に関する情報を取得することができる。
　次に、制御部１８は、取得したフィルタリング条件に関する情報に基づいて、表示されている投稿データをフィルタリングして表示させ（ステップＢ１１）、その後、終了する。ステップＢ１１では、例えば、取得したフィルタリング条件に関する情報により、複数の投稿データが縮小表示された図９（２－１）のような表示画面から、フィルタリングされた投稿データを拡大表示した図９（２－３）のような表示画面に遷移させることができる。また、フィルタリングの代わりに、複数の投稿データが縮小表示された図９（２－２）のような表示画面において参照したい投稿データをタップすることで、タップされた投稿データを拡大表示した図９（２－３）のような表示画面に遷移させることができる。
　実施形態１に係る拡張現実表示システムにおける投稿データの削除の際の動作について図面を用いて説明する。図１０は、実施形態１に係る拡張現実表示システムにおける投稿データの削除の際の管理装置の表示画面の一例を模式的に示した遷移図である。なお、拡張現実表示システムの構成については図１を参照されたい。
　管理者が投稿データの削除の際、管理装置４０は、管理者の操作により、管理者専用のページを開き、ユーザＩＤ、投稿データに関する情報等を削除することができる。例えば、管理者専用ページで所定のユーザＩＤ（JNS JNFR）の複数の投稿データのアイコンを一覧表示した図１０（３－１）のような画面を表示したとき、管理者が削除したい投稿データのアイコンをタップすると、図１０（３－２）のような画面に遷移して、投稿データの内容が確認できる図１０（３－３）のような画面に遷移し、削除用のボタンをタップすることで図１０（３－４）のような画面に遷移して、投稿データを削除することができる。
　実施形態１によれば、投稿データを撮影位置情報だけでなく撮影対象物特徴量を用いて画像データに重ねて表示させるので、撮影された画像データにおける正確な位置に投稿データを表示させることに貢献することができる。
　また、実施形態１によれば、撮影位置情報及び撮影対象物特徴量によってマッチングを行うことで、探索範囲が限定されて、表示されている画像データに表示されるべき投稿データを速く探し出すことができる。
　さらに、実施形態１によれば、画像データに多数の投稿データが表示されている場合であっても、フィルタリング条件に関する情報の入力によって一覧表示したり、集計して整理して表示したりすることで、雑多な情報の中から欲しい情報を見つけやすくなり、顧客満足度を上げることに貢献することができる。
［実施形態２］
　実施形態２に係る拡張現実表示システムについて図面を用いて説明する。図１１は、実施形態２に係る拡張現実表示システムの構成を模式的に示したブロック図である。図１２は、実施形態２に係る拡張現実表示システムにおける投稿データをＳＮＳと連携する際の拡張現実表示装置の表示画面の一例を模式的に示した遷移図である。
　実施形態２は、実施形態１の変形例であり、投稿データをＳＮＳと連携して、投稿データをサーバ装置３０及びＳＮＳ装置５０で共有できるようにしたものである（図１１参照）。実施形態２に係る拡張現実表示システム１では、実施形態１に係る拡張現実表示システム（図１の１）に対して、サーバ装置３０においてＳＮＳ情報投稿部３４、ＳＮＳ情報収集部３５及び投稿位置推定部３６が追加されるとともに、ＳＮＳ装置５０が追加されている。
　投稿データをサーバ装置３０及びＳＮＳ装置５０で共有する形態として、サーバ装置３０に登録された投稿データをＳＮＳ装置５０で共有する形態と、ＳＮＳ装置５０に登録された投稿データ（画像データ及び撮影位置情報を含むもの）をサーバ装置３０で共有する形態と、がある。
　サーバ装置３０に登録された投稿データをＳＮＳ装置５０で共有する形態では、図４のステップＡ４で投稿データに関する情報を取得する際、拡張現実表示装置１０Ａ、１０Ｂは、共有させるＳＮＳを選択した共有ＳＮＳ選択情報を取得する。拡張現実表示装置１０Ａ、１０Ｂは、取得した共有ＳＮＳ選択情報を投稿データに関する情報に含めてサーバ装置３０に送信する。例えば、拡張現実表示装置１０Ａ、１０Ｂで投稿データに関する情報を取得する際、図１２（４－１）のような表示画面で、ＳＮＳと共有するための共有方法に係るボタンを表示させ、当該ボタンをタップすることで、共有させるＳＮＳを選択するための図１２（４－２）のような表示画面に遷移し、共有させるＳＮＳを選択することで、共有ＳＮＳ選択情報を投稿データに関する情報に含めることができる。サーバ装置３０のＳＮＳ情報投稿部３４は、拡張現実表示装置１０Ａ、１０Ｂからの投稿アップロード指示情報に含まれた投稿データに関する情報を取得し、取得した投稿データに関する情報に基づいてＳＮＳ装置５０にＳＮＳ情報を投稿するためのＳＮＳ情報投稿情報を生成し、生成されたＳＮＳ情報投稿情報を、共有ＳＮＳ選択情報で選択されたＳＮＳに係るＳＮＳ装置５０に向けて送信する。また、投稿データに関する情報に共有ＳＮＳ選択情報が含まれていない場合であっても、ＳＮＳ情報投稿部３４は、拡張現実表示装置１０Ａ、１０Ｂから取得した投稿データに関する情報に基づいてＳＮＳ情報投稿情報を生成し、生成されたＳＮＳ情報投稿情報を、任意のＳＮＳに係るＳＮＳ装置５０に向けて送信するようにしてもよい。ＳＮＳ装置５０は、サーバ装置３０からのＳＮＳ情報投稿情報を取得し、取得されたＳＮＳ情報投稿情報に基づいて、ＳＮＳ情報を登録する。これにより、ＳＮＳ装置５０に係るＳＮＳで、拡張現実表示装置１０Ａ、１０Ｂで投稿された投稿データに関するＳＮＳ情報を参照できるようになり、サーバ装置３０に登録された投稿データ（拡張現実表示装置１０Ａ、１０Ｂで投稿された投稿データ）にアクセスして参照できるようになる。
　ＳＮＳ装置５０に登録された投稿データ（画像データ及び撮影位置情報を含むもの）をサーバ装置３０で共有する形態では、サーバ装置３０のＳＮＳ情報収集部３５は、ＳＮＳ装置５０に登録されているＳＮＳ情報をＳＮＳ装置５０から収集し、収集されたＳＮＳ情報のうち少なくとも画像データ及び撮影位置情報を含むＳＮＳ情報を選択する。サーバ装置３０の投稿位置推定部３６は、選択されたＳＮＳ情報に含まれた画像データに基づいて撮影対象物２の特徴点を数値化した撮影対象物特徴量（３次元座標情報、極座標情報等）を検出する。投稿位置推定部３６は、選択されたＳＮＳ情報に含まれた撮影位置情報に係る位置の所定範囲内の位置にあり、かつ、検出された撮影対象物特徴量に対応する投稿データに関する情報を、記憶部３２から取得する。投稿位置推定部３６は、取得した投稿データに関する情報に含まれたハッシュタグ又はテキストと、選択されたＳＮＳ情報に含まれたハッシュタグ又はテキストとを比較して、一致する投稿データに関する情報を抽出する。投稿位置推定部３６は、抽出された投稿データに関する情報に含まれた投稿位置情報を抽出し、抽出された投稿位置情報の位置の近傍の位置に係る投稿位置情報を生成する。投稿位置推定部３６は、抽出されたＳＮＳ情報に基づいてサーバ装置３０用の投稿データを生成し、生成された投稿データに、生成された投稿位置情報を関連付けて、ＳＮＳ情報に係る投稿データに関する情報を生成する。投稿位置推定部３６は、生成された投稿データに関する情報と、抽出されたＳＮＳ情報に係る撮影位置情報と、検出された撮影対象物特徴量（抽出されたＳＮＳ情報に係る撮影対象物特徴量）と、を関連付けて、記憶部３２に記憶（登録）させる。これにより、サーバ装置３０に登録された投稿データ（ＳＮＳ情報に係る投稿データ）にアクセスして参照できるようになる。
　その他の実施形態２に係る拡張現実表示システム１の構成及び動作は、実施形態１に係る拡張現実表示システムの構成及び動作と同様である。
　実施形態２によれば、実施形態１と同様に、投稿データを撮影位置情報だけでなく撮影対象物特徴量を用いて画像データに重ねて表示させるので、撮影された画像データにおける正確な位置に投稿データを表示させることに貢献することができる。
　また、実施形態２によれば、サーバ装置３０に登録された拡張現実画像用の投稿データをＳＮＳ情報にしてＳＮＳ装置５０に登録することができるので、サーバ装置３０に登録された投稿データを見てもらえる機会を増やすことができる。
　さらに、実施形態２によれば、ＳＮＳ装置５０に登録されたＳＮＳ情報に基づいて拡張現実画像用の投稿データをサーバ装置３０に登録しているので、サーバ装置３０に登録される情報量を増やすことができ、ユーザが必要な情報を得やすくすることができる。
［実施形態３］
　実施形態３に係る拡張現実表示装置について図面を用いて説明する。図１３は、実施形態３に係る拡張現実表示装置の構成を模式的に示したブロック図である。
　拡張現実表示装置１０は、拡張現実画像を表示する装置である（図１３参照）。拡張現実表示装置１０は、サーバ装置３０と通信可能に接続されている。拡張現実表示装置１０は、表示部１２と、画像解析部１４と、制御部１８と、を備える。
　表示部１２は、情報を表示するように構成されている。画像解析部１４は、画像データを解析して、当該画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量を検出するように構成されている。制御部１８は、表示部１２及び画像解析部１４を制御するとともに、所定の情報処理を行うように構成されている。
　制御部１８は、画像データの撮影した位置に関する撮影位置情報と、撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置３０に送信する処理を行う。制御部１８は、サーバ装置３０から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、当該投稿データを、表示部１２に表示された画像データにおける撮影対象物特徴量に対する相対的な位置に重ねて表示部１２に表示させる処理を行う。ここで、撮影対象物特徴量に対する相対的な位置は、投稿データに関する情報に含まれた投稿位置情報に基づく位置である。
　実施形態３によれば、投稿データを撮影位置情報だけでなく撮影対象物特徴量を用いて画像データに重ねて表示させるので、撮影された画像データにおける正確な位置に投稿データを表示させることに貢献することができる。
　なお、実施形態１～３に係る拡張現実表示装置及びサーバ装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１４に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１００は、内部バス１０４により相互に接続される、プロセッサ１０１、メモリ１０２、ネットワークインタフェイス１０３等を備える。
　なお、図１４に示す構成は、ハードウェア資源１００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１０１等のユニットの数も図１４の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１０１がハードウェア資源１００に含まれていてもよい。プロセッサ１０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。
　メモリ１０２には、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。
　ネットワークインタフェイス１０３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。
　ハードウェア資源１００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１０２に格納されたプログラムをプロセッサ１０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
　上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　情報を表示するように構成された表示部と、
　画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量を検出するように構成された画像解析部と、
　前記表示部及び前記画像解析部を制御するとともに、所定の情報処理を行うように構成された制御部と、
を備え、
　前記制御部は、
　前記画像データの撮影した位置に関する撮影位置情報と、前記撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信する処理と、
　前記サーバ装置から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、前記投稿データを、前記表示部に表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて前記表示部に表示させる処理と、
を行うように構成され、
　前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である、
拡張現実表示装置。
［付記２］
　ユーザの操作により情報を入力するように構成された入力部をさらに備え、
　前記制御部は、前記撮影位置情報と、前記撮影対象物特徴量と、前記入力部から入力された投稿データに関する情報とを含む投稿アップロード指示情報を前記サーバ装置に送信する処理をさらに行うように構成されている、
付記１記載の拡張現実表示装置。
［付記３］
　前記投稿データに関する情報は、共有させるＳＮＳを選択した共有ＳＮＳ選択情報を含む、
付記２記載の拡張現実表示装置。
［付記４］
　前記制御部は、前記投稿データを前記表示部に表示させる際、前記入力部から入力されたフィルタリング条件に関する情報に基づいて前記投稿データをフィルタリングして前記表示部に表示させる、
付記２又は３記載の拡張現実表示装置。
［付記５］
　前記撮影対象物を撮影することによって前記画像データを生成するように構成された撮像部と、
　前記撮影位置情報を検出するように構成された位置検出部と、
をさらに備える、
付記１乃至４のいずれか一に記載の拡張現実表示装置。
［付記６］
　外部から、前記撮影位置情報が関連付けられた前記画像データを取得するように構成された通信部をさらに備える、
付記１乃至５のいずれか一に記載の拡張現実表示装置。
［付記７］
　前記撮影位置情報が関連付けられた前記画像データを記憶する記憶部をさらに備える、
付記１乃至６のいずれか一に記載の拡張現実表示装置。
［付記８］
　画像データの撮影した位置に関する撮影位置情報と、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量と、前記撮影対象物特徴量に対する相対的な位置に関する投稿位置情報を含む投稿データに関する情報と、を関連付けて記憶するように構成された記憶部と、
　前記記憶部を制御するとともに、所定の情報処理を行うように構成された制御部と、
を備え、
　前記制御部は、拡張現実表示装置から投稿ダウンロード指示情報を取得したときに、前記記憶部から、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する前記投稿データに関する情報を読み出して前記拡張現実表示装置に送信する処理を行うように構成されている、
サーバ装置。
［付記９］
　前記制御部は、前記拡張現実表示装置から投稿アップロード指示情報を取得したときに、前記投稿アップロード指示情報に含まれた撮影位置情報、撮影対象物特徴量、及び、投稿データに関する情報を関連付けて前記記憶部に記憶させる処理をさらに行うように構成されている、
付記８記載のサーバ装置。
［付記１０］
　前記投稿アップロード指示情報に含まれた前記投稿データに関する情報に基づいてＳＮＳ装置にＳＮＳ情報を投稿するためのＳＮＳ情報投稿情報を生成し、前記ＳＮＳ情報投稿情報を前記ＳＮＳ装置に向けて送信するＳＮＳ情報投稿部をさらに備える、
付記９記載のサーバ装置。
［付記１１］
　ＳＮＳ情報をＳＮＳ装置から収集するＳＮＳ情報収集部と、
　前記ＳＮＳ情報に含まれた画像データ及び撮影位置情報に基づいて前記ＳＮＳ情報の投稿位置情報を推定する投稿位置推定部と、
をさらに備え、
　前記投稿位置推定部は、
　前記ＳＮＳ情報に含まれた前記画像データに基づいて撮影対象物の特徴点を数値化した撮影対象物特徴量を検出する処理と、
　前記ＳＮＳ情報に含まれた前記撮影位置情報の位置から所定範囲内の位置にあり、かつ、検出された前記撮影対象物特徴量に関連する投稿データに関する情報を、前記記憶部から取得する処理と、
　取得した前記投稿データに関する情報に含まれたハッシュタグ又はテキストと、前記ＳＮＳ情報に含まれたハッシュタグ又はテキストとを比較して、一致する投稿データに関する情報を抽出する処理と、
　抽出された前記投稿データに関する情報に含まれた投稿位置情報の位置の近傍の位置に係る投稿位置情報を生成する処理と、
　前記ＳＮＳ情報に基づいて前記サーバ装置用の投稿データを生成する処理と、
　生成された前記投稿データに、生成された前記投稿位置情報を関連付けて、前記ＳＮＳ情報に係る投稿データに関する情報を生成する処理と、
　生成された前記投稿データに関する情報と、前記ＳＮＳ情報に含まれた前記撮影位置情報と、検出された前記撮影対象物特徴量と、を関連付けて、前記記憶部に記憶させる処理と、
を行うように構成されている、
付記８乃至１０のいずれか一に記載のサーバ装置。
［付記１２］
　付記１乃至７のいずれか一に記載の拡張現実表示装置と、
　付記８乃至１１のいずれか一に記載のサーバ装置と、
を備える、
拡張現実表示システム。
［付記１３］
　前記サーバ装置と通信可能に接続されるように構成されたＳＮＳ装置をさらに備える、
付記１２記載の拡張現実表示システム。
［付記１４］
　拡張現実表示装置から、画像データの撮影した位置に関する撮影位置情報と、前記画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信するステップと、
　前記サーバ装置において、前記投稿ダウンロード指示情報を取得したときに、前記サーバ装置の記憶部から、前記投稿ダウンロード指示情報に含まれた前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報を読み出して前記拡張現実表示装置に送信するステップと、
　前記拡張現実表示装置において、前記サーバ装置から送信された前記投稿データに関する情報に基づいて、前記投稿データを、表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて表示させるステップと、
を含み、
　前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である、
拡張現実表示方法。
［付記１５］
　画像データの撮影した位置に関する撮影位置情報と、前記画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信する処理と、
　前記サーバ装置から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、前記投稿データを、表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて表示させる処理と、
を拡張現実表示装置に実行させ、
　前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である、
プログラム。
［付記１６］
　拡張現実表示装置から投稿ダウンロード指示情報を取得したときに、記憶部から、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する投稿データに関する情報を読み出して前記拡張現実表示装置に送信する処理をサーバ装置に実行させる、
プログラム。
　なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる（属する）ものと、みなされる。
　１　拡張現実表示システム
　２　撮影対象物
　１０、１０Ａ、１０Ｂ　拡張現実表示装置
　１１　通信部
　１２　表示部
　１３　撮像部
　１４　画像解析部
　１５　位置検出部
　１６　入力部
　１７　記憶部
　１８　制御部
　３０　サーバ装置
　３１　通信部
　３２　記憶部
　３３　制御部
　３４　ＳＮＳ情報投稿部
　３５　ＳＮＳ情報収集部
　３６　投稿位置推定部
　４０　管理装置
　５０　ＳＮＳ装置
　６０　ネットワーク
　１００　ハードウェア資源
　１０１　プロセッサ
　１０２　メモリ
　１０３　ネットワークインタフェイス
　１０４　内部バス

Claims (16)

  1. 　情報を表示するように構成された表示部と、
    　画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量を検出するように構成された画像解析部と、
    　前記表示部及び前記画像解析部を制御するとともに、所定の情報処理を行うように構成された制御部と、
    を備え、
    　前記制御部は、
    　前記画像データの撮影した位置に関する撮影位置情報と、前記撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信する処理と、
    　前記サーバ装置から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、前記投稿データを、前記表示部に表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて前記表示部に表示させる処理と、
    を行うように構成され、
    　前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である、
    拡張現実表示装置。
  2. 　ユーザの操作により情報を入力するように構成された入力部をさらに備え、
    　前記制御部は、前記撮影位置情報と、前記撮影対象物特徴量と、前記入力部から入力された投稿データに関する情報とを含む投稿アップロード指示情報を前記サーバ装置に送信する処理をさらに行うように構成されている、
    請求項１記載の拡張現実表示装置。
  3. 　前記投稿データに関する情報は、共有させるＳＮＳを選択した共有ＳＮＳ選択情報を含む、
    請求項２記載の拡張現実表示装置。
  4. 　前記制御部は、前記投稿データを前記表示部に表示させる際、前記入力部から入力されたフィルタリング条件に関する情報に基づいて前記投稿データをフィルタリングして前記表示部に表示させる、
    請求項２又は３記載の拡張現実表示装置。
  5. 　前記撮影対象物を撮影することによって前記画像データを生成するように構成された撮像部と、
    　前記撮影位置情報を検出するように構成された位置検出部と、
    をさらに備える、
    請求項１乃至４のいずれか一に記載の拡張現実表示装置。
  6. 　外部から、前記撮影位置情報が関連付けられた前記画像データを取得するように構成された通信部をさらに備える、
    請求項１乃至５のいずれか一に記載の拡張現実表示装置。
  7. 　前記撮影位置情報が関連付けられた前記画像データを記憶する記憶部をさらに備える、
    請求項１乃至６のいずれか一に記載の拡張現実表示装置。
  8. 　画像データの撮影した位置に関する撮影位置情報と、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量と、前記撮影対象物特徴量に対する相対的な位置に関する投稿位置情報を含む投稿データに関する情報と、を関連付けて記憶するように構成された記憶部と、
    　前記記憶部を制御するとともに、所定の情報処理を行うように構成された制御部と、
    を備え、
    　前記制御部は、拡張現実表示装置から投稿ダウンロード指示情報を取得したときに、前記記憶部から、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する前記投稿データに関する情報を読み出して前記拡張現実表示装置に送信する処理を行うように構成されている、
    サーバ装置。
  9. 　前記制御部は、前記拡張現実表示装置から投稿アップロード指示情報を取得したときに、前記投稿アップロード指示情報に含まれた撮影位置情報、撮影対象物特徴量、及び、投稿データに関する情報を関連付けて前記記憶部に記憶させる処理をさらに行うように構成されている、
    請求項８記載のサーバ装置。
  10. 　前記投稿アップロード指示情報に含まれた前記投稿データに関する情報に基づいてＳＮＳ装置にＳＮＳ情報を投稿するためのＳＮＳ情報投稿情報を生成し、前記ＳＮＳ情報投稿情報を前記ＳＮＳ装置に向けて送信するＳＮＳ情報投稿部をさらに備える、
    請求項９記載のサーバ装置。
  11. 　ＳＮＳ情報をＳＮＳ装置から収集するＳＮＳ情報収集部と、
    　前記ＳＮＳ情報に含まれた画像データ及び撮影位置情報に基づいて前記ＳＮＳ情報の投稿位置情報を推定する投稿位置推定部と、
    をさらに備え、
    　前記投稿位置推定部は、
    　前記ＳＮＳ情報に含まれた前記画像データに基づいて撮影対象物の特徴点を数値化した撮影対象物特徴量を検出する処理と、
    　前記ＳＮＳ情報に含まれた前記撮影位置情報の位置から所定範囲内の位置にあり、かつ、検出された前記撮影対象物特徴量に関連する投稿データに関する情報を、前記記憶部から取得する処理と、
    　取得した前記投稿データに関する情報に含まれたハッシュタグ又はテキストと、前記ＳＮＳ情報に含まれたハッシュタグ又はテキストとを比較して、一致する投稿データに関する情報を抽出する処理と、
    　抽出された前記投稿データに関する情報に含まれた投稿位置情報の位置の近傍の位置に係る投稿位置情報を生成する処理と、
    　前記ＳＮＳ情報に基づいて前記サーバ装置用の投稿データを生成する処理と、
    　生成された前記投稿データに、生成された前記投稿位置情報を関連付けて、前記ＳＮＳ情報に係る投稿データに関する情報を生成する処理と、
    　生成された前記投稿データに関する情報と、前記ＳＮＳ情報に含まれた前記撮影位置情報と、検出された前記撮影対象物特徴量と、を関連付けて、前記記憶部に記憶させる処理と、
    を行うように構成されている、
    請求項８乃至１０のいずれか一に記載のサーバ装置。
  12. 　請求項１乃至７のいずれか一に記載の拡張現実表示装置と、
    　請求項８乃至１１のいずれか一に記載のサーバ装置と、
    を備える、
    拡張現実表示システム。
  13. 　前記サーバ装置と通信可能に接続されるように構成されたＳＮＳ装置をさらに備える、
    請求項１２記載の拡張現実表示システム。
  14. 　拡張現実表示装置から、画像データの撮影した位置に関する撮影位置情報と、前記画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信するステップと、
    　前記サーバ装置において、前記投稿ダウンロード指示情報を取得したときに、前記サーバ装置の記憶部から、前記投稿ダウンロード指示情報に含まれた前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報を読み出して前記拡張現実表示装置に送信するステップと、
    　前記拡張現実表示装置において、前記サーバ装置から送信された前記投稿データに関する情報に基づいて、前記投稿データを、表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて表示させるステップと、
    を含み、
    　前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である、
    拡張現実表示方法。
  15. 　画像データの撮影した位置に関する撮影位置情報と、前記画像データを解析して、前記画像データに含まれた撮影対象物の特徴点を数値化した撮影対象物特徴量とを含む投稿ダウンロード指示情報をサーバ装置に送信する処理と、
    　前記サーバ装置から送信された、前記撮影位置情報及び前記撮影対象物特徴量に関連する投稿データに関する情報に基づいて、前記投稿データを、表示された前記画像データにおける前記撮影対象物特徴量に対する相対的な位置に重ねて表示させる処理と、
    を拡張現実表示装置に実行させ、
    　前記撮影対象物特徴量に対する相対的な位置は、前記投稿データに関する情報に含まれた投稿位置情報に基づく位置である、
    プログラム。
  16. 　拡張現実表示装置から投稿ダウンロード指示情報を取得したときに、記憶部から、前記投稿ダウンロード指示情報に含まれた撮影位置情報及び撮影対象物特徴量に関連する投稿データに関する情報を読み出して前記拡張現実表示装置に送信する処理をサーバ装置に実行させる、
    プログラム。
PCT/JP2022/043117 2021-11-24 2022-11-22 拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム WO2023095770A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023563686A JPWO2023095770A1 (ja) 2021-11-24 2022-11-22

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-189898 2021-11-24
JP2021189898 2021-11-24

Publications (1)

Publication Number Publication Date
WO2023095770A1 true WO2023095770A1 (ja) 2023-06-01

Family

ID=86539381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043117 WO2023095770A1 (ja) 2021-11-24 2022-11-22 拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023095770A1 (ja)
WO (1) WO2023095770A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096561A1 (ja) * 2010-02-08 2011-08-11 株式会社ニコン 撮像装置、情報取得システム及びプログラム
JP2013162487A (ja) * 2012-02-08 2013-08-19 Canon Inc 画像表示装置及び撮像装置
JP2014081770A (ja) * 2012-10-16 2014-05-08 Sony Corp 端末装置、端末制御方法、情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096561A1 (ja) * 2010-02-08 2011-08-11 株式会社ニコン 撮像装置、情報取得システム及びプログラム
JP2013162487A (ja) * 2012-02-08 2013-08-19 Canon Inc 画像表示装置及び撮像装置
JP2014081770A (ja) * 2012-10-16 2014-05-08 Sony Corp 端末装置、端末制御方法、情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2023095770A1 (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
US9584694B2 (en) Predetermined-area management system, communication method, and computer program product
US10136057B2 (en) Image management system, image management method, and computer program product
US8447769B1 (en) System and method for real-time image collection and sharing
US8750559B2 (en) Terminal and method for providing augmented reality
US20140218394A1 (en) Displaying clusters of media items on a map using representative media items
US10674066B2 (en) Method for processing image and electronic apparatus therefor
KR20130102549A (ko) 셔터 클릭을 통한 자동 미디어 공유
US11740850B2 (en) Image management system, image management method, and program
KR101782590B1 (ko) 이미지 분석기반의 관계형 태그생성 및 추천 방법
US20180124310A1 (en) Image management system, image management method and recording medium
KR102121327B1 (ko) 이미지 획득 방법, 피제어 기기 및 서버
JP6591594B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
KR20150112789A (ko) 전자 장치의 데이터 공유 방법 및 그 전자 장치
JP2019163998A (ja) 情報提供システム、サーバ装置、及び情報提供方法
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
JP6115113B2 (ja) 所定領域管理システム、所定領域管理方法、及びプログラム
KR101768914B1 (ko) 지오 태깅 방법, 지오 태깅 장치 및 이를 수행하는 프로그램을 기록하는 기록매체
WO2023095770A1 (ja) 拡張現実表示装置、サーバ装置、拡張現実表示システム、拡張現実表示方法、及びプログラム
JP2016143269A (ja) コンテンツ検索装置、コンテンツ検索方法、コンテンツ格納装置およびコンテンツ格納方法
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム
JP6600450B2 (ja) 場所情報指定装置、場所情報指定方法及び場所情報指定プログラム
JP6908953B1 (ja) 情報処理装置
JP2015073141A (ja) コンピュータの処理方法、プログラム及び情報処理装置
KR20190100629A (ko) 위치 기반 영상 제공 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898553

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023563686

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE