WO2016063554A1 - 拡張現実システム - Google Patents

拡張現実システム Download PDF

Info

Publication number
WO2016063554A1
WO2016063554A1 PCT/JP2015/053507 JP2015053507W WO2016063554A1 WO 2016063554 A1 WO2016063554 A1 WO 2016063554A1 JP 2015053507 W JP2015053507 W JP 2015053507W WO 2016063554 A1 WO2016063554 A1 WO 2016063554A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
portable terminal
server
augmented reality
deceased person
Prior art date
Application number
PCT/JP2015/053507
Other languages
English (en)
French (fr)
Inventor
良幸 香取
Original Assignee
良幸 香取
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 良幸 香取 filed Critical 良幸 香取
Priority to EP15853238.2A priority Critical patent/EP3211603A4/en
Priority to US15/520,744 priority patent/US20170331924A1/en
Publication of WO2016063554A1 publication Critical patent/WO2016063554A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • a marker is attached to a memorial facility for memorializing a deceased person, and the marker is photographed with a camera of the terminal, or the position information of the memorial site is stored, and the terminal is in the position of the memorial site
  • the present invention relates to an augmented reality system that superimposes predetermined information from a server on a video shot by a camera and displays the superimposed information on a screen of a terminal by recognizing a certain fact.
  • AR augmented reality
  • other information such as characters and images
  • the augmented reality system is used, for example, in car navigation, in games, and in systems for displaying product information.
  • the portable terminal by photographing a predetermined marker with the camera of the portable terminal, the shape of the marker is read by the portable terminal, the portable terminal identifies it from the shape of the marker, and the predetermined is based on the identified information.
  • the server requests the information transmission from the server, and when the server receives the request for information transmission, the server transmits predetermined information to the portable terminal, and the portable terminal superimposes the information received from the server on the video shot by the camera. indicate.
  • Patent Document 1 there is, for example, one as described in Patent Document 1.
  • memorial facilities such as tombs, altars, and martial arts are provided to apologize and consolate the deceased, they not only offer prayers, but also see information about the deceased, such as messages left by the deceased before birth, in front of the memorial facilities. It is thought that if you can listen to it, you can strengthen your thoughts on the dead. Therefore, it is desirable to apply the augmented reality system to a memorial facility. Also, in recent years, burial methods such as marine burial and tree burial where no tombstones have been installed have been seen. In such a case, there is no memorial facility, but the place where it was buried is used as a memorial site. Also in this case, it is desirable to be able to see and hear information about the deceased at the memorial site.
  • the present invention has been made in view of the above problems, and it is an object of the present invention to provide an augmented reality system capable of obtaining information on a deceased person together with real information in a memorial facility or place.
  • an augmented reality system having a server capable of communicating with a portable terminal having a camera
  • the server includes a deceased person information storage unit that stores information on the deceased person, a position information storage unit that stores the position information on the memorial site, and a control unit that transmits and receives information to and from the portable terminal.
  • the mobile terminal has a position detection unit that detects the position of the mobile terminal and a transmission / reception unit that transmits information including information on the position detected by the position detection unit and receives information from the server.
  • the control unit of the server when the position of the own device detected by the position detection unit of the mobile terminal matches the position information of the memorial site stored in the position information storage unit, the dead person information storage unit And transmitting the information on the deceased person stored in the portable terminal to the portable terminal, and superimposing the information on the deceased person on the video taken by the camera on the portable terminal that received the information on the deceased person, and displaying it on the screen. It is configured.
  • the first aspect of the present invention it is possible to superimpose and display information on the deceased person on the video of the entertaining place photographed by the camera based on the position information detected by the portable terminal.
  • control unit of the server may be configured such that the position of the own device detected by the position detection unit by the mobile terminal is stored in the position information storage unit. If the position is within a predetermined range, it is characterized in that it is determined that the position information of the above-mentioned memorial site matches.
  • the information can be browsed with certainty.
  • a marker is provided at the memorial site,
  • the server is characterized in that, when the mobile terminal takes an image of the marker, the server receives position information detected by the position detection from the mobile terminal, and stores the received position information in the position information storage unit. Is configured as.
  • the marker can be used only when the information is browsed first, and the marker can be made unnecessary thereafter, so that it is difficult to place the marker permanently in the memorial place Even in this case, it is possible to apply this system.
  • the augmented reality system according to the invention of claim 4 is an augmented reality system having a server capable of communicating with a portable terminal having a camera,
  • the server includes a deceased person information storage unit that stores information related to a deceased person, and a control unit that transmits and receives information to and from the portable terminal.
  • the portable terminal captures an image of a marker installed in a memorial facility with the camera, the portable terminal transmits predetermined information to the server based on the information included in the marker, and controls the server that has received the predetermined information.
  • the unit transmits the information on the deceased person stored in the deceased person information storage unit to the portable terminal, and the portable terminal having received the information on the deceased person superimposes the information on the deceased person on the video taken by the camera. It is configured to be displayed on the screen.
  • the fourth aspect of the present invention it is possible to superimpose information on the deceased person on the video of the entertainment facility taken by the camera and to display it.
  • a plurality of sets of information displayed on the portable terminal is included in the information on the deceased person stored in the deceased person information storage unit, and the control unit According to a condition, any one of the information on the deceased person is transmitted to the portable terminal.
  • the fifth aspect of the present invention it is possible to browse information according to conditions such as the user and period to be used, and it is possible to convey a message from a non-uniform and unfair person.
  • the augmented reality system according to the invention of claim 6 is characterized in that the information on the condition for transmitting the information in association with the information on the deceased person is stored in the deceased person information storage unit.
  • the augmented reality system according to the invention of claim 7 is characterized in that the information on the deceased person is stored in the deceased person information storage unit in association with the information specifying the marker.
  • the seventh aspect of the present invention it is possible to transmit information on an appropriate deceased person based on the information received from the portable terminal.
  • the server includes a user information storage unit for storing information on a user, and an authentication unit for authenticating a user who logs in with reference to the user information storage unit.
  • the control unit is configured to transmit any one of the information on the deceased person to the portable terminal according to the user authenticated by the authentication unit.
  • the portable terminal has a position detection unit capable of detecting the position of its own device, and when the marker is photographed by the camera, the portable terminal is detected by the position detection unit.
  • the position of the own machine is detected, and predetermined information is transmitted to the server including the information of the detected position, and the server detects the position when the portable terminal captures the marker with the camera.
  • the information processing apparatus is characterized in that it has a position information storage unit that stores the above information in association with the user information.
  • the server can know the position of the memorial facility that the user visits.
  • the portable terminal transmits information of the position of the own device detected by the position detection unit to the server at a predetermined timing.
  • the control unit compares the information of the position received from the portable terminal with the information of the position stored in the position information storage unit, and when the distance between both the positions is equal to or less than a predetermined value, the portable terminal Is characterized in that information is sent to the
  • the user when the user stops near the memorial facility, the user can be made aware of it, and the memorial can be urged.
  • control unit in response to a request from a user, the information of the position associated with the information of the user, the terminal of the user or another terminal It is configured to be sent to.
  • the place of the memorial facility can be easily notified to others, a trader, and the like.
  • the server includes an establishment information storage unit that associates and stores information of an establishment that provides a service with the location of the establishment.
  • the portable terminal can transmit service request information to the server together with the information on the position of the own device detected by the position detection unit, and the control unit of the server having received the service request information is the position of the portable terminal It is characterized by extracting the information on the nearest establishment to the company from the establishment information storage unit, and transmitting the extracted information to the mobile terminal.
  • the control unit transmits the first confirmation information to the first user so as to be able to return the first confirmation information at a predetermined timing, and the first confirmation
  • the second confirmation information is transmitted to a second user different from the first user when there is no reply from the portable terminal for a predetermined period with respect to the information.
  • the safety of the user can be confirmed, and further, the smooth succession of the account can be performed.
  • the augmented reality system of the present invention it is possible to superimpose and display information about the deceased person on the image of the memorial facility and the memorial site with a camera, so that the mind for the deceased person is made stronger in the memorial facility and the memorial site. Can be comforted.
  • FIG. 1 shows a schematic view of an augmented reality system according to the present embodiment.
  • a marker 2 is provided in a memorial facility 1 such as a grave, a Buddhist altar or a temple, and the mobile terminal 10 having the camera 11 photographs the marker 2 to obtain a space between the mobile terminal 10 and the server 50.
  • the information is transmitted and received, and the information about the deceased person received by the portable terminal 10 is superimposed on the video taken by the camera 11 and displayed on the screen of the portable terminal 10.
  • a marker 2 is placed on the grave.
  • a user terminal 30 is additionally provided in the server 50 for registering information about the deceased person and the like.
  • the user terminal 30 can be configured by various computers. However, instead of the user terminal 30, registration of information may be performed from the portable terminal 10.
  • FIG. 2 shows a block diagram of an augmented reality system.
  • the portable terminal 10 includes a camera 11 capable of capturing an image, and a position detection unit 12 capable of measuring the position of the own device on the earth using a Global Positioning System (GPS) or the like. , And a screen 13 for displaying information.
  • the portable terminal 10 can be configured by a smartphone, a tablet computer, a notebook computer, or the like, and the software installed therein can realize the function of the present system.
  • the server 50 can communicate with the portable terminal 10 via the network 3.
  • the user terminal 30 can also communicate with the server 50 via the network 3.
  • the portable terminal 10, the server 50, and the user terminal 30 are depicted as being connected by wire, but in actuality wireless communication may be used.
  • the portable terminal 10 is connected to the network 3 wirelessly. .
  • the server 50 stores a deceased person information storage unit 60 that stores information on the deceased person, a user information storage unit 61 that associates and stores information unique to the user, a type, and the like, and stores position information sent from the portable terminal 10
  • a location information storage unit 62 and a business information storage unit 63 for storing information on business establishments such as florists and tombstones are included.
  • the server 50 further includes a control unit 51 that transmits and receives information to and from the mobile terminal 10, and an authentication unit 52 that authenticates a user by using an ID and a password.
  • the control unit 51 and the authentication unit 52 of the server 50 can be physically configured by a central processing unit (CPU) of a computer or the like.
  • Each storage unit can be physically configured by a storage device such as a hard disk of a computer.
  • An account configuration in the present system will be described.
  • a plurality of types of accounts can be created, and whether or not to register information, the type of information that can be browsed, and the like can be individually set according to the type of account.
  • the types of accounts in this system are a main account and sub accounts, friend accounts and public accounts. However, the type of account is not limited to these, and more types of accounts may exist.
  • the main account is an account that can register information in the server 50, and one or more is always created.
  • the user who has the main account may be, for example, a person who wants to leave desired information for a child, a friend, etc. after his death, or if the person has already died, the child of the person. And so on.
  • the user who has the main account has not only the registration of information but also all privileges such as the view and the condition setting in this system.
  • Sub-accounts are at least partially restricted accounts.
  • the user of the main account can set which rights to restrict or give rights to the sub account.
  • the sub-account may be given full authority.
  • a sub-account user for example, a family such as a deceased child or a brother may be considered. Multiple sub accounts can be created.
  • the friend account is an account assuming that friends other than family members are users.
  • a friend account can only view information by augmented reality, and has no authority to register information. Multiple friend accounts can also be created.
  • a public account is an account that can be logged in only with a password, and is an account that exposes the password to an unspecified number of people when the deceased is, for example, a celebrity, and enables browsing of information by augmented reality. It is.
  • Information registration is performed from the user terminal 30.
  • uploading of information, setting of conditions, and the like can be performed on the management screen as shown in FIG.
  • At least the main account user can log in to the management screen.
  • users of sub accounts can log in.
  • a login area 25 for entering an account ID and password is provided in the upper right portion of the administration screen. By entering the ID and password here, the account can log in to the administration screen.
  • a data input area 20 for inputting information on the deceased person and uploading the information to the server 50 is provided on the logged-in management screen.
  • the data input area 20 is further provided with an area for copying and pasting photos, moving pictures and the like, and an area for inputting text data.
  • As information on the deceased person, moving image, photo, voice, and text data can be arbitrarily combined to form a set of information.
  • the data input to the data input area 20 is transmitted from the user terminal 30 to the server 50.
  • the data received by the server 50 is stored in the late person information storage unit 60.
  • a pattern selection area 21 is provided below the data input area 20.
  • a plurality of buttons are arranged, each corresponding to a data pattern.
  • a plurality of pieces of information such as moving images, pictures, and text data are displayed as one set of information.
  • a plurality of patterns can be registered with such one set of information as one pattern.
  • one of a plurality of patterns can be selected.
  • the pattern selected in the pattern selection area 21 can be used separately for each memorial facility, that is, for the grave, for the altar, for the placement, or for each user, ie for the sub account, for the friend account, for the public account. It can also be used properly. The association will be described separately.
  • a reproduction / ordering area 22 is provided below the pattern selection area 21.
  • the registered information can be browsed by pressing the reproduction button.
  • information corresponding to the selected pattern is extracted from the deceased person information storage unit 60 stored in the server 50 and transmitted to the user terminal 30, so that the actual screen is displayed on the user terminal 30. You can check how it is displayed.
  • the server 50 creates an identification code such as a bar code including information identifying the selected pattern, and the system administrator can produce the marker 2 from the created identification code. .
  • the marker 2 can identify at least which memorial facility it can be identified, as long as the mobile terminal 10 can recognize that it has a specific shape, a simple figure etc. other than the barcode can be used. It may be
  • a condition setting area 23 is provided on the right side of the data input area 20.
  • conditions for viewing the registered pattern can be set.
  • a setting screen (not shown) is further displayed, and a viewing condition can be input there.
  • Various viewing conditions can be considered as the viewing conditions set in the condition setting area 23.
  • an account is used as a viewing condition, only a specific account can be viewed or a plurality of accounts can be viewed.
  • conditions can be set so that the pattern of information registered with the father's main account can be viewed only with the mother's main account.
  • conditions can be set to allow viewing with the mother's main account and sub-accounts of three children.
  • another information pattern can be set to be viewable by a friend account or a public account.
  • a period can be set as the viewing condition. For example, by setting a period such as within 5 days before and after the tray, a person who visits the grave in that period can view the pattern of the information. You can also combine terms and terms of the period. For example, assuming that a grandchild has a sub-account, it is possible to set a predetermined period before and after the day when the grandchild turns 20, and register a message celebrating an adult of the grandchild as a pattern of information, etc. is there.
  • the conditions set in the condition setting area 23 include the condition as to which place the pattern is viewed.
  • the specific pattern can be viewed in the grave, and the other specific pattern can be set to be viewed in the home position.
  • the conditions by the account, the conditions of the period, the conditions of the place, and the like can be set independently or in combination.
  • the setting information is transmitted to the server 50, and the server 50 associates the pattern of the registered information with the condition set in the pattern, and the deceased person information storage unit It is stored in 60.
  • a service request button area 24 is provided below the condition setting area 23.
  • a plurality of buttons capable of requesting various services related to a grave, a legal requirement, etc. are arranged.
  • buttons for various service requests can be arranged, but in this embodiment, buttons for production request of tombs, request of legal requirements, ordering of fresh flowers, construction request of tombs are arranged. ing.
  • the information is sent as it is to the server 50, and a form for entering further necessary information for the request is displayed, and the necessary information is entered in the form And the information may be sent to the server 50.
  • the server 50 can display the information known in advance in a state of being input. For example, since the user information storage unit 61 of the server 50 stores the user's account and the name and address information in association with each other, the name of the requester or the As the address, the name and the address corresponding to the logged-in account can be transmitted from the server 50 to the user terminal 30, and the user terminal 30 can previously input the information in the form.
  • the server 50 sends the information to the vendor.
  • the information on the vendor is stored in the business office information storage unit 63 of the server 50 as described above.
  • the vendor to which the request is to be made may be determined in advance from the user's address or the like, or may be selectable by the user at the time of the request.
  • an area in which a date regarding a visit is displayed is arranged.
  • the date regarding the visit is, for example, a date of death, a law, a date of the bank, etc.
  • the date can be added from this management screen.
  • an email icon is arranged on the right side of the date, and by clicking this, it is possible to set the server 50 to send an email to a predetermined address when a specific date, such as a date, is approaching.
  • the individual setting information is transmitted to the server 50, and the server 50 transmits an e-mail based on the setting information.
  • FIG. 4 shows a flow diagram of browsing of information by augmented reality in a memorial facility.
  • the memorial facility is provided with a marker 2 for viewing information.
  • the user starts the software used for the present system in advance in the portable terminal 10, and photographs the marker 2 installed at the memorial contact with the camera 11 of the portable terminal 10 (S1).
  • the portable terminal 10 having captured the marker 2 recognizes the shape of the marker 2 to identify the marker 2 or recognizes information contained in the marker 2 (S2). Further, the portable terminal 10 detects the position of the own device by the position detection unit 12 (S3). The position of the portable terminal 10 detected here can be used as information on the position where the memorial facility is installed.
  • the portable terminal 10 performs login processing to the server 50 (S4).
  • the login ID and password of the user may be input by the portable terminal 10, and the login ID may be simplified by using a unique ID of the portable terminal 10. Also, in the case of a public account, it is possible to log in to the server 50 only by entering a password.
  • the login ID and password input by the mobile terminal 10 are transmitted to the server 50.
  • the server 50 refers to the user information storage unit 61 in the authentication unit 52 to determine whether the login ID and password match.
  • the mobile terminal 10 When the mobile terminal 10 logs in to the server 50, the mobile terminal 10 transmits predetermined information to the server 50 (S5).
  • the predetermined information transmitted here includes information for specifying the marker 2 and information on the position of the portable terminal 10 detected in S3.
  • the server 50 having received the information from the portable terminal 10 stores the position information contained therein in the position information storage unit 62 (S6). At this time, the location information is stored in association with the account of the logged-in user. This position information can be used as information on the place of the memorial facility that the user visits.
  • the control unit 51 extracts a pattern matching the logged-in account, information identifying the marker 2 and the like from the deceased person information storage unit 60 (S7).
  • the marker 2 can be used to determine at which memorial facility it was photographed, so that information corresponding to the memorial facility can be extracted from the deceased person information storage unit 60.
  • the type of account logged in that is, whether it is a main account, a sub account, or a friend account or a public account is specified with reference to the user information storage unit 61, and this account type is supported. Patterns can be extracted.
  • the control unit 51 determines whether the extracted pattern is associated with a condition that can be browsed by the user who logged in this time. For example, when two patterns of a normal message and a message with a limited period are extracted for the sub-account, if the logged-in date is within the set period, the mobile terminal can display the message with the limited period. It is assumed that the pattern is sent to 10. Conversely, when the login date is not within the set period, it is assumed that a normal message is transmitted to the portable terminal 10. In addition, when a user who can view among sub accounts is limited, the corresponding pattern is transmitted to the portable terminal 10 only when logged in with the sub account of the user.
  • one of them may be transmitted at random, or if the priority is determined in advance, it is possible to determine the transmission pattern according to the priority.
  • the control unit 51 transmits information of the pattern to the portable terminal 10 (S8).
  • the information of the pattern is superimposed on the image captured by the camera 11 and displayed on the screen 13 (S9).
  • FIG. 5 shows the screen 13 of the portable terminal 10 in which the information of the pattern is superimposed and displayed on the image captured by the camera 11.
  • the photograph 4 of the deceased person is superimposed and displayed in front of it.
  • the message of the deceased person is also reproduced by voice at the same time.
  • the video is displayed on almost the entire surface of the screen 13, but a banner portion 40 is displayed at the bottom of the screen 13.
  • the information of the pattern to be superimposed on the image is a picture and an audio in FIG. 5, but as described above, various combinations of data can be considered.
  • video and audio may be used, and photos and text messages may be used.
  • photos and text messages may be used.
  • a text message a balloon can be displayed from the displayed picture of the deceased person, and the text message can be displayed therein.
  • buttons for transmitting the present location there are arranged an icon of a grave, a request for cleaning the grave, consultation of troubles regarding the grave, and buttons for transmitting the present location.
  • the grave icon When the grave icon is pressed, a screen for selecting the grave described later appears.
  • the server 50 extracts the information of the corresponding trader from the business information storage unit 63, and each request Contact the vendor about
  • a button for sending the present location when pressed, information on the position detected by the position detection unit 12 can be passed to SMS software or the like. The presence or absence of each of these buttons can be selected arbitrarily. Also, other types of buttons may be arranged, such as requests for fresh flowers.
  • the information that the server 50 receives from the portable terminal 10 includes the position information detected by the portable terminal 10 as described above. Then, when the button of the request to the vendor is pushed and the effect is transmitted from the portable terminal 10 to the server 50, in the server 50, in the office closest to the position detected by the portable terminal 10 by the control unit 51. Information can be extracted from the establishment information storage unit 63, and the information can be transmitted to the mobile terminal 10. As a result, a trader located near the user using the portable terminal 10 is selected, and convenience can be improved.
  • usable areas are further optionally set, and these may display, for example, an advertisement, or even if a button for displaying the knowledge regarding the visit is arranged, etc. Good.
  • FIG. 6 shows a screen displayed when the icon of the tomb of the banner section 40 is pressed.
  • This screen has a function for those who are considering buying a grave.
  • a nameplate having a marker 2 is provided in advance in a vacant land in the graveyard. By photographing the marker 2 with the camera 11 of the portable terminal 10, it is possible to display an image of a grave superimposed on the image of the land.
  • the size of the land and the image of the corresponding tomb are displayed.
  • a salesman's explanation button, a land measurement button, and a document request button are displayed.
  • the button of the explanation by the salesman is pressed and the marker 2 of the vacant land is photographed by the camera 11, the information is transmitted to the server 50, and from the server 50, the information including the video explaining the grave by the salesman is a portable terminal Sent to ten.
  • the mobile terminal 10 On the mobile terminal 10 that has received the information, a video that the salesman explains the grave is displayed superimposed on the video of the land.
  • the button for measuring the land activates software for measuring the area of the land using the camera 11.
  • the tomb image displayed on the screen can be selected based on the area of the land measured there. Further, when the document request button is pressed, information to that effect is sent to the server 50, and the material can be sent to the address etc. of the user based on the information of the registered user.
  • the number of markers 2 provided on the grave may be one, a plurality of markers may be embedded. By providing a plurality of markers 2, it is possible to reproduce different messages depending on who came to visit. Also, the marker 2 can be embedded in a new grave, but for an existing grave, a part in which the marker 2 is embedded can be prepared and attached to the grave.
  • each marker 2 may be embedded under each remarks in the tomb magazine, in which the name of the person put in the grave is engraved.
  • each marker 2 can include information for displaying the life appearance of the person with the corresponding predicate.
  • points can be awarded to the logged-in user.
  • the server 50 gives points to the user.
  • point information is stored in the user information storage unit 61 of the server 50 in association with the user's account, and when the server 50 grants points, the point is associated with the point associated with the user's account.
  • Add points to give If points are accumulated more than a predetermined amount, the user can order book tickets, incense gift, etc. from the management screen.
  • account inheritance is described.
  • the main account is owned by the person viewed in augmented reality.
  • the person dies it becomes an issue how to inherit the account to other users or family members who have sub-accounts.
  • a predetermined e-mail is periodically transmitted from the server 50 to the e-mail address registered in the main account as confirmation information that can be sent back. If a reply is received within a predetermined period of time after sending this e-mail, the holder of the main account determines that it is alive. If there is no reply within a predetermined period after sending the e-mail, a predetermined e-mail is sent as confirmation information that can be returned to another account, for example, an e-mail address registered in the sub account. If it is found that the holder of the main account has died by the reply of the mail, the account is taken over according to a predetermined procedure. Succession of the account can be performed, for example, by a procedure such as giving the password of the main account to a predetermined successor, for example, the child of the principal.
  • the mobile terminal 10 transmits the information of the position detected by the position detection unit 12 together with the information to the server 50, and the server 50 transmits the information
  • the position information storage unit 62 stores the information in association with the account. That is, the server 50 can recognize the location of the memorial facility that a certain user visits.
  • the portable terminal 10 in which the software of the present system is installed periodically transmits information of the position of the own device detected by the position detection unit 12 to the server 50.
  • the server 50 receives the position information from the portable terminal 10, the server 50 refers to the position information storage unit 62, and extracts the place of the memorial facility to which the user who sent the information visits.
  • the distance between the location of the memorial facility and the position of the received portable terminal 10 is calculated, and when the distance between the two is less than a predetermined value, the server 50 transmits, to the portable terminal 10, information recommending a visit to the memorial facility. .
  • This information may be notified on software installed in the portable terminal 10, or may be sent a mail.
  • the map of the grave can be created by associating the information of the user's account stored in the position information storage unit 62 with the information of the position and displaying the information on the map. This allows the system administrator to understand the location of the tombs from the map of the tombs without having to individually tell them the locations of the tombs.
  • the location of the grave can be communicated to other users on the system as far as the user's approval is obtained. For example, when a friend wants to visit a tomb, it is usually necessary to ask a family member for a place. However, in this system, it is possible to register in advance contact information of a friend, and to set the contact information to contact the place of the grave when the person dies. In this way, when one of the users shoots marker 2 in the grave and sends location information to the server 50, the server 50 can know the location of the grave, so that a friend who registered the location is contacted It is possible to
  • FIG. 7 shows a schematic view of an augmented reality system according to the second embodiment.
  • the augmented reality system of the present embodiment is configured as a system that does not require a marker. Burial methods such as ocean burial and tree burial do not provide for memorial facilities such as tombs, but they may visit the burial site for a memorial. Even in such a case, in the augmented reality system of the present embodiment, it is possible to display and reproduce information by augmented reality in the place of memorial service.
  • Information can be transmitted and received between the portable terminal 10 and the server 50 in the place 5 and superimposed on a video image captured by the camera 11 of the portable terminal 10 to display and reproduce information about the deceased.
  • the configurations of the portable terminal 10, the server 50, and the user terminal 30 are the same as in the first embodiment shown in FIG.
  • FIG. 8 shows a flow diagram of browsing of information by augmented reality in the memorial site 5 in the present embodiment. Here, it is assumed that the location information of the memorial site 5 has not been registered in the server 50 yet.
  • the user who comes to the memorial site 5 starts the software used for the present system on the portable terminal 10, and the login process is performed first (S1).
  • the login process here is the same as S4 of FIG.
  • the portable terminal 10 detects the position of its own device by the position detection unit 12 (S2).
  • information including the position information is transmitted from the portable terminal 10 to the server 50 (S3).
  • the information transmitted to the server 50 includes the information for identifying the beloved place as well as the position information.
  • the information identifying the memorial site 5 is registered or selected in advance on the software of the portable terminal 10.
  • the server 50 that has received the position information from the portable terminal 10 determines whether it is the first reception of the position information on the memorial site 5 (S4). If reception of position information is the first time, the server 50 stores the position information in the position information storage unit 62 (S5). The position information is stored in association with the information identifying the memorial site 5.
  • the control unit 51 determines the position information of the memorial place 5 stored in the position information storage unit 62 and the position information received from the portable terminal 10. Are compared, and it is determined whether or not the positions match (S6). At this time, if the position of the own device detected by the portable terminal 10 is within a predetermined range from the position of the memorial site 5 stored in the position information storage unit 62, it is determined that the position information matches.
  • the position information does not match in S6, it is determined that the portable terminal 10 is not located at the memorial site 5, and the flow ends. If the position information matches in S6, the pattern to be reproduced is extracted (S7) as in S7 to S9 of FIG. 4 and transmitted to the portable terminal 10 (S8), and the portable terminal 10 receives the pattern. , Superimposes on a video shot by the camera 11 of the portable terminal 10 to display and reproduce pattern information (S9).
  • the portable terminal 10 it is possible to transmit and receive information of augmented reality on the basis of the position information detected by the portable terminal 10, even for the memorial site 5 where the marker can not be installed. Therefore, even people who are buried in marine or tree burial places where markers can not be installed can see and hear information about the deceased person, such as messages left by the deceased in life at the memorial site 5, and the feelings towards the deceased It can be strong. Moreover, even if it is a memorial facility like a grave, the marker may not be attached depending on the shape or the material, and it may be considered that the permission of the operator can not be obtained. Furthermore, the user attaches the marker to the memorial facility Sometimes I do not want to. Also in these cases, the augmented reality system of this embodiment can be applied. Furthermore, in the present embodiment, since it is not necessary to capture a marker with the camera 11 of the portable terminal 10, the orientation of the portable terminal 10 can be freely changed, and a system of augmented reality with a higher degree of freedom can be achieved.
  • the augmented reality system of this embodiment can be provided with the same additional functions as those of the first embodiment.
  • the software of the portable terminal 10 starts the software of the portable terminal 10 around the said position, The image image
  • the video of the salesman can be superimposed on the Further, even if the position information is not registered, the video of the salesman may be superimposed on the video taken by the camera 11.
  • the software of the portable terminal 10 can transmit information informing of a request for material, make an inquiry by telephone, etc. At this time, based on the position information detected by the portable terminal 10, the business of the neighborhood can be performed. Information can be sent to the Further, when the position detected by the portable terminal 10 is in the vicinity of the memorial place 5, information for recommending a visit to the memorial place 5 may be transmitted from the server 50.
  • map information is stored in the portable terminal 10 as a service using position information, and navigation to the memorial place 5 is performed based on the positional information detected by the portable terminal 10 and the positional information of the memorial place 5 You may In addition, based on the location information of the place 5 for a memorial service, an advertisement of a company nearby may be displayed on the mobile terminal 10. In this case, the server 50 needs to store an advertisement of a company and information on the position of the company in association with each other.
  • markers can be used in combination.
  • a schematic diagram of the augmented reality system in this case is the same as that of FIG.
  • marker 2 is used to transmit the location of the memorial site to server 50 first.
  • the steps S1 to S9 in FIG. 4 are performed, and the server 50 stores positional information of the memorial site. From the second time onwards, the information is browsed by the augmented reality by the flow excluding the steps of S4 and S5 in FIG. 8 (that is, the second and subsequent flows in FIG. 8).
  • the memorial facility 1 and the memorial site 5 can be widely grasped, and for example, the present invention can be applied to a memorial institution or a memorial site such as a pet as well as a person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】慰霊設備において故人に関する情報を現実の情報と合わせて得ることのできる拡張現実システムを提供する。 【解決手段】カメラ１１を有する携帯端末１０と通信可能なサーバー５０を有し、サーバー５０は、故人に関する情報を記憶する故人情報記憶部６０と、携帯端末１０との情報の送受信を行う制御部５１とを有し、携帯端末１０は、慰霊設備に設置された所定のマーカー２をカメラ１１で撮影すると、マーカー２に含まれる情報に基づきサーバー５０に対して所定の情報を送信し、所定の情報を受信したサーバー５０の制御部５１は、故人情報記憶部６０に記憶された故人に関する情報を携帯端末１０に送信し、故人に関する情報を受信した携帯端末１０は、故人に関する情報をカメラ１１で撮影した映像に重畳して、画面１３に表示させる。

Description

拡張現実システム
　本発明は、故人を慰霊するための慰霊設備にマーカーを付し、該マーカーを端末のカメラで撮影することで、あるいは、慰霊場所の位置情報を記憶しておき、端末が慰霊場所の位置にあることを認識することで、サーバーからの所定の情報をカメラで撮影した映像に重畳して端末の画面に表示する拡張現実システムに関する。
　カメラ付きの携帯端末等において、撮影した映像に文字や画像等の他の情報を重畳して表示させる拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）のシステムが知られている。拡張現実システムは、例えばカーナビゲーションや、ゲームに用いられる他、商品情報を表示させるシステムなどにおいて用いられている。
　拡張現実システムでは、所定のマーカーを携帯端末のカメラで撮影することにより、そのマーカーの形状が携帯端末で読み取られ、携帯端末は、マーカーの形状からそれを識別し、識別した情報に基づいて所定のサーバーに情報送信を要求し、サーバーは、情報送信の要求を受信すると、所定の情報を携帯端末に送信し、携帯端末ではサーバーから受信した情報をカメラで撮影している映像に重畳して表示する。このような拡張現実システムとしては、例えば特許文献１に挙げるようなものがある。
特開２０１２－２１５９８９号公報
　墓や仏壇、位牌といった慰霊設備は、故人を偲び、慰霊するために設けられるものであるが、祈りを捧げるだけでなく、故人が生前に残したメッセージなど故人に関する情報を慰霊設備の前で見たり聞いたりすることができれば、より故人に対する思いを強くすることができると考えられる。そこで、拡張現実システムを慰霊設備に適用することが望まれる。また、近年、海洋葬や樹木葬といった墓石等が設置されない埋葬方法も見られるようになっている。このような場合には、慰霊設備は存在しないが、埋葬した場所を慰霊場所として慰霊が行われる。この場合にも、慰霊場所において、故人に関する情報を見たり聞いたりできることが望まれる。
　本発明は前記課題を鑑みてなされたものであり、慰霊設備または慰霊場所において故人に関する情報を現実の情報と合わせて得ることのできる拡張現実システムを提供することを目的とする。
　前記課題を解決するため、請求項１の発明に係る拡張現実システムは、カメラを有する携帯端末と通信可能なサーバーを有する拡張現実システムにおいて、
　前記サーバーは、故人に関する情報を記憶する故人情報記憶部と、慰霊場所の位置情報を記憶する位置情報記憶部と、前記携帯端末との情報の送受信を行う制御部とを有し、
　前記携帯端末は、自機の位置を検出する位置検出部と、該位置検出部で検出した位置の情報を含む情報を送信すると共に前記サーバーからの情報を受信する送受信部を有し、
　前記サーバーの制御部は、前記携帯端末が前記位置検出部で検出した自機の位置が、前記位置情報記憶部に記憶された慰霊場所の位置情報と合致する場合には、前記故人情報記憶部に記憶された故人に関する情報を前記携帯端末に送信し、前記故人に関する情報を受信した携帯端末に、該故人に関する情報を前記カメラで撮影した映像に重畳して、画面に表示させることを特徴として構成されている。
　請求項１に係る発明によれば、携帯端末で検出した位置情報を基に、慰霊場所をカメラで撮影した映像に故人に関する情報を重畳して表示させることができる。
　また、請求項２の発明に係る拡張現実システムは、前記サーバーの制御部は、前記携帯端末が前記位置検出部で検出した自機の位置が、前記位置情報記憶部に記憶された慰霊場所の位置から所定範囲内であれば、前記慰霊場所の位置情報と合致すると判定することを特徴として構成されている。
　請求項２に係る発明によれば、位置検出部で検出される携帯端末の位置にある程度の誤差があっても、確実に情報の閲覧を行うことができる。
　さらに、請求項３の発明に係る拡張現実システムは、前記慰霊場所にはマーカーが設けられており、
　前記サーバーは、前記携帯端末が前記マーカーを撮影した際に、前記位置検出で検出された位置情報を前記携帯端末から受信し、該受信した位置情報を前記位置情報記憶部に記憶させることを特徴として構成されている。
　請求項３に係る発明によれば、最初に情報を閲覧する際にのみマーカーを使用し、その後はマーカーを不要とできるので、マーカーを慰霊場所に永久的に設置しておくことが困難な場合であっても、本システムの適用を図ることができる。
　また、請求項４の発明に係る拡張現実システムは、カメラを有する携帯端末と通信可能なサーバーを有する拡張現実システムにおいて、
　前記サーバーは、故人に関する情報を記憶する故人情報記憶部と、前記携帯端末との情報の送受信を行う制御部とを有し、
　前記携帯端末は、慰霊設備に設置されたマーカーを前記カメラで撮影すると、前記マーカーに含まれる情報に基づき前記サーバーに対して所定の情報を送信し、該所定の情報を受信した前記サーバーの制御部は、前記故人情報記憶部に記憶された故人に関する情報を前記携帯端末に送信し、前記故人に関する情報を受信した携帯端末は、該故人に関する情報を前記カメラで撮影した映像に重畳して、画面に表示させることを特徴として構成されている。
　請求項４に係る発明によれば、慰霊設備をカメラで撮影した映像に故人に関する情報を重畳して表示させることができる。
　また、請求項５の発明に係る拡張現実システムは、前記故人情報記憶部に記憶される故人に関する情報には、前記携帯端末で表示される１組の情報が複数含まれ、前記制御部は、条件に応じて前記故人に関する情報のうちいずれか１組を前記携帯端末に送信することを特徴として構成されている。
　請求項５に係る発明によれば、利用するユーザーや期間などの条件に応じた情報を閲覧させることができ、画一的でない故人からのメッセージを伝えることができる。
　さらに、請求項６の発明に係る拡張現実システムは、前記故人情報記憶部には、前記故人に関する情報に関連付けて該情報を送信する条件の情報が記憶されることを特徴として構成されている。
　請求項６に係る発明によれば、様々な条件に応じて故人に関する情報を送信することができる。
　さらにまた、請求項７の発明に係る拡張現実システムは、前記故人情報記憶部には、前記マーカーを特定する情報と関連付けて前記故人に関する情報が記憶されていることを特徴として構成されている。
　請求項７に係る発明によれば、携帯端末から受信した情報に基づき適切な故人に関する情報を送信することができる。
　そして、請求項８の発明に係る拡張現実システムは、前記サーバーは、ユーザーに関する情報を記憶するユーザー情報記憶部と、該ユーザー情報記憶部を参照してログインするユーザーの認証を行う認証部とを有し、前記制御部は、前記認証部で認証したユーザーに応じて、前記故人に関する情報のうちいずれか１組を前記携帯端末に送信することを特徴として構成されている。
　請求項８に係る発明によれば、ログインしたユーザーに応じて適切な故人に関する情報を送信することができる。
　また、請求項９の発明に係る拡張現実システムは、前記携帯端末は自機の位置を検出できる位置検出部を有し、前記カメラで前記マーカーを撮影すると、前記携帯端末は前記位置検出部で自機の位置を検出し、該検出した位置の情報を含めて前記サーバーに対して所定の情報を送信し、前記サーバーは、前記携帯端末が前記カメラで前記マーカーを撮影した際に検出した位置の情報を、ユーザーの情報と関連付けて記憶する位置情報記憶部を有することを特徴として構成されている。
　請求項９に係る発明によれば、ユーザーがお参りする慰霊設備の位置をサーバーで把握することができる。
　さらに、請求項１０の発明に係る拡張現実システムは、前記携帯端末は、前記位置検出部で検出した自機の位置の情報を所定のタイミングで前記サーバーに送信し、
　前記制御部は、前記携帯端末から受信した位置の情報と、前記位置情報記憶部に記憶された位置の情報とを対比し、両者の位置間の距離が所定以下である場合に、前記携帯端末に対して情報を送信することを特徴として構成されている。
　請求項１０に係る発明によれば、ユーザーが慰霊設備の近くに立ち寄った際に、そのことに気付かせることができ、慰霊を促すことができる。
　さらにまた、請求項１１の発明に係る拡張現実システムは、前記制御部は、ユーザーからの要求に応じて、該ユーザーの情報と関連付けられた前記位置の情報を、前記ユーザーの端末または他の端末に送信することを特徴として構成されている。
　請求項１１に係る発明によれば、慰霊設備の場所を他人や業者などに簡単に伝えることができる。
　そして、請求項１２の発明に係る拡張現実システムは、前記サーバーは、サービスを提供する事業所の情報と該事業所の場所とを関連付けて記憶する事業所情報記憶部を有し、
　前記携帯端末は、前記位置検出部で検出した自機の位置の情報と共にサービス要求情報を前記サーバーに送信可能とされ、該サービス要求情報を受信した前記サーバーの制御部は、前記携帯端末の位置に最も近い事業所の情報を前記事業所情報記憶部から抽出し、該抽出した情報を前記携帯端末に送信することを特徴として構成されている。
　請求項１２に係る発明によれば、ユーザーに近い業者にサービスを依頼することができ、利便性を向上させることができる。
　また、請求項１３の発明に係る拡張現実システムは、前記制御部は、所定のタイミングで第１のユーザーに対して第１の確認情報を返信可能となるように送信し、該第１の確認情報に対して前記携帯端末から所定期間返信がなかった場合には、前記第１のユーザーとは別の第２のユーザーに対して第２の確認情報を送信することを特徴として構成されている。
　請求項１３に係る発明によれば、ユーザーの安否確認をすることができ、さらに、円滑なアカウントの承継を行うことができる。
　本発明に係る拡張現実システムによれば、慰霊設備や慰霊場所をカメラで撮影した映像に故人に関する情報を重畳して表示させることができるので、慰霊設備や慰霊場所において故人に対する思いをより強くしながら慰霊することができる。
本実施形態における拡張現実システムの概要図である。 拡張現実システムの構成図である。 管理画面を表した図である。 慰霊設備での拡張現実による情報の閲覧のフロー図である。 カメラで撮影した映像にパターンの情報を重畳して表示した携帯端末の画面の図である。 バナー部の墓のアイコンを押した際に表示される画面の図である。 第２の実施形態における拡張現実システムの概要図である。 第２の実施形態における慰霊場所での拡張現実による情報の閲覧のフロー図である。
　本発明の実施形態について図面に沿って詳細に説明する。図１には、本実施形態における拡張現実システムの概要図を示している。本実施形態の拡張現実システムは、墓や仏壇あるいは位牌などの慰霊設備１にマーカー２を設け、カメラ１１を有する携帯端末１０でマーカー２を撮影することで、携帯端末１０とサーバー５０との間で情報が送受信され、携帯端末１０で受信した故人に関する情報を、カメラ１１で撮影した映像と重畳して、携帯端末１０の画面に表示させるものである。図１では、墓にマーカー２を設置している。
　本実施形態の拡張現実システムには、その他に、サーバー５０に故人に関する情報などを登録するためのユーザー端末３０が用意されている。ユーザー端末３０は、各種コンピュータによって構成することができる。ただし、ユーザー端末３０の代わりに携帯端末１０から情報の登録などを行うようにしてもよい。
　図２には、拡張現実システムの構成図を示している。携帯端末１０は、映像を撮影することのできるカメラ１１と、全地球測位網（ＧＰＳ：Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）などを利用して自機の地球上における位置を測定することのできる位置検出部１２と、情報を表示する画面１３とを有している。携帯端末１０は、スマートフォンやタブレット型コンピュータあるいはノート型コンピュータなどによって構成することができ、その中にインストールされたソフトウェアによって、本システムの機能を実現することができる。
　サーバー５０は、ネットワーク３を介して携帯端末１０と通信可能となっている。また、ユーザー端末３０もネットワーク３を介してサーバー５０と通信可能となっている。図２では、携帯端末１０やサーバー５０及びユーザー端末３０は有線で接続されているように描かれているが、実際には無線通信でもよく、特に携帯端末１０は無線によりネットワーク３に接続される。
　サーバー５０は、故人に関する情報を記憶する故人情報記憶部６０と、ユーザーの固有の情報や種別などを関連付けて記憶するユーザー情報記憶部６１と、携帯端末１０から送られてきた位置情報を記憶する位置情報記憶部６２と、花屋や墓石業者等の事業所についての情報を記憶する事業所情報記憶部６３とを有している。また、サーバー５０は、携帯端末１０との情報の送受信などを行う制御部５１と、ＩＤとパスワードによるユーザーの認証を行う認証部５２とを有している。サーバー５０の制御部５１や認証部５２は、物理的にはコンピュータの中央処理演算装置（ＣＰＵ）などによって構成することができる。また、各記憶部は、物理的にはコンピュータのハードディスクなどの記憶装置によって構成することができる。
　本システムにおけるアカウントの構成について説明する。本システムでは、複数の種別のアカウントを作成することができ、アカウントの種別によって、情報の登録の可否や、閲覧できる情報の種類などを、個々に設定することができる。本システムでのアカウントの種別は、メインアカウントとサブアカウント、友人アカウント及びパブリックアカウントである。ただし、アカウントの種別はこれらに限られず、より多くの種類のアカウントが存在してもよい。
　メインアカウントは、サーバー５０に情報を登録することができるアカウントであって、必ず１つ以上が作成される。メインアカウントを持つユーザーは、例えば自分の死後に、希望する情報を子供や友人などに残したいと考えている本人のこともあるし、また、本人が既に亡くなっている場合には、本人の子供などのこともある。メインアカウントを持つユーザーは、情報の登録だけでなく、その閲覧や本システムにおける条件設定など、全ての権限を有している。
　サブアカウントは、少なくとも一部の権限を制限されたアカウントである。サブアカウントについてどの権限を制限するか、あるいはどの権限を与えるかについては、メインアカウントのユーザーが設定することができる。また、本人の死後には、サブアカウントに全ての権限が与えられるようにしてもよい。サブアカウントのユーザーとしては、例えば故人の子供や兄弟などの家族が考えられる。サブアカウントは複数を作成することができる。
　友人アカウントは、家族以外の友人などがユーザーとなることを想定したアカウントである。友人アカウントでは、拡張現実による情報の閲覧のみが可能であり、情報の登録などの権限は有していない。友人アカウントも、複数を作成することができる。また、パブリックアカウントは、パスワードのみでログインできるアカウントであって、故人が例えば有名人である場合などに、不特定多数の人にパスワードを公開し、拡張現実による情報の閲覧を可能とするためのアカウントである。
　次に、故人に関する情報の本システムへの登録について説明する。情報の登録は、ユーザー端末３０から行う。その際、図３に示すような管理画面によって、情報のアップロードや条件の設定などを行うことができる。管理画面には、少なくともメインアカウントのユーザーがログインすることができる。また、設定によってはサブアカウントのユーザーもログインすることができる。管理画面の右上部分には、アカウントのＩＤとパスワードを入力するログイン領域２５が設けられており、ここにＩＤ及びパスワードを入力することで、当該アカウントにて管理画面にログインできる。
　ログインした管理画面には、故人に関する情報を入力してサーバー５０にアップロードするためのデータ入力領域２０が設けられている。データ入力領域２０には、写真や動画などをコピーアンドペーストできる領域と、テキストデータを入力できる領域とがさらに設けられている。故人に関する情報としては、動画、写真、音声、テキストの各データを任意に組み合わせて１組の情報とすることができる。データ入力領域２０に入力されたデータは、ユーザー端末３０からサーバー５０に送信される。サーバー５０で受信されたデータは、故人情報記憶部６０に格納される。
　管理画面には、データ入力領域２０の下方にパターン選択領域２１が設けられている。パターン選択領域２１には、複数のボタンが並んでおり、それぞれがデータのパターンに対応している。拡張現実による情報の閲覧時には、動画や写真、テキストデータなど複数の情報が１組の情報として表示される。本システムでは、このような１組の情報を１つのパターンとして、複数パターンを登録しておくことができる。パターン選択領域２１では複数のパターンのうち１つを選択することができる。パターン選択領域２１で１つのパターンを選択した状態で、データ入力領域２０からデータの入力を行うことで、それらの情報が当該パターンに関連付けられてサーバー５０の故人情報記憶部６０に格納される。
　パターン選択領域２１で選択されるパターンは、慰霊設備ごと、すなわち墓用、仏壇用、位牌用というように使い分けることもできるし、また、ユーザーごと、すなわちサブアカウント用、友人アカウント用、パブリックアカウント用というように使い分けることもできる。その関連付けについては、別途説明する。
　管理画面には、パターン選択領域２１の下方に再生・発注領域２２が設けられている。再生・発注領域２２では、再生ボタンを押すことにより、登録した情報を閲覧することができる。閲覧の際には、サーバー５０に記憶された故人情報記憶部６０から選択されたパターンに対応する情報が抽出され、それがユーザー端末３０に送信されることで、ユーザー端末３０において実際の画面でどのように表示されるかを確認することができる。
　また、発注ボタンを押すことにより、登録した情報を再生するための情報が含まれたマーカー２の制作発注を行うことができる。発注ボタンが押されると、サーバー５０では選択されているパターンを特定する情報を含むバーコード等の識別コードが作成され、システム管理者は、作成された識別コードからマーカー２を制作することができる。なお、マーカー２は、少なくともどの慰霊設備に対応したものであるかが識別できればよく、携帯端末１０において特定の形状であることを認識できるものであればよいので、バーコード以外の単純な図形等であってもよい。
　管理画面には、データ入力領域２０の右側に条件設定領域２３が設けられている。条件設定領域２３では、登録したパターンを閲覧するための条件を設定することができる。管理画面では、条件設定領域２３をクリックすることにより、さらに設定画面（図示しない）が表示され、そこで閲覧条件を入力することができる。
　条件設定領域２３で設定する閲覧条件としては様々なものが考えられる。アカウントを閲覧条件とした場合、特定のアカウントのみ閲覧可能とすることもできるし、また、複数のアカウントで閲覧可能とすることもできる。例えば、父、母、子供３人の家庭において、父と母がそれぞれメインアカウントを保有し、子供３人がサブアカウントを保有しているものとする。この場合に、父のメインアカウントで登録した情報のパターンについて、母のメインアカウントでのみ閲覧できるように条件を設定することができる。また、母のメインアカウント及び子供３人のサブアカウントで閲覧できるように条件を設定することもできる。また、別の情報のパターンについては、友人アカウント、あるいはパブリックアカウントで閲覧可能に設定することができる。
　また、閲覧条件として、期間を設定することもできる。例えば、お盆の前後５日以内といったように期間を設定することで、その期間内にお墓を訪れた人は、その情報のパターンを閲覧することができる。また、期間とアカウントの条件を組み合わせることもできる。例えば、孫がサブアカウントを持っているとして、その孫が２０歳になる日の前後所定期間を設定しておき、孫の成人を祝うメッセージを情報のパターンとして登録しておくことなどが可能である。
　さらに、条件設定領域２３で設定する条件としては、どの場所で閲覧されるパターンであるかという条件も含まれる。例えば、墓と自宅の位牌にマーカー２を設ける場合、特定のパターンについては墓で閲覧されるものとし、別の特定のパターンについては自宅の位牌で閲覧されるように設定することができる。これらのアカウントによる条件、期間の条件、場所の条件などは、単独で設定することもできるし、複数を組み合わせて設定することも可能である。
　条件設定領域２３で閲覧条件が設定されると、当該設定情報はサーバー５０に送信され、サーバー５０では、登録された情報のパターンと当該パターンに設定された条件とが関連付けられて故人情報記憶部６０に記憶される。
　管理画面には、条件設定領域２３の下方にサービス依頼ボタン領域２４が設けられている。サービス依頼ボタン領域２４には、墓や法要などに関する各種サービスを依頼することのできるボタンが複数配置されている。ここには様々なサービスの依頼のためのボタンを配置することができるが、本実施形態では、塔婆の制作依頼と、法要の依頼、生花の発注、お墓の工事依頼の各ボタンが配置されている。これらのボタンがクリックされると、その情報がそのままサーバー５０に送信される場合と、依頼のためにさらに必要な情報を入力するためのフォームが表示され、該フォームに必要な情報が入力されると、その情報をサーバー５０に送信する場合とがある。
　依頼のために必要な情報を入力するためのフォームについては、サーバー５０側で既知の情報については予め入力した状態で表示することができる。例えば、サーバー５０のユーザー情報記憶部６１には、ユーザーのアカウントと氏名、住所の情報が関連付けられて記憶されているので、生花を発注依頼するボタンが押された場合に、依頼者の氏名や住所として、ログインしているアカウントに対応する氏名、住所をサーバー５０からユーザー端末３０に送信し、ユーザー端末３０ではそれらの情報をフォームに予め入力しておくことができる。
　フォームに必要な情報が入力され、当該情報がサーバー５０に送信されると、サーバー５０は、その情報を業者に対して送信する。業者についての情報は、前述のようにサーバー５０の事業所情報記憶部６３に記憶されている。どの業者に対して依頼をするかは、ユーザーの住所などから予め定めていてもよいし、また、依頼の際にユーザーが選択できるようにしてもよい。
　管理画面には、ここまで説明した領域の他に、お参りに関する日付が表示される領域が配置されている。お参りに関する日付は、例えば命日や法事、彼岸の日付などであり、この管理画面から日付を追加することができる。また、日付の右側にはメールのアイコンが配置されており、これをクリックすることで、命日など特定の日付が近づいたらサーバー５０から所定のアドレスにメールを送信する設定を行うことができる。個々での設定情報は、サーバー５０に送信されて、サーバー５０ではその設定情報に基づきメールの送信を行う。
　次に、慰霊設備での拡張現実による情報の閲覧について説明する。図４には、慰霊設備での拡張現実による情報の閲覧のフロー図を示している。慰霊設備には、前述のように情報を閲覧するためのマーカー２が設置されている。ユーザーは、携帯端末１０において本システムに使用するソフトウェアを予め起動しておき、慰霊接部に設置されたマーカー２を携帯端末１０のカメラ１１で撮影する（Ｓ１）。
　マーカー２を撮影した携帯端末１０は、そのマーカー２の形状を認識することにより、マーカー２を識別し、あるいはそれに含まれる情報を認識する（Ｓ２）。また、携帯端末１０は、位置検出部１２によって自機の位置を検出する（Ｓ３）。ここで検出された携帯端末１０の位置は、慰霊設備が設置されている位置の情報として用いることができる。
　続いて、携帯端末１０はサーバー５０へのログイン処理を行う（Ｓ４）。ログイン処理では、携帯端末１０でユーザーのログインＩＤとパスワードを入力するようにしてもよいし、ログインＩＤは携帯端末１０の固有のＩＤを用いるなどにより簡易化したものであってもよい。また、パブリックアカウントの場合には、パスワードの入力のみでサーバー５０にログインすることができる。
　携帯端末１０で入力されたログインＩＤとパスワードは、サーバー５０に送信され、サーバー５０では、認証部５２においてユーザー情報記憶部６１を参照し、ログインＩＤとパスワードが適合するか否かを判別する。
　携帯端末１０がサーバー５０にログインしたら、携帯端末１０は所定の情報をサーバー５０に送信する（Ｓ５）。ここで送信される所定の情報には、マーカー２を特定する情報と、Ｓ３で検出された携帯端末１０の位置の情報が含まれる。
　携帯端末１０からの情報を受信したサーバー５０では、その中に含まれる位置情報を、位置情報記憶部６２に記憶させる（Ｓ６）。このとき、位置情報はログインしているユーザーのアカウントと関連付けて記憶される。この位置情報は、そのユーザーがお参りする慰霊設備の場所の情報として利用することができる。
　次に、制御部５１は、ログインしたアカウントやマーカー２を特定する情報などに適合するパターンを、故人情報記憶部６０から抽出する（Ｓ７）。マーカー２により、いずれの慰霊設備でそれが撮影されたかは判別できるので、その慰霊設備に対応した情報を故人情報記憶部６０から抽出することができる。また、ログインしたアカウントの種別、すなわちメインアカウントであるか、サブアカウントであるか、ないし友人アカウントやパブリックアカウントであるかを、ユーザー情報記憶部６１を参照して特定し、このアカウントの種別に対応したパターンを抽出することができる。
　さらに、抽出されたパターンに設定された条件が、閲覧するユーザー及び期間などの条件に合致しているか否かを判定する。前述のように、故人情報記憶部６０に記憶された情報のパターンには、閲覧できるユーザーや閲覧できる期間などの条件が関連付けられている。制御部５１では、抽出されたパターンについて、今回ログインしたユーザーが閲覧可能な条件に関連付けられたものであるか否かを判定する。例えば、サブアカウントについて、通常のメッセージと期間を限定したメッセージの２つのパターンが抽出された場合に、ログインした日が設定された期間内であった場合には、期間を限定したメッセージを携帯端末１０に対して送信するパターンとする。逆にログインした日が設定された期間内ではなかった場合には、通常のメッセージを携帯端末１０に対して送信するパターンとする。また、サブアカウントの中でも閲覧できるユーザーが限定されているような場合には、当該ユーザーのサブアカウントでログインされていた場合にのみ、対応するパターンを携帯端末１０に送信する。
　条件に合致するパターンが複数ある場合には、そのうちいずれかをランダムに送信するようにしてもよいし、予め優先順位を定めておけば、その優先順位に従って送信するパターンを決定することもできる。
　携帯端末１０に送信するパターンが定まったら、制御部５１は、そのパターンの情報を携帯端末１０に対して送信する（Ｓ８）。パターンの情報を受信した携帯端末１０では、カメラ１１で撮影した映像にパターンの情報を重畳して画面１３に表示させる（Ｓ９）。
　図５には、カメラ１１で撮影した映像にパターンの情報を重畳して表示した携帯端末１０の画面１３を示している。この図では、慰霊設備１である墓を写しながら、その前に故人の写真４が重ねて表示されている様子を表している。このとき、同時に故人のメッセージも音声で再生される。映像は画面１３のほぼ全面に表示されるが、画面１３の下部にはバナー部４０が表示されている。
　映像に重畳されるパターンの情報は、図５では写真と音声であるが、前述の通り、様々なデータの組み合わせが考えられる。例えば、動画と音声でもよいし、写真とテキストメッセージであってもよい。テキストメッセージの場合には、表示された故人の写真から吹き出しを表示し、その中にテキストメッセージを表示することができる。
　バナー部４０には、墓のアイコンと、墓のクリーニング依頼、墓に関するトラブルの相談、現在地を発信の各ボタンが配置されている。墓のアイコンを押すと、後述する墓を選ぶための画面がさらに現れる。墓のクリーニング依頼や墓に関するトラブルの相談のボタンを押すと、その旨の情報がサーバー５０に送られ、サーバー５０ではそれぞれに対応する業者の情報を事業所情報記憶部６３から抽出し、各依頼について業者に連絡する。また、現在地を発信のボタンを押すと、位置検出部１２で検出した位置の情報をＳＭＳのソフトウェアなどに渡すことができる。これら各ボタンの有無は、任意に選択することができる。また、生花の依頼など、他の種類のボタンを配置してもよい。
　業者への依頼については、携帯端末１０の位置検出部１２で検出した位置情報を用いて業者の選定を行うこともできる。サーバー５０が携帯端末１０から受信する情報には、前述のように携帯端末１０で検出した位置情報が含まれている。そこで、業者への依頼のボタンが押されて、携帯端末１０からサーバー５０にその旨が送信された場合に、サーバー５０では、制御部５１が携帯端末１０で検出した位置に最も近い事業所の情報を、事業所情報記憶部６３から抽出し、その情報を携帯端末１０に送信することができる。これにより、携帯端末１０を利用しているユーザーに近い場所にある業者が選定されるので、利便性を向上させることができる。
　バナー部４０には、さらに任意に使用可能な領域が設定されており、これらは例えば広告などを表示してもよいし、また、お参りに関する知識を表示するためのボタンを配置するなどしてもよい。
　図６には、バナー部４０の墓のアイコンを押した際に表示される画面を示している。この画面は、墓の購入を検討している人のための機能を有している。その前提として、墓地で空いている土地に、予めマーカー２を有する表札を設けておく。このマーカー２を携帯端末１０のカメラ１１で撮影することにより、その土地の映像に重畳して墓のイメージを表示させることができる。
　画面の左側には、土地の広さ及びそれに対応する墓の画像が表示されている。画面の右側には、営業マンによる説明のボタンと、土地計測のボタンと、資料請求のボタンが表示されている。営業マンによる説明のボタンを押し、空いている土地のマーカー２をカメラ１１で撮影すると、その情報がサーバー５０に送信され、サーバー５０からは営業マンが墓について説明する映像を含む情報が携帯端末１０に送信される。その情報を受信した携帯端末１０では、土地の映像に重畳して営業マンが墓について説明する映像が表示される。
　土地計測のボタンは、カメラ１１を使用して土地の広さを計測するソフトウェアを起動させる。そこで測定した土地の広さに基づいて、画面に表示されている墓のイメージを選択することができる。また、資料請求のボタンを押すと、その旨の情報がサーバー５０に送信され、登録したユーザーの情報に基づき資料をそのユーザーの住所などに送ることができる。
　墓に設けるマーカー２は、１つであってもよいが、複数を埋め込むようにしてもよい。複数のマーカー２を設けておくことで、お参りに来た人によって異なるメッセージを再生できるようにすることができる。また、マーカー２は、新設する墓には埋め込むことが可能であるが、既設の墓に対しては、マーカー２を埋め込んだパーツを用意し、これを墓に取付けるようにすることもできる。
　さらには、墓に納められている人の名前を刻んである墓誌の、各戒名の下に、それぞれマーカー２を埋め込むようにしてもよい。この場合、それぞれのマーカー２は、対応する戒名の人の生前の姿を表示するための情報を含むものとすることができる。
　本システムにおけるポイントの付与について説明する。マーカー２を携帯端末１０で読み込む度に、ログインしたユーザーに対してポイントを付与することができる。例えば、慰霊設備である位牌に設置されたマーカー２を携帯端末１０で読み込み、その情報をサーバー５０が受信したら、サーバー５０はそのユーザーに対してポイントを付与する。具体的には、サーバー５０のユーザー情報記憶部６１にポイントの情報をユーザーのアカウントと関連付けて記憶しておき、サーバー５０がポイントを付与する際には、そのユーザーのアカウントに関連付けられたポイントに、付与するポイントを加算する。ポイントが所定以上貯まると、ユーザーは管理画面から図書券や線香のギフトなどを注文することができる。
　次に、アカウントの承継について説明する。本システムでは、メインアカウントは拡張現実で閲覧される本人が持っていることを想定している。その本人が亡くなった場合に、サブアカウントを持っている他のユーザー、あるいは家族にそのアカウントをどのように承継するかが問題となる。
　そこで、本システムでは、サーバー５０から定期的に、返信可能な確認情報として、所定のメールがメインアカウントに登録されたメールアドレスに送信される。このメールを送信してから所定期間内に返信があった場合には、メインアカウントの保持者は存命であると判断する。メールを送信してから所定期間内に返信がなかった場合には、別のアカウント、例えばサブアカウントに登録されたメールアドレスに、返信可能な確認情報として、所定のメールを送信する。そのメールの返信によって、メインアカウントの保持者が亡くなっていたことが分かった場合には、予め定めておいた手順でアカウントの承継を行う。アカウントの承継は、例えば所定の承継者、例えば本人の子供にメインアカウントのパスワードを伝えるなどの手順により、行うことができる。
　次に、本システムにおける位置情報を用いたサービスについて説明する。前述のように、携帯端末１０でマーカー２を読み込んだ際に、携帯端末１０はその情報と共に位置検出部１２で検出した位置の情報をサーバー５０に送信し、サーバー５０は、その情報をユーザーのアカウントと関連付けて位置情報記憶部６２に記憶させる。すなわち、あるユーザーがお参りする慰霊設備の場所が、サーバー５０側で認識できる。
　本システムのソフトウェアをインストールした携帯端末１０は、定期的に位置検出部１２で検出した自機の位置の情報をサーバー５０に送信する。サーバー５０は、携帯端末１０から位置の情報を受信したら、位置情報記憶部６２を参照し、その情報を送信したユーザーがお参りする慰霊設備の場所を抽出する。この慰霊設備の場所と受信した携帯端末１０の位置との距離を算出し、両者の距離が所定以下の場合に、サーバー５０は携帯端末１０に対し、慰霊設備へのお参りを勧める情報を送信する。この情報は、携帯端末１０にインストールされたソフトウェア上で通知されるようにしてもよいし、また、メールを送信するようにしてもよい。
　墓の場所については、住所が存在しないことが多く、霊園など区画番号がある墓地を除けば、個々の墓についてそれぞれ関係者から場所を教えてもらう必要があった。墓のメンテナンスを行う業者などは、顧客の墓の場所を個別に教えてもらわなくてはならず、手間がかかっていた。
　本システムでは、ユーザーがマーカー２を携帯端末１０で読み取り、その情報をサーバー５０に送信する際に、自機の位置の情報も併せて送信するので、そのユーザーがお参りする墓の位置を特定することができる。このため、位置情報記憶部６２に記憶されたユーザーのアカウントの情報と位置の情報とを対応付けて地図上に表示することで、墓の地図を作成することができる。システムの管理者は、これにより、墓の場所を個別に教えてもらわなくても、墓の地図によりそれぞれの場所を把握することが可能となる。
　また、墓の場所は、ユーザーの承認を取った範囲において、本システム上で他のユーザー等に伝えることもできる。例えば、友人が墓を訪れたいと思った場合に、通常は家族等に場所を聞く必要がある。しかし、本システムでは、友人の連絡先を予め登録しておき、本人が亡くなった際にはその連絡先に墓の場所を連絡するように設定しておくことができる。このようにすることで、いずれかのユーザーが墓でマーカー２を撮影し、位置の情報をサーバー５０に送信すると、サーバー５０で墓の場所を把握できるので、その場所を登録された友人に連絡することが可能となる。
　次に、本発明の第２の実施形態について説明する。図７には、第２の実施形態における拡張現実システムの概要図を示している。本実施形態の拡張現実システムは、マーカーを必要としないシステムとして構成されている。海洋葬や樹木葬といった埋葬方法では、墓のような慰霊設備が設置されないが、埋葬場所を慰霊のために訪れることがある。本実施形態の拡張現実システムでは、このような場合でも、その慰霊場所において拡張現実による情報の表示、再生を行うことができる。
　本実施形態では、図７に示すように、樹木葬が行われた場所を慰霊場所５としている。この慰霊場所５において、携帯端末１０とサーバー５０との間で情報が送受信され、携帯端末１０のカメラ１１で撮影した映像に重畳して、故人に関する情報を表示、再生することができる。携帯端末１０とサーバー５０及びユーザー端末３０の構成は、図２に示した第１の実施形態と同様である。
　マーカーを用いることなく、拡張現実のシステムを構成するために、本実施形態では携帯端末１０で取得する位置情報を用いる。図８には、本実施形態における慰霊場所５での拡張現実による情報の閲覧のフロー図を示している。ここでは、慰霊場所５の位置情報はまだサーバー５０に登録されていないものとする。
　慰霊場所５に来た利用者は、携帯端末１０上で本システムに用いるソフトウェアを起動し、まず、ログイン処理が行われる（Ｓ１）。ここでのログイン処理は、図４のＳ４と同様である。次に、携帯端末１０は位置検出部１２によって自機の位置を検出する（Ｓ２）。続いて、この位置情報を含む情報が、携帯端末１０からサーバー５０に対して送信される（Ｓ３）。この際、サーバー５０に対して送信される情報には、位置情報と共に慰霊場所を識別する情報も含まれる。慰霊場所５を識別する情報は、携帯端末１０のソフトウェア上で予め登録、あるいは選択される。
　位置情報を携帯端末１０から受信したサーバー５０は、当該慰霊場所５についての位置情報の受信が初めてであるか否かを判別する（Ｓ４）。位置情報の受信が初めてであった場合、サーバー５０は位置情報記憶部６２に当該位置情報を記憶させる（Ｓ５）。位置情報は、慰霊場所５を識別する情報と関連付けて記憶される。
　Ｓ４において慰霊場所５についての位置情報の受信が初めてではなかった場合、制御部５１は、位置情報記憶部６２に記憶された当該慰霊場所５の位置情報と、携帯端末１０から受信した位置情報とを対比し、その位置が合致するか否かを判別する（Ｓ６）。この際、携帯端末１０が検出した自機の位置が、位置情報記憶部６２に記憶された慰霊場所５の位置から所定範囲内であれば、これらの位置情報は合致するものと判定される。
　Ｓ６において位置情報が合致しなかった場合、携帯端末１０は慰霊場所５には位置していないものと判断されるので、フローは終了する。Ｓ６において位置情報が合致した場合には、図４のＳ７～Ｓ９と同様に、再生するパターンが抽出され（Ｓ７）、それが携帯端末１０に送信され（Ｓ８）、パターンを受信した携帯端末１０は、携帯端末１０のカメラ１１で撮影している映像に重畳してパターンの情報を表示、再生する（Ｓ９）。
　このように、マーカーが設置できないような慰霊場所５についても、携帯端末１０で検出した位置情報を基に、拡張現実の情報の送受信を行わせることができる。したがって、マーカーを設置できない海洋葬や樹木葬で埋葬された人に対しても、慰霊場所５において故人が生前に残したメッセージなど故人に関する情報を見たり聞いたりすることができ、故人に対する思いを強くすることができる。また、お墓のような慰霊設備であっても、形状や材質によってマーカーを取付けられない場合があり、運営者の許可が取れない場合も考えられ、さらには利用者が慰霊設備にマーカーを取付たくないという場合もある。これらの場合にも、本実施形態の拡張現実システムを適用することができる。さらに、本実施形態では携帯端末１０のカメラ１１でマーカーを撮影する必要がないので、携帯端末１０の向きを自由に変えることができ、より自由度の高い拡張現実のシステムとすることができる。
　また、本実施形態の拡張現実システムは、第１の実施形態と同様の付加機能を設けることが可能である。例えば、ログインしたアカウントの種別やログインした日時などの条件に応じて、それぞれ異なる故人に関する情報を携帯端末１０に送信するように構成することができる。また、位置情報を用いて各種事業者に対するサービス依頼を行うこともできる。さらに、樹木葬等を検討している人に対する営業マンによる説明の機能を付加することもできる。この際、予め慰霊場所の位置情報をサーバー５０に登録しておき、樹木葬等を検討している人が当該位置の周辺で携帯端末１０のソフトウェアを起動した場合に、カメラ１１で撮影した映像に営業マンの映像を重畳することができる。また、位置情報が登録されていなくても、営業マンの映像をカメラ１１で撮影した映像に重畳するようにしてもよい。さらには、携帯端末１０のソフトウェアからは、資料請求の旨の情報送信や、電話での問い合わせなどを行うことができ、この際に、携帯端末１０で検出した位置情報を基に、近隣の事業者に対して情報送信を行うことができる。また、携帯端末１０で検出した位置が、慰霊場所５の近隣であった場合に、慰霊場所５へのお参りを勧める情報が、サーバー５０から送信されるようにしてもよい。
　また、位置情報を利用したサービスとして、携帯端末１０に地図情報を記憶させておき、携帯端末１０で検出した位置情報と慰霊場所５の位置情報を基に、慰霊場所５までのナビゲーションを行うようにしてもよい。また、慰霊場所５の位置情報を基に、その近隣の企業の広告を携帯端末１０上で表示させるようにしてもよい。この場合、企業の広告と、当該企業の位置の情報とを、サーバー５０にて関連付けて記憶しておく必要がある。
　このような位置情報を利用した拡張現実システムにおいて、マーカーを併用することもできる。この場合の拡張現実システムの概要図は、図１と同様となる。この場合、最初に慰霊場所の位置をサーバー５０に対して送信するために、マーカー２が利用される。具体的には、最初に慰霊場所において拡張現実による情報の閲覧をする際には、図４のＳ１～Ｓ９のステップを行い、慰霊場所の位置情報をサーバー５０に記憶させる。２回目以降は、図８のＳ４、Ｓ５のステップを除いたフロー（すなわち、図８において２回目以降のフロー）によって、拡張現実による情報の閲覧を行う。
　このように、位置情報によって拡張現実の情報を閲覧する場合であっても、マーカー２を併用することで、マーカー２は一時的に設けておくだけでよく、一度登録したら慰霊場所から除去することもできるので、マーカー２を永久的に設置しておくことが困難な場合であっても、本システムを利用することができるようになる。
　以上、本発明の実施形態について説明したが、本発明の適用は本実施形態には限られず、その技術的思想の範囲内において様々に適用されうるものである。慰霊設備１及び慰霊場所５は、幅広く捉えることができ、例えば人に限らずペットなどの慰霊設備あるいは慰霊場所について、本発明を適用することも可能である。
　　１　　慰霊設備
　　２　　マーカー
　　３　　ネットワーク
　１０　　携帯端末
　１１　　カメラ
　１２　　位置検出部
　１３　　画面
　２０　　データ入力領域
　２１　　パターン選択領域
　２２　　再生・発注領域
　２３　　条件設定領域
　２４　　サービス依頼ボタン領域
　２５　　ログイン領域
　３０　　ユーザー端末
　４０　　バナー部
　５０　　サーバー
　５１　　制御部
　５２　　認証部
　６０　　故人情報記憶部
　６１　　ユーザー情報記憶部
　６２　　位置情報記憶部
　６３　　事業所情報記憶部

Claims (13)

  1. 　カメラを有する携帯端末と通信可能なサーバーを有する拡張現実システムにおいて、
    　前記サーバーは、故人に関する情報を記憶する故人情報記憶部と、慰霊場所の位置情報を記憶する位置情報記憶部と、前記携帯端末との情報の送受信を行う制御部とを有し、
    　前記携帯端末は、自機の位置を検出する位置検出部と、該位置検出部で検出した位置の情報を含む情報を送信すると共に前記サーバーからの情報を受信する送受信部を有し、
    　前記サーバーの制御部は、前記携帯端末が前記位置検出部で検出した自機の位置が、前記位置情報記憶部に記憶された慰霊場所の位置情報と合致する場合には、前記故人情報記憶部に記憶された故人に関する情報を前記携帯端末に送信し、前記故人に関する情報を受信した携帯端末に、該故人に関する情報を前記カメラで撮影した映像に重畳して、画面に表示させることを特徴とする拡張現実システム。
  2. 　前記サーバーの制御部は、前記携帯端末が前記位置検出部で検出した自機の位置が、前記位置情報記憶部に記憶された慰霊場所の位置から所定範囲内であれば、前記慰霊場所の位置情報と合致すると判定することを特徴とする請求項１記載の拡張現実システム。
  3. 　前記慰霊場所にはマーカーが設けられており、
    　前記サーバーは、前記携帯端末が前記マーカーを撮影した際に、前記位置検出で検出された位置情報を前記携帯端末から受信し、該受信した位置情報を前記位置情報記憶部に記憶させることを特徴とする請求項１または２記載の拡張現実システム。
  4. 　カメラを有する携帯端末と通信可能なサーバーを有する拡張現実システムにおいて、
    　前記サーバーは、故人に関する情報を記憶する故人情報記憶部と、前記携帯端末との情報の送受信を行う制御部とを有し、
    　前記携帯端末は、慰霊設備に設置されたマーカーを前記カメラで撮影すると、前記マーカーに含まれる情報に基づき前記サーバーに対して所定の情報を送信し、該所定の情報を受信した前記サーバーの制御部は、前記故人情報記憶部に記憶された故人に関する情報を前記携帯端末に送信し、前記故人に関する情報を受信した携帯端末は、該故人に関する情報を前記カメラで撮影した映像に重畳して、画面に表示させることを特徴とする拡張現実システム。
  5. 　前記故人情報記憶部に記憶される故人に関する情報には、前記携帯端末で表示される１組の情報が複数含まれ、前記制御部は、条件に応じて前記故人に関する情報のうちいずれか１組を前記携帯端末に送信することを特徴とする請求項１～４のいずれか１項に記載の拡張現実システム。
  6. 　前記故人情報記憶部には、前記故人に関する情報に関連付けて該情報を送信する条件の情報が記憶されることを特徴とする請求項５記載の拡張現実システム。
  7. 　前記故人情報記憶部には、前記マーカーを特定する情報と関連付けて前記故人に関する情報が記憶されていることを特徴とする請求項４記載の拡張現実システム。
  8. 　前記サーバーは、ユーザーに関する情報を記憶するユーザー情報記憶部と、該ユーザー情報記憶部を参照してログインするユーザーの認証を行う認証部とを有し、前記制御部は、前記認証部で認証したユーザーに応じて、前記故人に関する情報のうちいずれか１組を前記携帯端末に送信することを特徴とする請求項５または６記載の拡張現実システム。
  9. 　前記携帯端末は自機の位置を検出できる位置検出部を有し、前記カメラで前記マーカーを撮影すると、前記携帯端末は前記位置検出部で自機の位置を検出し、該検出した位置の情報を含めて前記サーバーに対して所定の情報を送信し、前記サーバーは、前記携帯端末が前記カメラで前記マーカーを撮影した際に検出した位置の情報を、ユーザーの情報と関連付けて記憶する位置情報記憶部を有することを特徴とする請求項４記載の拡張現実システム。
  10. 　前記携帯端末は、前記位置検出部で検出した自機の位置の情報を所定のタイミングで前記サーバーに送信し、
    　前記制御部は、前記携帯端末から受信した位置の情報と、前記位置情報記憶部に記憶された位置の情報とを対比し、両者の位置間の距離が所定以下である場合に、前記携帯端末に対して情報を送信することを特徴とする請求項１～３、９のいずれか１項に記載の拡張現実システム。
  11. 　前記制御部は、ユーザーからの要求に応じて、該ユーザーの情報と関連付けられた前記位置の情報を、前記ユーザーの端末または他の端末に送信することを特徴とする請求項１～３、９、１０のいずれか１項に記載の拡張現実システム。
  12. 　前記サーバーは、サービスを提供する事業所の情報と該事業所の場所とを関連付けて記憶する事業所情報記憶部を有し、
    　前記携帯端末は、前記位置検出部で検出した自機の位置の情報と共にサービス要求情報を前記サーバーに送信可能とされ、該サービス要求情報を受信した前記サーバーの制御部は、前記携帯端末の位置に最も近い事業所の情報を前記事業所情報記憶部から抽出し、該抽出した情報を前記携帯端末に送信することを特徴とする請求項１～３、９～１１のいずれか１項に記載の拡張現実システム。
  13. 　前記制御部は、所定のタイミングで第１のユーザーに対して第１の確認情報を返信可能となるように送信し、該第１の確認情報に対して前記携帯端末から所定期間返信がなかった場合には、前記第１のユーザーとは別の第２のユーザーに対して第２の確認情報を送信することを特徴とする請求項１～１２のいずれか１項に記載の拡張現実システム。
PCT/JP2015/053507 2014-10-20 2015-02-09 拡張現実システム WO2016063554A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP15853238.2A EP3211603A4 (en) 2014-10-20 2015-02-09 Augmented reality system
US15/520,744 US20170331924A1 (en) 2014-10-20 2015-02-09 Augmented Reality System

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-213330 2014-10-20
JP2014213330 2014-10-20
JP2015018936A JP5780372B1 (ja) 2014-10-20 2015-02-03 拡張現実システム
JP2015-018936 2015-02-03

Publications (1)

Publication Number Publication Date
WO2016063554A1 true WO2016063554A1 (ja) 2016-04-28

Family

ID=54192799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/053507 WO2016063554A1 (ja) 2014-10-20 2015-02-09 拡張現実システム

Country Status (4)

Country Link
US (1) US20170331924A1 (ja)
EP (1) EP3211603A4 (ja)
JP (1) JP5780372B1 (ja)
WO (1) WO2016063554A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI735049B (zh) * 2018-10-18 2021-08-01 真禾事業股份有限公司 納骨塔導覽控制系統

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016141429A1 (en) * 2015-03-09 2016-09-15 Rasheed Nizar Augmented reality memorial
JP6104450B1 (ja) * 2016-11-26 2017-03-29 アンバス株式会社 メッセージ表示装置、メッセージ表示方法及びメッセージ表示プログラム
JP2019057057A (ja) 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP7013757B2 (ja) 2017-09-20 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US9985786B1 (en) * 2017-11-21 2018-05-29 Ca, Inc. Cross-device authentication
JP7044318B2 (ja) * 2018-01-15 2022-03-30 株式会社冲セキ サーバシステム、サーバシステムによって実行される方法及びプログラム
JP6488509B1 (ja) * 2018-07-30 2019-03-27 宗教法人洗心山青蓮寺 お参りサービス提供方法及びお参りサービス提供システム
US10445899B1 (en) 2018-11-26 2019-10-15 Capital One Services, Llc System and method for recalibrating an augmented reality experience using physical markers
FR3097580B1 (fr) * 2019-06-19 2022-01-21 Ducrocq Henry Samuelle Mémorial funéraire
CN114461066A (zh) * 2021-12-29 2022-05-10 上海盛付通电子支付服务有限公司 用于追忆已故对象的方法、设备、介质及程序产品
JP7270317B1 (ja) * 2022-04-27 2023-05-10 Ｅｐｆｊ株式会社 森林管理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008743A (ja) * 2001-06-18 2003-01-10 Ntt Docomo Inc サービス提供方法および中継装置
JP2004302711A (ja) * 2003-03-31 2004-10-28 Kureo:Kk 行方不明通知システム及び行方不明の通知方法
JP2006134237A (ja) * 2004-11-09 2006-05-25 Ishimago:Kk 墓守システム
JP2008223398A (ja) * 2007-03-15 2008-09-25 Kimio Sugano 墓地用構造物
JP2009215861A (ja) * 2008-03-10 2009-09-24 Yoshiji Fukazawa 遺族を癒す石造物
JP2012212225A (ja) * 2011-03-30 2012-11-01 Nifty Corp 情報処理装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6340978B1 (en) * 1997-01-31 2002-01-22 Making Everlasting Memories, Ltd. Method and apparatus for recording and presenting life stories
US7395960B1 (en) * 2000-01-12 2008-07-08 Memory Medallion, Inc. System and method for delivering information at remote locations
US7222120B1 (en) * 2000-04-12 2007-05-22 Making Everlasting Memories, L.L.C. Methods of providing a registry service and a registry service
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US9342927B2 (en) * 2010-11-08 2016-05-17 Sony Corporation Augmented reality system for position identification
KR20120051139A (ko) * 2010-11-12 2012-05-22 윤지훈 추모정보 제공 방법
US9200469B1 (en) * 2011-06-15 2015-12-01 Making Everlasting Memories, L.L.C. System and method for locating an unmarked burial site
US8909670B2 (en) * 2011-12-09 2014-12-09 Paradise Pictures, LLC Image based method of providing memorial information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008743A (ja) * 2001-06-18 2003-01-10 Ntt Docomo Inc サービス提供方法および中継装置
JP2004302711A (ja) * 2003-03-31 2004-10-28 Kureo:Kk 行方不明通知システム及び行方不明の通知方法
JP2006134237A (ja) * 2004-11-09 2006-05-25 Ishimago:Kk 墓守システム
JP2008223398A (ja) * 2007-03-15 2008-09-25 Kimio Sugano 墓地用構造物
JP2009215861A (ja) * 2008-03-10 2009-09-24 Yoshiji Fukazawa 遺族を癒す石造物
JP2012212225A (ja) * 2011-03-30 2012-11-01 Nifty Corp 情報処理装置、方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Utau Boseki to Kinmirai", 30 August 2014 (2014-08-30), XP055435781, Retrieved from the Internet <URL:http://saitama-reien.com/blog/?p=1643> [retrieved on 20150324] *
See also references of EP3211603A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI735049B (zh) * 2018-10-18 2021-08-01 真禾事業股份有限公司 納骨塔導覽控制系統

Also Published As

Publication number Publication date
EP3211603A4 (en) 2018-07-04
JP2016081502A (ja) 2016-05-16
EP3211603A1 (en) 2017-08-30
US20170331924A1 (en) 2017-11-16
JP5780372B1 (ja) 2015-09-16

Similar Documents

Publication Publication Date Title
WO2016063554A1 (ja) 拡張現実システム
US20190121823A1 (en) Communication Terminal, Communication Method, Program, And Communication System.
US20110055045A1 (en) Method and system of displaying, managing and selling images in an event photography environment
US20120300087A1 (en) System and method for receiving and publishing product interest
CN1791214A (zh) 影像服务系统
US20120316995A1 (en) Method and system of displaying, managing and selling images in an event photography environment
JP2016126414A (ja) 顔照合システムおよび娯楽施設のサービス提供方法
US10686948B2 (en) Portable electronic device with a creative artworks picture application operating in response to geofencing
JP2024020650A (ja) 撮像データ提供システム
WO2013163672A1 (en) A communication system
JP2013219666A (ja) 情報共有システム、照合装置、端末装置、情報共有方法及び情報共有プログラム
JP6091357B2 (ja) コンテンツ配信システム、コンテンツ配信方法、コンテンツ配信装置およびコンピュータプログラム
KR101763821B1 (ko) 이벤트 관련 디지털 앨범 제공 방법 및 시스템
JP2019016100A (ja) データシステム、サーバー、およびプログラム
JP2018026787A (ja) 撮影装置及び撮影システム
JP2016184379A (ja) 通信を用いたご祈祷又はお祓いの実行及び記録システム
US10438138B2 (en) Reliable aftermarket event ticket transfer: method and apparatus
JP5870064B2 (ja) 記念品の注文システム
WO2021074915A1 (ja) コンテンツ管理サーバ、コンテンツ管理プログラム及びコンテンツ管理システム
EP4336439A1 (en) Information processing device, information processing method, and information processing program
JP7215029B2 (ja) 画像ダウンロードシステム、サーバ、画像ダウンロード方法、及びプログラム
KR20180050782A (ko) 스튜디오 사진,동영상 실시간 서비스 및 스마트폰 앱을 이용하여 실시간 전달 및 저장하는 매체
KR20170014025A (ko) 이벤트 관련 디지털 앨범 제공 방법 및 시스템
JP2021033643A (ja) ライフデータ処理システム、ライフデータ処理方法及びコンピュータプログラム
JP2022170667A (ja) 御朱印発行サーバ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15853238

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015853238

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15520744

Country of ref document: US