WO2024090065A1 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2024090065A1
WO2024090065A1 PCT/JP2023/033648 JP2023033648W WO2024090065A1 WO 2024090065 A1 WO2024090065 A1 WO 2024090065A1 JP 2023033648 W JP2023033648 W JP 2023033648W WO 2024090065 A1 WO2024090065 A1 WO 2024090065A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
appear
character
user
Prior art date
Application number
PCT/JP2023/033648
Other languages
English (en)
French (fr)
Inventor
宗之 大島
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024090065A1 publication Critical patent/WO2024090065A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an information processing device, method, and program, and in particular to an information processing device, method, and program that provides a hybrid space or a virtual space that combines the real world and the virtual world.
  • Augmented Reality is a technology that overlays a virtual world on the real world. AR augments the real world by overlaying digital content such as characters created with computer graphics (CG) onto real-world scenery.
  • CG computer graphics
  • Patent Document 1 describes a technology for creating an augmented reality image with a superimposed character, which changes the decoration of the superimposed character depending on the character's usage status (intimacy) and the usage environment (season, location, etc.).
  • Patent document 2 also describes a technology for creating an augmented reality image with a character superimposed on it, in which the surrounding environment is identified from a captured image and a character that matches the identified surrounding environment appears.
  • Patent document 3 also describes a technology that estimates a user's attributes from the user's behavior history and selects the attributes of a character based on the estimated attributes.
  • JP 2018-36869 A JP 2019-212062 A International Publication No. 2016/111067
  • One embodiment of the technology disclosed herein provides an information processing device, method, and program that can provide an interesting composite space or virtual space.
  • An information processing device including a processor, the processor acquiring first information related to the environment of a space in which an object is to appear, acquiring second information related to a user's behavior history, determining a first element related to the object based on the first information, determining a second element related to the object based on the second information, and determining an object to appear in the space based on the first element and the second element.
  • An information processing device in which the processor acquires a first image capturing a space in which an object is to appear, and generates a second image in which the object is superimposed on the first image.
  • An information processing device in which the processor processes the first image to recognize an object in the first image or a scene in the first image and obtain the first information.
  • An information processing device in which the processor acquires information on the user's location, and when the user is present in a specific area, recognizes an object in the first image or a scene in the first image, and acquires the first information.
  • An information processing device in which the processor determines the type of object to be made to appear based on the first information in the placement area.
  • An information processing method including the steps of: acquiring first information about the environment of a space in which an object is to appear; acquiring second information about a user's behavior history; determining a first element about the object based on the first information; determining a second element about the object based on the second information; and determining an object to be made to appear in the space based on the first element and the second element.
  • An information processing program that causes a computer to realize a function of acquiring first information about the environment of a space in which an object is to appear, a function of acquiring second information about a user's behavior history, a function of determining a first element about the object based on the first information, a function of determining a second element about the object based on the second information, and a function of determining an object to be made to appear in the space based on the first element and the second element.
  • FIG. 1 is a diagram showing an example of a hardware configuration of a mobile terminal.
  • Block diagram of the main functions of a mobile device for AR display Block diagram of the main functions of the environmental information acquisition unit
  • Block diagram of main functions of the AR object determination unit Conceptual diagram of determining the placement area of an AR object
  • FIG. 13 is a diagram showing an example of information recorded in an AR object database
  • FIG. 1 is a diagram showing an example of a display form of an AR object
  • FIG. 13 is a diagram showing an example of a lottery screen.
  • Block diagram of main functions of the AR object determination unit FIG. 13 is a diagram showing an example of information recorded in an AR object database;
  • a diagram showing an example of a character's appearance A flowchart showing the procedure for determining the appearance of a character
  • FIG. 13 is a diagram showing an example of AR display.
  • FIG. 13 is a diagram showing an example of a character performing a specific action when photographed.
  • FIG. 13 is a diagram showing an example of historical data of changes in a character's attributes.
  • a conceptual diagram showing an example of character placement A conceptual diagram showing an example of character placement using image recognition Printing concept diagram
  • FIG. 1 is a diagram showing an overview of information processing according to the present embodiment.
  • the information processing of this embodiment uses a mobile terminal 10 equipped with a camera and a display to provide a composite space that combines the real world and the virtual world.
  • an augmented reality object (AR object) ARO made with CG is superimposed on an image of real space (actual space, actually existing space) captured by the camera of the mobile terminal 10 to generate an augmented reality image (AR image), which is displayed on the display 15 of the mobile terminal 10.
  • the AR object ARO is made to appear using the user's position as a trigger.
  • its type, display form, or attributes are determined based on the environment of the space in which it is to appear (the environment of the space captured by the camera) and the user's behavior history. This makes it possible to provide a composite space that is highly interesting.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of a mobile terminal.
  • the mobile terminal 10 shown in the figure is a so-called smartphone.
  • the mobile terminal 10 includes a CPU (Central Processing Unit) 11 that controls the overall operation, a ROM (Read Only Memory) 12 that stores basic input/output programs and the like, a RAM (Random Access Memory) 13 that is used as a work area for the CPU 11, an internal memory 14, a display 15, a touchpad 16 that detects touch operations (position input) on the display screen, a GPS receiver 17 that receives GPS signals including position information (latitude, longitude, and altitude) of the mobile terminal 10 from a GPS (Global Positioning Systems) satellite or an IMES (Indoor Messaging System) as an indoor GPS, a camera unit 18 that electronically captures images, a microphone unit 19 that inputs audio via a microphone, a speaker unit 20 that outputs audio via a speaker, a wireless communication unit 21 that wirelessly communicates with the nearest base station or the like via an antenna, a short-range wireless communication unit 22 that performs short-range wireless communication with an external device via an antenna, and
  • the built-in memory 14 stores various programs including an operating system (such as information processing programs), as well as data required for various controls and processes, image data captured by the in-camera unit 18A and the out-camera unit 18B, etc.
  • an operating system such as information processing programs
  • data required for various controls and processes image data captured by the in-camera unit 18A and the out-camera unit 18B, etc.
  • the display 15 is, for example, an LCD (Liquid Crystal Display) or an OLED (Organic Light Emitting Diode) display.
  • the display 15 and the touch pad 16 form the touch panel 30.
  • the touch panel 30 forms the operation section of the mobile terminal 10.
  • the camera unit 18 is composed of an in-camera unit 18A and an out-camera unit 18B.
  • the in-camera unit 18A is a camera mounted on the front side of the housing of the mobile terminal 10 (see FIG. 1).
  • the out-camera unit 18B is a camera mounted on the back side of the housing of the mobile terminal 10.
  • the front side of the housing of the mobile terminal 10 refers to the side of the housing of the mobile terminal 10 on which the display 15 is provided. Therefore, the in-camera unit 18A is a camera mounted on the display 15 side.
  • the in-camera unit 18A and the out-camera unit 18B are digital cameras and have an optical system and an image sensor.
  • the image sensor is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, etc.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the wireless communication unit 21 wirelessly communicates with a base station using a cellular system such as 5G (5th Generation Mobile Communication System), 4G (4th Generation Mobile Communication System), or LTE (Long Term Evolution).
  • a cellular system such as 5G (5th Generation Mobile Communication System), 4G (4th Generation Mobile Communication System), or LTE (Long Term Evolution).
  • the short-range wireless communication unit 22 wirelessly communicates with external devices using a short-range wireless communication method such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • a short-range wireless communication method such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the sensor unit 23 includes various sensors such as an acceleration sensor, an angular velocity sensor (gyro sensor), a geomagnetic sensor, an ambient light sensor, a proximity sensor, LiDAR (Light Detection And Ranging), and a biometric authentication sensor.
  • Figure 3 is a block diagram of the main functions of a mobile device regarding AR display.
  • the mobile terminal 10 has functions related to AR display, such as an environmental information acquisition unit 111, an action history information acquisition unit 112, an action history database management unit 113 (database/Data Base; DB), an AR object determination unit 114, an AR image generation unit 115, a display control unit 116, and a recording control unit 117.
  • AR display such as an environmental information acquisition unit 111, an action history information acquisition unit 112, an action history database management unit 113 (database/Data Base; DB), an AR object determination unit 114, an AR image generation unit 115, a display control unit 116, and a recording control unit 117.
  • the environmental information acquisition unit 111 acquires information related to the environment of the space in which the AR object is to appear.
  • the information related to the environment of the space includes various information that constitutes or characterizes the space, such as geographical information of the space, and information on objects that constitute the space or that exist within the space.
  • the information related to the environment of the space in which the AR object is to appear is an example of first information.
  • an AR image is generated by superimposing an AR object on a captured image, and thus objects included in the image being captured are recognized to acquire information related to the environment of the space in which the AR object is to appear.
  • information on the user's current position is acquired to acquire information related to the environment of the space in which the AR object is to appear.
  • Figure 4 is a block diagram of the main functions of the environmental information acquisition unit.
  • the environmental information acquisition unit 111 in this embodiment has the functions of a position determination unit 111A and an object recognition unit 111B, etc.
  • the position determination unit 111A determines the current position of the mobile terminal 10.
  • the current position of the mobile terminal 10 is the user's current position (the position where the image is being taken).
  • the position determination unit 111A determines the current position of the mobile terminal 10 based on the GPS signal received by the GPS receiving unit 17 and the map database 121.
  • Points of Interest In the map database 121, specific points on the map (Points of Interest; POIs) are recorded in association with their location information (latitude, longitude, and altitude).
  • a point is a concept that includes an area or region. Points can also be identified by facilities such as parks, amusement parks, aquariums, art museums, department stores, restaurants, and other shops, famous places such as shrines and temples, tourist destinations, etc.
  • the position determination unit 111A acquires the position information (latitude, longitude, and altitude) contained in the GPS signal, searches the map database 121 for point information corresponding to that position information, and acquires information on the current position of the mobile terminal 10. If the map database 121 does not contain point information corresponding to the acquired position information, the position determination unit 111A determines that the position is unknown. The determination result is output as the current position information of the mobile terminal 10.
  • the object recognition unit 111B analyzes the image captured by the camera unit 18 and recognizes objects contained in the image. More specifically, it detects objects and their areas. Objects here include the sky, the ground (including roads), etc. Publicly known technology is adopted for object recognition. For example, object recognition technology utilizing artificial intelligence (AI) can be used. As an example, a configuration can be adopted in which objects are recognized using a trained model that has been machine-learned to perform object recognition. In this case, the trained model can be a model that uses, for example, semantic segmentation, instance segmentation, panoptic segmentation, etc.
  • AI artificial intelligence
  • Figure 5 shows an example of object recognition.
  • (A) in the figure shows a captured image I (an image captured by the camera unit 18).
  • (B) in the figure shows an example of the object recognition results for the captured image I.
  • the area of the object in the image is identified, and the area is divided into individual objects to recognize the type of object.
  • a person, grass, ground, tree, and sky are recognized as objects from the captured image I.
  • the object recognition unit 111B may be configured to recognize only specific objects that have been determined in advance. For example, it may be configured to recognize only people and the ground (grass, soil, artificial ground, etc.).
  • the object recognition unit 111B performs object recognition processing when the current location of the mobile terminal 10 is a specific point recorded in the map database 121.
  • the behavioral history information acquisition unit 112 acquires information related to the user's behavioral history.
  • Information related to the user's behavioral history is an example of second information.
  • location history information is acquired as the user's behavioral history.
  • Location history is a history of places and routes visited by the user while carrying the mobile terminal 10.
  • the behavioral history information acquisition unit 112 acquires information related to the user's behavioral history from the behavioral history database 122.
  • location history information is acquired.
  • Information related to the user's behavioral history is recorded in the behavioral history database 122. In this embodiment, location history information is recorded.
  • the behavior history database management unit 113 manages the behavior history database 122. In this embodiment, location history information is recorded in the behavior history database 122. Therefore, the behavior history database management unit 113 manages the location history information.
  • the behavior history database management unit 113 acquires the location information of the mobile terminal 10 via the GPS receiving unit 17, and manages the user's location history. In other words, it manages the history of the places the user has visited, the routes, etc.
  • the AR object determination unit 114 determines an augmented reality object (AR object) to appear.
  • the AR object determination unit 114 determines the AR object based on the information acquired by the environmental information acquisition unit 111 and the information acquired by the behavior history information acquisition unit 112.
  • the AR object is determined based on information about an object in the captured image I acquired by the environmental information acquisition unit 111 (object information) and information about the location history acquired by the behavior history information acquisition unit 112 (location history information).
  • Figure 6 is a block diagram of the main functions of the AR object determination unit.
  • the AR object determination unit 114 has the functions of a main subject determination unit 114A, a placement area determination unit 114B, a first element determination unit 114C, and a second element determination unit 114D.
  • the main subject determination unit 114A determines the main subject based on information about objects (object information) in the captured image I.
  • the main subject is a person in the captured image I.
  • the main subject determination unit 114A determines the main subject based on the position, size, etc. in the image. For example, the person closer to the center is recognized as the main subject. Also, the larger person is recognized as the main subject.
  • the placement area determination unit 114B determines the placement area of the AR object based on the main subject determination result by the main subject determination unit 114A.
  • Figure 7 is a conceptual diagram of determining the placement area of an AR object.
  • the shaded area is the placement area R of the AR object.
  • the area around the main subject MO and on the ground is set as the placement area R of the AR object.
  • FIG. 7 shows an example in which the area within a circle of radius r centered on the main subject MO is set as the placement area R of the AR object.
  • the radius r may be constant, or may be set according to the size of the main subject MO in the captured image I and/or the distance to the main subject MO.
  • the first element determination unit 114C determines the type of the AR object to be made to appear as the first element.
  • the type of the AR object is determined based on information about the environment of the placement area R. More specifically, the type of the AR object is determined based on information about an object recognized in the placement area R.
  • the first element determination unit 114C determines the type of AR object by referring to the information recorded in the AR object database 123.
  • Figure 8 shows an example of information recorded in the AR object database.
  • the type of AR object to be displayed for each environment of the placement area and information on the display form are recorded.
  • the display form information includes data on the AR object required for display.
  • Each AR object is composed of, for example, three-dimensional CG (three-dimensional computer graphics; 3DCG). Therefore, the data on the AR object is composed of three-dimensional CG data.
  • the first element determination unit 114C selects an AR object type that corresponds to the environment (recognized object) of the placement area R from among multiple AR object types recorded in the AR object database 123. For example, according to the example in FIG. 8, if the environment of the placement area R is "earth,” the type of AR object to be made to appear will be "cat.”
  • placement area R contains multiple environments (recognized objects), the environment with the highest occupancy rate is determined to be the environment of placement area R.
  • placement area R contains "dirt” and "grassland”, but "dirt” has a higher occupancy rate. Therefore, in the example of Figure 7, the environment of placement area R is determined to be "dirt".
  • the second element determination unit 114D determines the display form of the AR object as the second element of the AR object to be made to appear.
  • the second element determination unit 114D determines the display form of the AR object based on information on the user's behavior history acquired by the behavior history information acquisition unit 112.
  • the display form of the AR object is determined based on information on the location history.
  • the display form is determined depending on whether the user has visited the location for the first time. In other words, the display form is determined depending on whether the current location of the mobile terminal 10 (the user's current location) is a location that exists in the location history.
  • the second element determination unit 114D sets the display form of the AR object to the first display form. In this case, the current location does not exist in the location history. On the other hand, if the user has not visited the location for the first time (if the location has already been visited), the second element determination unit 114D sets the display form of the AR object to the second display form. In this case, the current location exists in the location history.
  • Figure 9 shows an example of the display form of an AR object.
  • the number of AR objects ARO to be displayed is set as the display mode of the AR objects. In the second display mode, more AR objects ARO are displayed than in the first display mode.
  • each AR object ARO is displayed in two dimensions, but each AR object ARO is composed of 3DCG. Also, while in FIG. 9, each AR object ARO is displayed in a stationary state, it is also possible to configure each AR object ARO to move.
  • the AR image generating unit 115 generates an augmented reality image (AR image) by superimposing an AR object on an image (photographed image) captured by the camera unit 18.
  • the AR image generating unit 115 generates an AR image by superimposing the AR object determined by the AR object determining unit 114 on the photographed image I.
  • the AR image generating unit 115 generates an AR image by placing the AR object in the placement area determined by the placement area determining unit 114B.
  • the AR image generating unit 115 also generates an AR image by displaying the AR object determined by the first element determining unit 114C in the display form determined by the second element determining unit 114D (the AR image is generated by superimposing 3D CG of the display form determined by the second element determining unit 114D).
  • the photographed image is an example of a first image
  • the AR image is an example of a second image.
  • the AR object is an example of an object.
  • FIG. 10 shows an example of an AR image.
  • (A) in the figure shows an example of an AR image when displayed in the first display mode.
  • (B) in the figure shows an example of an AR image when displayed in the second display mode.
  • an AR image ARI is generated in which an AR object ARO is superimposed on the area around the main subject MO and on the ground.
  • the display control unit 116 controls the display of images on the display 15.
  • the display control unit 116 causes the AR image ARI generated by the AR image generation unit 115 to be displayed on the display 15 (see FIG. 1).
  • the recording control unit 117 controls the recording of images to the built-in memory 14.
  • the recording control unit 117 records the image being displayed on the display 15 to the built-in memory 14.
  • the recording instruction is given, for example, by touching the shutter button SSB (see FIG. 1) displayed on the display 15.
  • FIG. 11 is a flowchart showing the operation procedure of the mobile terminal when performing AR display.
  • Live view refers to the real-time (instantaneous) display of an image captured by the image sensor of the camera unit 18.
  • step S11 information on the current location of the mobile terminal 10 (the user's current location) is acquired.
  • the mobile terminal 10 acquires information on the current location of the mobile terminal 10 based on the GPS signal received by the GPS receiver 17.
  • step S12 based on the acquired current location information, it is determined whether the current location is in a specific area defined in the map database 121 (step S12). More specifically, it is determined whether the current location is a location that exists in the map database 121.
  • step S13 If the current location is in a specific area defined in the map database 121, it is determined whether an AR object is displayed in the live view image being displayed on the display 15 (step S13).
  • step S14 a process of recognizing an object from the captured image is performed (step S14).
  • the "captured image” here refers to the image to be displayed as a live view.
  • the main subject is determined from the captured image (step S15).
  • a person is set as the main subject. Therefore, a person is identified as the main subject from the recognized objects. If multiple people are included in the image, the main subject is identified according to a predetermined determination criterion.
  • step S16 the presence or absence of a main subject is determined. In other words, it is determined whether or not a main subject exists in the captured image.
  • the placement area of the AR object is determined based on the position of the main subject in the image (step S17). In this embodiment, the area around the main subject and on the ground is set as the placement area of the AR object.
  • step S18 environmental information of the placement area is acquired.
  • information on the object in the placement area of the AR object is acquired based on the object recognition results.
  • an AR object to be made to appear in the image is selected (step S19). In other words, it is determined what type of AR object to make appear.
  • the AR object is selected from the AR object database 123.
  • step S20 information on the user's behavioral history is acquired.
  • location history information is acquired.
  • the display form of the AR object is determined based on the acquired location history information (step S21). In this embodiment, the display form of the AR object is determined depending on whether the current location of the mobile terminal 10 (the user's current location) is an unvisited location or not.
  • FIG. 12 is a flowchart showing the steps in the process of determining the display form of an AR object.
  • step S21_1 it is determined whether the current location is an unvisited location. In other words, it is determined whether the current location exists in the location history.
  • the display form of the AR object is set to the first display form (step S21_2).
  • An unvisited location is when the current location does not exist in the location history.
  • the display form of the AR object is set to the second display form (step S21_3). If it is a previously visited location, this occurs when the current location is included in the location history.
  • the display format of the AR object is determined depending on whether the current location is an unvisited location or not.
  • the above series of processes determines the type, placement area, and display form of the AR object to be displayed in the live view image.
  • the AR object is composited into the live view image according to the determined items, and an AR image is generated.
  • Figure 13 is a conceptual diagram of how AR images are generated.
  • an AR image ARI is generated by superimposing an AR object ARO on a predetermined area of a captured image I (live view image).
  • the predetermined area is the area around the main subject MO and on the ground.
  • the generated AR image is displayed on the display 15. That is, an image with the AR object superimposed thereon is displayed on the display 15 (step S22). This makes it possible to view the AR image ARI.
  • step S23 it is determined whether or not the user has instructed the AR display to be turned off. If it is determined in step S13 that an AR object is being displayed, it is also determined whether or not the user has instructed the AR display to be turned off (step S23).
  • the AR display processing ends.
  • the instruction to turn off the AR display is given by a specified operation.
  • step S24 it is determined whether or not an AR object is being displayed. That is, it is determined whether or not an AR object is being displayed in the live view image being displayed on the display 15. If it is determined that an AR object is being displayed, the display of the AR object is terminated (step S25). That is, in this case, since the user has moved from the specific area, the display of the AR object is erased. Thereafter, it is determined whether or not an instruction to turn off the AR display has been given by the user (step S23), and if an instruction to turn off the AR display has been given, the AR display processing is terminated.
  • step S16 If it is determined in step S16 that the main subject is not present in the captured image, it is also determined whether or not the AR object is being displayed (step S24). If it is determined that the AR object is being displayed, the display of the AR object is terminated (step S25). That is, in this case, since the main subject has disappeared from the captured image, the display of the AR object is also removed. Thereafter, it is determined whether or not the user has instructed to turn off the AR display (step S23), and if an instruction to turn off the AR display is given, the AR display processing is terminated.
  • an AR object may be configured to automatically disappear after a certain period of time has passed.
  • the type and display form of an AR object to be made to appear are determined based on information about the environment of the space in which the AR object is placed and information about the user's behavior history. This makes it possible to provide an AR space that is highly entertaining.
  • the type of AR object to be made to appear is determined based on the recognition result of an object in the placement area of the AR object, but the method of determining the type of AR object to be made to appear is not limited to this.
  • the type of AR object to be made to appear can be determined based on various information that can be obtained by the mobile terminal 10.
  • the type of AR object to be made to appear can be determined based on information about the current location of the mobile terminal 10 (the user's current location).
  • the AR object database 123 records information about each AR object in association with area or location information.
  • the type of AR object to be made to appear can be determined based on the current location of the mobile terminal 10 (the user's current location) and information on an object recognized from a captured image.
  • a first classification of the AR object to be made to appear can be determined based on information on the current location of the mobile terminal 10
  • a second classification of the AR object to be made to appear can be determined based on information on an object recognized from a captured image.
  • the first classification is a so-called major classification
  • the second classification is a classification that subdivides the first classification (a so-called minor classification).
  • Asui can be configured to recognize scenes in addition to recognizing objects, and to determine the type of AR object to be made to appear based on the recognized scene, or based on the recognized scene and object. Note that since scene recognition itself is a known technology, a detailed explanation is omitted. For example, a configuration can be adopted in which scene recognition is performed on captured images using a trained model that has been machine-learned to recognize scenes from images.
  • the mobile device 10 is capable of acquiring information such as the current date and time, temperature, humidity, and sound, this information may be acquired as environmental information, and the type of AR object to be made to appear may be determined based on the acquired information.
  • the type of AR object to be made to appear may also be determined taking into account information on the user's behavioral history.
  • the type of AR object to be made to appear may be determined using both environmental information and information on the user's behavioral history.
  • the display form of the AR object is determined by using location history information as information on the user's behavior history, but the behavior history information used when determining the display form of the AR object is not limited to this.
  • Various information that can be acquired by the mobile terminal 10 can be used.
  • information on the use history of this function (AR display function) on the mobile terminal 10 information on the user's operation history with this function, etc. can be used.
  • the use history includes various information related to use, such as information on the total number of uses, information on the total use time, information on the number of uses per day, information on the use time per day, information on the use time period, and information on the number of times each AR object is displayed.
  • Information on the number of times each AR object is displayed is information on the number of times each AR object appears (how many times it has appeared).
  • the operation history information includes information on the shooting history of still images and videos, information on the print history, etc.
  • the shooting history also includes information on the use history of the camera unit 18. That is, information on which camera unit, the in-camera unit 18A or the out-camera unit 18B, was used is included.
  • the print history is a history of prints (prints on tangible objects such as film, paper, and media) for the captured images. The form of the print is not particularly limited.
  • Information on the usage history and operation history of the mobile terminal itself can also be used.
  • Information on the usage history of the mobile terminal itself includes, for example, information on the shooting history using the mobile terminal 10.
  • the shooting history can also include information on the analysis results of the captured image.
  • the analysis results of the captured image can include information on the results of image recognition performed on the captured image (for example, the subject recognition results, the scene recognition results, etc.).
  • the behavioral history information used may be limited to information related to a particular event. For example, it can be limited to only information related to the current location.
  • the number of photographs taken can be limited to the number of photographs taken in a particular area (the number of photographs taken in the current area).
  • the number of prints can be limited to the number of prints made in a particular area (for example, the number of prints made in the current area), or the number of times a particular subject (for example, a subject related to the current area) was printed.
  • the user's behavioral history can also include product purchase history, social networking service (SNS) posting history, etc.
  • product purchase history for example, information on whether or not a specific product (such as a local specialty product or a limited product sold only in that area) was purchased in the area in relation to the current location, information on the number of purchases, etc. can be used.
  • SNS posting history information on whether or not information related to the current location was posted, the number of posts, etc. can be used.
  • the display format of the AR object to be made to appear can be determined by using a combination of historical information regarding the user's actions.
  • the display form of the AR object to be made to appear may be determined taking into account environmental information.
  • the display form of the AR object to be made to appear may be determined using both environmental information and information on the user's behavior history.
  • a lottery or game may be held, and the display form of the AR object may be determined based on the results.
  • FIG. 14 is a flowchart showing an example of a processing procedure for determining the display form of an AR object by drawing lots.
  • step S21_11 it is determined whether the current location is an unvisited location. If the current location is an unvisited location, the display form of the AR object is set to the first display form (step S21_2).
  • step S21_13 it is determined whether the current visit is the third or more times.
  • the display form of the AR object is set to the second display form (step S21_14).
  • step S21_15 if the visit is the third or subsequent visit, a lottery drawing will be held (step S21_15).
  • Figure 15 shows an example of a lottery screen.
  • the diagram shows an example of lottery using dice. Two dice are rolled, and if both show a number 1, it is considered a win.
  • an image STA of a disk-shaped stage is displayed superimposed on the live view image, and two dice images DA1 and DA2 are displayed on top of the stage image STA.
  • a start button STB is also displayed on the screen.
  • an animated image of spinning dice is displayed.
  • the display of the start button STB switches to a stop button display (not shown).
  • the image switches to one of the dice standing still, and the numbers rolled are determined.
  • the numbers on each dice are determined randomly. For example, a random number in the range of 1 to 6 is obtained to determine the number on each dice.
  • step S21_16 it is determined whether the result of the lottery is a win or not. If the result of the lottery is a win, the display form of the AR object is set to the third display form (step S21_17). On the other hand, if the result of the lottery is a loss, the display form of the AR object is set to the second display form (step S21_17).
  • the second display form is set to display a larger number of AR objects than the first display form
  • the third display form is set to display a larger number of AR objects than the second display form.
  • the randomness can be completely random or can be biased.
  • the randomness can be controlled so that advantageous results are obtained when certain conditions are met.
  • the results can differ depending on the user's usage status (e.g., whether or not they have paid), the number of times the AR object has appeared in the past, the number of times it has been photographed, the number of times it has been printed, etc.
  • the number of AR objects to be made to appear is changed according to the user's behavior history, but the elements to be changed are not limited to this. It is possible to change the so-called gorgeousness, luxury, etc. That is, it is possible to change the grade of appearance.
  • the display when changing the display form of an AR object based on a location history, the display can be made to have a higher grade of appearance as the number of visits increases (for example, a more gorgeous display, a more luxurious display, etc.).
  • the display can be made to have a higher grade of appearance as the number of shots increases.
  • the display form of an AR object based on the number of displays number of appearances
  • the display can be made to have a higher grade of appearance as the number of displays increases.
  • two display modes are switched between, but multiple display modes may be prepared and the display mode may be switched in more detail depending on the user's behavior history.
  • the display form of the AR object may be further changed.
  • Photographing includes both still image shooting and video shooting.
  • the display form of the AR object may be further changed.
  • An instruction to shoot a still image or a video, and an instruction to print the photographed image are examples of an instruction to output the second image.
  • photographing includes acquiring the contents displayed on the screen of the display 15 as image data as it is (so-called screenshot, screen capture).
  • the main subject person
  • the area around the main subject and on the ground is set as the placement area of the AR object
  • the method of determining the placement area of the AR object is not limited to this. It is preferable to set the placement area according to the type of AR object to be made to appear. For example, an AR object that is not unnatural when floating in the air does not necessarily need to be placed on the ground. It is also possible to configure the AR object to be placed in the air, on the water surface, etc., depending on the type of AR object. Similarly, an AR object (confetti, sparkling stars, etc.) used for presentation does not necessarily need to be placed on the ground.
  • they do not necessarily have to be arranged around the main subject, but may be arranged in a specific location within the screen. For example, they may be arranged in the center of the screen. In this case, there is no need to recognize the main subject.
  • the mobile terminal 10 has a spatial recognition function, it is preferable to use the recognition results to determine the placement area.
  • the recognition results can be used to determine the placement area.
  • the type and attributes of a character to appear in an image are determined based on environmental information and action history information. More specifically, the type of character is determined based on environmental information, and the character's attributes are determined based on action history information. Attributes include external elements (so-called appearance) such as a character's appearance, clothing, decorations, equipment, level of growth, level of evolution, etc., as well as non-appearance elements such as intimacy, personality, and status. For example, in the case of a character that has a conversation, the content of the conversation, actions, etc. will change depending on intimacy, personality, etc.
  • AR display is performed using a mobile terminal.
  • the basic configuration of the mobile terminal is the same as in the first embodiment. Therefore, here, only the differences, that is, the AR objects (characters) that are to appear and the method for determining them, will be described.
  • an AR image in which a character appears is generated.
  • the character (AR object) to be made to appear is configured, for example, with 3DCG, and the data is recorded in the AR object database 123.
  • the character (AR object) is selected by the AR object determination unit 114.
  • Figure 16 is a block diagram of the main functions of the AR object determination unit.
  • the AR object determination unit 114 has the functions of a main subject determination unit 114A, a placement area determination unit 114B, a first element determination unit 114C, and a second element determination unit 114D.
  • Main subject determination unit 114A determines the main subject based on the recognition result (object information) of object recognition unit 111B.
  • Placement area determination unit 114B determines the placement area of the character based on the main subject determination result by main subject determination unit 114A.
  • the first element determination unit 114C determines the type of character, which is the first element, based on information about the current location of the mobile device 10 (current location information). The current location of the mobile device 10 is determined by the location determination unit 111A. The first element determination unit 114C determines the type of character by referring to information recorded in the AR object database 123.
  • Figure 17 shows an example of information recorded in the AR object database.
  • the AR object database 123 records information about characters that are to appear at specific points on the map.
  • the points on the map are those registered in the map database 121.
  • Each character is assigned a character ID (Identification) as identification information, and appearance information (3DCG data) is recorded in association with that character ID.
  • the first element determination unit 114C selects a character that corresponds to the current position of the mobile device 10 (the user's current position) from among multiple characters recorded in the AR object database 123. For example, in the example of FIG. 17, if the current position is point A, the character with character ID: 1000000A is selected.
  • the second element determination unit 114D determines the character's appearance based on information relating to the user's behavior history acquired by the behavior history information acquisition unit 112. As in the first embodiment, the second element determination unit 114D determines the character's appearance based on information about the user's location history. Thus, the appearance is determined depending on whether or not it is the user's first visit to the location. If it is the user's first visit to the location (if it is an unvisited location), the second element determination unit 114D sets the character's appearance to the first appearance. On the other hand, if it is not the user's first visit to the location (if it is an already visited location), the second element determination unit 114D sets the character's appearance to the second appearance.
  • Figure 18 shows an example of a character's appearance.
  • the first appearance and the second appearance have different appearances.
  • the second appearance is set to have a higher grade of appearance than the first appearance. In other words, it looks more gorgeous and luxurious.
  • the example in Figure 18 is an example in which the outfit (clothing), decorations, and equipment change. In addition, it is also possible to set it so that decorations, equipment, growth level, evolution level, etc. change.
  • a live view image is displayed on the display 15 (step S10).
  • information on the current location is acquired (step S11).
  • the mobile terminal 10 acquires information on the current location of the mobile terminal 10 (the user's current location) based on the GPS signal received by the GPS receiver 17.
  • it is determined whether the current location is a specific area defined in the map database 121 (step S12). If the current location is a specific area defined in the map database 121, it is determined whether an AR object is displayed in the live view image being displayed on the display 15 (step S13). If an AR object is not displayed, a process of recognizing an object from the captured image is performed (step S14).
  • a main subject is determined from the captured image (step S15).
  • a person is also the main subject.
  • the presence or absence of a main subject is determined (step S16). That is, it is determined whether a main subject exists in the captured image. If a main subject is present in the captured image, the placement area of the character (AR object) is determined based on the position of the main subject in the image (step S17). In this embodiment, too, the area around the main subject and on the ground is set as the placement area of the character.
  • environmental information is acquired (step S18).
  • information on the current position of the mobile terminal 10 (the user's current position) is acquired as the environmental information.
  • the current position of the mobile terminal 10 is determined by the position determination unit 111A based on the GPS signal received by the GPS receiving unit 17.
  • the type of character (AR object) to be made to appear is selected (step S19).
  • the type of character to be made to appear is selected from the AR object database 123.
  • step S20 information on the user's behavioral history is acquired (step S20).
  • location history information is acquired as behavioral history information.
  • the display form of the character (AR object) is determined (step S21). In this embodiment as well, the display form of the character to be displayed is determined depending on whether the current location is an unvisited location or not.
  • Figure 19 is a flowchart showing the steps in the process of determining a character's appearance.
  • step S21_11 it is determined whether the current location is an unvisited location. In other words, it is determined whether the current location is in the location history.
  • the appearance of the character to be displayed is set to the first appearance (step S21_12).
  • step S21_13 the appearance of the character that appears is set to the second appearance.
  • the appearance of the character that appears is determined by whether the current location is an unvisited location or not.
  • the above series of processes determines the type, placement area, and appearance of the character (AR object) to appear in the image.
  • the character is composited into the live view image and an AR image is generated.
  • the character is displayed superimposed on a specified area of the captured image (live view image) and an AR image is generated.
  • the specified area is the area around the main subject and on the ground.
  • the generated AR image is displayed on the display 15. That is, an image in which a character (AR object) appears is displayed on the display 15 (step S22). This makes it possible to view the AR image.
  • Figure 20 shows an example of an AR display.
  • a character (AR object) ARO made up of 3DCG is displayed superimposed on a specified area of the captured image I (live view image).
  • the type and attributes of the character to appear are determined based on information about the environment of the space in which the character is placed and information about the user's behavior history. This makes it possible to provide an AR space that is highly entertaining.
  • the type of character (AR object) to be displayed is determined using information on the current location of the mobile terminal 10 (the user's current location) as environmental information, but other information may be used to determine the type of character.
  • the type of character may be determined based on information on the recognition results of objects in the character placement area.
  • the photographed scene may be recognized, and the type of character to be displayed may be determined based on the recognized scene.
  • the type of character to be displayed may be determined taking into account information on the behavior history.
  • the appearance of the character is determined using location history information as information on the user's behavior history, but other information may be used to determine the appearance of the character.
  • Various information that can be acquired by the mobile terminal 10 can be used. Therefore, the result of environmental recognition (environmental information) can also be used. This is the same as the fact that the display form of the AR object can be determined using various information. Therefore, when the behavior history satisfies certain conditions, a lottery, game, or the like may be held, and the appearance of the character may be determined according to the result.
  • the character's appearance may be further changed when the user performs a specific action.
  • the character's appearance may be further changed when the user takes a picture (including taking a video) of an image in which the character is displayed.
  • the character's appearance may also be further changed when the taken image is printed. In this case, the character's appearance may be changed to a randomly selected appearance. This can further increase the interest of the user.
  • the character when a user performs a specific action, the character may perform a specific action. For example, when a user takes a picture (including taking a video) of an image in which a character is displayed, the character may perform a specific action. Furthermore, when the taken image is printed, the character may perform a specific action.
  • Figure 21 shows an example of a character performing a specific action when photographed.
  • (A) in the figure shows the display before shooting
  • (B) in the figure shows the display after shooting.
  • the character (AR object) ARO performs an action that shows joy.
  • an example of a specific action is an action that shows joy.
  • an action that encourages printing an action requesting printing
  • a randomly selected action may be performed. This can further increase interest.
  • This operation continues for a specified period of time. After the specified period of time has elapsed, the display returns to normal.
  • FIG. 22 shows an example of what the display will look like when printed.
  • the figure shows an example of printing with a so-called mobile printer.
  • a printer 100 that prints images on instant film 110 (a so-called instant printer).
  • the printer 100 and the mobile terminal 10 communicate wirelessly via Wifi (registered trademark), Bluetooth (registered trademark), etc., to send and receive data.
  • Wifi registered trademark
  • Bluetooth registered trademark
  • this type of printer 100 and printing method are themselves publicly known, so a detailed explanation will be omitted.
  • the image of the printed character is displayed on the display 15 and a predetermined operation is performed. This operation continues for a predetermined period of time. For example, it continues until the transfer of the printing data to the printer is completed.
  • the character's appearance is changed according to the user's action history, but the elements to be changed are not limited to this.
  • the attributes include external elements such as the character's appearance, clothing, decoration, equipment, growth level, and evolution level, as well as elements other than the appearance such as intimacy, personality, and status.
  • the intimacy level can be improved according to the action history.
  • the attributes can be changed in stages. For example, when changing attributes based on location history, the attributes can be changed in stages depending on the number of visits, even when visiting the same location, such as a first attribute on the first visit, a second attribute on the second visit, and a third attribute on the third visit.
  • Figure 23 shows an example of historical data on character attribute changes.
  • each character is managed by a character ID, and its number of appearances, number of photographs, number of prints, type, number of appearance changes, intimacy level, etc. are individually recorded.
  • the number of appearances is the number of times the character has appeared (the number of times it has been made to appear).
  • the number of photographs is the number of times an AR image in which the character appears has been photographed.
  • the number of prints is the number of times an AR image in which the character appears has been printed.
  • the type is the type (kind) of the character.
  • the number of appearance changes is the number of times the character's appearance has been changed.
  • Intimacy level is the intimacy level of the character. Intimacy level changes depending on, for example, the number of appearances, the frequency of appearance (number of times it appears within a specified period), the period since the character last appeared, etc.
  • the character's attributes change based on the user's action history. Therefore, the history of changes in the character's attributes is also the user's action history. Therefore, the information on the history of changes in the character's attributes can also be used to change the character's attributes.
  • the information on the history of changes in the character's attributes is an example of historical information related to a appeared object.
  • the information on the history of changes in the character's attributes is recorded, for example, as user data in a user database. Alternatively, it is recorded in a behavior history database.
  • the attributes of a character change depending on the relationship or interaction with the user, which makes the user feel more attached to the character and increases the interest of the character. In other words, the more times a character appears, is photographed, or printed, the more the character's appearance improves, it grows or evolves, and the level of intimacy increases, making the user feel more attached to the character.
  • the character placement area In the above embodiment, the area around the main subject and on the ground is set as the character placement area, but the method of determining the character placement area is not limited to this. As explained in the modified example of the first embodiment, it is preferable to set the placement area according to the type of character, etc.
  • the character placement area may be determined based on information on the user's action history. For example, when determining the character placement area based on information on the user's location history, the placement area is determined as follows.
  • Figure 24 is a conceptual diagram showing an example of character placement.
  • Figure (A) shows an example of an AR image that is generated when the current location is an unvisited location.
  • Figure (B) shows an example of an AR image that is generated when the current location is an already visited location.
  • the character (AR object) ARO is placed in an area that is at least a distance D1 and less than a distance D2 from the main subject MO (distance D1 ⁇ distance D2).
  • the character ARO is placed in an area that is at least a distance D2 and less than a distance D3 from the main subject MO (distance D2 ⁇ distance D3).
  • the character ARO is placed closer to the main subject MO than if the current location is a place that has not yet been visited.
  • information such as the number of times a character has appeared, been photographed, or printed, and the intimacy level of the character can also be used to determine the character placement area.
  • This information may be used in combination, or each item may be weighted to determine the placement position.
  • image recognition may be performed on the image in which the character is to appear, and the results may be used to determine the character's placement area or position. For example, if a specific subject (such as a landmark or monument) is recognized from the image, the character's placement position may be determined so that the character is placed alongside the specific subject. Also, for example, if a specific subject is recognized from the image and a person is also recognized, the character's placement position may be determined so that the specific subject is placed between the character and the person.
  • object recognition including object recognition
  • Figure 25 is a conceptual diagram showing an example of character placement using image recognition.
  • the figure shows an example of taking a selfie with a specific subject, in this case a monument M, included within the screen.
  • a selfie is a photography method in which the photographer himself is the subject (Selfie).
  • the position of the character ARO AR object is determined so that the monument M is placed between the photographer (user) MO, who is the main subject, and the character ARO.
  • Figure 26 shows a conceptual diagram of printing.
  • Figure 26 shows an example of printing an image on instant film 110.
  • Figure 26(A) shows the image that has been instructed to be printed.
  • the image displayed on the display 15 of the mobile terminal 10 is the image that has been instructed to be printed.
  • Figure 26(B) shows the result of printing. The character's facial expression, posture, and decoration have been changed from the image that has been instructed to be printed.
  • printing offers the enjoyment of obtaining a unique image that cannot be modified. Therefore, by changing the display of the AR object when printing, the user can obtain an unpredictable, unique image, which can be made more interesting. Furthermore, by adding randomness to the change, interest can be further increased.
  • the random element can be determined, for example, based on the time and minute when the print command is given.
  • MR is a technology that further develops AR, and is capable of synthesizing spatially expanding virtual objects at specific positions in real space in real time, and manipulating or intervening in them through physical actions such as touching them with one's hand.
  • MR has three-dimensional spatial recognition capabilities, and can merge a virtual world with spatial information with the real world.
  • the device recognizes spatial information using multiple cameras, sensors, etc., and grasps the shape and position information of the real world, so that a virtual world with spatial information can be expressed in the real world.
  • MR is usually provided using a dedicated head mounted display (HMD).
  • HMD head mounted display
  • the camera and various sensors equipped on the device can be used to obtain information on the environment of the space in which the character is placed.
  • the mobile device In the case of VR, everything is provided in CG. Therefore, in this case, the mobile device is also displayed in CG as a virtual object in the virtual space.
  • the user operates the mobile device, which is a virtual object, via an avatar, which is their alter-ego in the virtual space.
  • the user's position In the virtual space, the user's position is recognized as the position of the avatar.
  • the space in which the object appears is recognized as the space photographed by the mobile device used by the avatar in the virtual space.
  • the present invention can also be implemented in a virtual space that recreates real space.
  • the space that constitutes the avatar's field of view may be used as the placement space for objects, and the objects to appear in the virtual space may be determined based on information about the environment of that space and information about the user's behavioral history.
  • environmental information is obtained from the image that constitutes the avatar's field of view.
  • information about objects in the image that constitutes the avatar's field of view is obtained.
  • information about the avatar's position (coordinate position) in the virtual space is obtained to obtain information about the user's position.
  • the present invention can be applied not only to real space, but also to making objects appear in virtual space (such as the metaverse).
  • the mobile terminal performs all the processes, but some of the processes may be performed by other devices.
  • some of the processes may be performed by a server.
  • the mobile terminal may only perform photography, various sensing, and display of AR images, and the server may manage various databases and generate AR images.
  • the form of communication between the mobile terminal and the server is not particularly limited.
  • image capture, various sensing, and image display are all performed by a mobile terminal, but each process may be performed by a separate device.
  • image display may be performed using an HMD.
  • the functions realized by the information processing device are realized by various processors.
  • the various processors include a CPU and/or a GPU (Graphic Processing Unit) which is a general-purpose processor that executes a program and functions as various processing units, a programmable logic device (PLD) such as an FPGA (Field Programmable Gate Array) which is a processor whose circuit configuration can be changed after manufacture, and a dedicated electric circuit such as an ASIC (Application Specific Integrated Circuit) which is a processor having a circuit configuration designed exclusively for executing a specific process.
  • PLD programmable logic device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • a single processing unit may be configured with one of these various processors, or may be configured with two or more processors of the same or different types.
  • a single processing unit may be configured with multiple FPGAs, or a combination of a CPU and an FPGA.
  • multiple processing units may be configured with one processor.
  • first there is a form in which one processor is configured with a combination of one or more CPUs and software, as represented by computers used for clients and servers, and this processor functions as multiple processing units.
  • a processor is used to realize the functions of the entire system, including multiple processing units, with a single IC (Integrated Circuit) chip, as represented by system on chip (SoC).
  • SoC system on chip

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

興趣性に優れた複合空間又は仮想空間を提供できる情報処理装置、方法及びプログラムを提供する。オブジェクトを出現させる空間の環境に関する第１情報を取得する。ユーザの行動履歴に関する第２情報を取得する。第１情報に基づいて、オブジェクトに関する第１要素を決定する。第２情報に基づいて、オブジェクトに関する第２要素を決定する。第１要素及び第２要素に基づいて、空間に出現させるオブジェクトを決定する。

Description

情報処理装置、方法及びプログラム
　本発明は、情報処理装置、方法及びプログラムに係り、特に、現実世界と仮想世界を融合した複合空間又は仮想空間を提供する情報処理装置、方法及びプログラムに関する。
　現実世界（Real world）に仮想世界（Virtual world）を重ね合わせて表示する技術として、拡張現実（Augmented Reality；ＡＲ）が知られている。ＡＲは、現実の風景の中にコンピュータグラフィックス（Computer Graphics；ＣＧ）で作られたキャラクタなどのデジタルコンテンツを重ねて表示することで現実世界を拡張する。
　特許文献１には、キャラクタを重畳させた拡張現実画像を作成する技術に関して、キャラクタの使用状況（親密度）、及び、使用環境（季節、場所等）に応じて、重畳させるキャラクタの装飾を変える技術が記載されている。
　また、特許文献２には、キャラクタを重畳させた拡張現実画像を作成する技術に関して、撮影画像から周囲環境を特定し、特定した周囲環境に合ったキャラクタを出現させる技術が記載されている。
　また、特許文献３には、ユーザの行動履歴からユーザの属性を推定し、推定した属性に基づいて、キャラクタの属性を選択する技術が記載されている。
特開2018-36869号公報 特開2019-212062号公報 国際公開第2016/111067号
　本開示の技術にかかる一つの実施形態は、興趣性に優れた複合空間又は仮想空間を提供できる情報処理装置、方法及びプログラムを提供する。
　（１）プロセッサを備え、プロセッサは、オブジェクトを出現させる空間の環境に関する第１情報を取得し、ユーザの行動履歴に関する第２情報を取得し、第１情報に基づいて、オブジェクトに関する第１要素を決定し、第２情報に基づいて、オブジェクトに関する第２要素を決定し、第１要素及び第２要素に基づいて、空間に出現させるオブジェクトを決定する、情報処理装置。
　（２）プロセッサは、オブジェクトを出現させる空間を撮影した第１画像を取得し、第１画像にオブジェクトを重畳させた第２画像を生成する、（１）の情報処理装置。
　（３）プロセッサは、第１画像を処理して、第１画像内の物体、又は、第１画像のシーンを認識し、第１情報を取得する、（２）の情報処理装置。
　（４）プロセッサは、ユーザの位置の情報を取得し、ユーザが特定の地域に存在している場合に、第１画像内の物体、又は、第１画像のシーンを認識し、第１情報を取得する、（３）の情報処理装置。
　（５）第２情報は、ユーザの移動の履歴の情報、又は、出現させたオブジェクトに関する履歴の情報を含む、（１）から（４）のいずれか一の情報処理装置。
　（６）第１要素は、出現させるオブジェクトの種類であり、第２要素は、出現させるオブジェクトの表示形態又は属性である、（１）から（５）のいずれか一の情報処理装置。
　（７）プロセッサは、オブジェクトを出現させる空間を撮影した画像を処理して、主被写体を認識し、空間内での主被写体の位置に基づいて、空間に出現させるオブジェクトの配置領域を決定する、（１）から（６）のいずれか一の情報処理装置。
　（８）プロセッサは、配置領域での第１情報に基づいて、出現させるオブジェクトの種類を決定する、（７）の情報処理装置。
　（９）プロセッサは、ユーザの行動履歴が特定の条件を満たす場合、オブジェクトの表示形態をランダムに決定する、（６）から（８）のいずれか一の情報処理装置。
　（１０）プロセッサは、第２画像の出力の指示に応じて、オブジェクトの表示形態又は属性を変更する、（２）から（４）のいずれか一の情報処理装置。
　（１１）オブジェクトを出現させる空間の環境に関する第１情報を取得するステップと、ユーザの行動履歴に関する第２情報を取得するステップと、第１情報に基づいて、オブジェクトに関する第１要素を決定するステップと、第２情報に基づいて、オブジェクトに関する第２要素を決定するステップと、第１要素及び第２要素に基づいて、空間に出現させるオブジェクトを決定するステップと、を含む情報処理方法。
　（１２）オブジェクトを出現させる空間の環境に関する第１情報を取得する機能と、ユーザの行動履歴に関する第２情報を取得する機能と、第１情報に基づいて、オブジェクトに関する第１要素を決定する機能と、第２情報に基づいて、オブジェクトに関する第２要素を決定する機能と、第１要素及び第２要素に基づいて、空間に出現させるオブジェクトを決定する機能と、をコンピュータに実現させる情報処理プログラム。
情報処理の概要を示す図 携帯端末のハードウェア構成の一例を示す図 ＡＲ表示に関して携帯端末が有する主な機能のブロック図 環境情報取得部が有する主な機能のブロック図 物体の認識の一例を示す図 ＡＲオブジェクト決定部が有する主な機能のブロック図 ＡＲオブジェクトの配置領域の決定の概念図 ＡＲオブジェクトデータベースに記録される情報の一例を示す図 ＡＲオブジェクトの表示形態の一例を示す図 ＡＲ画像の一例を示す図 ＡＲ表示を行う場合の携帯端末の動作手順を示すフローチャート ＡＲオブジェクトの表示形態の決定処理の手順を示すフローチャート ＡＲ画像の生成の概念図 クジ引きを実施してＡＲオブジェクトの表示形態を決定する場合の処理手順の一例を示すフローチャート クジ引きの画面の一例を示す図 ＡＲオブジェクト決定部が有する主な機能のブロック図 ＡＲオブジェクトデータベースに記録される情報の一例を示す図 キャラクタの外観の一例を示す図 キャラクタの外観の決定処理の手順を示すフローチャート ＡＲ表示の一例を示す図 撮影によりキャラクタが特定の動作を行う場合の一例を示す図 プリントした場合の表示の一例を示す図 キャラクタの属性変化の履歴データの一例を示す図 キャラクタの配置の一例を示す概念図 画像認識を利用したキャラクタの配置の一例を示す概念図 プリントの概念図
　以下、添付図面に従って本発明の好ましい実施の形態について説明する。
　［第１の実施の形態］
　図１は、本実施の形態の情報処理の概要を示す図である。
　同図に示すように、本実施の形態の情報処理は、カメラ及びディスプレイを備えた携帯端末１０を使用して、現実世界と仮想世界を融合した複合空間を提供する。具体的には、携帯端末１０のカメラで撮影された実空間（現実の空間、実在する空間）の画像にＣＧで作られた拡張現実オブジェクト（ＡＲオブジェクト）ＡＲＯを重畳して拡張現実画像（ＡＲ画像）を生成し、携帯端末１０のディスプレイ１５に表示する。ＡＲオブジェクトＡＲＯは、ユーザの位置をトリガとして出現させる。その際、出現させる空間の環境（カメラで撮影している空間の環境）及びユーザの行動履歴に基づいて、その種類、表示形態又は属性を決定する。これにより、興趣性に優れた複合空間を提供できる。
　［携帯端末の構成］
　図２は、携帯端末のハードウェア構成の一例を示す図である。
　同図に示す携帯端末１０は、いわゆるスマートフォンである。携帯端末１０は、全体の動作を制御するＣＰＵ（Central Processing Unit）１１、基本入出力プログラム等を記憶したＲＯＭ（Read Only Memory）１２、ＣＰＵ１１のワークエリアとして使用されるＲＡＭ（Random Access Memory）１３、内蔵メモリ１４、ディスプレイ１５、ディスプレイ画面へのタッチ操作（位置入力）を検出するタッチパッド１６、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ（Indoor MEssaging System）によって携帯端末１０の位置情報（緯度、経度及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部１７、画像を電子的に撮影するカメラ部１８、マイクロフォンを介して音声を入力するマイク部１９、スピーカを介して音声を出力するスピーカ部２０、アンテナを介して最寄りの基地局等と無線で通信する無線通信部２１、アンテナを介して外部機器と近距離無線通信する近距離無線通信部２２、各種センシングを行うセンサ部２３等を備える。内蔵メモリ１４は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等の不揮発性メモリで構成される。
　内蔵メモリ１４には、オペレーティングシステムを含む各種プログラム（たとえば、情報処理プログラム等）の他、各種制御及び処理に必要なデータ、インカメラ部１８Ａ及びアウトカメラ部１８Ｂで撮影した画像データ等が記憶される。
　ディスプレイ１５は、たとえば、ＬＣＤ（Liquid Crystal Display／液晶ディスプレイ）、ＯＬＥＤ（Organic Light Emitting Diode／有機発光ダイオード）ディスプレイ等で構成される。ディスプレイ１５は、タッチパッド１６と共にタッチパネル３０を構成する。タッチパネル３０は、携帯端末１０の操作部を構成する。
　カメラ部１８は、インカメラ部１８Ａ及びアウトカメラ部１８Ｂで構成される。インカメラ部１８Ａは、携帯端末１０の筐体の正面側に搭載されるカメラである（図１参照）。アウトカメラ部１８Ｂは、携帯端末１０の筐体の背面側に搭載されるカメラである。なお、携帯端末１０の筐体の正面とは、携帯端末１０の筐体において、ディスプレイ１５が備えられている面をいう。したがって、インカメラ部１８Ａは、ディスプレイ１５側に搭載されるカメラである。インカメラ部１８Ａ及びアウトカメラ部１８Ｂは、デジタルカメラであり、光学系及びイメージセンサを有する。イメージセンサは、たとえば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等で構成される。なお、以下においては、特に区別する場合を除いて、カメラ部１８で撮影される画像とは、インカメラ部１８Ａ及びアウトカメラ部１８Ｂのいずれかで撮影される画像を意味する。
　無線通信部２１は、たとえば、５Ｇ（5th Generation Mobile Communication System／第５世代移動通信システム）、４Ｇ（4th Generation Mobile Communication System／第４世代移動通信システム）、ＬＴＥ（Long Term Evolution）等のセルラー方式により基地局と無線通信する。
　近距離無線通信部２２は、たとえば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式により外部機器と無線通信する。
　センサ部２３は、加速度センサ、角速度センサ（ジャイロセンサ）、地磁気センサ、環境光センサ、近接センサ、ＬｉＤＡＲ（Light Detection And Ranging）、生体認証センサ等の各種センサを含む。
　図３は、ＡＲ表示に関して携帯端末が有する主な機能のブロック図である。
　同図に示すように、携帯端末１０は、ＡＲ表示に関して、環境情報取得部１１１、行動履歴情報取得部１１２、行動履歴データベース管理部１１３（データベース／Data Base；ＤＢ）、ＡＲオブジェクト決定部１１４、ＡＲ画像生成部１１５、表示制御部１１６、記録制御部１１７等の機能を有する。これらの機能は、ＣＰＵ１１が、所定のプログラム（情報処理プログラム）を実行することで実現される。
　環境情報取得部１１１は、ＡＲオブジェクトを出現させる空間の環境に関する情報を取得する。空間の環境に関する情報には、空間の地理的な情報、空間を構成する物体ないし空間内に存在する物体の情報等、空間をなす又は空間を特徴づける種々の情報が含まれる。ＡＲオブジェクトを出現させる空間の環境に関する情報は、第１情報の一例である。本実施の形態では、撮影画像にＡＲオブジェクトを重畳してＡＲ画像を生成することから、撮影中の画像に含まれる物体を認識して、ＡＲオブジェクトを出現させる空間の環境に関する情報を取得する。また、ユーザの現在位置（撮影している位置）の情報を取得して、ＡＲオブジェクトを出現させる空間の環境の情報を取得する。
　図４は、環境情報取得部が有する主な機能のブロック図である。
　同図に示すように、本実施の形態の環境情報取得部１１１は、位置判定部１１１Ａ及び物体認識部１１１Ｂ等の機能を有する。
　位置判定部１１１Ａは、携帯端末１０の現在位置を判定する。携帯端末１０の現在位置は、ユーザの現在位置（撮影している位置）とされる。位置判定部１１１Ａは、ＧＰＳ受信部１７で受信されるＧＰＳ信号、及び、地図データベース１２１に基づいて、携帯端末１０の現在位置を判定する。
　地図データベース１２１には、地図上の特定のポイント（Point of Interest；ＰＯＩ）が、その位置情報（緯度、経度及び高度）に関連付けられて記録される。ポイントは、領域ないし地域を含む概念である。また、ポイントは、公園、遊園地、水族館、美術館等の施設、百貨店、飲食店等の店舗、神社、仏閣等の名所、観光地等で特定することもできる。
　位置判定部１１１Ａは、ＧＰＳ信号に含まれる位置情報（緯度、経度及び高度）の情報を取得し、その位置情報に対応するポイントの情報を地図データベース１２１から検索して、携帯端末１０の現在位置の情報を取得する。取得した位置情報に対応するポイントの情報が地図データベース１２１に存在しない場合、位置判定部１１１Ａは、位置不明と判定する。判定結果は、携帯端末１０の現在位置情報として出力される。
　物体認識部１１１Ｂは、カメラ部１８で撮影された画像を解析して、画像内に含まれる物体（オブジェクト）を認識する。より具体的には、物体の検出と、その領域の検出を行う。ここでの物体には、空、地面（道を含む）等が含まれる。物体の認識には、公知の技術が採用される。たとえば、人工知能（Artificial Intelligence；ＡＩ）を活用した、物体認識（オブジェクト認識）の技術を利用できる。一例として、物体認識を行うように機械学習された学習済みモデルを用いて、物体の認識を行う構成を採用できる。この場合、学習済みモデルには、たとえば、セマンティックセグメンテーション（semantic segmentation）、インスタンスセグメンテーション（instance segmentation）、パノプティックセグメンテーション（panoptic segmentation）等を用いたモデルを採用できる。
　図５は、物体の認識の一例を示す図である。
　同図（Ａ）は、撮影画像Ｉ（カメラ部１８で撮影された画像）を示している。同図（Ｂ）は、撮影画像Ｉに対する物体の認識結果の一例を示している。図５（Ｂ）に示すように、画像の中にある物体の領域を特定し、個体ごとに領域分割して物体の種類を認識する。図５に示す例では、撮影画像Ｉから人物（Human）、草地（Grass）、土（Ground）、木（Tree）、空（Sky）が物体として認識されている。
　物体認識部１１１Ｂは、あらかじめ定めた特定の物体のみを認識する構成としてもよい。たとえば、人物及び地面（草地、土、人工地盤等）のみを認識する構成としてもよい。
　物体認識部１１１Ｂは、携帯端末１０の現在位置が、地図データベース１２１に記録された特定のポイントである場合に、物体の認識処理を実行する。
　行動履歴情報取得部１１２は、ユーザの行動履歴に関する情報を取得する。ユーザの行動履歴に関する情報は、第２情報の一例である。本実施の形態では、ユーザの行動履歴として、ロケーション履歴の情報を取得する。ロケーション履歴とは、ユーザが携帯端末１０を携帯して訪れた場所、経路等を履歴として記録したものである。行動履歴情報取得部１１２は、行動履歴データベース１２２からユーザの行動履歴に関する情報を取得する。本実施の形態では、ロケーション履歴の情報を取得する。行動履歴データベース１２２には、ユーザの行動履歴に関する情報が記録される。本実施の形態では、ロケーション履歴の情報が記録される。
　行動履歴データベース管理部１１３は、行動履歴データベース１２２を管理する。本実施の形態では、行動履歴データベース１２２にロケーション履歴の情報が記録される。したがって、行動履歴データベース管理部１１３は、ロケーション履歴の情報を管理する。行動履歴データベース管理部１１３は、ＧＰＳ受信部１７を介して携帯端末１０の位置情報を取得し、ユーザのロケーション履歴を管理する。すなわち、ユーザが、訪れた場所、経路等の履歴を管理する。
　ＡＲオブジェクト決定部１１４は、出現させる拡張現実オブジェクト（ＡＲオブジェクト）を決定する。ＡＲオブジェクト決定部１１４は、環境情報取得部１１１で取得される情報、及び、行動履歴情報取得部１１２で取得される情報に基づいて、ＡＲオブジェクトを決定する。本実施の形態では、環境情報取得部１１１で取得される撮影画像Ｉ内の物体の情報（物体情報）、及び、行動履歴情報取得部１１２で取得されるロケーション履歴の情報（ロケーション履歴情報）に基づいて、ＡＲオブジェクトを決定する。
　図６は、ＡＲオブジェクト決定部が有する主な機能のブロック図である。
　同図に示すように、ＡＲオブジェクト決定部１１４は、主被写体判定部１１４Ａ、配置領域決定部１１４Ｂ、第１要素決定部１１４Ｃ及び第２要素決定部１１４Ｄ等の機能を有する。
　主被写体判定部１１４Ａは、撮影画像Ｉ内の物体の情報（物体情報）に基づいて、主被写体を判定する。本実施の形態では、撮影画像Ｉ内の人物を主被写体とする。撮影画像Ｉ内に複数の人物が含まれる場合、主被写体判定部１１４Ａは、画像内での位置、大きさ等に基づいて、主被写体を判定する。たとえば、より中央に近い人物を主被写体と認定する。また、よりサイズの大きい人物を主被写体と認定する。
　配置領域決定部１１４Ｂは、主被写体判定部１１４Ａによる主被写体の判定結果に基づいて、ＡＲオブジェクトの配置領域を決定する。
　図７は、ＡＲオブジェクトの配置領域の決定の概念図である。
　同図において、斜線で示す領域がＡＲオブジェクトの配置領域Ｒである。本実施の形態では、主被写体ＭＯの周囲、かつ、地面の領域が、ＡＲオブジェクトの配置領域Ｒとされる。図７は、主被写体ＭＯを中心とした半径ｒの円内の領域をＡＲオブジェクトの配置領域Ｒとした場合の例である。半径ｒは、一定としてもよいし、撮影画像Ｉ内での主被写体ＭＯのサイズ及び／又は主被写体ＭＯまでの距離に応じて設定してもよい。
　第１要素決定部１１４Ｃは、出現させるＡＲオブジェクトの第１要素として、その種類を決定する。本実施の形態では、配置領域Ｒの環境の情報に基づいて、ＡＲオブジェクトの種類を決定する。より具体的には、配置領域Ｒで認識された物体の情報に基づいて、ＡＲオブジェクトの種類を決定する。
　第１要素決定部１１４Ｃは、ＡＲオブジェクトデータベース１２３に記録された情報を参照して、ＡＲオブジェクトの種類を決定する。
　図８は、ＡＲオブジェクトデータベースに記録される情報の一例を示す図である。
　同図に示すように、配置領域の環境ごとに表示するＡＲオブジェクトの種類、及び、表示形態の情報が記録される。表示形態の情報は、表示に必要なＡＲオブジェクトのデータを含む。各ＡＲオブジェクトは、たとえば、３次元ＣＧ（three-dimensional computer graphics；３ＤＣＧ）で構成される。したがって、ＡＲオブジェクトのデータは、３次元ＣＧのデータで構成される。
　第１要素決定部１１４Ｃは、ＡＲオブジェクトデータベース１２３に記録された複数のＡＲオブジェクトの種類の中から配置領域Ｒの環境（認識された物体）に対応したものを選択する。たとえば、図８の例によれば、配置領域Ｒの環境が「土」の場合、出現させるＡＲオブジェクトの種類は「ネコ」となる。
　配置領域Ｒに複数の環境（認識された物体）が含まれる場合、占有率の最も高い環境が、配置領域Ｒの環境とされる。図７の例では、配置領域Ｒに「土」と「草地」が含まれているが、占有率は「土」の方が高い。このため、図７の例の場合、配置領域Ｒの環境は、「土」と判定される。
　第２要素決定部１１４Ｄは、出現させるＡＲオブジェクトの第２要素として、その表示形態を決定する。第２要素決定部１１４Ｄは、行動履歴情報取得部１１２で取得したユーザの行動履歴に関する情報に基づいて、ＡＲオブジェクトの表示形態を決定する。本実施の形態では、ロケーション履歴の情報に基づいて、ＡＲオブジェクトの表示形態を決定する。本実施の形態では、ユーザが初めて訪れた場所か否かによって、表示形態を決定する。すなわち、携帯端末１０の現在位置（ユーザの現在位置）が、ロケーション履歴に存在する場所か否かによって、表示形態を決定する。ユーザが初めて訪れた場所の場合（未訪問地の場合）、第２要素決定部１１４Ｄは、ＡＲオブジェクトの表示形態を第１表示形態に設定する。この場合、現在位置が、ロケーション履歴に存在しない場合である。一方、ユーザが初めて訪れた場所でない場合（既訪問地の場合）、第２要素決定部１１４Ｄは、ＡＲオブジェクトの表示形態を第２表示形態に設定する。この場合、現在位置が、ロケーション履歴に存在する場合である。
　図９は、ＡＲオブジェクトの表示形態の一例を示す図である。
　本実施の形態では、ＡＲオブジェクトの表示形態として、出現させるＡＲオブジェクトＡＲＯの数が設定される。第２表示形態は、第１表示形態よりも表示されるＡＲオブジェクトＡＲＯの多く設定される。
　なお、図９では、便宜上、各ＡＲオブジェクトＡＲＯを二次元表示しているが、各ＡＲオブジェクトＡＲＯは、３ＤＣＧで構成される。また、図９では、静止状態で表示しているが、各ＡＲオブジェクトＡＲＯは、動く構成とすることもできる。
　ＡＲ画像生成部１１５は、カメラ部１８で撮影された画像（撮影画像）にＡＲオブジェクトを重畳させた拡張現実画像（ＡＲ画像）を生成する。ＡＲ画像生成部１１５は、ＡＲオブジェクト決定部１１４で決定したＡＲオブジェクトを撮影画像Ｉに重畳させて、ＡＲ画像を生成する。この際、ＡＲ画像生成部１１５は、配置領域決定部１１４Ｂで決定した配置領域にＡＲオブジェクトを配置して、ＡＲ画像を生成する。また、ＡＲ画像生成部１１５は、第１要素決定部１１４Ｃで決定したＡＲオブジェクトを、第２要素決定部１１４Ｄで決定した表示形態で表示させて、ＡＲ画像を生成する（第２要素決定部１１４Ｄで決定した表示形態の３次元ＣＧを重畳させて、ＡＲ画像を生成する。）。本実施の形態において、撮影画像は、第１画像の一例であり、ＡＲ画像は、第２画像の一例である。また、ＡＲオブジェクトは、オブジェクトの一例である。
　図１０は、ＡＲ画像の一例を示す図である。同図（Ａ）は、第１表示形態で表示する場合の一例を示している。同図（Ｂ）は、第２表示形態で表示する場合の一例を示している。
　図１０（Ａ）及び（Ｂ）に示すように、本実施の形態では、主被写体ＭＯの周囲、かつ、地面の領域にＡＲオブジェクトＡＲＯが重畳されたＡＲ画像ＡＲＩが生成される。
　表示制御部１１６は、ディスプレイ１５への画像の表示を制御する。表示制御部１１６は、ＡＲ画像生成部１１５で生成されたＡＲ画像ＡＲＩをディスプレイ１５に表示させる（図１参照）。
　記録制御部１１７は、内蔵メモリ１４への画像の記録を制御する。記録制御部１１７は、ユーザからの記録指示（静止画ないし動画の撮影指示）に応じて、ディスプレイ１５に表示中の画像を内蔵メモリ１４に記録する。記録指示は、たとえば、ディスプレイ１５上に表示したシャッタボタンＳＳＢ（図１参照）へのタッチ操作で行う。
　［携帯端末の動作（情報処理方法）］
　図１１は、ＡＲ表示を行う場合の携帯端末の動作手順を示すフローチャートである。
　まず、ディスプレイ１５にライブビューの画像が表示される（ステップＳ１０）。ライブビューとは、カメラ部１８のイメージセンサで捉えた画像をリアルタイム（即時）に表示することである。
　次に、携帯端末１０の現在位置（ユーザの現在位置）の情報が取得される（ステップＳ１１）。携帯端末１０は、ＧＰＳ受信部１７で受信されるＧＰＳ信号に基づいて、携帯端末１０の現在位置の情報を取得する。
　次に、取得した現在位置の情報に基づいて、現在位置が、地図データベース１２１で定められた特定の地域か否かが判定される（ステップＳ１２）。より具体的には、現在位置が、地図データベース１２１に存在する場所か否かが判定される。
　現在位置が、地図データベース１２１で定められた特定の地域である場合、ディスプレイ１５に表示中のライブビューの画像にＡＲオブジェクトが表示されているか否か判定される（ステップＳ１３）。
　ＡＲオブジェクトが表示されていない場合、撮影画像から物体を認識する処理が行われる（ステップＳ１４）。ここでの「撮影画像」とは、ライブビューとして表示させる画像である。
　物体の認識結果に基づいて、撮影画像から主被写体が判定される（ステップＳ１５）。本実施の形態では、人物が主被写体とされる。したがって、認識した物体から人物を主被写体として特定する。画像中に複数の人物が含まれる場合、所定の判定基準に従って主被写体が特定される。
　主被写体の判定処理の結果に基づき、主被写体の有無が判定される（ステップＳ１６）。すなわち、撮影画像中に主被写体が存在するか否かが判定される。
　撮影画像中に主被写体が存在する場合、画像内での主被写体の位置に基づいて、ＡＲオブジェクトの配置領域が決定される（ステップＳ１７）。本実施の形態では、主被写体の周囲、かつ、地面の領域がＡＲオブジェクトの配置領域として設定される。
　ＡＲオブジェクトの配置領域を決定後、その配置領域の環境情報が取得される（ステップＳ１８）。本実施の形態では、物体の認識結果に基づき、ＡＲオブジェクトの配置領域の物体の情報が取得される。
　取得された配置領域の物体の情報に基づいて、画像中に出現させるＡＲオブジェクトが選択される（ステップＳ１９）。すなわち、どのような種類のＡＲオブジェクトを出現させるか決定される。ＡＲオブジェクトは、ＡＲオブジェクトデータベース１２３から選択される。
　出現させるＡＲオブジェクトが決定すると、ユーザの行動履歴の情報が取得される（ステップＳ２０）。本実施の形態では、ロケーション履歴の情報が取得される。
　取得されたロケーション履歴の情報に基づいて、ＡＲオブジェクトの表示形態が決定される（ステップＳ２１）。本実施の形態では、携帯端末１０の現在位置（ユーザの現在位置）が、未訪問地か否かによって、ＡＲオブジェクトの表示形態が決定される。
　図１２は、ＡＲオブジェクトの表示形態の決定処理の手順を示すフローチャートである。
　まず、現在位置が、未訪問地か否かが判定される（ステップＳ２１＿１）。すなわち、現在位置が、ロケーション履歴に存在するか否かが判定される。
　現在位置が、未訪問地の場合、ＡＲオブジェクトの表示形態が、第１表示形態に設定される（ステップＳ２１＿２）。未訪問地の場合とは、現在位置が、ロケーション履歴に存在しない場合である。
　一方、現在位置が、未訪問地でない場合、すなわち、既訪問地の場合、ＡＲオブジェクトの表示形態が、第２表示形態に設定される（ステップＳ２１＿３）。既訪問地の場合とは、現在位置が、ロケーション履歴に存在する場合である。
　このように、現在位置が、未訪問地か否かによって、ＡＲオブジェクトの表示形態が決定される。
　以上一連の処理でライブビューの画像に出現させるＡＲオブジェクトの種類、配置領域及び表示形態が決定される。決定した事項に従って、ライブビューの画像にＡＲオブジェクトが合成され、ＡＲ画像が生成される。
　図１３は、ＡＲ画像の生成の概念図である。
　同図に示すように、撮影画像Ｉ（ライブビューの画像）の所定の領域にＡＲオブジェクトＡＲＯを重畳させて、ＡＲ画像ＡＲＩが生成される。所定の領域とは、本実施の形態では、主被写体ＭＯの周囲、かつ、地面の領域である。
　生成されたＡＲ画像が、ディスプレイ１５に表示される。すなわち、ＡＲオブジェクトが重畳された画像がディスプレイ１５に表示される（ステップＳ２２）。これにより、ＡＲ画像ＡＲＩの鑑賞が可能になる。
　この後、ユーザからＡＲ表示のオフが指示されたか否かが判定される（ステップＳ２３）。ステップＳ１３において、ＡＲオブジェクトの表示中と判定された場合も同様にユーザからＡＲ表示のオフが指示されたか否かが判定される（ステップＳ２３）。
　ＡＲ表示のオフが指示されると、ＡＲ表示の処理が終了される。ＡＲ表示のオフの指示は、所定の操作で行われる。
　ステップＳ１２において、現在位置が、地図データベース１２１で定められた特定の地域でないと判定された場合、ＡＲオブジェクトが表示中か否か判定される（ステップＳ２４）。すなわち、ディスプレイ１５に表示中のライブビューの画像にＡＲオブジェクトが表示されているか否か判定される。ＡＲオブジェクトが表示中と判定されると、ＡＲオブジェクトの表示が終了される（ステップＳ２５）。すなわち、この場合、ユーザは、特定の地域から移動しているので、ＡＲオブジェクトの表示は消される。この後、ユーザからＡＲ表示のオフが指示されたか否かが判定され（ステップＳ２３）、ＡＲ表示のオフが指示されると、ＡＲ表示の処理が終了される。
　ステップＳ１６において、撮影画像中に主被写体が存在しないと判定された場合ある場合も同様に、ＡＲオブジェクトが表示中か否か判定される（ステップＳ２４）。ＡＲオブジェクトが表示中と判定されると、ＡＲオブジェクトの表示が終了される（ステップＳ２５）。すなわち、この場合、撮影画像内から主被写体が消えているので、ＡＲオブジェクトの表示も消される。この後、ユーザからＡＲ表示のオフが指示されたか否かが判定され（ステップＳ２３）、ＡＲ表示のオフが指示されると、ＡＲ表示の処理が終了される。
　なお、一度表示させたＡＲオブジェクトは、一定時間経過後に自動的に消去する構成としてもよい。
　以上説明したように、本実施の形態によれば、ＡＲオブジェクトを配置する空間の環境に関する情報及びユーザの行動履歴の情報に基づいて、出現させるＡＲオブジェクトの種類、表示形態が決定される。これにより、興趣性に優れたＡＲ空間を提供できる。
　［変形例］
　［ＡＲオブジェクトの種類の決定方法］
　上記実施の形態では、ＡＲオブジェクトの配置領域における物体の認識結果に基づいて、出現させるＡＲオブジェクトの種類を決定する構成としているが、出現させるＡＲオブジェクトの種類を決定する方法は、これに限定されるものではない。携帯端末１０で取得可能な種々の情報に基づいて、出現させるＡＲオブジェクトの種類を決定できる。
　たとえば、携帯端末１０の現在位置（ユーザの現在位置）の情報に基づいて、出現させるＡＲオブジェクトの種類を決定する構成とすることができる。この場合、ＡＲオブジェクトデータベース１２３には、地域ないし場所の情報に関連付けて、各ＡＲオブジェクトの情報が記録される。
　また、携帯端末１０の現在位置（ユーザの現在位置）、及び、撮影画像から認識した物体の情報に基づいて、出現させるＡＲオブジェクトの種類を決定する構成とすることもできる。この場合、たとえば、携帯端末１０の現在位置の情報に基づいて、出現させるＡＲオブジェクトの第１の分類が決定し、撮影画像から認識した物体の情報に基づいて、出現させるＡＲオブジェクトの第２の分類が決定する構成とすることができる。第１の分類は、いわゆる大分類であり、第２の分類は、第１の分類を細分化した分類（いわゆる小分類）である。
　また、物体の認識に代えて、あすいは、物体の認識ともに、シーンの認識を行い、認識したシーンに基づいて、あるいは、認識したシーン及び物体に基づいて、出現させるＡＲオブジェクトの種類を決定する構成とすることもできる。なお、シーン認識自体は公知の技術であるので、その詳細についての説明は省略する。たとえば、画像からシーン認識を行うように機械学習された学習済みモデルを用いて、撮影画像のシーン認識を行う構成を採用できる。
　更に、携帯端末１０が、現在日時、気温、湿度、音声等の情報を取得できる場合は、これらの情報を環境情報として取得し、取得した情報に基づいて、出現させるＡＲオブジェクトの種類を決定してもよい。
　また、ユーザの行動履歴の情報も加味して、出現させるＡＲオブジェクトの種類を決定してもよい。すなわち、環境情報とユーザの行動履歴の情報の双方を利用して、出現させるＡＲオブジェクトの種類を決定してもよい。
　［ＡＲオブジェクトの表示形態の決定方法］
　上記実施の形態では、ユーザの行動履歴の情報として、ロケーション履歴の情報を利用して、ＡＲオブジェクトの表示形態を決定する構成としているが、ＡＲオブジェクトの表示形態を決定する際に用いる行動履歴の情報は、これに限定されるものではない。携帯端末１０で取得可能な種々の情報を利用できる。たとえば、携帯端末１０での本機能（ＡＲ表示の機能）の使用履歴の情報、本機能でのユーザの操作履歴の情報等を利用できる。使用履歴には、総使用回数の情報、総使用時間の情報、一日当たりの使用回数の情報、一日当たりの使用時間の情報、使用時間帯の情報、各ＡＲオブジェクトの表示回数の情報等、使用に関する種々の情報が含まれる。各ＡＲオブジェクトの表示回数の情報は、各ＡＲオブジェクトについての出現回数（何回出現させたか）の情報である。また、操作履歴の情報には、静止画及び動画の撮影履歴、プリント履歴の情報等が含まれる。撮影履歴には、カメラ部１８の使用履歴の情報も含まれる。すなわち、インカメラ部１８Ａとアウトカメラ部１８Ｂのいずれのカメラ部を使用したかの情報が含まれる。プリント履歴は、撮影した画像に対するプリント（フィルム、紙、メディア等の有体物へのプリント）の履歴である。プリントの形態については、特に限定されない。また、携帯端末自体の使用履歴、操作履歴の情報等を利用することもできる。携帯端末自体の使用履歴の情報には、たとえば、携帯端末１０を用いた撮影履歴の情報が含まれる。また、撮影履歴には、撮影した画像についての解析結果の情報を含めることができる。撮影した画像についての解析結果には、撮影した画像について行った画像認識の結果（たとえば、被写体の認識結果、シーンの認識結果等）の情報を含めることができる。
　また、使用する行動履歴の情報は、特定の事象に関連する情報に限定してもよい。たとえば、現在位置に関連する情報にのみ限定することができる。たとえば、撮影回数については、特定の地域での撮影回数（現在の地域での撮影回数）に限定できる。また、プリント回数については、特定の地域でのプリント回数（たとえば、現在の地域でのプリント回数）、あるいは、特定の被写体（たとえば、現在の地域に関連した被写体）をプリントした回数に限定できる。
　また、ユーザの行動履歴には、商品の購入履歴、ソーシャルネットワーキングサービス（Social networking service；ＳＮＳ）での投稿履歴等も含めることができる。商品の購入履歴については、たとえば、現在位置と関連して、当該地域で特定の商品（たとえば、当該地域の特産品、当該地域でのみ販売されている限定商品等）を購入したか否かの情報、購入回数の情報等を使用できる。また、ＳＮＳの投稿履歴については、現在位置に関連する情報の投稿の有無、投稿回数の情報等を使用できる。
　これらのユーザの行動に関する履歴の情報を複合的に利用し、出現させるＡＲオブジェクトの表示形態を決定できる。
　更に、環境情報も加味して、出現させるＡＲオブジェクトの表示形態を決定してもよい。すなわち、環境情報とユーザの行動履歴の情報の双方を利用して、出現させるＡＲオブジェクトの表示形態を決定してもよい。
　また、行動履歴が一定の条件を満たす場合にクジ引き、ゲーム等を実施し、その結果に応じてＡＲオブジェクトの表示形態を決定する構成としてもよい。
　図１４は、クジ引きを実施してＡＲオブジェクトの表示形態を決定する場合の処理手順の一例を示すフローチャートである。
　まず、現在位置が、未訪問地か否かが判定される（ステップＳ２１＿１１）。現在位置が、未訪問地の場合、ＡＲオブジェクトの表示形態が、第１表示形態に設定される（ステップＳ２１＿２）。
　現在位置が、未訪問地でない場合（既訪問地の場合）、３回以上訪問しているか否かが判定される（ステップＳ２１＿１３）。すなわち、今回の訪問が、３回目以上か否かが判定される。
　３回目以上の訪問でない場合（２回目の訪問の場合）、ＡＲオブジェクトの表示形態が、第２表示形態に設定される（ステップＳ２１＿１４）。
　一方、３回目以上の訪問の場合、クジ引きが実施される（ステップＳ２１＿１５）。
　図１５は、クジ引きの画面の一例を示す図である。
　同図は、サイコロを用いたクジ引きの例である。２つのサイコロを振り、両方とも１の目が出た場合に「アタリ」とされる。
　同図に示すように、ライブビューの画像に重ねて、円板状のステージの画像ＳＴＡが表示され、かつ、そのステージの画像ＳＴＡの上に２つのサイコロの画像ＤＡ１、ＤＡ２が表示される。また、スタートボタンＳＴＢが画面上に表示される。
　ユーザは、スタートボタンＳＴＢをタッチして、クジ引きの実行を指示する。クジ引きの実行が指示されると、サイコロが回転するアニメーション画像が表示される。また、これと同時にスタートボタンＳＴＢの表示が、ストップボタンの表示に切り替わる（図示せず）。ユーザは、ストップボタンをタッチして、サイコロの回転の停止を指示する。回転停止が指示されると、サイコロが停止した画像に切り替わり、出目が確定する。各サイコロの目は、ランダムに決定される。たとえば、１から６の数値の範囲で乱数を取得して、各サイコロの出目を決定する。
　上記のように、２つのサイコロの目が両方とも１の場合、「アタリ」とされ、それ以外は「ハズレ」とされる。
　クジ引きが行われると、そのクジ引きの結果が、アタリか否かが判定される（ステップＳ２１＿１６）。クジ引きの結果が、「アタリ」の場合、ＡＲオブジェクトの表示形態が、第３表示形態に設定される（ステップＳ２１＿１７）。一方、クジ引きの結果が、「はずれ」の場合、ＡＲオブジェクトの表示形態が、第２表示形態に設定される（ステップＳ２１＿１７）。
　ここで、第２表示形態は、第１表示形態よりも表示されるＡＲオブジェクトの数が多く設定され、第３表示形態は、第２表示形態よりも表示されるＡＲオブジェクトの数が多く設定される。
　このように、表示形態の決定に際して、ランダム要素を取り入れることにより、より興趣性を高めることができる。
　なお、ランダム性については、完全にランダムにする他、偏りを持たせてランダムにすることもできる。たとえば、特定の条件を満たすと、有利な結果が得られるように、ランダム性をコントロールしてもよい。たとえば、ユーザの利用状況（たとえば、課金の有無）、出現させるＡＲオブジェクトについての過去の出現回数、撮影回数、プリント回数等によって、結果に差が出るようにしてもよい。
　［ＡＲオブジェクトの表示形態］
　上記実施の形態では、ユーザの行動履歴に応じて、出現させるＡＲオブジェクトの数を変える構成としているが、変更する要素は、これに限定されるものではない。いわゆる華やかさ、豪華さ等を変える構成とすることができる。すなわち、見た目のグレードを変える構成とすることができる。たとえば、ロケーション履歴に基づいて、ＡＲオブジェクトの表示形態を変える場合、訪問回数が増えるほど見た目のグレードが上がる表示（たとえば、より華やかな表示、より豪華な表示等）にすることができる。また、たとえば、静止画の撮影回数に基づいて、ＡＲオブジェクトの表示形態を変える場合、撮影回数が増えるほど見た目のグレードが上がる表示にすることができる。また、たとえば、表示回数（出現回数）に基づいて、ＡＲオブジェクトの表示形態を変える場合、表示回数が増えるほど見た目のグレードが上がる表示にすることができる。
　また、上記実施の形態では、２つの表示形態を切り替える構成としているが、更に複数の表示形態を用意し、ユーザの行動履歴に応じて、より詳細に表示形態を切り替えてもよい。
　［特定の行動に基づく表示形態の変化］
　ユーザが、特定の行動を行った場合に、ＡＲオブジェクトの表示形態を更に変化させてもよい。たとえば、ＡＲオブジェクトが表示された画像をユーザが撮影した場合に、ＡＲオブジェクトの表示形態を更に変化させてもよい。撮影には、静止画の撮影及び動画の撮影の双方を含む。また、撮影した画像をプリントした場合には、更にＡＲオブジェクトの表示形態を変化させてもよい。この場合、変化の態様として、ＡＲオブジェクトの数を更に増やす、見た目のグレードを更に上げる等を採用できる。静止画ないし動画の撮影の指示、及び、撮影した画像のプリントの指示は、第２画像の出力の指示の一例である。なお、撮影には、ディスプレイ１５の画面に表示されている内容を、そのまま画像データとして取得すること（いわゆるスクリーンショット、スクリーンキャプチャ）が含まれる。
　［ＡＲオブジェクトの配置領域］
　上記実施の形態では、主被写体（人物）を認識し、その周囲、かつ、地面の領域をＡＲオブジェクトの配置領域としているが、ＡＲオブジェクトの配置領域を決定する方法は、これに限定されるものではない。出現させるＡＲオブジェクトの種類等に応じて配置領域を設定することが好ましい。たとえば、空中に浮遊していることが不自然ではないＡＲオブジェクトについては、必ずしも地面に配置する必要はない。ＡＲオブジェクトの種類等に応じて、空中、水面等に配置する構成とすることもできる。同様に、演出としてのＡＲオブジェクト（紙吹雪、星のきらめき等）につていては、必ずしも地面に配置する必要はない。
　また、必ずしも主被写体の周囲に配置する必要はなく、画面内の特定の場所に配置する構成としてもよい。たとえば、画面中央に配置する構成としてもよい。この場合、主被写体の認識は不要である。
　また、携帯端末１０が、空間認識機能を有している場合、その認識結果を利用して、配置領域を決定することが好ましい。たとえば、携帯端末１０が、ＬｉＤＡＲ等の測域センサを有している場合、その測域結果を利用して、配置領域を決定することができる。
　［第２の実施の形態］
　本実施の形態では、ＣＧで作られたキャラクタ（小説、映画、演劇、漫画、コンピュータゲームなどに登場する人物、動物、人形、ロボット等）を撮影画像に重畳させて、ＡＲ画像を生成する場合について説明する。
　本実施の形態では、環境情報及び行動履歴情報に基づいて、画像中に出現させるキャラクタの種類及び属性を決定する。より具体的には、環境情報に基づいてキャラクタの種類を決定し、行動履歴情報に基づいてキャラクタの属性を決定する。属性には、キャラクタの容姿、服装、装飾、装備、成長度合い、進化度合い等の外観的要素（いわゆる見た目）の他、親密度、性格、ステータス等の外観以外の要素が含まれる。たとえば、会話するキャラクタの場合、親密度、性格等により会話内容、動作等が変化する。
　本実施の形態においても、携帯端末を使用してＡＲ表示を行う場合を例に説明する。携帯端末の基本構成は、上記第１の実施の形態と同じである。よって、ここでは、相違点、すなわち、出現させるＡＲオブジェクト（キャラクタ）、及び、その決定方法についてのみ説明する。
　なお、本実施の形態では、キャラクタの属性として、その外観的要素を変更する場合を例に説明する。
　［ＡＲオブジェクト及びその決定方法］
　上記のように、本実施の形態では、キャラクタを出現させたＡＲ画像を生成する。出現させるキャラクタ（ＡＲオブジェクト）は、たとえば、３ＤＣＧで構成され、そのデータは、ＡＲオブジェクトデータベース１２３に記録される。キャラクタ（ＡＲオブジェクト）の選定は、ＡＲオブジェクト決定部１１４で行われる。
　図１６は、ＡＲオブジェクト決定部が有する主な機能のブロック図である。
　ＡＲオブジェクト決定部１１４は、主被写体判定部１１４Ａ、配置領域決定部１１４Ｂ、第１要素決定部１１４Ｃ及び第２要素決定部１１４Ｄ等の機能を有する。
　主被写体判定部１１４Ａ及び配置領域決定部１１４Ｂの機能は、上記第１の実施の形態と同じである。主被写体判定部１１４Ａは、物体認識部１１１Ｂの認識結果（物体情報）に基づいて、主被写体を判定する。配置領域決定部１１４Ｂは、主被写体判定部１１４Ａによる主被写体の判定結果に基づいて、キャラクタの配置領域を決定する。
　第１要素決定部１１４Ｃは、携帯端末１０の現在位置の情報（現在位置情報）に基づいて、第１要素であるキャラクタの種類を決定する。携帯端末１０の現在位置は、位置判定部１１１Ａで判定される。第１要素決定部１１４Ｃは、ＡＲオブジェクトデータベース１２３に記録された情報を参照して、キャラクタの種類を決定する。
　図１７は、ＡＲオブジェクトデータベースに記録される情報の一例を示す図である。
　同図に示すように、ＡＲオブジェクトデータベース１２３には、地図上の特定のポイントごとに出現させるキャラクタの情報が記録される。地図上のポイントは、地図データベース１２１に登録されたポイントが用いられる。
　各キャラクタには、識別情報として、キャラクタＩＤ（Identification）が付与され、そのキャラクタＩＤに関連付けられて、外観の情報（３ＤＣＧのデータ）が記録される。
　第１要素決定部１１４Ｃは、ＡＲオブジェクトデータベース１２３に記録された複数のキャラクタの中から携帯端末１０の現在位置（ユーザの現在位置）に対応したキャラクタを選択する。たとえば、図１７の例によれば、現在位置が、ポイントＡの場合、キャラクタＩＤ：1000000Aのキャラクタが選択される。
　第２要素決定部１１４Ｄは、行動履歴情報取得部１１２で取得したユーザの行動履歴に関する情報に基づいて、キャラクタの外観を決定する。第１の実施の形態と同様に、第２要素決定部１１４Ｄは、ユーザのロケーション履歴の情報に基づいて、キャラクタの外観を決定する。したがって、ユーザが初めて訪れた場所か否かによって、外観が定まる。ユーザが初めて訪れた場所の場合（未訪問地の場合）、第２要素決定部１１４Ｄは、キャラクタの外観を第１外観に設定する。一方、ユーザが初めて訪れた場所でない場合（既訪問地の場合）、第２要素決定部１１４Ｄは、キャラクタの外観を第２外観に設定する。
　図１８は、キャラクタの外観の一例を示す図である。
　同図に示すように、第１外観と第２外観で異なる外観を呈する。第２外観は、第１外観よりも、見た目のグレードが高い設定とされる。すなわち、より華やか、より豪華に見た目となる。図１８の例では、服装（衣服）、装飾及び装備が変わる例である。この他、装飾、装備、成長度合い、進化度合い等が変わる設定とすることもできる。
　［携帯端末の動作］
　ＡＲ表示を行う場合の処理手順は、おおよそ第１の実施の形態と同じである。したがって、ここでは、図１１を参照して、ＡＲ表示を行う場合の処理手順について説明する。
　まず、ディスプレイ１５にライブビューの画像が表示される（ステップＳ１０）。次に、現在位置の情報が取得される（ステップＳ１１）。携帯端末１０は、ＧＰＳ受信部１７で受信されるＧＰＳ信号に基づいて、携帯端末１０の現在位置（ユーザの現在位置）の情報を取得する。次に、取得した現在位置の情報に基づいて、現在位置が、地図データベース１２１で定められた特定の地域か否かが判定される（ステップＳ１２）。現在位置が、地図データベース１２１で定められた特定の地域である場合、ディスプレイ１５に表示中のライブビューの画像にＡＲオブジェクトが表示されているか否か判定される（ステップＳ１３）。ＡＲオブジェクトが表示されていない場合、撮影画像から物体を認識する処理が行われる（ステップＳ１４）。物体の認識結果に基づいて、撮影画像から主被写体が判定される（ステップＳ１５）。本実施の形態においても、人物が主被写体とされる。主被写体の判定処理の結果に基づき、主被写体の有無が判定される（ステップＳ１６）。すなわち、撮影画像中に主被写体が存在するか否かが判定される。撮影画像中に主被写体が存在する場合、画像内での主被写体の位置に基づいて、キャラクタ（ＡＲオブジェクト）の配置領域が決定される（ステップＳ１７）。本実施の形態においても、主被写体の周囲、かつ、地面の領域が、キャラクタの配置領域として設定される。
　ＡＲオブジェクトの配置領域を決定後、環境情報が取得される（ステップＳ１８）。本実施の形態では、携帯端末１０の現在位置（ユーザの現在位置）の情報が、環境情報として取得される。携帯端末１０の現在位置は、ＧＰＳ受信部１７で受信されるＧＰＳ信号に基づいて、位置判定部１１１Ａで判定される。
　取得された現在位置の情報に基づいて、出現させるキャラクタ（ＡＲオブジェクト）の種類が選択される（ステップＳ１９）。出現させるキャラクタの種類は、ＡＲオブジェクトデータベース１２３から選択される。
　出現させるキャラクタが決定すると、ユーザの行動履歴の情報が取得される（ステップＳ２０）。本実施の形態においても、行動履歴の情報として、ロケーション履歴の情報が取得される。取得されたロケーション履歴の情報に基づいて、キャラクタ（ＡＲオブジェクト）の表示形態が決定される（ステップＳ２１）。本実施の形態においても、現在位置が、未訪問地か否かによって、出現させるキャラクタの表示形態が決定される。
　図１９は、キャラクタの外観の決定処理の手順を示すフローチャートである。
　まず、現在位置が未訪問地か否かが判定される（ステップＳ２１＿１１）。すなわち、現在位置が、ロケーション履歴に存在するか否かが判定される。
　現在位置が未訪問地の場合、出現させるキャラクタの外観が、第１外観に設定される（ステップＳ２１＿１２）。
　一方、現在位置が未訪問地でない場合、すなわち、既訪問地の場合、出現させるキャラクタの外観が、第２外観に設定される（ステップＳ２１＿１３）。
　このように、現在位置が、未訪問地か否かによって、出現させるキャラクタの外観が決定される。
　以上一連の処理で画像中に出現させるキャラクタ（ＡＲオブジェクト）の種類、配置領域及び外観が決定される。決定した事項に従って、ライブビューの画像にキャラクタが合成され、ＡＲ画像が生成される。すなわち、撮影画像（ライブビューの画像）の所定の領域にキャラクタが重畳して表示されて、ＡＲ画像が生成される。所定の領域とは、本実施の形態では、主被写体の周囲、かつ、地面の領域である。
　生成されたＡＲ画像が、ディスプレイ１５に表示される。すなわち、キャラクタ（ＡＲオブジェクト）が出現した画像がディスプレイ１５に表示される（ステップＳ２２）。これにより、ＡＲ画像の鑑賞が可能になる。
　図２０は、ＡＲ表示の一例を示す図である。
　同図に示すように、撮影画像Ｉ（ライブビューの画像）の所定の領域に３ＤＣＧで構成されたキャラクタ（ＡＲオブジェクト）ＡＲＯが重畳して表示される。
　以上説明したように、本実施の形態によれば、キャラクタを出現させたＡＲ画像を生成する場合において、キャラクタを配置する空間の環境の情報、及び、ユーザの行動履歴の情報に基づいて、出現させるキャラクタの種類及び属性が決定される。これにより、興趣性に優れたＡＲ空間を提供できる。
　［変形例］
　［キャラクタの種類の決定方法］
　上記実施の形態では、環境情報として、携帯端末１０の現在位置（ユーザの現在位置）の情報を使用して、出現させるキャラクタ（ＡＲオブジェクト）の種類を決定しているが、その他の情報を利用して、キャラクタの種類を決定してもよい。たとえば、上記第１の実施の形態と同様に、キャラクタの配置領域における物体の認識結果の情報に基づいて、キャラクタの種類を決定してもよい。また、撮影シーンの認識を行い、認識したシーンに基づいて、出現させるキャラクタの種類を決定してもよい。更に、行動履歴の情報を加味して、出現させるキャラクタの種類を決定してもよい。
　［キャラクタの外観の決定方法］
　上記実施の形態では、ユーザの行動履歴の情報として、ロケーション履歴の情報を利用して、キャラクタの外観を決定しているが、その他の情報を利用して、キャラクタの外観を決定してもよい。携帯端末１０で取得可能な種々の情報を利用できる。したがって、環境認識の結果（環境情報）を利用することもできる。この点は、種々の情報を利用して、ＡＲオブジェクトの表示形態を決定できる点と同じである。したがって、行動履歴が一定の条件を満たす場合にクジ引き、ゲーム等を実施し、その結果に応じてキャラクタの外観を決定する構成としてもよい。
　［特定の行動に基づく外観の変化］
　ユーザが、特定の行動を行った場合に、キャラクタの外観を更に変化させてもよい。たとえば、キャラクタが表示された画像をユーザが撮影（動画の撮影を含む）した場合に、キャラクタの外観を更に変化させてもよい。また、撮影した画像をプリントした場合に、キャラクタの外観を更に変化させてもよい。この場合、ランダムに選択された外観に変化させてもよい。これにより、より興趣性を向上できる。
　また、ユーザが、特定の行動を行った場合に、キャラクタが特定の動作を行うようにしてもよい。たとえば、キャラクタが表示された画像をユーザが撮影（動画の撮影を含む）した場合に、キャラクタが特定の動作を行うようにしてもよい。また、撮影した画像をプリントした場合に、キャラクタが特定の動作を行うようにしてもよい。
　図２１は、撮影によりキャラクタが特定の動作を行う場合の一例を示す図である。
　同図（Ａ）は、撮影前の表示を示し、同図（Ｂ）は、撮影後の表示を示している。同図に示すように、静止画を撮影することにより、キャラクタ（ＡＲオブジェクト）ＡＲＯが、喜びを示す動作を行う。このように、特定の動作としては、たとえば、喜びを示す動作を例示できる。この他、プリントを促す動作（プリントをお願いする動作）を行うようにしてもよい。また、ランダムに選択された動作を行うようにしてもよい。これにより、より興趣性を向上できる。
　このような動作は、所定時間継続して行われる。所定時間経過後、通常の表示に復帰する。
　図２２は、プリントした場合の表示の一例を示す図である。
　同図は、いわゆるモバイルプリンタでプリントする場合の例を示している。特に、インスタントフィルム１１０に画像をプリントするプリンタ１００（いわゆるインスタントプリンタ）を使用する場合の例を示している。プリンタ１００及び携帯端末１０は、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等で無線通信し、データを送受信する。なお、この種のプリンタ１００及びプリント方式は自体は公知なので、その詳細についての説明は省略する。
　図２２に示すように、プリントを行うと、プリントしたキャラクタの画像がディスプレイ１５に表示され、所定の動作を行う。この動作は、所定時間継続して行われる。たとえば、プリンタに対し、プリント用のデータの転送が完了するまで行われる。
　［キャラクタの属性］
　上記実施の形態では、ユーザの行動履歴に応じてキャラクタの外観を変更しているが、変更する要素は、これに限定されるものではない。上記のように、属性には、キャラクタの容姿、服装、装飾、装備、成長度合い、進化度合い等の外観的要素の他、親密度、性格、ステータス等の外観以外の要素が含まれる。たとえば、行動履歴に応じて親密度を向上させる構成とすることができる。
　キャラクタの属性については、変化の履歴を記録することが好ましい。これにより、属性を段階的に変化させることができる。たとえば、ロケーション履歴に基づいて属性を変化させる場合、最初の訪問で第１の属性、２回目の訪問で第２の属性、３回目の訪問で第３の属性というように、同じ場所に訪問する場合であっても、訪問回数によって、属性を段階的に変化させることができる。
　図２３は、キャラクタの属性変化の履歴データの一例を示す図である。
　同図に示すように、各キャラクタをキャラクタＩＤで管理し、その出現回数、撮影回数、プリント回数、種別、外観変更回数、親密度等を個別に記録する。出現回数は、当該キャラクタを出現させた回数（出現させた回数）である。撮影回数は、当該キャラクタが出現したＡＲ画像を撮影した回数である。プリント回数は、当該キャラクタが出現したＡＲ画像をプリントした回数である。種別は、当該キャラクタの種別（種類）である。外観変更回数は、当該キャラクタの外観を変更した回数である。親密度は、当該キャラクタの親密度である。親密度は、たとえば、出現回数、出現頻度（所定期間内での出現回数）、前回出現させてからの期間等に応じて変化する。
　なお、キャラクタの属性は、ユーザの行動履歴に基づいて変化する。したがって、キャラクタの属性変化の履歴は、ユーザの行動履歴でもある。したがって、キャラクタの属性変化の履歴の情報を利用して、キャラクタの属性を変化させることもできる。キャラクタの属性変化の履歴の情報は、出現させたオブジェクトに関する履歴の情報の一例である。キャラクタの属性変化の履歴の情報は、たとえば、ユーザデータとして、ユーザデータベースに記録される。あるいは、行動履歴データベースに記録される。
　キャラクタの属性は、ユーザとの関わり方又はインタラクションに応じて変化するので、当該キャラクタへの思い入れが一層強くなり、より興趣性を向上できる。すなわち、出現回数や撮影回数、プリント回数が増えるほど、外観のグレードが上がったり、成長又は進化したり、親密度が向上したりするので、より愛着が湧くようになる。
　［キャラクタの配置領域］
　上記実施の形態では、主被写体の周囲、かつ、地面の領域をキャラクタの配置領域としているが、キャラクタの配置領域を決定する方法は、これに限定されるものではない。上記第１の実施の形態の変形例で説明したように、キャラクタの種類等に応じて配置領域を設定することが好ましい。この他、ユーザの行動履歴の情報に基づいて、キャラクタの配置領域を決定してもよい。たとえば、ユーザのロケーション履歴の情報に基づいて、キャラクタの配置領域を決定する場合、次のように、配置領域を決定する。
　図２４は、キャラクタの配置の一例を示す概念図である。
　同図（Ａ）は、現在位置が未訪問地の場合に生成されるＡＲ画像の一例を示している。また、同図（Ｂ）は、現在の訪問地が既訪問地の場合に生成されるＡＲ画像の一例を示している。
　図２４（Ａ）に示すように、現在位置が既訪問地の場合、主被写体ＭＯから距離Ｄ１以上、距離Ｄ２未満の領域にキャラクタ（ＡＲオブジェクト）ＡＲＯを配置する（距離Ｄ１＜距離Ｄ２）。
　一方、現在位置が、未訪問地の場合、図２４（Ｂ）に示すように、主被写体ＭＯから距離Ｄ２以上、距離Ｄ３未満の領域にキャラクタＡＲＯを配置する（距離Ｄ２＜距離Ｄ３）。
　このように、現在位置が、既訪問地の場合、未訪問地の場合よりも主被写体ＭＯの近くにキャラクタＡＲＯを配置する。
　キャラクタの配置領域の決定には、この他、出現させるキャラクタについての出現回数、撮影回数、プリント回数、親密度等の情報を利用することもできる。この場合、たとえば、出現回数が増えるほど、撮影回数が増えるほど、プリント回数が増えるほど、親密度が上がるほど、主被写体の近くにキャラクタを配置する。これらの情報は複合的に利用してもよいし、各項目に重みを付けて判定し、配置位置を決定してもよい。
　また、キャラクタを出現させる画像に対し、画像認識（物体認識を含む）を行い、その結果を利用して、キャラクタの配置領域ないし配置位置を決定してもよい。たとえば、画像から特定の被写体（たとえば、ランドマーク、モニュメント等）が認識された場合、その特定の被写体と並んでキャラクタが配置されるように、キャラクタの配置位置を決定することができる。また、たとえば、画像から特定の被写体が認識され、かつ、人物が認識された場合、人物のキャラクタとの間に特定の被写体が配置されるように、キャラクタの配置位置を決定することができる。
　図２５は、画像認識を利用したキャラクタの配置の一例を示す概念図である。
　同図は、特定の被写体、ここでは、モニュメントＭを画面内に収めて自分撮りする場合の例を示している。自分撮りとは、撮影者自身を被写体とする撮影方法をいう（セルフィ／Selfie）。この場合、主被写体である撮影者（ユーザ）ＭＯと、キャラクタ（ＡＲオブジェクト）ＡＲＯとの間にモニュメントＭが配置されるように、キャラクタＡＲＯの配置位置を決定する。
　特定の被写体の認識については、公知の画像認識の技術を採用できる。また、一般に自分撮りは、インカメラ部１８Ａを使用して行われることから、自分撮りか否かについての判定は、インカメラ部１８Ａでの撮影か否かによって行ってもよい。
　［その他の実施の形態］
　［ランダムプリント］
　キャラクタ等のＡＲオブジェクトが表示された画像をプリントする際、ＡＲオブジェクトの表示を変化させて、プリントしてもよい。また、その変化をランダムに行ってもよい。たとえば、キャラクタが表示された画像をプリントする際、キャラクタの表情、姿勢、服装などをランダムに変化させて、プリントすることができる。これにより、プリントの興趣性をより高めることができる。
　図２６は、プリントの概念図である。
　図２６は、インスタントフィルム１１０に画像をプリントする場合の例を示している。図２６（Ａ）は、プリントを指示した画像を示している。同図において、携帯端末１０のディスプレイ１５に表示されている画像がプリントを指示した画像である。図２６（Ｂ）は、プリントの結果物を示している。プリントを指示した画像に対し、キャラクタの表情、姿勢及び装飾が変化してプリントされている。
　単なるディスプレイへの表示と異なり、プリントは、修正不可能な唯一性のある画像が得られるという楽しみがある。よって、プリントの際、ＡＲオブジェクトの表示を変更することで、ユーザが予測不可能な唯一性のある画像を得ることができ、より興趣性を向上できる。また、その変化にランダム性を持たせることにより、更に興趣性を向上できる。ランダム要素は、たとえば、プリントを指示した時分等に基づいて決定する構成とすることができる。
　［クロスリアリティ（Cross reality；ＸＲ）への拡張］
　上記実施の形態では、本発明を拡張現実（ＡＲ）での処理に適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。複合現実（Mixed Reality；ＭＲ）、仮想現実（virtual reality；ＶＲ）等での処理にも適用できる。
　ＭＲは、ＡＲをより発展させた技術であり、空間的な広がりを持った仮想物（オブジェクト）を現実空間の特定の位置にリアルタイムに合成し、手で触れるといった物理的な働きかけにより操作したり介入したりできる技術である。ＭＲは、３次元の空間認識力を有しており、現実世界に空間情報を持つ仮想世界を融合できる。ＭＲでは、デバイスが複数のカメラ、センサ等を駆使して空間情報を認識し、現実世界の形状、位置情報などを把握するので、現実世界に空間情報を持った仮想世界を表出できる。ＭＲは、通常、専用のヘッドマウントディスプレイ（Head Mounted Display ；ＨＭＤ）を用いて提供される。ＭＲにおいても、デバイス（たとえば、ＨＭＤ）に備えられたカメラ、各種センサを使用して、キャラクタを配置する空間の環境の情報を取得できる。
　ＶＲの場合、すべてがＣＧで提供される。したがって、この場合、携帯端末も仮想物としてＣＧで仮想空間に表示される。ユーザは、仮想空間内での分身であるアバタを介して、仮想物である携帯端末の操作を行う。仮想空間において、ユーザの位置は、アバタの位置として認識される。オブジェクトを出現させる空間は、仮想空間内でアバタが使用する携帯端末で撮影した空間として認識される。
　近年、実空間を仮想空間で再現する、デジタルツイン（Digital Twin）が現実のものになりつつある。よって、実空間を再現した仮想空間でも本発明を実施できる。
　この他、ＶＲの場合、アバタの視界領域を構成する空間をオブジェクトの配置空間とし、その空間の環境に関する情報、及び、ユーザの行動履歴に関する情報に基づいて、仮想空間に出現させるオブジェクトを決定してもよい。この場合、アバタの視界領域を構成する画像から環境に関する情報を取得する。たとえば、アバタの視界領域を構成する画像中の物体の情報を取得する。また、仮想空間内でのアバタの位置（座標位置）の情報を取得して、ユーザの位置の情報を取得する。
　このように、本発明は、実空間に限らず、仮想空間（たとえば、メタバース等）にオブジェクトを出現させる場合にも適用できる。
　［システム構成］
　上記実施の形態では、携帯端末がすべての処理を行う構成としているが、一部の処理を他の装置が行う構成としてもよい。たとえば、一部の処理をサーバが行う構成としてもよい。たとえば、携帯端末は、撮影、各種センシング、及び、ＡＲ画像の表示のみを行い、各種データベースの管理、ＡＲ画像の生成等は、サーバが行う構成としてもよい。この場合、携帯端末とサーバとの間の通信の形態は特に限定されない。
　また、上記実施の形態では、画像の撮影、各種センシング、及び、画像の表示をすべて携帯端末で行う構成としているが、各処理を別々の装置で行う構成としてもよい。たとえば、画像の表示は、ＨＭＤを用いて行う構成としてもよい。
　［ハードウェア構成］
　情報処理装置が実現する機能は、各種のプロセッサ（Processor）で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ及び／又はＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device，ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどに用いられるコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip，ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
１０　携帯端末
１１　ＣＰＵ
１４　内蔵メモリ
１５　ディスプレイ
１６　タッチパッド
１７　ＧＰＳ受信部
１８　カメラ部
１８Ａ　インカメラ部
１８Ｂ　アウトカメラ部
１９　マイク部
２０スピーカ部
２１　無線通信部
２２　近距離無線通信部
２３　センサ部
３０　タッチパネル
１００　プリンタ
１１０　インスタントフィルム
１１１　環境情報取得部
１１１Ａ　位置判定部
１１１Ｂ　物体認識部
１１２　行動履歴情報取得部
１１３　行動履歴データベース管理部
１１４　ＡＲオブジェクト決定部
１１４Ａ　主被写体判定部
１１４Ｂ　配置領域決定部
１１４Ｃ　第１要素決定部
１１４Ｄ　第２要素決定部
１１５　ＡＲ画像生成部
１１６　表示制御部
１１７　記録制御部
１２１　地図データベース
１２２　行動履歴データベース
１２３　ＡＲオブジェクトデータベース
ＡＲＩ　ＡＲ画像
ＡＲＯ　ＡＲオブジェクト
ＤＡ１　サイコロの画像
ＤＡ２　サイコロの画像
Ｉ　撮影画像
Ｍ　モニュメント
ＭＯ　主被写体
Ｒ　配置領域
ＳＳＢ　シャッタボタン
ＳＴＡ　ステージの画像
ＳＴＢ　スタートボタン
Ｓ１０～Ｓ２５　ＡＲ表示を行う場合の携帯端末の動作手順
Ｓ２１＿１～Ｓ２１＿３　ＡＲオブジェクトの表示形態の決定処理の手順
Ｓ２１＿１１～Ｓ２１＿１７　クジ引きを実施してＡＲオブジェクトの表示形態を決定する場合の処理手順

Claims (13)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　オブジェクトを出現させる空間の環境に関する第１情報を取得し、
    　ユーザの行動履歴に関する第２情報を取得し、
    　前記第１情報に基づいて、前記オブジェクトに関する第１要素を決定し、
    　前記第２情報に基づいて、前記オブジェクトに関する第２要素を決定し、
    　前記第１要素及び前記第２要素に基づいて、前記空間に出現させる前記オブジェクトを決定する、
    　情報処理装置。
  2. 　前記プロセッサは、
    　前記オブジェクトを出現させる前記空間を撮影した第１画像を取得し、
    　前記第１画像に前記オブジェクトを重畳させた第２画像を生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、前記第１画像を処理して、前記第１画像内の物体、又は、前記第１画像のシーンを認識し、前記第１情報を取得する、
    　請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、
    　前記ユーザの位置の情報を取得し、
    　前記ユーザが特定の地域に存在している場合に、前記第１画像内の物体、又は、前記第１画像のシーンを認識し、前記第１情報を取得する、
    　請求項３に記載の情報処理装置。
  5. 　前記第２情報は、前記ユーザの移動の履歴の情報、又は、出現させた前記オブジェクトに関する履歴の情報を含む、
    　請求項１に記載の情報処理装置。
  6. 　前記第１要素は、出現させる前記オブジェクトの種類であり、
    　前記第２要素は、出現させる前記オブジェクトの表示形態又は属性である、
    　請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　前記プロセッサは、
    　前記オブジェクトを出現させる前記空間を撮影した画像を処理して、主被写体を認識し、
    　前記空間内での前記主被写体の位置に基づいて、前記空間に出現させる前記オブジェクトの配置領域を決定する、
    　請求項６に記載の情報処理装置。
  8. 　前記プロセッサは、前記配置領域での前記第１情報に基づいて、出現させる前記オブジェクトの種類を決定する、
    　請求項７に記載の情報処理装置。
  9. 　前記プロセッサは、前記ユーザの行動履歴が特定の条件を満たす場合、前記オブジェクトの表示形態をランダムに決定する、
    　請求項６に記載の情報処理装置。
  10. 　前記プロセッサは、前記第２画像の出力の指示に応じて、前記オブジェクトの表示形態又は属性を変更する、
    　請求項２から４のいずれか１項に記載の情報処理装置。
  11. 　オブジェクトを出現させる空間の環境に関する第１情報を取得するステップと、
    　ユーザの行動履歴に関する第２情報を取得するステップと、
    　前記第１情報に基づいて、前記オブジェクトに関する第１要素を決定するステップと、
    　前記第２情報に基づいて、前記オブジェクトに関する第２要素を決定するステップと、
    　前記第１要素及び前記第２要素に基づいて、前記空間に出現させる前記オブジェクトを決定するステップと、
    　を含む情報処理方法。
  12. 　オブジェクトを出現させる空間の環境に関する第１情報を取得する機能と、
    　ユーザの行動履歴に関する第２情報を取得する機能と、
    　前記第１情報に基づいて、前記オブジェクトに関する第１要素を決定する機能と、
    　前記第２情報に基づいて、前記オブジェクトに関する第２要素を決定する機能と、
    　前記第１要素及び前記第２要素に基づいて、前記空間に出現させる前記オブジェクトを決定する機能と、
    　をコンピュータに実現させる情報処理プログラム。
  13. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１２に記載のプログラムが記録された記録媒体。
PCT/JP2023/033648 2022-10-26 2023-09-15 情報処理装置、方法及びプログラム WO2024090065A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022171475 2022-10-26
JP2022-171475 2022-10-26

Publications (1)

Publication Number Publication Date
WO2024090065A1 true WO2024090065A1 (ja) 2024-05-02

Family

ID=90830544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/033648 WO2024090065A1 (ja) 2022-10-26 2023-09-15 情報処理装置、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024090065A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147151A (ja) * 2017-03-03 2018-09-20 Kddi株式会社 端末装置およびその制御方法、並びにプログラム
JP2019212062A (ja) * 2018-06-05 2019-12-12 株式会社セガゲームス 情報処理装置及びプログラム
JP2021074096A (ja) * 2019-11-06 2021-05-20 株式会社コナミデジタルエンタテインメント ゲームプログラム、端末装置、方法、およびゲームシステム
JP2021163286A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147151A (ja) * 2017-03-03 2018-09-20 Kddi株式会社 端末装置およびその制御方法、並びにプログラム
JP2019212062A (ja) * 2018-06-05 2019-12-12 株式会社セガゲームス 情報処理装置及びプログラム
JP2021074096A (ja) * 2019-11-06 2021-05-20 株式会社コナミデジタルエンタテインメント ゲームプログラム、端末装置、方法、およびゲームシステム
JP2021163286A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム

Similar Documents

Publication Publication Date Title
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
AU2023200357B2 (en) System and method for augmented and virtual reality
CN104641399B (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
KR101894021B1 (ko) Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체
CN105074783A (zh) 增强现实提供系统、记录介质及增强现实提供方法
WO2015119092A1 (ja) 拡張現実提供システム、記録媒体および拡張現実提供方法
WO2022174554A1 (zh) 图像显示方法、装置、设备、存储介质、程序及程序产品
WO2024090065A1 (ja) 情報処理装置、方法及びプログラム
US20230162433A1 (en) Information processing system, information processing method, and information processing program
JP7187092B1 (ja) ハッシュタグシステム、ハッシュタグ付与方法、ハッシュタグ付与プログラム
JP7219860B2 (ja) 通信システム、通信方法及び通信プログラム
JP3239472U (ja) 多機能ａｒ双方向装置
JP7227672B1 (ja) ハッシュタグシステム、ハッシュタグ付与方法、ハッシュタグ付与プログラム
JP7219861B2 (ja) 通信システム、通信方法及び通信プログラム
JP7192749B2 (ja) サーバ、情報処理システム、プログラム及び制御方法
CN109417651A (zh) 使用基于位置的游戏配套应用程序生成挑战
JP2022185267A (ja) 通信システム、通信方法及び通信プログラム
JP2024012051A (ja) ハッシュタグシステム、ハッシュタグ付与方法、ハッシュタグ付与プログラム