WO2019142369A1 - プログラム、情報処理装置及び情報処理方法 - Google Patents
プログラム、情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- WO2019142369A1 WO2019142369A1 PCT/JP2018/014821 JP2018014821W WO2019142369A1 WO 2019142369 A1 WO2019142369 A1 WO 2019142369A1 JP 2018014821 W JP2018014821 W JP 2018014821W WO 2019142369 A1 WO2019142369 A1 WO 2019142369A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display image
- user
- terminal
- display
- position information
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims description 63
- 239000003550 marker Substances 0.000 claims description 32
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 82
- 238000010586 diagram Methods 0.000 description 33
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 28
- 239000010931 gold Substances 0.000 description 28
- 229910052737 gold Inorganic materials 0.000 description 28
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 19
- 229910052709 silver Inorganic materials 0.000 description 19
- 239000004332 silver Substances 0.000 description 19
- 229910000906 Bronze Inorganic materials 0.000 description 12
- 239000010974 bronze Substances 0.000 description 12
- KUNSUQLRTQLHQQ-UHFFFAOYSA-N copper tin Chemical compound [Cu].[Sn] KUNSUQLRTQLHQQ-UHFFFAOYSA-N 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 6
- 229910052802 copper Inorganic materials 0.000 description 6
- 239000010949 copper Substances 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 3
- 102100027140 Butyrophilin subfamily 1 member A1 Human genes 0.000 description 2
- 101000901683 Homo sapiens Battenin Proteins 0.000 description 2
- 101000984929 Homo sapiens Butyrophilin subfamily 1 member A1 Proteins 0.000 description 2
- 101100058698 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cln3 gene Proteins 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 229920000915 polyvinyl chloride Polymers 0.000 description 2
- 239000004800 polyvinyl chloride Substances 0.000 description 2
- 241000626238 Cepora Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001596291 Namibia Species 0.000 description 1
- 241000337007 Oceania Species 0.000 description 1
- 241000533293 Sesbania emerus Species 0.000 description 1
- 241000270666 Testudines Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
Definitions
- the present invention relates to a program, an information processing apparatus, and an information processing method.
- AR augmented reality
- an application program for recognizing an AR marker is installed in an information device having a camera and a display unit such as a smartphone, a tablet terminal, a portable game machine, and the like.
- the information device recognizes the AR marker, and the content corresponding to the recognized AR marker is superimposed on the photographed image and displayed.
- Patent Document 1 discloses a system for photographing a three-dimensional object and superimposing additional information such as an image or a character on the three-dimensional object in the photographed image.
- the present invention has been made under such circumstances, and an object of the present invention is to provide a program and the like that allow each user to freely set contents.
- the information processing program receives a selection of a display image for displaying superimposed on a photographed image of a sphere having a marker on the surface on a computer, acquires position information corresponding to the display image, and receives the received It is characterized in that processing for transmitting a display image and the acquired position information in association with a user ID is executed.
- FIG. 2 is a block diagram showing an example of the configuration of a server according to the first embodiment.
- 5 is an explanatory diagram showing an example of a record layout of the user DB of the first embodiment.
- FIG. It is explanatory drawing which shows an example of the record layout of display image DB. It is explanatory drawing which shows an example of the record layout of explanatory information DB. It is explanatory drawing which shows an example of the record layout of open information DB.
- FIG. 6 is an explanatory diagram for explaining the operation of the AR system of the first embodiment.
- FIG. 6 is an explanatory diagram for explaining the operation of the AR system of the first embodiment.
- FIG. 6 is an explanatory view showing the explanatory information of the terminal of the embodiment 1;
- FIG. 6 is an explanatory view showing the explanatory information of the terminal of the embodiment 1;
- It is a flowchart which shows the process sequence at the time of the terminal of Embodiment 1 transmitting explanatory information.
- FIG. 14 is an explanatory view for explaining an operation of order display of the terminal of the embodiment 2; It is a flowchart which shows the sort process procedure in order of the date at the time of the terminal of Embodiment 2 receiving several display images.
- FIG. 18 is a block diagram showing an example of the configuration of a server according to a third embodiment.
- FIG. 18 is an explanatory drawing showing an example of the record layout of the user DB of the third embodiment. It is explanatory drawing which shows an example of the record layout of music DB.
- FIG. 18 is a block diagram showing an example of the configuration of a server according to a third embodiment.
- FIG. 18 is an explanatory drawing showing an example of the record layout of the user DB of the third embodiment. It is explanatory drawing which shows an example of the record layout of music DB.
- FIG. 18 is an explanatory diagram for explaining the operation of the AR system of the third embodiment. It is a flowchart which shows the process sequence at the time of the terminal of Embodiment 3 transmitting a display image and a music. It is a flowchart which shows the process sequence at the time of the terminal of Embodiment 3 receiving a display image and music. It is a flowchart which shows the process sequence of the game of Embodiment 3.
- FIG. FIG. 18 is a block diagram illustrating an exemplary configuration of a server according to a fourth embodiment.
- FIG. 18 is an explanatory view showing an example of a record layout of the user DB of the fourth embodiment. It is an explanatory view showing an example of a record layout of sphere DB.
- FIG. 18 is an explanatory diagram for explaining the operation of the AR system of the fourth embodiment. It is a flowchart which shows the process sequence at the time of the terminal of Embodiment 4 transmitting a display image based on bulb
- FIG. 18 is a block diagram illustrating an exemplary configuration of a server according to a fifth embodiment. It is an explanatory view showing an example of a record layout of display image DB of Embodiment 5. It is an explanatory view showing an example of a record layout of medal DB. It is an image figure which shows the example of a display of the display image of a medal
- FIG. 1 is a schematic view showing a configuration example of an AR system.
- the AR system of the present embodiment includes an information processing apparatus 1, an information processing terminal 2, and an earth ball 3 which is a sphere having an AR marker (marker) on its surface.
- the information processing apparatus 1 and the information processing terminal 2 transmit and receive information via the network N such as the Internet.
- the information processing apparatus 1 is an information processing apparatus that performs various information processing, information storage, and information transmission and reception, and is, for example, a server apparatus, a personal computer, or the like.
- the information processing apparatus 1 is assumed to be a server apparatus, and hereinafter the server 1 will be read for simplicity.
- the information processing terminal 2 is a terminal device of each user, and is, for example, an information processing device such as a smartphone, a mobile phone, a tablet, a personal computer terminal, or a game machine. Hereinafter, the information processing terminal 2 is replaced with the terminal 2 for the sake of simplicity.
- the earth ball 3 is taken as a subject, and the earth ball 3 is photographed by the terminal 2 and used.
- the earth ball 3 is, for example, a ball made of PVC (polyvinyl chloride) that becomes a sphere by being filled with air, but is not limited thereto.
- a map on the earth is printed on the surface of the earth ball 3 and AR markers are attached to appropriate positions in the map. For example, in the example shown in FIG. 1, each of the sea and the continent in the map is given a name, and each country and the city are given a country name and a city name. These characters constitute an AR marker. Moreover, although omitted in FIG. 1, the border lines of each country are included in the map, and the border lines also constitute an AR marker.
- rivers, plains, mountain ranges, etc. in the map are color-coded with predetermined colors for each topography, and each color also constitutes an AR marker.
- the seas in the map are marked with predetermined marks M1 to M4 (for example, marks M1 and M2 of ships, and marks M3 and M4 of animals such as turtles or gulls) in order to identify each sea, sea area, etc.
- predetermined marks M1 to M4 for example, marks M1 and M2 of ships, and marks M3 and M4 of animals such as turtles or gulls
- the continents in the map are given predetermined marks M5 to M7 to identify the respective continents, regions, and the like. These marks M1 to M7 also constitute an AR marker.
- FIG. 2 is a block diagram showing a configuration example of the server 1 of the first embodiment.
- the server 1 includes a control unit 11, a storage unit 12, a communication unit 13, a large capacity storage unit 14, and a reading unit 15. Each configuration is connected by a bus B.
- the control unit 11 includes an arithmetic processing unit such as a central processing unit (CPU), a micro-processing unit (MPU), etc., and reads and executes the control program 1P stored in the storage unit 12. Perform information processing, control processing, etc. Although the control unit 11 is described as a single processor in FIG. 2, it may be a multiprocessor.
- the storage unit 12 includes memory elements such as a random access memory (RAM) and a read only memory (ROM), and stores a control program 1 P or data required for the control unit 11 to execute a process. In addition, the storage unit 12 temporarily stores data and the like necessary for the control unit 11 to execute arithmetic processing.
- the communication unit 13 includes a processing circuit and the like for performing processing related to communication, and transmits and receives information with the terminal 2 and the like through the network N.
- the large capacity storage unit 14 is a large capacity storage device including, for example, a hard disk.
- the large capacity storage unit 14 stores a user DB 141, a display image DB 142, an explanatory information DB 143, and a public information DB 144.
- the user DB 141 stores user information on each user, display image ID and position information.
- the display image DB 142 stores various display images to be superimposed and displayed on the photographed image of the earth ball 3.
- the explanatory information DB 143 stores explanatory information in the form of voice or text for the display image.
- the public information DB 144 stores public information on display images.
- the storage unit 12 and the large capacity storage unit 14 may be configured as an integrated storage device. Further, the large capacity storage unit 14 may be configured by a plurality of storage devices. Further, the mass storage unit 14 may be an external storage device connected to the server 1.
- the reading unit 15 reads a portable storage medium 1 a including a CD (Compact Disc) -ROM or a DVD (Digital Versatile Disc) -ROM.
- the control unit 11 may read the control program 1 P from the portable storage medium 1 a via the reading unit 15 and store the control program 1 P in the large-capacity storage unit 14.
- the control unit 11 may download the control program 1P from another computer via the network N or the like and store the control program 1P in the large-capacity storage unit 14.
- the control unit 11 may read the control program 1P from the semiconductor memory 1b.
- the server 1 is not limited to the above configuration, and may include, for example, an input unit that receives an operation input, and a display unit that displays information related to the server 1.
- the server 1 is demonstrated as a single-piece thing by this embodiment, it does not restrict to this.
- they may be physically configured by a plurality of servers, or may be configured by a plurality of virtual machines.
- FIG. 3 is an explanatory view showing an example of the record layout of the user DB 141 of the first embodiment.
- the user DB 141 includes a user ID column, a user rank column, an image ID column, and a position (latitude, longitude) column.
- the user ID column stores the ID of the uniquely identified user in order to identify each user.
- the user rank column stores rank information of user accounts. For example, the rank of the user is provided with three ranks of “regular”, “silver”, and “gold”.
- a point system for the user's rank is introduced, points are added according to the number of purchases, purchase price, etc., and when the points reach a certain level, ranks up in the order of "regular", “silver”, “gold”.
- the image ID column stores an ID of a display image to be displayed superimposed on the photographed image of the earth ball 3.
- the position (latitude, longitude) column stores position information associated with the display image. Position information includes latitude and longitude. The position information may be a zip code, an address or a facility name.
- FIG. 4 is an explanatory view showing an example of the record layout of the display image DB 142.
- the display image DB 142 includes an image ID column, a type column, an image column, a description information ID column, and a public information ID column.
- the image ID column stores the ID of the display image uniquely identified in order to identify the display image.
- the type column stores the type of display image. Types of display images include still images, stereoscopic images, and moving images.
- the image sequence stores data of a display image corresponding to the image ID.
- the explanation information ID column stores the ID of the explanation information associated with the display image.
- the public information ID column stores the ID of public information associated with the display image.
- the disclosure information is not limited to setting the disclosure information for each display image, and the disclosure information may be set for the entire content. For example, all display images of the user may be disclosed to the friend of the user.
- FIG. 5 is an explanatory view showing an example of the record layout of the explanation information DB 143.
- the explanatory information DB 143 includes an explanatory information ID column, a type column, and an explanatory information column.
- the explanation information ID column stores the ID of the uniquely specified explanation information in order to identify the explanation information associated with the display image.
- the type column stores the type of explanatory information.
- the type of explanatory information includes voice information or text information.
- the text information may be a simple character or may be a character including a URL (Uniform Resource Locator) or the like.
- the explanation information string stores voice data or text data corresponding to the explanation information ID.
- FIG. 6 is an explanatory view showing an example of the record layout of the public information DB 144.
- the public information DB 144 includes a public information ID column, a type column, and a public range column.
- the public information ID column stores the ID of the uniquely identified public information in order to identify the public information.
- the type column is the type of publication. In the present embodiment, the types of publication include publication, non-publication and partial publication.
- the disclosure range column stores information on the disclosure range corresponding to the disclosure information ID. In the present embodiment, the disclosure types are classified into “disclosure”, “disclosure", and "partial disclosure”. If "Public” is set as the public type, "All" is set in the Public range column.
- the disclosure range is not limited to the above configuration, and the disclosure range may be set based on, for example, the region of the world. Specifically, it may be divided into six according to geographical division: Africa, Asia, Europe, North America, Central and South America, Oceania (Pacific State). Further, for example, with respect to Africa, East Africa, Central Africa, North Africa, South Africa, West Africa may be divided.
- Africa, East Africa, Central Africa, North Africa, South Africa, West Africa may be divided.
- the release range it is possible to provide various services such as a presales area, a mail order prohibited area or a sale end area.
- the user may freely set the disclosure range. For example, the information may be disclosed only to friends specified by the user.
- FIG. 7 is a block diagram showing a configuration example of the terminal 2.
- the terminal 2 includes a control unit 21, a storage unit 22, a communication unit 23, an album 24, an input unit 25, a display unit 26, a photographing unit 27, a clock unit 28, a microphone 29, and a speaker 20.
- Each configuration is connected by a bus B.
- the control unit 21 includes an arithmetic processing unit such as a CPU and an MPU, and reads and executes the control program 2P stored in the storage unit 22 to perform various information processing, control processing, and the like related to the terminal 2. Although the control unit 21 is described as a single processor in FIG. 7, it may be a multiprocessor.
- the storage unit 22 includes memory elements such as a RAM and a ROM, and stores a control program 2P or data required for the control unit 21 to execute a process.
- the storage unit 22 also temporarily stores data and the like necessary for the control unit 21 to execute arithmetic processing.
- the communication unit 23 includes a processing circuit and the like for performing processing related to communication, and transmits and receives information to and from the server 1 via the network N.
- the album 24 includes a display image and music.
- the input unit 25 is a keyboard or a mouse.
- the display unit 26 is a liquid crystal display device. Further, the input unit 25 may be a touch panel integrated with the display unit 26.
- the photographing unit 27 is, for example, a photographing device such as a charge coupled device (CCD) camera or a complementary metal oxide semiconductor (CMOS) camera.
- the control unit 21 can recognize marker information or a QR code (registered trademark) or the like on the surface of the sphere in the photographed image of the ground ball 3 by the photographing unit 27.
- the photographing unit 27 may not be built in the terminal 2 and may be directly connected to the terminal 2 outside so as to be capable of photographing.
- the clock unit 28 is a circuit that counts time or elapsed time, etc., and provides the control unit 21 with a time measurement result in accordance with a request from the control unit 21.
- the clock unit 28 also provides a timer function.
- the timer function is a function of notifying the control unit 21 of that when a preset time has passed since the start instruction was given.
- the timer function is a function of responding to an inquiry from the control unit 21 whether or not a preset time has passed since the start instruction was issued.
- the microphone 29 is a device that converts sound into an electrical signal.
- the speaker 20 is a device that converts an electrical signal into a sound.
- the microphone 29 and the speaker 20 may be a headset connected to the terminal 2 by a short distance wireless communication method such as Bluetooth (registered trademark).
- FIG. 8A and 8B are explanatory diagrams for explaining the operation of the AR system of the first embodiment.
- a coffee plantation sales system is described as an example of the embodiment of the AR system.
- FIG. 8A is an explanatory view showing the entire operation.
- the control unit 21 of the terminal 2 of the coffee plantation receives the selection of the display image to be superimposed and displayed on the photographed image of the earth ball 3.
- the display image includes a still image, a stereoscopic image, and a moving image.
- the display image may be acquired from the album 24 of the terminal 2 of the coffee plantation, or may be photographed using the photographing unit 27 of the terminal 2 of the coffee plantation.
- the received display image is a photograph of a coffee flower blooming in a farm, a crop photograph of a coffee seed, or a shipping photograph of coffee beans.
- the control unit 21 of the terminal 2 of the coffee plantation acquires position information on the received display image.
- the acquisition process of the position information may be acquired on the server 1 side.
- latitude and longitude information attached to the image may be acquired.
- the position information when an image is photographed using a digital camera with a GPS function or a smartphone, the position information may be extracted from an image photographed by adding latitude and longitude information by GPS. Further, position information may be manually input by the input unit 25 of the terminal 2 of the coffee plantation.
- location information may be acquired by a Google (registered trademark) map (Google (registered trademark) Map) service.
- Google Maps API Application Programming Interface
- the terminal 2 receives the location information of the screen tapped on the map or the keyword information of the input address, and transmits the received information to the Google Map server via the Google Maps API.
- the Google Map server acquires position information such as latitude and longitude corresponding to the information transmitted from the terminal 2, and transmits the position information to the terminal 2.
- the communication unit 23 of the terminal 2 receives the position information transmitted from the Google Map server.
- position information may be extracted based on marker information in the photographed image of the earth ball 3.
- 9A and 9B are image diagrams showing an example of acquisition of position information. It is an example of acquisition of position information based on AR marker information in a photography picture of earth ball 3.
- FIG. 9A is an image diagram showing an example of acquisition of position information by a drag and drop operation.
- the control unit 21 of the terminal 2 moves the selected display image to the set destination in the photographed image of the earth ball 3 by the drag and drop operation.
- the control unit 21 of the terminal 2 recognizes AR marker information in accordance with the set destination in the captured image of the earth ball 3 and extracts position information based on the recognized AR marker information.
- FIG. 9B is an image diagram showing an example of acquisition of position information by menu operation.
- the control unit 21 of the terminal 2 recognizes the AR marker information according to the setting destination in the photographed image by the tap operation of the setting destination in the photographed image of the earth ball 3.
- the control unit 21 of the terminal 2 extracts position information based on the recognized AR marker information, and generates a menu for position selection based on the extracted position information.
- the control unit 21 of the terminal 2 displays the generated menu for position selection superimposed on the photographed image of the ground ball 3.
- the control unit 21 of the terminal 2 receives a tap operation in the “South Africa” area in the captured image, and recognizes an AR marker located at or near the tapped point.
- the control unit 21 of the terminal 2 acquires classification information of the “South Africa” area based on the recognized AR marker information, and generates a menu based on the acquired classification information of the “South Africa” area.
- the items of the generated menu are "Swaziland", “Namibia”, “Botswana”, “South Africa” and "Lesotho”.
- the control unit 21 of the terminal 2 superimposes the generated menu on the photographed image of the earth ball 3 and displays the menu via the display unit 26 of the terminal 2.
- the control unit 21 of the terminal 2 may receive a tap operation of an item of the menu, and may acquire position information corresponding to the item of the received menu.
- the display format is not limited to the menu, and may be a dialog box or a combo box.
- the control unit 21 of the terminal 2 of the coffee plantation associates the selected display image and the position information associated with the display image with the user ID of the coffee plantation.
- the communication unit 23 of the terminal 2 of the coffee plantation transmits the user ID of the coffee plantation, the display image, and the position information associated with the display image to the server 1.
- the control unit 21 of the terminal 2 first receives the selection of the display image and then receives the acquisition of the position information, but the present invention is not limited to this.
- control part 21 of terminal 2 may receive acquisition of position information first, and may receive selection of a display picture corresponding to the received position information.
- the communication unit 13 of the server 1 receives the user ID of the coffee plantation transmitted from the terminal 2 of the coffee plantation, the display image to be displayed superimposed on the photographed image of the earth ball 3 and the position information associated with the display image .
- the control unit 11 of the server 1 stores the received display image and the position information associated with the display image in the large-capacity storage unit 14 in association with the received user ID of the coffee plantation. Specifically, the control unit 11 of the server 1 assigns a unique display image ID to the display image, and stores the coffee farm user ID, the display image ID, and the position information in the user DB 141 as one record.
- the control unit 11 of the server 1 stores the display image ID and the data of the display image in the display image DB 142 as one record.
- FIG. 10 is an image diagram showing an example of acquisition of a user ID by the terminal 2.
- the control unit 21 of the customer terminal 2 acquires a photographed image of the ground ball 3 photographed by the photographing unit 27 of the customer terminal 2.
- the control unit 21 of the terminal 2 of the customer receives the tap operation of “coffee plantation” by the input unit 25 of the terminal 2 of the customer, and acquires the user ID of the coffee plantation.
- the communication unit 23 of the terminal 2 of the customer transmits the acquired user ID of the coffee plantation to the server 1.
- the user ID may be acquired not only by the above method but also by manual input, for example. Although the example which transmits the user ID of a coffee plantation was shown in this embodiment, it does not restrict to this. It is also possible to transmit information such as a URL or a content ID that can specify the type of content to be displayed superimposed on the photographed image of the earth ball 3.
- the communication unit 13 of the server 1 receives the user ID of the coffee plantation transmitted from the terminal 2 of the customer.
- the control unit 11 of the server 1 searches the user DB 141 of the large capacity storage unit 14 based on the received user ID of the coffee plantation, and acquires the display image ID and the position information of the display image corresponding to the user ID of the coffee plantation. .
- the control unit 11 acquires a display image corresponding to the acquired display image ID from the display image DB 142.
- the communication unit 13 of the server 1 transmits the acquired display image and the position information associated with the display image to the terminal 2 of the customer.
- the communication unit 23 of the terminal 2 of the customer receives the display image corresponding to the coffee farm user ID transmitted from the server 1 and the position information associated with the display image. As shown in FIG. 8B, the control unit 21 of the terminal 2 of the customer specifies the ball position in the photographed image of the ground ball 3 corresponding to the received position information. Through the display unit 26 of the terminal 2 of the customer, the control unit 21 of the terminal 2 of the customer displays the thumbnail of the received display image superimposed on the specified spherical position. Further, when the input unit 25 of the customer terminal 2 accepts a tap operation on the display image, the control unit 21 of the customer terminal 2 performs enlargement processing of the display image.
- the control unit 21 of the customer terminal 2 can display the enlarged display image so as to be superimposed on the photographed image of the ground ball 3 through the display unit 26 of the customer terminal 2.
- the display image of the user of the coffee plantation is received and displayed on the terminal 2 of the customer
- the user may receive and display the transmitted display image.
- the terminal 2 of the coffee plantation receives from the server 1 a display image corresponding to the user ID of the user and position information associated with the display image.
- the control unit 21 of the terminal 2 of the coffee plantation specifies the position of the sphere in the photographed image of the earth ball 3 corresponding to the received position information.
- the control unit 21 of the terminal 2 of the coffee plantation may superimpose and display the received display image on the specified sphere position.
- FIG. 11 is a flowchart showing a processing procedure when the terminal 2 of the first embodiment transmits a display image.
- the control unit 21 of the terminal 2 receives an input of authentication information such as a user ID through the input unit 25 of the terminal 2.
- the communication unit 23 of the terminal 2 transmits the received authentication information to the server 1 (step S201).
- the control unit 11 of the server 1 performs an authentication process on authentication information such as a user ID received by the communication unit 13 of the server 1 (step S101).
- the control unit 11 of the server 1 determines whether user authentication has succeeded (step S102). If it is determined that the user authentication has succeeded (YES in step S102), the communication unit 13 of the server 1 transmits, to the terminal 2, an indication of success.
- the control unit 11 of the server 1 ends the process.
- the control unit 21 of the terminal 2 receives a selection of a display image to be displayed superimposed on the photographed image of the ground ball 3 (step S202) .
- the control unit 21 of the terminal 2 acquires position information corresponding to the selected display image (step S203), and associates the selected display image and the acquired position information with the user ID.
- the communication unit 23 of the terminal 2 transmits the user ID, the display image, and the position information to the server 1 (step S204).
- the communication unit 13 of the server 1 receives the user ID, the display image, and the position information associated with the display image transmitted from the terminal 2 (step S103).
- the control unit 11 of the server 1 associates the received display image and the position information associated with the display image with the user ID, and stores the user ID, the display image and the position information in the large capacity storage unit 14 (step S104).
- association with the display image may be performed based on the user ID received in step S101.
- FIG. 12 is a flowchart showing a processing procedure when the terminal 2 of the first embodiment receives a display image.
- the control unit 21 of the terminal 2 acquires a photographed image of the ground ball 3 photographed by the photographing unit 27 of the terminal 2 (step S205).
- the communication unit 23 of the terminal 2 transmits the user ID corresponding to the display image to be displayed superimposed on the photographed image of the earth ball 3 to the server 1 (step S206).
- the communication unit 13 of the server 1 receives the user ID transmitted from the terminal 2 (step S105).
- the control unit 11 of the server 1 compares the received user ID with the user ID stored in the user DB 141 of the large capacity storage unit 14, and acquires the display image ID and the position information corresponding to the same user ID (step S106). ).
- the control unit 11 of the server 1 acquires a display image corresponding to the acquired display image ID from the display image DB 142 of the large capacity storage unit 14 (step S107).
- the communication unit 13 of the server 1 transmits the acquired display image and position information associated with the display image to the terminal 2 (step S108).
- the communication unit 23 of the terminal 2 receives the display image and the position information associated with the display image transmitted from the server 1 (step S207).
- the control unit 21 of the terminal 2 specifies the ball position in the photographed image of the earth ball 3 corresponding to the received position information (step S208). Via the display unit 26 of the terminal 2, the control unit 21 of the terminal 2 displays the received display image so as to overlap the position of the sphere in the specified captured image (step S209).
- the explanatory information includes voice information or text information.
- the control unit 21 of the terminal 2 may receive voice information via the microphone 29 of the terminal 2.
- the communication unit 23 of the terminal 2 may receive voice information from an external device.
- the control unit 21 of the terminal 2 receives text information via the input unit 25 of the terminal 2.
- the explanatory information may be set simultaneously with the display image, or may be set separately from the display image.
- the communication unit 23 of the terminal 2 of the coffee plantation transmits the user ID of the coffee plantation to the server 1.
- the control unit 11 of the server 1 acquires the display image ID of the display image corresponding to the user ID of the coffee plantation received by the communication unit 13 of the server 1.
- the communication unit 13 of the server 1 transmits the acquired display image ID to the terminal 2 of the coffee plantation.
- the communication unit 23 of the terminal 2 of the coffee plantation receives the display image ID transmitted from the server 1.
- the control unit 21 of the terminal 2 of the coffee plantation receives an input of the explanation information, and associates the received explanation information with the user ID of the coffee plantation and the display image ID.
- the communication unit 23 of the terminal 2 of the coffee plantation transmits the user ID of the coffee plantation, the display image ID and the explanation information to the server 1.
- the communication unit 13 of the server 1 receives the user ID of the coffee plantation, the display image ID, and the explanation information transmitted from the terminal 2 of the coffee plantation.
- the control unit 11 of the server 1 stores the received explanation information in the large-capacity storage unit 14 in association with the user ID of the coffee plantation and the display image ID.
- control unit 11 of the server 1 assigns a unique explanation information ID to the explanation information, and the explanation information ID is stored in the user DB 141 corresponding to the received user ID of the coffee plantation and the display image ID.
- the control unit 11 of the server 1 stores the data of the explanation information ID and the explanation information as one record in the explanation information DB 143.
- the communication unit 23 of the terminal 2 of the customer transmits the user ID of the coffee plantation to the server 1.
- the control unit 11 of the server 1 acquires a display image corresponding to the user ID of the coffee plantation received by the communication unit 13 of the server 1 and position information and explanation information associated with the display image.
- the communication unit 13 of the server 1 transmits the acquired display image and the position information and the explanation information associated with the display image to the terminal 2 of the customer.
- 13A and 13B are explanatory diagrams showing explanatory information of the terminal 2 according to the first embodiment.
- the communication unit 23 of the terminal 2 of the customer receives the display image transmitted from the server 1 and the position information and the explanation information associated with the display image.
- FIG. 13A is a display image diagram of explanatory information in text format.
- the control unit 21 of the terminal 2 of the customer specifies the ball position in the photographed image of the earth ball 3 corresponding to the received position information. Via the display unit 26 of the customer terminal 2, the control unit 21 of the customer terminal 2 superimposes and displays the display image on the specified spherical position. Further, when the input unit 25 of the customer terminal 2 accepts a tap operation on the display image, the control unit 21 of the customer terminal 2 performs enlargement processing of the display image.
- the control unit 21 of the customer terminal 2 can display the enlarged display image and the explanation information associated with the display image superimposed on the photographed image of the earth ball 3 through the display unit 26 of the customer terminal 2 It becomes. Note that the display image may be displayed on the entire screen of the display unit 26 of the customer terminal 2 without being limited to the display format described above, and may be displayed covering the display image and the explanation information associated with the display image.
- FIG. 13B is an image diagram of the explanatory information on the audio format.
- the control unit 21 of the terminal 2 of the customer specifies the ball position in the photographed image of the earth ball 3 corresponding to the received position information. Via the display unit 26 of the customer terminal 2, the control unit 21 of the customer terminal 2 superimposes and displays the display image on the specified spherical position. In addition, when a tap operation of a display image is received by the input unit 25 of the customer terminal 2, the control unit 21 of the customer terminal 2 performs enlargement processing of the display image, and generates an explanatory information reproduction button BTN1.
- the control unit 21 of the customer terminal 2 superimposes and displays the enlarged display image and the generated explanation information reproduction button BTN 1 on the photographed image of the earth ball 3 via the display unit 26 of the customer terminal 2.
- the control unit 21 of the customer terminal 2 receives the tap operation of the explanation information reproduction button BTN1 by the input unit 25 of the customer terminal 2, the control unit 21 reproduces the voice information received through the speaker 20 of the customer terminal 2 Is possible.
- the reproduction of audio information is not limited to the above-described format.
- the control unit 21 of the terminal 2 of the customer displays the display image superimposed on the photographed image of the earth ball 3 without generating the explanation information reproduction button BTN 1, the control unit 21 of the terminal 2 via the speaker 20 of the customer 2 Audio information may be reproduced automatically.
- FIG. 14 is a flowchart showing a processing procedure when the terminal 2 of the first embodiment transmits the explanation information.
- the control unit 11 of the server 1 acquires a display image ID corresponding to the user ID transmitted from the terminal 2 from the user DB 141 of the large capacity storage unit 14 (step S109).
- the communication unit 13 of the server 1 transmits the acquired display image ID to the terminal 2 (step S110).
- the communication unit 23 of the terminal 2 receives the display image ID transmitted from the server 1 (step S210).
- the control unit 21 of the terminal 2 sets the explanatory information including the audio information or the text information in association with the user ID and the received display image ID (step S211).
- the communication unit 23 of the terminal 2 transmits the user ID, the display image ID and the explanation information to the server 1 (step S212).
- the communication unit 13 of the server 1 receives the user ID, the display image ID, and the explanation information transmitted from the terminal 2 (step S111).
- the control unit 11 of the server 1 stores the received explanation information in the explanation information DB 143 of the large capacity storage unit 14 in association with the received user ID and display image ID (step S112).
- FIG. 15 is a flowchart showing a processing procedure when the terminal 2 of the first embodiment receives the explanatory information.
- the control unit 11 of the server 1 acquires the display image ID and the position information corresponding to the received user ID from the user DB 141 of the large capacity storage unit 14 (step S113).
- the control unit 11 acquires the display image and the explanation information ID corresponding to the acquired display image ID from the display image DB 142 of the large capacity storage unit 14 (step S114).
- the control unit 11 acquires the explanation information corresponding to the acquired explanation information ID from the explanation information DB 143 of the large capacity storage unit 14 (step S115).
- the communication unit 23 of the server 1 transmits the acquired display image and the position information and the explanation information associated with the display image to the terminal 2 (step S116).
- the communication unit 23 of the terminal 2 receives the display image transmitted from the server 1 and the position information and the explanation information associated with the display image (step S213).
- the control unit 21 of the terminal 2 specifies the ball position in the photographed image of the earth ball 3 corresponding to the received position information.
- the control unit 21 of the terminal 2 displays the received display image and the explanation information associated with the display image superimposed on the specified spherical position (step S214).
- Public information includes public, private and partial public.
- the displayed image is disclosed to everyone without restriction.
- the display image is disclosed only to the user who owns the display image, and is not disclosed to other users.
- partial release make it available to users who satisfy the conditions within the release range.
- the disclosure range that can be set to be partially published is the same rank as the user rank of the user DB 141, and there are three of “regular”, “silver”, and “gold”. In summary, it is made available to users who have been set to a specified rank or higher.
- the display image is disclosed to users belonging to so-called “regular”, “silver” and “gold” ranks.
- “Silver” is set for partial disclosure
- the display image is disclosed to users belonging to so-called “Silver” and “Gold” ranks.
- “gold” is set for partial release, the display image is made available only to users belonging to the "gold” rank.
- the public information may be set when the display image is selected, and may be transmitted to the server 1 simultaneously with the display image, or the public information is added to the display image already transmitted. You may send it.
- the control unit 11 of the server 1 stores the public information transmitted from the terminal 2 in the public information DB 144 of the large capacity storage unit 14.
- FIG. 16 is a flowchart showing a processing procedure when the terminal 2 of the first embodiment transmits the public information.
- the control unit 21 of the terminal 2 sets the public information in association with the user ID and the received display image ID (step S215).
- the communication unit 23 of the terminal 2 transmits the user ID, the display image ID, and the disclosure information to the server 1 (step S216).
- the communication unit 13 of the server 1 receives the user ID, the display image ID, and the disclosure information transmitted from the terminal 2 (step S117).
- the control unit 11 of the server 1 stores the received public information in the public information DB 144 of the mass storage unit 14 in association with the received user ID and display image ID (step S118).
- FIG. 17 is a flowchart showing a processing procedure when the terminal 2 of the first embodiment receives a display image based on public information.
- the control unit 11 of the server 1 acquires the public information ID corresponding to the acquired display image ID from the display image DB 142 of the large capacity storage unit 14 (step S119).
- the control unit 11 determines the disclosure range of the display image based on the acquired disclosure information ID (step S120). The subroutine of open range determination will be described later.
- the control unit 11 of the server 1 determines whether the release range determination result is release (step S121).
- step S121 When it is determined that the open range result is open (YES in step S121), the control unit 11 of the server 1 acquires the display image and the position information associated with the display image. When it is determined that the disclosure range result is non-disclosure (NO in step S121), the control unit 11 of the server 1 ends the process.
- FIG. 18 is a flowchart showing the processing procedure of the open range determination subroutine of the first embodiment.
- the control unit 11 of the server 1 determines whether the received user ID and the logged-in user ID are the same (step S1801). If it is determined that the received user ID and the logged-in user ID are the same (YES in step S1801), the user has no display restriction on the transmitted display image, and the control unit 11 discloses the determination result. The setting is made (step S1809). If it is determined that the received user ID and the logged-in user ID are not the same (NO in step S1801), the control unit 11 acquires the type of disclosure corresponding to the disclosure information ID from the disclosure information DB 144 of the large capacity storage unit 14. (Step S1802).
- the control unit 11 determines whether the type of disclosure is non-disclosure (step S1803). If it is determined that the type of disclosure is non-disclosure (YES in step S1803), the control unit 11 sets non-disclosure as the determination result (step S1810). If it is determined that the type of disclosure is other than non-disclosure (NO in step S1803), the control unit 11 determines whether the type of disclosure is disclosure (step S1804). If it is determined that the type of disclosure is disclosure (YES in step S1804), the control unit 11 sets the determination result to disclosure (step S1809). If it is determined that the type of disclosure is other than disclosure (NO in step S1804), the control unit 11 determines whether the type of disclosure is partial disclosure (step S1805).
- control unit 11 acquires the rank of the user corresponding to the logged-in user ID by user DB 141 of large-capacity storage unit 14 of server 1 (Step S1806).
- the control unit 11 compares the acquired rank of the user with the rank of the disclosure range (step S1807).
- the control unit 11 determines whether the rank of the user is equal to or higher than the rank of the disclosure range (step S1808). If it is determined that the rank of the user is equal to or higher than the rank of the disclosure range (YES in step S1808), the control unit 11 sets the determination result to disclosure (step S1809).
- step S1810 If it is determined that the rank of the user is lower than the rank of the disclosure range (NO in step S1808), the control unit 11 sets the determination result to non-disclosure (step S1810). If it is determined that the disclosure information is other than partial disclosure (NO in step S1805), the control unit 11 sets the determination result to non-disclosure (step S1810). After the processing of step S1809 and step S1810, the control unit 11 returns the disclosure range determination result (step S1811).
- the present embodiment it is possible to share the display image with the user targeted for publication.
- the security level can be enhanced by setting public, private and partial public. Furthermore, it becomes possible to set the open range appropriately and to realize a versatile AR system.
- a cruise operation system will be described as an example of an embodiment of the AR system.
- the control unit 21 of the terminal 2 of the travel agency receives a selection of display images of a plurality of tourist spots to be superimposed and displayed on the photographed image of the earth ball 3 based on the cruise operation route.
- the display image of the tourist spot may be photographed by the photographing unit 27 of the terminal 2 of the travel company, or may be selected from the album 24 of the terminal 2 of the travel company, and furthermore, the communication unit of the terminal 2 of the travel company It may be received from an external device (not shown) via 23.
- the control unit 21 of the travel company terminal 2 acquires position information of each of the received plurality of display images, and associates the received plurality of display images and the acquired position information with the user ID.
- the acquisition process of the position information is the same as the acquisition process of the position information of the first embodiment, and thus the description thereof is omitted.
- the communication unit 23 of the travel company terminal 2 transmits the user ID, the plurality of received display images, and the position information associated with the display images to the server 1.
- the server 1 stores the user ID, the plurality of display images, and the position information associated with the display images transmitted from the terminal 2 of the travel company in the large-capacity storage unit 14.
- the control unit 21 of the traveler terminal 2 acquires a photographed image of the earth ball 3 photographed by the photographing unit 27 of the traveler terminal 2.
- the communication unit 23 of the traveler terminal 2 transmits the user ID of the travel company to the server 1.
- the communication unit 13 of the server 1 receives the user ID of the travel company transmitted from the terminal 2 of the traveler.
- the control unit 11 of the server 1 acquires a plurality of display images corresponding to the user ID of the travel company and position information associated with the display images by the user DB 141 of the large-capacity storage unit 14.
- the communication unit 13 of the server 1 transmits the plurality of acquired display images and position information associated with the display images to the terminal 2 of the traveler.
- the communication unit 23 of the traveler's terminal 2 receives a plurality of display images regarding the cruise operation information of the travel company transmitted from the server 1 and position information associated with the display images. It becomes possible to switch and display the photographed image of the earth ball 3 in order of date and time or in the order of display according to the plurality of received display images.
- the order of date and time is the old or new date order.
- the order of the display order may be set by manual input or may be set by another method.
- the control unit 21 may set the display order at random for a plurality of display images.
- FIG. 19 is an explanatory diagram for explaining an operation of order display of the terminal 2 of the second embodiment.
- P 1, P 2, P 3 and P 4 shown in the figure represent tourist spots on the cruise route.
- the communication unit 23 of the traveler terminal 2 receives the display images of P1, P2, P3 and P4.
- the received display images of P1, P2, P3 and P4 are images created in the order of the old date and time based on the traveling direction of the cruise operation route. For example, when P1 is the departure point, the date and time of the display image of P1 is the oldest date, and when P4 is the final destination, the date and time of the display image of P4 is the latest date and time.
- the control unit 21 of the traveler terminal 2 extracts date and time information from the received display images of P1, P2, P3 and P4, respectively.
- the control unit 21 of the traveler terminal 2 sorts the display images of P1, P2, P3 and P4 in the order of the old date and time indicated by the extracted date and time information. For example, the sorting result of the display image is in the order of P1, P2, P3 and P4.
- the control unit 21 of the traveler terminal 2 sets the display time interval to 5 seconds for the plurality of sorted display images.
- the display time interval may be set to any time interval.
- the control unit 21 of the traveler's terminal 2 obtains the first display image from among the plurality of sorted display images.
- the control unit 21 of the traveler's terminal 2 specifies the position of the sphere in the captured image corresponding to the position information associated with the first display image.
- the control unit 21 of the traveler terminal 2 superimposes and displays the first display image on the specified spherical position.
- the timer by the clock unit 28 of the traveler's terminal 2 is activated to calculate the elapsed time.
- the control unit 21 of the traveler's terminal 2 clears the first display image being displayed from among the photographed images of the earth ball 3 and acquires the second display image from among the plurality of display images.
- the control unit 21 of the traveler's terminal 2 specifies the position of the sphere in the captured image corresponding to the position information associated with the second display image. Via the display unit 26 of the traveler terminal 2, the control unit 21 of the traveler terminal 2 superimposes and displays the second display image on the sphere position via the specified display unit 26. In addition, before acquiring the next display image out of a plurality of display images, it is not necessary to clear the display image being displayed at the ball position in the photographed image.
- the third or fourth display process is the same as the second, and therefore the description thereof is omitted. After the fourth display image is superimposed and displayed on the position of the sphere in the captured image corresponding to the position information associated with the fourth display image, the timer is ended.
- the above-described processing may be continued and executed without ending the timer.
- the first display image is acquired again from among the plurality of display images, and the plurality of displays are displayed by overlapping and displaying on the spherical position in the photographed image corresponding to the position information associated with the first display image. Images can be repeatedly switched and displayed.
- FIG. 20 is a flowchart showing a sorting process procedure in order of date and time when the terminal 2 of the second embodiment receives a plurality of display images.
- the control unit 11 of the server 1 acquires a plurality of display image IDs and position information corresponding to the received user ID from the user DB 141 of the large capacity storage unit 14 (step S131).
- the control unit 11 of the server 1 acquires each display image corresponding to each acquired display image ID from the display image DB 142 of the large capacity storage unit 14 (step S132).
- the communication unit 13 of the server 1 transmits the plurality of acquired display images and position information associated with the display images to the terminal 2 (step S133).
- the communication unit 23 of the terminal 2 receives the plurality of display images transmitted from the server 1 and the position information associated with the display images (step S231).
- the control unit 21 of the terminal 2 specifies a display range based on the acquired AR marker information in the captured image of the ground ball 3 and extracts a display image within the specified display range from among the plurality of received display images (FIG. Step S232). For the process of specifying the display range, for example, the control unit 21 of the terminal 2 extracts the display center point and the display radius in the photographed image of the earth ball 3, and the latitude and longitude position information corresponding to the extracted display center point recognize.
- the control unit 21 of the terminal 2 may specify the display range according to the position information within the radius extracted centering on the recognized latitude and longitude points.
- the control unit 21 of the terminal 2 sequentially extracts date and time information from the plurality of extracted display images (step S233), and determines whether the display image is the last (step S234). If it is determined that the display image is not the last (NO in step S234), the control unit 21 of the terminal 2 returns to the process of extracting date and time information of the display image and extracts date and time information of the next display image (step S233).
- control unit 21 of the terminal 2 sorts the plurality of display images in the chronological order or the chronological order according to the plurality of extracted date and time information (step S235). ).
- the control unit 21 of the terminal 2 sets a time interval for switching and displaying the plurality of sorted display images (step S236).
- FIG. 21 is a flowchart showing a processing procedure when the terminal 2 of the second embodiment performs switching display.
- a timer is started and executed by the clock unit 28 of the terminal 2 (step S237).
- the control unit 21 of the terminal 2 sequentially acquires the display image and the position information associated with the display image from among the plurality of sorted display images (step S238), and the ball position in the photographed image corresponding to the acquired position information Are identified (step S239).
- the control unit 21 of the terminal 2 superimposes and displays a display image on the position of the sphere in the specified captured image (step S240).
- the control unit 21 of the terminal 2 determines whether the acquired display image is the last display image (step S241).
- step S241 the control unit 21 of the terminal 2 ends the timer (step S244). If it is determined that the display image is not the last one (NO in step S241), the control unit 21 of the terminal 2 determines whether the set time interval has elapsed (step S242). If it is determined that the set time interval has not elapsed (NO in step S 242), the control unit 21 of the terminal 2 continuously monitors the time by the timer. If it is determined that the set time interval has elapsed (YES in step S242), the control unit 21 of the terminal 2 clears the display image being displayed on the captured image (step S243). The control unit 21 of the terminal 2 returns to the display image and position information acquisition process, and acquires position information associated with the next display image and the display image from among the plurality of display images (step S238).
- FIG. 22 is a flowchart of the sorting process of the terminal 2 of the second embodiment.
- the control unit 21 of the terminal 2 receives an input of display order for the plurality of received display images (step S245).
- the control unit 21 of the terminal 2 sorts the plurality of display images in the order of the received display order (step S246).
- the next process is the same as that of FIG.
- FIG. 23 is an explanatory diagram for explaining an operation including trajectory information of the terminal 2 of the second embodiment.
- the control unit 21 of the traveler's terminal 2 sorts the display images P1, P2, P3 and P4 of the plurality of tourist spots in order of date and time. For example, the sorting result of the display images of the tourist spots is in the order of P1, P2, P3 and P4.
- the control unit 21 of the traveler terminal 2 sets a time interval for switching and displaying a plurality of display images. For example, the time interval is set to 5 seconds.
- the control unit 21 of the traveler terminal 2 acquires position information associated with the first display image P1 and the first display image P1 among the plurality of display images.
- the control unit 21 of the traveler terminal 2 generates locus information T1 based on the position information associated with the acquired first display image P1.
- the control unit 21 of the traveler terminal 2 specifies the position of the sphere in the photographed image of the ground ball 3 corresponding to the positional information associated with the acquired first display image P1.
- the control unit 21 of the traveler terminal 2 superimposes and displays the acquired first display image P1 and the generated trajectory information T1 on the specified spherical position.
- the control unit 21 of the traveler's terminal 2 sequentially displays the next display image P2 among the plurality of display images. And the positional information linked
- the control unit 21 of the traveler terminal 2 updates the existing trajectory information T1 based on the position information associated with the first display image P1 and the position information associated with the next display image P2.
- the control unit 21 of the traveler terminal 2 clears the first display image P1 being displayed from among the photographed images of the earth ball 3.
- the control unit 21 of the traveler terminal 2 specifies the position of the sphere in the photographed image of the ground ball 3 corresponding to the positional information associated with the acquired next display image P2. Via the display unit 26 of the traveler terminal 2, the control unit 21 of the traveler terminal 2 displays the acquired next display image P2 and the updated trajectory information T1 superimposed on the identified spherical position.
- the control section 21 of the traveler's terminal 2 sequentially displays the next display image P3 among the plurality of display images. And the positional information linked
- the control unit 21 of the traveler terminal 2 updates the existing trajectory information T1 based on the display image P1, the display image P2, and the position information associated with the display image P3.
- the control unit 21 of the traveler terminal 2 clears the display image P2 being displayed from among the photographed images of the earth ball 3.
- the control unit 21 of the traveler terminal 2 specifies the position of the sphere in the photographed image of the earth ball 3 corresponding to the positional information associated with the acquired next display image P3. Via the display unit 26 of the traveler terminal 2, the control unit 21 of the traveler terminal 2 displays the acquired next display image P3 and the updated trajectory information T1 superimposed on the identified spherical position.
- the control section 21 of the traveler's terminal 2 sequentially displays the next display image P4 among the plurality of display images. And the positional information linked
- the control unit 21 of the traveler terminal 2 updates the existing trajectory information T1 based on the display image P1, the display image P2, the display image P3, and the position information associated with the display image P4.
- the control unit 21 of the traveler terminal 2 clears the display image P3 being displayed from among the photographed images of the earth ball 3.
- the control unit 21 of the traveler terminal 2 specifies the position of the sphere in the photographed image of the ground ball 3 corresponding to the positional information associated with the acquired next display image P4.
- the control unit 21 of the traveler terminal 2 superimposes the acquired next display image P4 and the updated trajectory information T1 on the identified spherical position and displays the timer via the display unit 26 of the traveler terminal 2. finish. Note that the above-described processing may be continued and executed without ending the timer. In this case, for example, it is possible to repeatedly switch and display the plurality of display images together with the trajectory information by acquiring the first display image again from among the plurality of display images and clearing and regenerating the existing trajectory information. It becomes.
- the display format of the trajectory information is not limited to updating the trajectory information at every set time interval along the cruise operation route.
- the control unit 21 of the traveler's terminal 2 acquires all of the position information associated with the plurality of display images, and generates trajectory information of the entire operation route. Via the display unit 26 of the traveler's terminal 2, the control unit 21 of the traveler's terminal 2 superimposes and displays the generated trajectory information of the entire operating route at the ball position in the photographed image corresponding to the position information Also good. Alternatively, only the generated trajectory information may be overlapped and displayed without displaying the display image on the display unit 26 of the traveler terminal 2.
- FIG. 24 is a flowchart showing a processing procedure when the terminal 2 of the second embodiment performs switching display including trajectory information.
- the reception process of the plurality of display images and the sort process in the order of date and time are the same as those in FIG. Moreover, in FIG. 24, the same reference numerals are given to contents overlapping with those in FIG. 21, and the description will be omitted.
- the control unit 21 of the terminal 2 determines whether or not trajectory information exists (step S247). If it is determined that no trajectory information exists (NO in step S247), the control unit 21 of the terminal 2 generates trajectory information based on the position information associated with the acquired display image (step S248).
- the control unit 21 of the terminal 2 updates the existing trajectory information based on the position information associated with the acquired display image (step S249).
- the control unit 21 of the terminal 2 specifies the position of the sphere in the captured image corresponding to the position information associated with the display image.
- the control unit 21 of the terminal 2 displays the display image and the trajectory information superimposed on the specified spherical position (step S250).
- trajectory information is generated based on position information associated with a plurality of display images, and the generated trajectory information is superimposed on the spherical position in the captured image corresponding to the position information associated with the display image. It becomes possible to display.
- a mountain climbing route or an airline flight route it is possible to use a mountain climbing route or an airline flight route.
- a mountain climbing route the height of a mountain, a river, a lake or the sea is color-coded and drawn using a drawing method such as a 3D object to generate a three-dimensional image. It becomes possible to overlap and display on a photography picture.
- FIG. 25 is a block diagram showing a configuration example of the server 1 of the third embodiment. About the content which overlaps with FIG. 2, the same code
- the large capacity storage unit 14 includes a music DB 145.
- the music DB 145 stores data such as music or sound effects.
- FIG. 26 is an explanatory diagram of an example of the record layout of the user DB 141 of the third embodiment. Descriptions of contents overlapping with FIG. 3 will be omitted.
- the user DB 141 includes a music ID sequence.
- the music ID string stores the ID of the music that can uniquely identify the music transmitted from the terminal 2 in association with the user ID.
- FIG. 27 is an explanatory view showing an example of the record layout of the music DB 145.
- the music DB 145 includes a music ID string and a music string.
- the music ID column stores an ID of music that is uniquely identified in order to identify music.
- the music string stores music data corresponding to the music ID.
- the game content of the treasure hunt game includes display images and music.
- the terminal 2 of the game company providing the treasure hunt game associates the display image of the treasure hunt game, the position information associated with the display image, and the music with the user ID of the game company, and transmits it to the server 1.
- music is a sound effect relating to a game scenario.
- the control unit 11 of the server 1 stores the display image, the position information, and the sound effect transmitted from the terminal 2 of the game company in the large-capacity storage unit 14 in association with the user ID of the game company. Specifically, the control unit 11 of the server 1 shakes a unique display image ID on a display image, and shakes a unique music ID on sound effects.
- the control unit 11 of the server 1 stores the user ID of the game company, the display image ID, the music ID, and the position information in the user DB 141 as one record.
- the control unit 11 of the server 1 stores the display image ID and the data of the display image in the display image DB 142 as one record.
- the control unit 11 of the server 1 stores the music ID and the music data in the music DB 145 as one record.
- the game content provided by the game company can be displayed superimposed on the photographed image of the earth ball 3 through the display unit 26 of the player's terminal 2.
- the communication unit 23 of the player's terminal 2 receives the display image corresponding to the user ID of the game company transmitted from the server 1, the position information associated with the display image, and the sound effect.
- the control unit 21 of the player's terminal 2 specifies the ball position in the photographed image of the earth ball 3 corresponding to the received position information. Via the display unit 26 of the player's terminal 2, the control unit 21 of the player's terminal 2 superimposes and displays the received display image on the identified ball position.
- the control unit 21 of the player's terminal 2 reproduces the received sound effect via the speaker 20 of the player's terminal 2.
- FIG. 28 is an explanatory diagram for explaining the operation of the AR system of the third embodiment.
- G1, G2 and G3 illustrated are display images showing spots that can be filled with treasures.
- G4 illustrated is a display image of the hint map.
- G5 illustrated is a display image of treasures.
- the control unit 21 of the player's terminal 2 specifies the ball position in the photographed image of the ground ball 3 corresponding to the position information associated with the received display images G1, G2 and G3.
- the control unit 21 of the player's terminal 2 displays the display images G1, G2, and G3 superimposed on the identified ball position.
- the control unit 21 of the player's terminal 2 obtains an instruction corresponding to the display image G2 based on the game scenario.
- control unit 21 of the player's terminal 2 determines that the instruction according to the display image G2 is an instruction of the hint map
- the control unit 21 acquires the display image G4.
- the game scenario may be built in the application or may be received by the communication unit 23 of the terminal 2 from the server 1 or an external device (not shown).
- the control unit 21 of the player's terminal 2 specifies the ball position in the photographed image of the ground ball 3 corresponding to the position information associated with the display image G4.
- the control unit 21 of the player's terminal 2 superimposes and displays the display image G4 on the identified ball position.
- the control unit 21 of the player's terminal 2 reproduces the sound effect of the hint map (not shown) via the speaker 20 of the player's terminal 2. After the display image G4 is superimposed and displayed, it is possible to switch to the thumbnail of the display image G4 and display it.
- the control unit 21 of the player's terminal 2 receives the tap operation of the display image G4 again by the input unit 25 of the player's terminal 2.
- the control unit 21 of the player's terminal 2 may switch the display image G4 out of the photographed image of the earth ball 3 to the thumbnail of the display image G4 and display it.
- a timer function may be used. In the case of using the timer function, the control unit 21 of the player's terminal 2 activates a timer by the clock unit 28 of the player's terminal 2 and calculates an elapsed time. For example, after 5 seconds, the control unit 21 of the player's terminal 2 may automatically switch the display image G4 to the thumbnail of the display image G4 from among the photographed image of the earth ball 3 and display it.
- the control unit 21 of the player's terminal 2 After switching to the thumbnail of the display image G4 and displaying it, the control unit 21 of the player's terminal 2 ends the timer.
- the display image G4 may be cleared from the photographed image of the earth ball 3, or the display image G4 may be displayed as it is on the photographed image of the earth ball 3.
- the control unit 21 of the player's terminal 2 receives the tap operation of the display image G3 indicating a spot that can be filled with another treasure by the input unit 25 of the player's terminal 2.
- the control unit 21 of the player's terminal 2 acquires an instruction according to the display image G3 based on the scenario of the game. For example, when the control unit 21 of the player's terminal 2 determines that the instruction according to the display image G3 is a treasure instruction, the control unit 21 acquires the display image G5.
- the control unit 21 of the player's terminal 2 specifies the ball position in the captured image corresponding to the position information associated with the display image G5. Via the display unit 26 of the player's terminal 2, the control unit 21 of the player's terminal 2 superimposes and displays the display image G5 on the identified ball position.
- the control unit 21 of the player's terminal 2 reproduces the sound effect of treasure discovery (not shown) via the speaker 20 of the player's terminal 2.
- the display image G4 of the hint map or the display image G5 of the treasure may be displayed on the entire screen on the display unit 26 of the player's terminal 2 or may be displayed on a partial area of the screen.
- the control unit 21 of the player's terminal 2 displays the display image and the display image on the photographed image of the earth ball 3 via the display unit 26 of the player's terminal 2
- the explanatory information associated with may be superimposed and displayed.
- the explanation information associated with the display image G4 of the hint map is "Hint: Go to the sea and search!”
- the explanation information associated with the display image G5 of treasure is “Congratulations! Acquisition of treasure!”.
- FIG. 29 is a flowchart showing a processing procedure when the terminal 2 of the third embodiment transmits a display image and music.
- the control unit 21 of the terminal 2 receives the selection of music for reproduction in accordance with the display of the specific position of the photographed image of the earth ball 3 (step S261).
- the control unit 21 of the terminal 2 associates the selected display image, the music, and the acquired position information with the user ID.
- the communication unit 23 of the terminal 2 transmits the user ID, the display image, the music, and the position information to the server 1 (step S262).
- the communication unit 13 of the server 1 receives the user ID, the display image, the music, and the position information transmitted from the terminal 2 (step S161).
- the control unit 11 of the server 1 associates the received display image, music, and position information with the user ID, and stores the information in the large-capacity storage unit 14 (step S162).
- FIG. 30 is a flowchart showing a processing procedure when the terminal 2 of the third embodiment receives a display image and music.
- the same reference numerals as in FIG. 12 denote the same parts as those in FIG.
- the control unit 11 of the server 1 acquires the display image ID, the music ID, and the position information corresponding to the user ID transmitted from the terminal 2 from the user DB 141 of the large capacity storage unit 14 (step S163).
- the control unit 11 of the server 1 acquires the music corresponding to the acquired music ID from the music DB 145 of the large-capacity storage unit 14 (step S164).
- the communication unit 13 of the server 1 transmits the acquired display image, the music, and the position information associated with the display image to the terminal 2 (step S165).
- the communication unit 23 of the terminal 2 receives the display image, the music, and the position information associated with the display image transmitted from the server 1 (step S263).
- the control unit 21 of the terminal 2 performs a game process according to the received display image, the music, and the position information associated with the display image (step S264). The process flow of the game will be described next.
- FIG. 31 is a flowchart showing the game processing procedure of the third embodiment.
- the control unit 21 of the terminal 2 specifies the ball position in the captured image corresponding to the position information associated with the display image indicating the spot that can be filled with the treasure (step S901). In the following, for the sake of brevity, the display image showing the spots that can be filled with the treasure is replaced with the display image of the spots.
- the control unit 21 of the terminal 2 superimposes and displays the display image of the spot on the specified spherical position through the display unit 26 of the terminal 2 (step S902).
- the control unit 21 of the terminal 2 receives the selection of the display image of the spot by the input unit 25 of the terminal 2 (step S903).
- control unit 21 of the terminal 2 determines whether it is a treasure instruction according to the display image of the selected spot (step S904).
- control unit 21 of terminal 2 specifies the position of the sphere in the captured image corresponding to the position information associated with the display image of the treasure (step S905).
- the control unit 21 of the terminal 2 superimposes and displays the display image of the treasure on the specified sphere position via the display unit 26 of the terminal 2 (step S906).
- the control unit 21 of the terminal 2 reproduces the sound effect of treasure discovery via the speaker 20 of the terminal 2 (step S 907).
- control unit 21 of the terminal 2 superimposes and displays the explanatory information associated with the display image of the treasure on the specified sphere position through the display unit 26 of the terminal 2 (step S908), and ends the processing. If the control unit 21 of the terminal 2 determines that it is not an instruction of treasure (NO in step S904), it determines whether it is an instruction of a hint map according to the display image of the selected spot (step S909). When controller 21 of terminal 2 determines that the instruction is a hint map instruction (YES in step S 909), control unit 21 specifies the position of the sphere in the captured image corresponding to the position information associated with the display image of the hint map (step S910).
- the control unit 21 of the terminal 2 superimposes and displays the display image of the hint map on the specified sphere position through the display unit 26 of the terminal 2 (step S911).
- the control unit 21 of the terminal 2 reproduces the sound effect of the hint map via the speaker 20 of the terminal 2 (step S 912).
- the control unit 21 of the terminal 2 superimposes and displays the explanatory information associated with the display image of the hint map on the specified spherical position through the display unit 26 of the terminal 2 (step S913).
- the control unit 21 of the terminal 2 returns to the process of accepting the selection of the display image of the spot (step S903).
- the display image and the music can be enjoyed together.
- the mood can be easily excited using sound effects and the like.
- only music may be provided.
- the user acquires the music corresponding to the location information of the birthplace of the singers around the world It becomes possible to play back.
- the present embodiment takes, as an example, an embodiment implementing an AR system for different types of spheres.
- Different marker recognition systems are used to recognize markers for different types of spheres.
- FIG. 32 is a block diagram showing a configuration example of the server 1 of the fourth embodiment. About the content which overlaps with FIG. 2, the same code
- the large capacity storage unit 14 includes a sphere DB 146.
- the sphere DB 146 stores sphere information.
- FIG. 33 is an explanatory diagram of an example of the record layout of the user DB 141 of the fourth embodiment. Descriptions of contents overlapping with FIG. 3 will be omitted.
- the user DB 141 includes a sphere ID sequence.
- the sphere ID column stores the ID of a sphere that can uniquely identify sphere information.
- FIG. 34 is an explanatory view showing an example of the record layout of the sphere DB 146.
- the sphere DB 146 includes a sphere ID row, a maker row, a size row, and a language row.
- the sphere ID string stores a sphere ID uniquely identified to identify the sphere.
- the maker row stores the name of the maker.
- the size column stores the size of the sphere.
- the language string stores the language type printed on the sphere.
- FIG. 35 is an explanatory diagram for explaining the operation of the AR system of the fourth embodiment.
- an airline provides a passenger with a viewing service such as movies and music.
- the airline distributes or sells different types of earth balls 3 to the passenger based on the attributes such as the nationality, age and gender of the passenger.
- the English version of Earth Ball 3 is distributed to passengers in western countries
- the Japanese version of Earth Ball 3 is distributed to Japanese passengers.
- the small earth ball 3 may be distributed to children.
- the control unit 21 of the terminal 2 of the airline reads the QR code photographed by the photographing unit 27 of the terminal 2 of the airline, and specifies the sphere ID of the ground ball 3.
- the means for specifying the sphere ID is not limited to the QR code, but may be specified by a one-dimensional code or another two-dimensional code, or may be specified by manual input. Further, it may be specified by AR marker information in the photographed image of the earth ball 3.
- the control unit 21 of the terminal 2 of the airline acquires a photographed image of the ground ball 3 with an AR marker photographed by the photographing unit 27 of the terminal 2 of the airline.
- the control unit 21 of the terminal 2 of the airline may recognize the AR marker in the acquired captured image, and specify the sphere ID according to the recognized AR marker.
- the terminal 2 of the airline transmits the user ID of the airline, the display image, and the position information associated with the display image to the server 1 in association with the specified sphere ID of the earth ball 3.
- the server 1 stores the user ID of the airline transmitted from the terminal 2 of the airline, the display image, and the position information associated with the display image in the large-capacity storage unit 14 in association with the sphere ID.
- the display image provided by the airline can be superimposed and displayed on the photographed image of the distributed earth ball 3 through the display unit 26 of the terminal 2 of the passenger.
- the photographing unit 27 of the terminal 2 of the passenger photographs the QR code of the spherical surface of the distributed earth ball 3.
- the control unit 21 of the passenger's terminal 2 reads the captured QR code and specifies the sphere ID.
- the communication unit 23 of the passenger's terminal 2 transmits the specified sphere ID and the user ID of the airline to the server 1.
- the control unit 11 of the server 1 acquires the display image corresponding to the received sphere ID and the user ID of the airline, and the position information associated with the display image.
- the communication unit 13 of the server 1 transmits the display image and the position information associated with the display image to the passenger's terminal 2.
- the communication unit 23 of the passenger's terminal 2 receives the display image transmitted from the server 1 and the position information associated with the display image.
- the control unit 21 of the passenger's terminal 2 specifies the ball position in the photographed image of the earth ball 3 corresponding to the position information associated with the received display image.
- the control unit 21 of the passenger's terminal 2 superimposes and displays the received display image on the specified spherical position.
- FIG. 36 is a flowchart showing a processing procedure when the terminal 2 of the fourth embodiment transmits a display image based on the sphere ID.
- the control unit 21 of the terminal 2 identifies the sphere ID (step S 281), and associates the user ID, the selected display image, and the position information associated with the display image with the identified sphere ID.
- the communication unit 23 of the terminal 2 transmits, to the server 1, the sphere ID, the user ID, the display image, and the position information associated with the display image (step S282).
- the communication unit 13 of the server 1 receives the sphere ID, the user ID, the display image and the position information associated with the display image transmitted from the terminal 2 (step S181).
- the control unit 11 of the server 1 stores the received user ID, the display image, and the position information associated with the display image in the large-capacity storage unit 14 in association with the received sphere ID (step S182).
- FIG. 37 is a flowchart showing a processing procedure when the terminal 2 of the fourth embodiment receives a display image based on the sphere ID.
- the photographing unit 27 of the terminal 2 photographs the QR code on the surface of the earth ball 3.
- the control unit 21 of the terminal 2 acquires a QR code from the photographed image of the QR code on the surface of the spherical surface of the ground ball 3 that has been photographed (step S283).
- the control unit 21 of the terminal 2 specifies the sphere ID by the acquired QR code (step S284).
- the communication unit 23 of the terminal 2 transmits the specified sphere ID and user ID to the server 1 (step S285).
- the communication unit 13 of the server 1 receives the sphere ID and the user ID transmitted from the terminal 2 (step S183).
- the control unit 11 of the server 1 acquires the display image ID corresponding to the received sphere ID and user ID and the position information from the user DB 141 of the large capacity storage unit 14 (step S184).
- an AR system for a plurality of types of spheres.
- a server such as a display image or music for each sphere ID, it is possible to provide diversified or versatile services. It becomes possible to provide a unique earth ball 3 as a novelty or a product of another company.
- Embodiment 5 In the present embodiment, an example using a medal as an example of a display image will be described. When the Olympics or sports competitions are held, the amount of medals acquired for each type of medals will be announced for each player and country. In the present embodiment, the medals are displayed superimposed on the photographed image of the earth ball 3.
- FIG. 38 is a block diagram showing a configuration example of the server 1 of the fifth embodiment.
- the large capacity storage unit 14 includes a medal DB 147.
- the medal DB 147 stores the obtained quantity for each type of medal for each country.
- FIG. 39 is an explanatory diagram of an example of the record layout of the display image DB 142 according to the fifth embodiment. Descriptions of contents overlapping with FIG. 4 will be omitted.
- the display image DB 142 stores a display image of a national flag representing a country, a display of a building or a landscape, a display of medals, and the like.
- P6 is a three-dimensional display image of a medal
- P7 is a display image of a Japanese flag.
- FIG. 40 is an explanatory view showing an example of the record layout of the medal DB 147.
- the medal DB 147 includes a country row and a medal row.
- the country column includes a name column and an image ID1 column.
- the name column stores country names.
- the name string may store a country code instead of a country name.
- the image ID 1 column stores the ID of the display image representing each country.
- the medal row includes a gold row, a silver row, a copper row, and an image ID 2 row.
- the gold columns store the number of gold medals acquired.
- the Silver Row remembers the quantity of silver medals earned.
- the copper row stores the number of bronze medals acquired.
- the image ID 2 column stores IDs of display images of medals.
- the control unit 21 of the terminal 2 receives a selection of a display image of medals to be displayed superimposed on the photographed image of the earth ball 3 and a display image of each country in which the medals have been acquired.
- the control unit 21 acquires the acquired quantity and country name for each type of medal input by the input unit 25.
- the control unit 21 may receive the acquired quantity and country name for each type of medal from an external device (not shown) via the communication unit 23.
- the control unit 21 of the terminal 2 acquires location information of the country based on the country name.
- the acquisition process of the position information may be the same as the acquisition process of the position information of the first embodiment.
- position information for a display image of a country may be manually input by the input unit 25 of the terminal 2.
- the control unit 21 associates the received display image, the acquired position information of each country, the acquired quantity for each type of medal, and the country name with the user ID, and transmits it to the server 1 via the communication unit 23.
- the terminal 2 transmitted the display image and positional information on each country to the server 1, it does not restrict to this.
- the terminal 2 may transmit only the acquired quantity and the country name for each type of medal to the server 1.
- the server 1 may acquire the location information of the country and the display image of each country prepared in advance based on the received country name.
- the server 1 stores the display image transmitted from the terminal 2, the position information of the country, the acquired quantity for each type of medal, and the country name in the large-capacity storage unit 14. Specifically, the control unit 11 of the server 1 assigns a unique display image ID to the display image of the medal, and stores the user ID and the display image ID of the medal in the user DB 141 as one record. The control unit 11 assigns a unique display image ID to the display image of the country for each country, and stores the user ID, the display image ID of the country, and the position information of the country in the user DB 141 as one record. The control unit 11 stores the display image ID and the data of the display image in the display image DB 142 as one record. The control unit 11 of the server 1 stores the acquired quantity for each type of medal according to country in the medal DB 147 as one record.
- the control unit 21 of the terminal 2 acquires a user ID for registering an acquired quantity for each type of medal according to country, and transmits the user ID to the server 1 through the communication unit 23.
- the process of acquiring the user ID is the same as the process of acquiring the user ID of the first embodiment, and thus the description thereof is omitted.
- the communication unit 13 of the server 1 receives the user ID transmitted from the terminal 2.
- the control unit 11 of the server 1 searches the user DB 141 of the large-capacity storage unit 14 based on the received user ID, and acquires the display image ID and the position information of the display image corresponding to the user ID.
- the control unit 11 acquires a display image corresponding to the display image ID from the display image DB 142.
- the control unit 11 acquires the acquired quantity for each type of medal from the medal DB 147 by country.
- the communication unit 13 transmits the acquired display image, the location information of the country, the acquired quantity for each type of medal, and the country name to the terminal 2.
- the communication unit 23 of the terminal 2 receives the display image corresponding to the user ID transmitted from the server 1, the position information of the country, the acquired quantity for each type of medal, and the country name.
- FIG. 41 is an image view showing a display example of a display image of medals. As shown in the drawing, white circles indicate gold medals, right hatched circles indicate silver medals, and left diagonal hatched circles indicate copper medals.
- the control unit 21 of the terminal 2 specifies the position of the sphere in the photographed image of the earth ball 3 corresponding to the received position information of the country.
- the control unit 21 stacks the display images of the medals by color coding based on the acquired quantity of medals according to the type of medals by country, and superimposes and displays them on the specified spherical position via the display unit 26.
- the control unit 21 acquires the received quantity of bronze medals and the display image of the medals. Based on the display image of the medal, the control unit 21 duplicates the display image of the medal of the same quantity as the acquired quantity of the bronze medal. For example, when the number of bronze medals acquired is 3, the display images of three medals are duplicated.
- the control unit 21 adds a copper color to the display image of the copied copper medal and stacks it along the substantially vertical direction with the surface of the sphere in the photographed image of the earth ball 3 and corresponds to the photographed image corresponding to the position information of the country Display superimposed on the sphere position of. Note that display image data of each of a bronze medal, a silver medal, and a gold medal may be prepared.
- the control unit 21 stacks and displays the display image of the national flag above the display image of the gold medal.
- the display position of the display image of the national flag is not limited to the upper side of the display image of the gold medal, and may be, for example, between the display images of the medals.
- the country name may be displayed as a string.
- display processing is performed in the order of a bronze medal, a silver medal, and a gold medal, but the present invention is not limited to this.
- display processing may be performed in the order of random, in addition to display processing in the order of gold medals, silver medals and bronze medals.
- the display image of the medal is displayed in color, but the present invention is not limited to this.
- the characters "gold”, “silver” or “copper” may be written and displayed on the display image of the medal.
- the display images of the medals are stacked according to the acquired quantity of medals and superimposed on the photographed image of the earth ball 3 and displayed, but the present invention is not limited to this.
- the terminal 2 may use the display image of a rectangular parallelepiped instead of the display image of the medal, and adjust and display the height of the display image of the rectangular parallelepiped according to the acquired quantity of medals.
- FIG. 42 is a flow chart showing a processing procedure when the terminal of the fifth embodiment transmits an acquired quantity for each type of medal according to country.
- the control unit 21 of the terminal 2 acquires the acquired quantity for each type of medal by country by the input unit 25 (step S291).
- the control unit 21 acquires position information of the country based on the country name (step S292).
- the control unit 21 associates the display image, the position information of the country, the acquired quantity for each type of medal, and the country name with the user ID, and transmits the same to the server 1 via the communication unit 23 (step S293).
- the communication unit 13 of the server 1 receives the user ID, the display image, the position information of the country, the acquired quantity for each type of medal, and the country name transmitted from the terminal 2 (step S191).
- the control unit 11 of the server 1 associates the received display image, the position information of the country, the acquired quantity for each type of medal, and the country name with the user ID, and stores them in the large capacity storage unit 14 (step S192).
- FIG. 43 is a flowchart of a process performed by the terminal of the fifth embodiment to receive an acquired quantity for each type of medal by country.
- the control unit 11 of the server 1 acquires the acquired quantity for each type of medal and the country name from the medal DB 147 of the large-capacity storage unit 14 (step S193).
- the communication unit 13 of the server 1 transmits the acquired display image, the location information of the country, the acquired quantity for each type of medal, and the country name to the terminal 2 (step S194).
- the communication unit 23 of the terminal 2 receives the display image transmitted from the server 1, the position information of the country, the acquired quantity for each type of medal, and the country name (step S294).
- the control unit 21 of the terminal 2 piles up and displays the display image of the medal and the display image of the national flag on the photographed image of the earth ball 3 based on the received display image and the position information of the country (step S295).
- the subroutine for medal display will be described later.
- FIG. 44 is a flow chart showing a processing procedure of a subroutine of medal display.
- the control unit 21 of the terminal 2 acquires the display image of each country of the area corresponding to the photographed image of the earth ball 3 from the received display image (step Sa01). For example, the control unit 21 may extract a display image of a region corresponding to the latitude and longitude of the photographing range of the ground ball 3 from the received display image.
- the control unit 21 acquires a display image of one country from among the acquired display images of each country (step Sa02).
- the control unit 21 specifies the position of the sphere in the photographed image of the earth ball 3 corresponding to the position information of the country (step Sa03).
- control unit 21 performs display processing of a bronze medal, a silver medal and a gold medal (steps Sa04 to Sa06).
- the display processing of each type of medal will be described later.
- the control unit 21 superimposes and displays the display image of the country on the specified spherical position (step Sa07).
- the control unit 21 determines whether or not the display image of the country is the display image of the last country in the area corresponding to the photographed image of the earth ball 3 (step Sa08). If it is determined that the display image of the country is not the last (NO in step Sa08), the control unit 21 returns to the process of acquiring the display image of the country, and acquires the display image of the next country (step Sa02). If it is determined that the display image of the country is the last (YES in step Sa08), the control unit 21 ends the process.
- FIG. 45 is a flowchart showing a display processing procedure of each type of medal, and is applied to display processing of any of a gold medal, a silver medal, and a bronze medal.
- the control unit 21 acquires the display image of the received medal (step Sb01), and acquires the acquired quantity of the received medal (step Sb02). For example, in the case of display processing of a gold medal, the acquired quantity of the gold medal corresponding to the country is acquired. Based on the display image of the medal, the control unit 21 duplicates the display image of the medal of the same quantity as the acquired quantity of the medal (step Sb03). For example, when the acquired quantity of gold medals is 3, the display images of three medals are duplicated. The control unit 21 colors the display image of the copied medal (step Sb04).
- step Sb05 the control unit 21 stacks the display images of the colored medals along the substantially vertical direction with the surface of the sphere in the photographed image of the earth ball 3 (step Sb05), and identifies the sphere together with the display image of the national flag It superimposes and displays on a position (step Sb06).
- FIG. 46 is an explanatory drawing showing an example of the record layout of the explanation information DB 143 of the fifth embodiment. Descriptions of contents overlapping with FIG. 5 will be omitted.
- the explanation information DB 143 stores the display image of the medal and the explanation information associated with the display image of each country.
- FIG. 47 is an image diagram showing a display example of explanation information associated with a display image of a country.
- the explanatory information DB 143 stores explanatory information “http://www.sports.japanInfo.co.jp” in the form of a URL corresponding to the display image of “Japan”.
- the control unit 11 of the server 1 can acquire the content of the explanation information corresponding to the URL from an external device (not shown) via the communication unit 13.
- the control unit 11 of the server 1 transmits the explanatory information associated with the acquired display image of “Japan” to the terminal 2 through the communication unit 13.
- the control unit 21 of the terminal 2 receives the explanation information associated with the display image of “Japan” through the communication unit 23.
- the control unit 21 of the terminal 2 receives the tap operation of the display image of “Japan” by the input unit 25, the control unit 21 superimposes the acquired explanation information on the photographed image of the earth ball 3 via the display unit 26 and displays it.
- the server 1 transmits the content of the explanation information corresponding to the URL to the terminal 2 in the present embodiment
- the present invention is not limited to this.
- the server 1 may transmit the description information itself in the URL format to the terminal 2, and the terminal 2 may acquire and display the content of the explanation information corresponding to the received URL.
- the number of medals acquired in the Olympic or sports competition, the competition situation, and the like are reflected as needed. Further, since the display image of the medals is stacked on the photographed image of the earth ball 3 and displayed, it is possible to clearly grasp the acquired quantity of each type of medal by country. In addition, it becomes possible to provide services such as event information of the Olympics or sports competitions, watching contents of sports, and introduction of players.
- Information processing device 11 control unit 12 storage unit 13 communication unit 14 large capacity storage unit 141 user DB 142 Display image DB 143 explanatory information DB 144 Public Information DB 145 Music DB 146 Sphere DB 147 medal DB 1a Portable storage medium 1b Semiconductor memory 1P Control program 2 Information processing terminal (terminal, computer) 21 control unit 22 storage unit 23 communication unit 24 album 25 input unit 26 display unit 27 imaging unit 28 clock unit 29 microphone 20 speaker 2P control program 3 earth ball B bus N network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Computer Graphics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Liquid Crystal Substances (AREA)
Abstract
各ユーザが自由にコンテンツの設定を行うことが可能なプログラム等を提供すること。 情報処理プログラムは、マーカを表面に有する球体(3)の撮影画像に重ねて表示するための表示画像の選択を受け付け、前記表示画像に対応する位置情報を取得し、受け付けた前記表示画像及び取得した前記位置情報をユーザIDに関連付けて送信する処理をコンピュータ(2)に実行させる。これにより、各ユーザが自由にコンテンツの設定を行うことができる。
Description
本発明は、プログラム、情報処理装置及び情報処理方法に関する。
近年、AR(Augmented Reality)システムを用いた商品の開発が行われている。ARシステムでは、スマートフォン、タブレット端末、携帯ゲーム機等のようにカメラ及び表示部を有する情報機器に、ARマーカを認識するためのアプリケーションプログラムをインストールしておく。このような情報機器を用いて、ARマーカが付された被写体を撮影すると、情報機器がARマーカを認識し、認識したARマーカに応じたコンテンツを、撮影画像の上に重ねて表示する。これにより、ユーザは、撮影対象の被写体にコンテンツが重畳された画像を表示部にて見ることができる。特許文献1には、立体対象物を撮影し、撮影した画像中の立体対象物の上に画像又は文字等の付加情報を重ねて表示するシステムが開示されている。
しかしながら、従来の技術では、被写体の撮影画像に重ねて表示されるコンテンツは業者から一方的に提供されるものにすぎないという問題がある。
本発明は斯かる事情によりなされたものであって、その目的とするところは、各ユーザが自由にコンテンツの設定を行うことが可能なプログラム等を提供することにある。
本発明に係る情報処理プログラムは、コンピュータに、マーカを表面に有する球体の撮影画像に重ねて表示するための表示画像の選択を受け付け、前記表示画像に対応する位置情報を取得し、受け付けた前記表示画像及び取得した前記位置情報をユーザIDに関連付けて送信する処理を実行させることを特徴とする。
本発明によれば、各ユーザが自由にコンテンツの設定を行うことが可能なプログラム等を提供することができる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施形態1)
図1は、ARシステムの構成例を示す模式図である。本実施形態のARシステムは、情報処理装置1、情報処理端末2、及びARマーカ(マーカ)を表面に有する球体であるアースボール3を含む。情報処理装置1と情報処理端末2はインターネット等のネットワークNを介して情報の送受信を行う。
図1は、ARシステムの構成例を示す模式図である。本実施形態のARシステムは、情報処理装置1、情報処理端末2、及びARマーカ(マーカ)を表面に有する球体であるアースボール3を含む。情報処理装置1と情報処理端末2はインターネット等のネットワークNを介して情報の送受信を行う。
情報処理装置1は、種々の情報処理、情報記憶及び情報送受信を行う情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施形態において情報処理装置1はサーバ装置であるものとし、以下では簡潔のためサーバ1と読み替える。
情報処理端末2は、各ユーザの端末装置であり、例えばスマートフォン、携帯電話、タブレット、パーソナルコンピュータ端末、ゲーム機等の情報処理機器である。以下では簡潔のため、情報処理端末2を端末2と読み替える。
アースボール3を被写体とし、アースボール3を端末2で撮影して使用する。アースボール3は例えば空気を充填することにより球体となるPVC(ポリ塩化ビニル)製のボールであるが、これに限らない。アースボール3の表面には、地球上の地図が印刷されており、地図中の適宜位置にARマーカが付されている。例えば図1に示す例では、地図中の海及び大陸のそれぞれに名称が付されており、各国及び都市のそれぞれに国名及び都市名が付されている。これらの文字はARマーカを構成する。また、図1では省略しているが、地図中に各国の国境線が含まれており、国境線もARマーカを構成する。また、地図中の河川、平野、山脈等は地形毎に所定の色で色分けされており、各色もARマーカを構成する。更に、地図中の海にはそれぞれの海、海域等を識別するために所定のマークM1~M4(例えば船のマークM1、M2、亀又はカモメ等の動物のマークM3、M4)が付されている。また、地図中の大陸にはそれぞれの大陸、地域等を識別するために所定のマークM5~M7が付されている。これらのマークM1~M7もARマーカを構成する。
図2は、実施形態1のサーバ1の構成例を示すブロック図である。サーバ1は、制御部11、記憶部12、通信部13、大容量記憶部14、読み取り部15を含む。各構成はバスBで接続されている。
制御部11はCPU(Central Processing Unit)、MPU(Micro-Processing Unit)等の演算処理装置を含み、記憶部12に記憶された制御プログラム1Pを読み出して実行することにより、サーバ1に係る種々の情報処理、制御処理等を行う。なお、図2では制御部11を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部12はRAM(Random Access Memory)、ROM(Read Only Memory)等のメモリ素子を含み、制御部11が処理を実行するために必要な制御プログラム1P又はデータ等を記憶している。また、記憶部12は、制御部11が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部13は通信に関する処理を行うための処理回路等を含み、ネットワークNを介して、端末2等と情報の送受信を行う。
大容量記憶部14は、例えばハードディスク等を含む大容量の記憶装置である。大容量記憶部14は、ユーザDB141、表示画像DB142、説明情報DB143、公開情報DB144を記憶している。ユーザDB141は、各ユーザに関するユーザ情報、表示画像ID及び位置情報を記憶している。表示画像DB142は、アースボール3の撮影画像に重ねて表示するための種々の表示画像を記憶している。説明情報DB143は、表示画像に対する音声又はテキスト形式の説明情報を記憶している。公開情報DB144は、表示画像に対する公開情報を記憶している。
なお、本実施形態において記憶部12及び大容量記憶部14は一体の記憶装置として構成されていても良い。また、大容量記憶部14は複数の記憶装置により構成されていても良い。また、大容量記憶部14はサーバ1に接続された外部記憶装置であっても良い。
読み取り部15は、CD(Compact Disc)-ROM又はDVD(Digital Versatile Disc)-ROMを含む可搬型記憶媒体1aを読み取る。制御部11が読み取り部15を介して、制御プログラム1Pを可搬型記憶媒体1aより読み取り、大容量記憶部14に記憶しても良い。また、ネットワークN等を介して他のコンピュータから制御部11が制御プログラム1Pをダウンロードし、大容量記憶部14に記憶しても良い。さらにまた、半導体メモリ1bから、制御部11が制御プログラム1Pを読み込んでも良い。
なお、本実施形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、サーバ1に係る情報を表示する表示部等を含んでも良い。なお、本実施形態でサーバ1は単体のものとして説明するがこれに限るものではない。例えば物理的に複数のサーバにより構成されていても良く、また複数の仮想マシンにより構成されていても良い。
図3は、実施形態1のユーザDB141のレコードレイアウトの一例を示す説明図である。ユーザDB141は、ユーザID列、ユーザランク列、画像ID列、位置(緯度、経度)列を含む。ユーザID列は、各ユーザを識別するために、一意に特定されるユーザのIDを記憶している。ユーザランク列は、ユーザアカウントのランク情報を記憶している。例えば、ユーザのランクは「レギュラー」、「シルバー」、「ゴールド」の三つのランクが設けられている。ユーザのランクに対するポイント制を導入し、購入回数、購入金額等によりポイントを加算し、ポイントがある一定まで到達すると、「レギュラー」、「シルバー」、「ゴールド」の順にランクアップする。画像ID列は、アースボール3の撮影画像に重ねて表示するための表示画像のIDを記憶している。位置(緯度、経度)列は、表示画像に関連付けられた位置情報を記憶している。位置情報は緯度、経度を含む。なお、位置情報は郵便番号、住所又は施設名等であっても良い。
図4は、表示画像DB142のレコードレイアウトの一例を示す説明図である。表示画像DB142は、画像ID列、タイプ列、画像列、説明情報ID列、公開情報ID列を含む。画像ID列は、表示画像を識別するために、一意に特定される表示画像のIDを記憶している。タイプ列は、表示画像の種類を記憶している。表示画像の種類は、静止画像、立体画像、動画を含む。画像列は、画像IDに対応する表示画像のデータを記憶している。説明情報ID列は、表示画像に関連付けられた説明情報のIDを記憶している。公開情報ID列は、表示画像に関連付けられた公開情報のIDを記憶している。なお、表示画像毎に公開情報を設定することに限らず、コンテンツ全体に対し公開情報を設定しても良い。例えば、ユーザの友人に対して、当該ユーザのすべての表示画像を公開しても良い。
図5は、説明情報DB143のレコードレイアウトの一例を示す説明図である。説明情報DB143は、説明情報ID列、タイプ列、説明情報列を含む。説明情報ID列は、表示画像に関連付けられた説明情報を識別するために、一意に特定される説明情報のIDを記憶している。タイプ列は、説明情報の種類を記憶している。説明情報の種類は、音声情報又はテキスト情報を含む。テキスト情報は単なる文字でも良く、またURL(Uniform Resource Locator)等を含む文字でも良い。説明情報列は、説明情報IDに対応する音声データ又はテキストデータを記憶している。
図6は、公開情報DB144のレコードレイアウトの一例を示す説明図である。公開情報DB144は、公開情報ID列、タイプ列、公開範囲列を含む。公開情報ID列は、公開情報を識別するために、一意に特定される公開情報のIDを記憶している。タイプ列は、公開の種類である。本実施形態において、公開の種類は公開、非公開及び一部公開を含む。公開範囲列は、公開情報IDに対応する公開範囲の情報を記憶している。本実施形態において、公開タイプは「公開」、「非公開」、「一部公開」に分類される。公開タイプに「公開」を設定した場合、公開範囲列に「全員」を設定する。公開タイプに「非公開」を設定した場合、公開範囲列に「-」を設定する。公開タイプに「一部公開」を設定した場合、公開範囲列にユーザのランクを設定する。ユーザのランクは、例えば、ユーザDB141のユーザランクと同じランクであり、「レギュラー」、「シルバー」、「ゴールド」の三つのランクがある。ユーザのランクに応じて公開範囲を設定することにより、先行販売情報、販促品情報又はお得な特典情報等を特定のユーザに対してだけ公開することが可能となる。
なお、公開範囲は上記の構成に限られず、例えば世界の地域に基づき、公開範囲を設定しても良い。具体的には、地理学的な区分によるアフリカ、アジア、ヨーロッパ、北米、中南米、オセアニア(大洋州)の6つに分ければ良い。更に細かく、例えばアフリカに対して、東アフリカ、中央アフリカ、北アフリカ、南アフリカ、西アフリカに分けても良い。地域に応じて公開範囲を設定することにより、先行販売地域、通信販売禁止地域又は販売終了地域等様々なサービスを提供することが可能となる。さらにまた、ユーザが自由に公開範囲を設定しても良い。例えば、ユーザが指定した友人のみに公開するようしても良い。
図7は、端末2の構成例を示すブロック図である。端末2は、制御部21、記憶部22、通信部23、アルバム24、入力部25、表示部26、撮影部27、時計部28、マイク29、スピーカ20を含む。各構成はバスBで接続されている。
制御部21はCPU、MPU等の演算処理装置を含み、記憶部22に記憶された制御プログラム2Pを読み出して実行することにより、端末2に係る種々の情報処理、制御処理等を行う。なお、図7では制御部21を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。記憶部22はRAM、ROM等のメモリ素子を含み、制御部21が処理を実行するために必要な制御プログラム2P又はデータ等を記憶している。また、記憶部22は、制御部21が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部23は通信に関する処理を行うための処理回路等を含み、ネットワークNを介して、サーバ1と情報の送受信を行う。アルバム24は、表示画像、音楽を含む。入力部25は、キーボード又はマウスである。表示部26は液晶表示装置である。また、入力部25は表示部26と一体化したタッチパネルでも良い。
撮影部27は、例えばCCD(Charge Coupled Device)カメラ、CMOS(Complementary metal Oxide Semiconductor)カメラ等の撮影装置である。制御部21は、撮影部27によりアースボール3の撮影画像中の球体表面のマーカ情報又はQRコード(登録商標)等を認識することが可能となる。なお、撮影部27は端末2の中に内蔵せず、外部で直接に端末2と接続し、撮影可能な構成としても良い。
時計部28は、時刻又は経過時間等を計時しており、制御部21からの求めに応じて、計時結果を制御部21に与える回路である。また、時計部28はタイマ機能を提供する。タイマ機能は開始を指示されてから、予め設定した時間が経過した場合、その旨を制御部21に通知する機能である。又は、タイマ機能は開始を指示されてから、予め設定した時間が経過したか否かを、制御部21からの問い合わせに対して回答する機能である。
マイク29は、音を電気信号に変換する装置である。スピーカ20は、電気信号を音に変換する装置である。なお、マイク29及びスピーカ20は、Bluetooth(登録商標)のような短距離無線通信方式により端末2に接続されたヘッドセットであっても良い。
図8Aおよび図8Bは、実施形態1のARシステムの動作を説明する説明図である。本実施形態では、ARシステムの実施形態の一例として、コーヒー農園販売システムを例に挙げて説明する。図8Aは全体の動作を示す説明図である。コーヒー農園の端末2の制御部21は、アースボール3の撮影画像に重ねて表示するための表示画像の選択を受け付ける。表示画像は、静止画像、立体画像、動画を含む。表示画像は、コーヒー農園の端末2のアルバム24から取得しても良く、またコーヒー農園の端末2の撮影部27を用いて撮影しても良い。さらにまた、コーヒー農園の端末2の通信部23を介して図示しない外部装置から受信しても良い。例えば受け付けた表示画像は、農園の中に咲くコーヒーの花の写真、コーヒーの実の収穫写真、又はコーヒー豆の出荷写真等である。
コーヒー農園の端末2の制御部21は、受け付けた表示画像に対する位置情報を取得する。なお、位置情報の取得処理は、サーバ1側で取得しても良い。この場合、画像に付随する緯度、経度情報を取得するようにすれば良い。位置情報の取得に関し、GPS機能付きのデジタルカメラ又はスマートフォン等を用いて画像を撮影した場合、GPSにより緯度、経度情報を付加して撮影した画像から位置情報を抽出しても良い。またコーヒー農園の端末2の入力部25により、位置情報を手動入力しても良い。
また、グーグル(登録商標)・マップ(Google(登録商標)Map)サービスによる位置情報を取得しても良い。例えば、Google Maps API(Application Programming Interface)を利用し、Google Mapのデータに基づいてマップを端末2のアプリケーションに埋め込み表示する。端末2は、マップ上でタップされた画面の箇所情報又は入力された住所のキーワード情報を受け付け、Google Maps APIを経由して、受け付けた情報をGoogle Mapサーバへ送信する。Google Mapサーバは、端末2から送信された情報に対応する緯度及び経度等位置情報を取得し、端末2に送信する。端末2の通信部23は、Google Mapサーバから送信された位置情報を受信する。
さらにまた、アースボール3の撮影画像中のマーカ情報に基づき、位置情報を抽出しても良い。図9Aおよび図9Bは、位置情報の取得例を示すイメージ図である。アースボール3の撮影画像中のARマーカ情報に基づく、位置情報の取得例である。
図9Aは、ドラッグアンドドロップ操作による位置情報の取得例を示すイメージ図である。端末2の制御部21は、ドラッグアンドドロップ操作により、選択された表示画像をアースボール3の撮影画像中の設定目的地に移動する。端末2の制御部21は、アースボール3の撮影画像中の設定目的地に応じてARマーカ情報を認識し、認識したARマーカ情報に基づいて位置情報を抽出する。
図9Bは、メニュー操作による位置情報の取得例を示すイメージ図である。端末2の制御部21は、アースボール3の撮影画像中の設定目的地のタップ操作により、撮影画像中の設定目的地に応じてARマーカ情報を認識する。端末2の制御部21は、認識したARマーカ情報に基づいて位置情報を抽出し、抽出した位置情報に基づき、位置選択用のメニューを生成する。端末2の表示部26を介して、端末2の制御部21は、生成した位置選択用のメニューをアースボール3の撮影画像に重ねて表示する。例えば、端末2の制御部21は、撮影画像中の「南アフリカ」地域にタップ操作を受け付け、タップされた箇所又は当該箇所の周りにあるARマーカを認識する。端末2の制御部21は、認識したARマーカ情報に基づいて「南アフリカ」地域の分類情報を取得し、取得した「南アフリカ」地域の分類情報に基づいてメニューを生成する。例えば、生成したメニューの項目は「スワジランド」、「ナミビア」、「ボツワナ」、「南アフリカ共和国」及び「レソト」である。端末2の表示部26を介して、端末2の制御部21は、生成したメニューをアースボール3の撮影画像に重ねて表示する。端末2の制御部21は、メニューの項目のタップ操作を受け付け、受け付けたメニューの項目に対応する位置情報を取得しても良い。なお、表示の形式に関しては、メニューに限らず、ダイアログボックス又はコンボボックス等であっても良い。
コーヒー農園の端末2の制御部21は、選択された表示画像及び表示画像に関連付けられた位置情報をコーヒー農園のユーザIDに関連付ける。コーヒー農園の端末2の通信部23は、コーヒー農園のユーザID、表示画像及び表示画像に関連付けられた位置情報をサーバ1に送信する。本実施形態において、端末2の制御部21は、先に表示画像の選択を受け付け、次いで位置情報の取得を受け付ける例を示したが、これに限るものではない。例えば、端末2の制御部21は、先に位置情報の取得を受け付け、その後受け付けた位置情報に対応する表示画像の選択を受け付けても良い。
サーバ1の通信部13は、コーヒー農園の端末2から送信されたコーヒー農園のユーザID、アースボール3の撮影画像に重ねて表示するための表示画像及び表示画像に関連付けられた位置情報を受信する。サーバ1の制御部11は、受信したコーヒー農園のユーザIDに関連付けて、受信した表示画像及び表示画像に関連付けられた位置情報を大容量記憶部14に記憶する。具体的には、サーバ1の制御部11は、表示画像に対してユニークな表示画像IDを振り、コーヒー農園のユーザID、当該表示画像ID及び位置情報をユーザDB141に一つのレコードとして記憶する。サーバ1の制御部11は、表示画像ID及び表示画像のデータを一つのレコードとして表示画像DB142に記憶する。
続いて、コーヒー農園のユーザが送信済みの表示画像を表示する処理について説明する。なお、アースボール3の撮影画像に重ねて表示されるコンテンツの種類は、コーヒー農園に加えて、クルーズ運航、宝探しゲーム、飛行機運航、ワールドミュージック及び世界遺産を含んでも良い。本実施形態において、コーヒー農園のコンテンツを利用する例に挙げて説明する。コーヒー農園のユーザIDに対応する表示画像を、アースボール3の撮影画像に重ねて表示するために、顧客の端末2の通信部23は、コーヒー農園のユーザIDをサーバ1に送信する。図10は、端末2によるユーザIDの取得例を示すイメージ図である。具体的には、顧客の端末2の制御部21は、顧客の端末2の撮影部27により撮影したアースボール3の撮影画像を取得する。顧客の端末2の制御部21は、顧客の端末2の入力部25により、「コーヒー農園」のタップ操作を受け付け、コーヒー農園のユーザIDを取得する。顧客の端末2の通信部23は、取得したコーヒー農園のユーザIDをサーバ1に送信する。なお、ユーザIDの取得に関しては、上述した方式に限らず、例えば、手動入力により取得しても良い。本実施形態では、コーヒー農園のユーザIDを送信する例を示したが、これに限るものではない。アースボール3の撮影画像に重ねて表示されるコンテンツの種類を特定することが可能なURL又はコンテンツID等情報を送信するようにしても良い。
サーバ1の通信部13は、顧客の端末2から送信されたコーヒー農園のユーザIDを受信する。サーバ1の制御部11は、受信したコーヒー農園のユーザIDに基づいて大容量記憶部14のユーザDB141を検索し、コーヒー農園のユーザIDに対応する表示画像の表示画像ID及び位置情報を取得する。制御部11は、取得した表示画像IDに対応する表示画像を表示画像DB142から取得する。サーバ1の通信部13は、取得した表示画像及び表示画像に関連付けられた位置情報を顧客の端末2に送信する。
顧客の端末2の通信部23は、サーバ1から送信されたコーヒー農園のユーザIDに対応する表示画像及び表示画像に関連付けられた位置情報を受信する。図8Bに示すように、顧客の端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。顧客の端末2の表示部26を介して、顧客の端末2の制御部21は、受信した表示画像のサムネイルを、特定した球体位置に重ねて表示する。また、顧客の端末2の制御部21は、顧客の端末2の入力部25により表示画像のタップ操作を受け付けた場合、表示画像の拡大処理を行う。顧客の端末2の表示部26を介して、顧客の端末2の制御部21は、拡大した表示画像をアースボール3の撮影画像に重ねて表示することが可能となる。なお、上記の表示形式に限らず、顧客の端末2の表示部26の全スクリーンに受信した表示画像を覆って表示しても良い。また、受信した表示画像が動画である場合、タップ操作により動画の再生を開始しても良い。
なお、本実施形態において、顧客の端末2にコーヒー農園のユーザの表示画像を受信し表示する例を挙げて説明するが、これは限らない。ユーザ自身が送信済み表示画像を受信し表示しても良い。例えば、コーヒー農園の端末2は、自身のユーザIDをサーバ1に送信することにより、サーバ1から自身のユーザIDに対応する表示画像及び表示画像に関連付けられた位置情報を受信する。コーヒー農園の端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。コーヒー農園の端末2の表示部26を介して、コーヒー農園の端末2の制御部21は、受信した表示画像を特定した球体位置に重ねて表示しても良い。
図11は、実施形態1の端末2が表示画像を送信する際の処理手順を示すフローチャートである。端末2の制御部21は端末2の入力部25を通して、ユーザID等の認証情報の入力を受け付ける。端末2の通信部23は、受け付けた認証情報をサーバ1に送信する(ステップS201)。サーバ1の制御部11は、サーバ1の通信部13により受信したユーザID等の認証情報に対して認証処理を行う(ステップS101)。サーバ1の制御部11は、ユーザ認証が成功したか否かを判断する(ステップS102)。ユーザ認証に成功したと判断した場合(ステップS102でYES)、サーバ1の通信部13は、成功した旨を端末2に送信する。ユーザ認証に失敗したと判断した場合(ステップS102でNO)、サーバ1の制御部11は、処理を終了する。端末2の通信部23は、ユーザ認証が成功した旨を受信した場合、端末2の制御部21は、アースボール3の撮影画像に重ねて表示するための表示画像の選択を受け付ける(ステップS202)。端末2の制御部21は、選択された表示画像に対応する位置情報を取得し(ステップS203)、選択された表示画像及び取得した位置情報をユーザIDに関連付ける。端末2の通信部23は、ユーザID、表示画像及び位置情報をサーバ1に送信する(ステップS204)。サーバ1の通信部13は、端末2から送信されたユーザID、表示画像及び表示画像に関連付けられた位置情報を受信する(ステップS103)。サーバ1の制御部11は、受信した表示画像及び表示画像に関連付けられた位置情報をユーザIDに関連付けて、ユーザID、表示画像及び位置情報を大容量記憶部14に記憶する(ステップS104)。なお、ステップS204では、ユーザIDを表示画像と共に送信する例を示したが、これに限るものではない。ステップS101で受信したユーザIDに基づき表示画像との関連付けを行っても良い。
図12は、実施形態1の端末2が表示画像を受信する際の処理手順を示すフローチャートである。図11と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、端末2の撮影部27により撮影したアースボール3の撮影画像を取得する(ステップS205)。端末2の通信部23は、アースボール3の撮影画像に重ねて表示するための表示画像に対応するユーザIDをサーバ1に送信する(ステップS206)。サーバ1の通信部13は、端末2から送信されたユーザIDを受信する(ステップS105)。サーバ1の制御部11は、受信したユーザIDを大容量記憶部14のユーザDB141に記憶されたユーザIDと比較し、同一のユーザIDに対応する表示画像ID及び位置情報を取得する(ステップS106)。サーバ1の制御部11は、取得した表示画像IDに対応する表示画像を大容量記憶部14の表示画像DB142から取得する(ステップS107)。サーバ1の通信部13は、取得した表示画像及び表示画像に関連付けられた位置情報を端末2に送信する(ステップS108)。端末2の通信部23は、サーバ1から送信された表示画像及び表示画像に関連付けられた位置情報を受信する(ステップS207)。なお、複数の表示画像が存在する場合、一度に受信しても良く、また複数回に分けて受信しても良い。端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する(ステップS208)。端末2の表示部26を介して、端末2の制御部21は、受信した表示画像を特定した撮影画像中の球体位置に重ねて表示する(ステップS209)。
続いて、アースボール3の撮影画像に重ねて表示する表示画像に対する説明情報の設定処理について説明する。説明情報は、音声情報又はテキスト情報を含む。端末2の制御部21は、端末2のマイク29を介して音声情報を受け付けても良い。また端末2の通信部23は、外部装置から音声情報を受信しても良い。端末2の制御部21は、端末2の入力部25を介してテキスト情報を受け付ける。説明情報を表示画像と同時に設定しても良く、また表示画像と別々に設定しても良い。表示画像と別々に設定する場合、ユーザIDに対応する表示画像の表示画像IDを取得し、取得した表示画像IDに対して、説明情報を設定する。
本実施形態において、コーヒー農園の端末2が送信済み表示画像に対して、説明情報を設定する際の処理について説明する。コーヒー農園の端末2の通信部23は、サーバ1にコーヒー農園のユーザIDを送信する。サーバ1の制御部11は、サーバ1の通信部13により受信したコーヒー農園のユーザIDに対応する表示画像の表示画像IDを取得する。サーバ1の通信部13は、取得した表示画像IDをコーヒー農園の端末2に送信する。
コーヒー農園の端末2の通信部23は、サーバ1から送信された表示画像IDを受信する。コーヒー農園の端末2の制御部21は、説明情報の入力を受け付け、受け付けた説明情報をコーヒー農園のユーザID及び表示画像IDに関連付ける。コーヒー農園の端末2の通信部23は、コーヒー農園のユーザID、表示画像ID及び説明情報をサーバ1に送信する。サーバ1の通信部13は、コーヒー農園の端末2から送信されたコーヒー農園のユーザID、表示画像ID及び説明情報を受信する。サーバ1の制御部11は、受信した説明情報をコーヒー農園のユーザID及び表示画像IDに関連付けて、大容量記憶部14に記憶する。具体的には、サーバ1の制御部11は、説明情報に対してユニークな説明情報IDを振り、受信したコーヒー農園のユーザID及び表示画像IDに対応するユーザDB141のレコードに、当該説明情報IDを記憶する。サーバ1の制御部11は、説明情報ID及び説明情報のデータを一つのレコードとして説明情報DB143に記憶する。
これにより、コーヒー農園の端末2又は顧客の端末2の表示部26に、表示画像に関連付けられた説明情報をアースボール3の撮影画像に重ねて表示することが可能となる。例えば、顧客の端末2の通信部23は、コーヒー農園のユーザIDをサーバ1に送信する。サーバ1の制御部11は、サーバ1の通信部13により受信したコーヒー農園のユーザIDに対応する表示画像と、表示画像に関連付けられた位置情報及び説明情報とを取得する。サーバ1の通信部13は、取得した表示画像と、表示画像に関連付けられた位置情報及び説明情報とを顧客の端末2に送信する。
図13Aおよび図13Bは、実施形態1の端末2の説明情報を示す説明図である。顧客の端末2の通信部23は、サーバ1から送信された表示画像と、表示画像に関連付けられた位置情報及び説明情報とを受信する。
図13Aは、テキスト形式の説明情報の表示イメージ図である。顧客の端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。顧客の端末2の表示部26を介して、顧客の端末2の制御部21は、表示画像を、特定した球体位置に重ねて表示する。また、顧客の端末2の制御部21は、顧客の端末2の入力部25により表示画像のタップ操作を受け付けた場合、表示画像の拡大処理を行う。顧客の端末2の表示部26を介して、顧客の端末2の制御部21は、拡大した表示画像及び表示画像に関連付けられた説明情報をアースボール3の撮影画像に重ねて表示することが可能となる。なお、上記の表示形式に限らず、顧客の端末2の表示部26の全スクリーンに受信した表示画像及び表示画像に関連付けられた説明情報を覆って表示しても良い。
図13Bは、音声形式の説明情報のイメージ図である。顧客の端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。顧客の端末2の表示部26を介して、顧客の端末2の制御部21は、表示画像を、特定した球体位置に重ねて表示する。また、顧客の端末2の制御部21は、顧客の端末2の入力部25により表示画像のタップ操作を受け付けた場合、表示画像の拡大処理を行い、説明情報再生ボタンBTN1を生成する。顧客の端末2の表示部26を介して、顧客の端末2の制御部21は、拡大した表示画像及び生成した説明情報再生ボタンBTN1をアースボール3の撮影画像に重ねて表示する。顧客の端末2の制御部21は、顧客の端末2の入力部25により説明情報再生ボタンBTN1のタップ操作を受け付けた場合、顧客の端末2のスピーカ20を介して受信した音声情報を再生することが可能となる。なお、音声情報の再生に関して、上述の形式に限らない。例えば、説明情報再生ボタンBTN1を生成せずに、顧客の端末2の制御部21は、表示画像をアースボール3の撮影画像に重ねて表示する際に、顧客の端末2のスピーカ20を介して音声情報を自動的に再生しても良い。
図14は、実施形態1の端末2が説明情報を送信する際の処理手順を示すフローチャートである。図11、図12と重複する内容については同一の符号を付して説明を省略する。サーバ1の制御部11は、端末2から送信されたユーザIDに対応する表示画像IDを大容量記憶部14のユーザDB141から取得する(ステップS109)。サーバ1の通信部13は、取得した表示画像IDを端末2に送信する(ステップS110)。端末2の通信部23は、サーバ1から送信された表示画像IDを受信する(ステップS210)。端末2の制御部21は、ユーザID及び受信した表示画像IDに関連付けて、音声情報又はテキスト情報を含む説明情報を設定する(ステップS211)。端末2の通信部23は、ユーザID、表示画像ID及び説明情報をサーバ1に送信する(ステップS212)。サーバ1の通信部13は、端末2から送信されたユーザID、表示画像ID及び説明情報を受信する(ステップS111)。サーバ1の制御部11は、受信したユーザID及び表示画像IDに関連付けて、受信した説明情報を大容量記憶部14の説明情報DB143に記憶する(ステップS112)。
図15は、実施形態1の端末2が説明情報を受信する際の処理手順を示すフローチャートである。図12と重複する内容については同一の符号を付して説明を省略する。サーバ1の制御部11は、受信したユーザIDに対応する表示画像ID及び位置情報を大容量記憶部14のユーザDB141から取得する(ステップS113)。制御部11は、取得した表示画像IDに対応する表示画像及び説明情報IDを大容量記憶部14の表示画像DB142から取得する(ステップS114)。制御部11は、取得した説明情報IDに対応する説明情報を大容量記憶部14の説明情報DB143から取得する(ステップS115)。サーバ1の通信部23は、取得した表示画像と、表示画像に関連付けられた位置情報及び説明情報とを端末2に送信する(ステップS116)。端末2の通信部23は、サーバ1から送信された表示画像と、表示画像に関連付けられた位置情報及び説明情報とを受信する(ステップS213)。端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。端末2の表示部26を介して、端末2の制御部21は、受信した表示画像及び表示画像に関連付けられた説明情報を、特定した球体位置に重ねて表示する(ステップS214)。
続いて、アースボール3の撮影画像に重ねて表示する表示画像に対する公開情報の設定処理について説明する。公開情報は、公開、非公開、一部公開を含む。公開の場合、表示画像を制限なしで全員に公開する。非公開の場合、表示画像を所有するユーザのみに公開し、他のユーザに公開しない。一部公開の場合、公開範囲内の条件を満たすユーザに公開する。本実施形態において、一部公開に設定可能な公開範囲は、ユーザDB141のユーザランクと同じランクであり、「レギュラー」、「シルバー」、「ゴールド」の三つがある。総括すると、指定されたランク以上のランクが設定されたユーザに公開する。具体的には、一部公開に「レギュラー」を設定した場合、いわゆる「レギュラー」、「シルバー」及び「ゴールド」ランクに属するユーザに対して表示画像を公開する。一部公開に「シルバー」を設定した場合、いわゆる「シルバー」及び「ゴールド」ランクに属するユーザに対して表示画像を公開する。一部公開に「ゴールド」を設定した場合、「ゴールド」ランクに属するユーザのみに対して表示画像を公開する。また、公開情報に関し、表示画像の選択時に公開情報を設定し、表示画像と同時にサーバ1に送信しても良く、また既に送信済み表示画像に対して、公開情報を追加設定し、サーバ1に送信するようにしても良い。サーバ1の制御部11は、端末2から送信された公開情報を大容量記憶部14の公開情報DB144に記憶する。
図16は、実施形態1の端末2が公開情報を送信する際の処理手順を示すフローチャートである。図14と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、ユーザID及び受信した表示画像IDに関連付けて、公開情報を設定する(ステップS215)。端末2の通信部23は、ユーザID、表示画像ID及び公開情報をサーバ1に送信する(ステップS216)。サーバ1の通信部13は、端末2から送信されたユーザID、表示画像ID及び公開情報を受信する(ステップS117)。サーバ1の制御部11は、受信したユーザID及び表示画像IDに関連付けて、受信した公開情報を大容量記憶部14の公開情報DB144に記憶する(ステップS118)。
図17は、実施形態1の端末2が公開情報に基づき表示画像を受信する際の処理手順を示すフローチャートである。図12、図14と重複する内容については同一の符号を付して説明を省略する。サーバ1の制御部11は、取得した表示画像IDに対応する公開情報IDを大容量記憶部14の表示画像DB142により取得する(ステップS119)。制御部11は、取得した公開情報IDに基づいて表示画像の公開範囲を判定する(ステップS120)。公開範囲判定のサブルーチンに関しては後述する。サーバ1の制御部11は、公開範囲判定結果が公開か否かを判断する(ステップS121)。公開範囲結果が公開であると判断した場合(ステップS121でYES)、サーバ1の制御部11は、表示画像及び表示画像に関連付けられた位置情報を取得する。公開範囲結果が非公開であると判断した場合(ステップS121でNO)、サーバ1の制御部11は、処理を終了する。
図18は、実施形態1の公開範囲判定のサブルーチンの処理手順を示すフローチャートである。サーバ1の制御部11は、受信したユーザIDとログインしたユーザIDが同一であるか否かを判断する(ステップS1801)。受信したユーザIDとログインしたユーザIDが同一であると判断した場合(ステップS1801でYES)、ユーザ自身が送信済み表示画像に対して表示制限がないため、制御部11は、判定結果に公開を設定する(ステップS1809)。受信したユーザIDとログインしたユーザIDが同一でないと判断した場合(ステップS1801でNO)、制御部11は、大容量記憶部14の公開情報DB144により公開情報IDに対応する公開のタイプを取得する(ステップS1802)。制御部11は、公開のタイプが非公開であるか否かを判定する(ステップS1803)。公開のタイプが非公開であると判断した場合(ステップS1803でYES)、制御部11は、判定結果に非公開を設定する(ステップS1810)。公開のタイプが非公開以外であると判断した場合(ステップS1803でNO)、制御部11は、公開のタイプが公開であるか否かを判定する(ステップS1804)。公開のタイプが公開であると判断した場合(ステップS1804でYES)、制御部11は、判定結果に公開を設定する(ステップS1809)。公開のタイプが公開以外であると判断した場合(ステップS1804でNO)、制御部11は、公開のタイプが一部公開であるか否かを判定する(ステップS1805)。公開のタイプが一部公開であると判断した場合(ステップS1805でYES)、制御部11は、サーバ1の大容量記憶部14のユーザDB141により、ログインしたユーザIDに対応するユーザのランクを取得する(ステップS1806)。制御部11は、取得したユーザのランクと公開範囲のランクとを比較する(ステップS1807)。制御部11は、ユーザのランクが公開範囲のランク以上であるか否かを判定する(ステップS1808)。ユーザのランクが公開範囲のランク以上であると判断した場合(ステップS1808でYES)、制御部11は、判定結果に公開を設定する(ステップS1809)。ユーザのランクが公開範囲のランクより低いと判断した場合(ステップS1808でNO)、制御部11は、判定結果に非公開を設定する(ステップS1810)。公開情報が一部公開以外であると判断した場合(ステップS1805でNO)、制御部11は、判定結果に非公開を設定する(ステップS1810)。ステップS1809及びステップS1810の処理の後、制御部11は公開範囲判定結果を返却する(ステップS1811)。
本実施形態によると、ユーザが自由に表示画像の設定を行うことに応じて、ユーザの能動性を引き出すことが可能となる。
本実施形態によると、表示画像に関連付けられた説明情報を球体の撮影画像に重ねて表示することが可能となる。
本実施形態によると、公開の対象ユーザに表示画像を共有させることが可能となる。また、公開、非公開及び一部公開の設定を行うことにより、セキュリティレベルを高めることができる。さらにまた、公開範囲を適切に設定し、多目的なARシステムを実現させることが可能となる。
(実施形態2)
本実施形態では、ARシステムの実施形態の一例として、クルーズ運航システムを例に挙げて説明する。旅行会社の端末2の制御部21は、クルーズ運航ルートに基づき、アースボール3の撮影画像に重ねて表示するための複数の観光スポットの表示画像の選択を受け付ける。観光スポットの表示画像は、旅行会社の端末2の撮影部27により撮影しても良く、また旅行会社の端末2のアルバム24から選択しても良く、さらにまた、旅行会社の端末2の通信部23を介して図示しない外部装置から受信しても良い。旅行会社の端末2の制御部21は、受け付けた複数の表示画像にそれぞれの位置情報を取得し、受け付けた複数の表示画像及び取得した位置情報をユーザIDに関連付ける。位置情報の取得処理に関しては、実施形態1の位置情報の取得処理と同様であるため説明を省略する。旅行会社の端末2の通信部23は、ユーザID、受け付けた複数の表示画像及び表示画像に関連付けられた位置情報をサーバ1に送信する。サーバ1は、旅行会社の端末2から送信されたユーザID、複数の表示画像及び表示画像に関連付けられた位置情報を大容量記憶部14に記憶する。
本実施形態では、ARシステムの実施形態の一例として、クルーズ運航システムを例に挙げて説明する。旅行会社の端末2の制御部21は、クルーズ運航ルートに基づき、アースボール3の撮影画像に重ねて表示するための複数の観光スポットの表示画像の選択を受け付ける。観光スポットの表示画像は、旅行会社の端末2の撮影部27により撮影しても良く、また旅行会社の端末2のアルバム24から選択しても良く、さらにまた、旅行会社の端末2の通信部23を介して図示しない外部装置から受信しても良い。旅行会社の端末2の制御部21は、受け付けた複数の表示画像にそれぞれの位置情報を取得し、受け付けた複数の表示画像及び取得した位置情報をユーザIDに関連付ける。位置情報の取得処理に関しては、実施形態1の位置情報の取得処理と同様であるため説明を省略する。旅行会社の端末2の通信部23は、ユーザID、受け付けた複数の表示画像及び表示画像に関連付けられた位置情報をサーバ1に送信する。サーバ1は、旅行会社の端末2から送信されたユーザID、複数の表示画像及び表示画像に関連付けられた位置情報を大容量記憶部14に記憶する。
これにより、旅行者の端末2の表示部26を通して、旅行会社が提供したクルーズの運航情報に関する表示画像をアースボール3の撮影画像に重ねて表示することが可能となる。旅行者の端末2の制御部21は、旅行者の端末2の撮影部27により撮影したアースボール3の撮影画像を取得する。旅行者の端末2の通信部23は、旅行会社のユーザIDをサーバ1に送信する。
サーバ1の通信部13は、旅行者の端末2から送信された旅行会社のユーザIDを受信する。サーバ1の制御部11は、大容量記憶部14のユーザDB141により旅行会社のユーザIDに対応する複数の表示画像及び表示画像に関連付けられた位置情報を取得する。サーバ1の通信部13は、取得した複数の表示画像及び表示画像に関連付けられた位置情報を旅行者の端末2に送信する。
旅行者の端末2の通信部23は、サーバ1から送信された旅行会社のクルーズ運航情報に関する複数の表示画像及び表示画像に関連付けられた位置情報を受信する。受信した複数の表示画像に応じて、日時の順又は表示順序の順にアースボール3の撮影画像に切り替え重ねて表示することが可能となる。日時の順は、日時の古い順又は新しい順である。表示順序の順は、手動入力で設定しても良く、また他の方式で設定しても良い。例えば、制御部21は、複数の表示画像に対しランダムに表示順序を設定しても良い。
図19は、実施形態2の端末2の順序表示の動作を説明する説明図である。以下では、日時の順に表示する例を挙げて説明する。例えば、図示したP1、P2、P3及びP4は、クルーズの運航ルートに関する観光地を代表する。旅行者の端末2の通信部23は、P1、P2、P3及びP4の表示画像を受信する。受信したP1、P2、P3及びP4の表示画像は、クルーズの運航ルートの進行方向に基づき、古い日時の順に作成された画像である。例えばP1が出発地である場合、P1の表示画像の日時が一番古い日時であり、P4が最終目的地である場合、P4の表示画像の日時が一番新しい日時である。旅行者の端末2の制御部21は、受信したP1、P2、P3及びP4の表示画像からそれぞれ日時情報を抽出する。旅行者の端末2の制御部21は、抽出した日時情報が示す古い日時の順に、P1、P2、P3及びP4の表示画像をソートする。例えば、表示画像のソート結果は、P1、P2、P3、P4の順序である。旅行者の端末2の制御部21は、ソートした複数の表示画像に対して表示時間間隔を5秒に設定する。なお、表示時間間隔は任意の時間間隔に設定しても良い。
旅行者の端末2の制御部21は、ソートした複数の表示画像中から最初の表示画像を取得する。旅行者の端末2の制御部21は、最初の表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、最初の表示画像を、特定した球体位置に重ねて表示する。旅行者の端末2の時計部28によるタイマを起動し、経過時間を計算する。5秒経過後に、旅行者の端末2の制御部21は、表示中の最初の表示画像をアースボール3の撮影画像中からクリアし、複数の表示画像中から2番目の表示画像を取得する。旅行者の端末2の制御部21は、2番目の表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、2番目の表示画像を特定した表示部26を介して、球体位置に重ねて表示する。なお、複数の表示画像中から次の表示画像を取得する前に、撮影画像中の球体位置に表示中の表示画像をクリアしなくても良い。3番目又は4番目の表示処理は、2番目と同様であるため説明を省略する。4番目の表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置に、4番目の表示画像を重ねて表示した後に、タイマを終了する。なお、タイマを終了せずに、上述した処理を継続して実行しても良い。この場合、例えば、再び複数の表示画像中から最初の表示画像を取得し、最初の表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置に重ねて表示することにより、複数の表示画像を繰り返し切り替えて表示させることが可能となる。
図20は、実施形態2の端末2が複数の表示画像を受信する際の日時の順にソート処理手順を示すフローチャートである。図12と重複する内容については同一の符号を付して説明を省略する。サーバ1の制御部11は、受信したユーザIDに対応する複数の表示画像ID及び位置情報を大容量記憶部14のユーザDB141により取得する(ステップS131)。サーバ1の制御部11は、取得した各の表示画像IDに対応する各の表示画像を大容量記憶部14の表示画像DB142により取得する(ステップS132)。サーバ1の通信部13は、取得した複数の表示画像及び表示画像に関連付けられた位置情報を端末2に送信する(ステップS133)。端末2の通信部23は、サーバ1から送信された複数の表示画像及び表示画像に関連付けられた位置情報を受信する(ステップS231)。端末2の制御部21は、取得したアースボール3の撮影画像中のARマーカ情報に基づいて表示範囲を特定し、受信した複数の表示画像中から特定した表示範囲内の表示画像を抽出する(ステップS232)。表示範囲の特定処理に関しては、例えば、端末2の制御部21は、アースボール3の撮影画像中の表示中心点及び表示半径を抽出し、抽出した表示中心点に対応する緯度、経度位置情報を認識する。端末2の制御部21は、認識した緯度、経度の点を中心に抽出した半径内の位置情報に応じて、表示範囲を特定しても良い。端末2の制御部21は、抽出した複数の表示画像により、順次日時情報を抽出し(ステップS233)、表示画像が最後であるか否かを判断する(ステップS234)。表示画像が最後でないと判断した場合(ステップS234でNO)、端末2の制御部21は、表示画像の日時情報抽出処理に戻り、次の表示画像の日時情報を抽出する(ステップS233)。表示画像が最後であると判断した場合(ステップS234でYES)、端末2の制御部21は、抽出した複数の日時情報により、日時の古い順又は新しい順に複数の表示画像をソートする(ステップS235)。端末2の制御部21は、ソートした複数の表示画像の切り替え表示を行う時間間隔を設定する(ステップS236)。
図21は、実施形態2の端末2が切り替え表示を行う際の処理手順を示すフローチャートである。時間間隔を監視するため、端末2の時計部28によりタイマを起動し実行する(ステップS237)。端末2の制御部21は、ソートした複数の表示画像中から順次に表示画像及び表示画像に関連付けられた位置情報を取得し(ステップS238)、取得した位置情報に対応する撮影画像中の球体位置を特定する(ステップS239)。端末2の表示部26を介して、端末2の制御部21は、特定した撮影画像中の球体位置に、表示画像を重ねて表示する(ステップS240)。端末2の制御部21は、取得した表示画像が最後の表示画像であるか否かを判断する(ステップS241)。最後の表示画像であると判断した場合(ステップS241でYES)、端末2の制御部21は、タイマを終了する(ステップS244)。最後の表示画像でないと判断した場合(ステップS241でNO)、端末2の制御部21は、設定時間間隔を経過したか否かを判定する(ステップS242)。設定時間間隔を経過していないと判断した場合(ステップS242でNO)、端末2の制御部21は、タイマによる時間を継続して監視する。設定時間間隔を経過したと判断した場合(ステップS242でYES)、端末2の制御部21は、撮影画像に表示中の表示画像をクリアする(ステップS243)。端末2の制御部21は、表示画像及び位置情報取得処理に戻り、複数の表示画像中から次の表示画像及び表示画像に関連付けられた位置情報を取得する(ステップS238)。
図22は、実施形態2の端末2のソート処理手順を示すフローチャートである。図20と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、受信した複数の表示画像に対して表示順序の入力を受け付ける(ステップS245)。端末2の制御部21は、受け付けた表示順序の順に複数の表示画像をソートする(ステップS246)。次の処理は、図21と同様であるため説明を省略する。
図23は、実施形態2の端末2の軌跡情報を含む動作を説明する説明図である。上述した複数の表示画像に対して日時の順に重ねて表示する例に基づき、軌跡情報を加えてアースボール3の撮影画像に重ねて表示する例を挙げて説明する。旅行者の端末2の制御部21は、複数の観光スポットの表示画像P1、P2、P3及びP4を日時の古い順にソートする。例えば、観光スポットの表示画像のソート結果は、P1、P2、P3、P4の順序である。旅行者の端末2の制御部21は、複数の表示画像を切り替えて表示する時間間隔を設定する。例えば、時間間隔を5秒に設定する。
図23Aに示すように、旅行者の端末2の制御部21は、複数の表示画像中から最初の表示画像P1及び最初の表示画像P1に関連付けられた位置情報を取得する。旅行者の端末2の制御部21は、取得した最初の表示画像P1に関連付けられた位置情報に基づき、軌跡情報T1を生成する。旅行者の端末2の制御部21は、取得した最初の表示画像P1に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、取得した最初の表示画像P1及び生成した軌跡情報T1を、特定した球体位置に重ねて表示する。
続いて、図23Bに示すように、クルーズ運航ルートに沿って、設定した時間間隔5秒経過後に、旅行者の端末2の制御部21は、順次に複数の表示画像中から次の表示画像P2及び次の表示画像P2に関連付けられた位置情報を取得する。旅行者の端末2の制御部21は、最初の表示画像P1に関連付けられた位置情報及び次の表示画像P2に関連付けられた位置情報に基づき、既存の軌跡情報T1を更新する。旅行者の端末2の制御部21は、アースボール3の撮影画像中から表示中の最初の表示画像P1をクリアする。旅行者の端末2の制御部21は、取得した次の表示画像P2に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、取得した次の表示画像P2及び更新した軌跡情報T1を、特定した球体位置に重ねて表示する。
続いて、図23Cに示すように、クルーズ運航ルートに沿って、設定した時間間隔5秒経過後に、旅行者の端末2の制御部21は、順次に複数の表示画像中から次の表示画像P3及び次の表示画像P3に関連付けられた位置情報を取得する。旅行者の端末2の制御部21は、表示画像P1、表示画像P2及び表示画像P3に関連付けられた位置情報に基づき、既存の軌跡情報T1を更新する。旅行者の端末2の制御部21は、アースボール3の撮影画像中から表示中の表示画像P2をクリアする。旅行者の端末2の制御部21は、取得した次の表示画像P3に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、取得した次の表示画像P3及び更新した軌跡情報T1を、特定した球体位置に重ねて表示する。
続いて、図23Dに示すように、クルーズ運航ルートに沿って、設定した時間間隔5秒経過後に、旅行者の端末2の制御部21は、順次に複数の表示画像中から次の表示画像P4及び次の表示画像P4に関連付けられた位置情報を取得する。旅行者の端末2の制御部21は、表示画像P1、表示画像P2、表示画像P3及び表示画像P4に関連付けられた位置情報に基づき、既存の軌跡情報T1を更新する。旅行者の端末2の制御部21は、アースボール3の撮影画像中から表示中の表示画像P3をクリアする。旅行者の端末2の制御部21は、取得した次の表示画像P4に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、取得した次の表示画像P4及び更新した軌跡情報T1を特定した球体位置に重ねて表示し、タイマを終了する。なお、タイマを終了せずに、上述した処理を継続して実行しても良い。この場合、例えば、再び複数の表示画像中から最初の表示画像を取得し、既存の軌跡情報をクリアして再生成することにより、軌跡情報と共に複数の表示画像を繰り返し切り替えて表示させることが可能となる。
なお、軌跡情報の表示形式に関しては、軌跡情報をクルーズ運航ルートに沿って、設定時間間隔の毎に更新することに限られない。例えば、旅行者の端末2の制御部21は、複数の表示画像に関連付けられた位置情報を全部取得し、全体運航ルートの軌跡情報を生成する。旅行者の端末2の表示部26を介して、旅行者の端末2の制御部21は、位置情報に対応する撮影画像中の球体位置に生成した全体運航ルートの軌跡情報を重ねて表示しても良い。また、旅行者の端末2の表示部26に表示画像を表示せずに、作成した軌跡情報のみを重ねて表示しても良い。
図24は、実施形態2の端末2が軌跡情報を含む切り替え表示を行う際の処理手順を示すフローチャートである。複数の表示画像の受信処理及び日時の順にソート処理について、図20と同様であるため説明を省略する。また、図24では、図21と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、軌跡情報が存在するか否かを判断する(ステップS247)。軌跡情報が存在していないと判断した場合(ステップS247でNO)、端末2の制御部21は、取得した表示画像に関連付けられた位置情報に基づいて軌跡情報を生成する(ステップS248)。軌跡情報が存在したと判断した場合(ステップS247でYES)、端末2の制御部21は、取得した表示画像に関連付けられた位置情報に基づいて既存の軌跡情報を更新する(ステップS249)。端末2の制御部21は、表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する。端末2の表示部26を介して、端末2の制御部21は、表示画像及び軌跡情報を、特定した球体位置に重ねて表示する(ステップS250)。
本実施形態によると、日時情報が示す日時の順に、表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置に重ねて表示することが可能となる。
本実施形態によると、表示順序の順に、表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置に重ねて表示することが可能となる。
本実施形態によると、複数の表示画像に関連付けられた位置情報を基づき、軌跡情報を生成し、表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置に生成した軌跡情報を重ねて表示することが可能となる。
本実施形態によると、クルーズ運航に関する観光スポットの画像、滞在スケジュール等様々な情報を提供することが可能となる。運航ルートの可視化に応じて、運航経路又は進行方向等サービスを提供することが可能となる。
本実施形態によると、登山ルート又は航空会社の飛行ルート等を利用することが可能となる。例えば、登山ルートの利用の場合、山の高さ、川、湖又は海等を色分けて3Dオブジェクト等の描画手法を用いて描画し、立体画像を生成し、生成した立体画像をアースボール3の撮影画像に重ねて表示することが可能となる。
(実施形態3)
本実施形態は、ARシステムを実施する形態を一例として挙げ、宝探しゲームシステムについて説明する。
本実施形態は、ARシステムを実施する形態を一例として挙げ、宝探しゲームシステムについて説明する。
図25は、実施形態3のサーバ1の構成例を示すブロック図である。図2と重複する内容については同一の符号を付して説明を省略する。大容量記憶部14は、音楽DB145を含む。音楽DB145は、音楽又は効果音等のデータを記憶している。
図26は、実施形態3のユーザDB141のレコードレイアウトの一例を示す説明図である。図3と重複する内容について説明を省略する。ユーザDB141は、音楽ID列を含む。音楽ID列は、端末2から送信された音楽を一意に特定可能な音楽のIDをユーザIDに関連付けて記憶している。
図27は、音楽DB145のレコードレイアウトの一例を示す説明図である。音楽DB145は、音楽ID列、音楽列を含む。音楽ID列は、音楽を識別するために、一意に特定される音楽のIDを記憶している。音楽列は、音楽IDに対応する音楽のデータを記憶している。
宝探しゲームのゲームコンテンツは、表示画像及び音楽を含む。宝探しゲームを提供するゲーム会社の端末2は、宝探しゲームの表示画像、表示画像に関連付けられた位置情報及び音楽をゲーム会社のユーザIDに関連付けて、サーバ1に送信する。本実施形態において、例えば、音楽はゲームのシナリオに関する効果音である。サーバ1の制御部11は、ゲーム会社の端末2から送信された表示画像、位置情報及び効果音をゲーム会社のユーザIDに関連付けて、大容量記憶部14に記憶する。具体的には、サーバ1の制御部11は、表示画像に対してユニークな表示画像IDを振り、効果音に対してユニークな音楽IDを振る。サーバ1の制御部11は、ゲーム会社のユーザID、当該表示画像ID、当該音楽ID及び位置情報をユーザDB141に一つのレコードとして記憶する。サーバ1の制御部11は、表示画像ID及び表示画像のデータを一つのレコードとして表示画像DB142に記憶する。サーバ1の制御部11は、音楽ID及び音楽のデータを一つのレコードとして音楽DB145に記憶する。
これにより、遊戯者の端末2の表示部26を通して、ゲーム会社が提供したゲームコンテンツをアースボール3の撮影画像に重ねて表示することが可能となる。遊戯者の端末2の通信部23は、サーバ1から送信されたゲーム会社のユーザIDに対応する表示画像、表示画像に関連付けられた位置情報及び効果音を受信する。遊戯者の端末2の制御部21は、受信した位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。遊戯者の端末2の表示部26を介して、遊戯者の端末2の制御部21は、受信した表示画像を、特定した球体位置に重ねて表示する。遊戯者の端末2の制御部21は、遊戯者の端末2のスピーカ20を介して、受信した効果音を再生する。
図28は、実施形態3のARシステムの動作を説明する説明図である。例えば、図示したG1、G2及びG3は、宝を埋めることが可能なスポットを示す表示画像である。図示したG4は、ヒントマップの表示画像である。図示したG5は、財宝の表示画像である。
図28Aに示すように、遊戯者の端末2の制御部21は、受信した表示画像G1、G2及びG3に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。遊戯者の端末2の表示部26を介して、遊戯者の端末2の制御部21は、表示画像G1、G2及びG3を、特定した球体位置に重ねて表示する。遊戯者の端末2の制御部21は、遊戯者の端末2の入力部25により表示画像G2のタップ操作を受け付けた場合、ゲームのシナリオに基づき、表示画像G2に応じる指示を取得する。例えば、遊戯者の端末2の制御部21は、表示画像G2に応じる指示がヒントマップの指示であると判断した場合、表示画像G4を取得する。なお、ゲームのシナリオに関しては、アプリケーションの内部に内蔵しても良く、また端末2の通信部23により、サーバ1又は図示しない外部装置から受信しても良い。
続けて、図28Bに示すように、遊戯者の端末2の制御部21は、表示画像G4に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。遊戯者の端末2の表示部26を介して、遊戯者の端末2の制御部21は、特定した球体位置に表示画像G4を重ねて表示する。遊戯者の端末2の制御部21は、遊戯者の端末2のスピーカ20を介して、図示しないヒントマップの効果音を再生する。表示画像G4を重ねて表示した後に、表示画像G4のサムネイルに切り替えて表示することが可能となる。例えば、遊戯者の端末2の制御部21は、遊戯者の端末2の入力部25により、再び表示画像G4のタップ操作を受け付ける。遊戯者の端末2の制御部21は、アースボール3の撮影画像中から表示画像G4を表示画像G4のサムネイルに切り替えて表示しても良い。また、タイマ機能を利用しても良い。タイマ機能の利用の場合、遊戯者の端末2の制御部21は、遊戯者の端末2の時計部28によるタイマを起動し、経過時間を計算する。例えば、5秒経過後に、遊戯者の端末2の制御部21は、自動的にアースボール3の撮影画像中から表示画像G4を表示画像G4のサムネイルに切り替えて表示するようにしても良い。遊戯者の端末2の制御部21は、表示画像G4のサムネイルに切り替えて表示した後に、タイマを終了する。なお、本実施形態では、表示画像のサムネイルの例を示したが、これに限るものではない。例えば、アースボール3の撮影画像中から表示画像G4をクリアしても良く、またアースボール3の撮影画像に表示画像G4をそのままに表示しても良い。
続けて、図28Cに示すように、提示されたヒントに応じて、他の宝を埋めることが可能なスポットに財宝を探し続ける。例えば、遊戯者の端末2の制御部21は、遊戯者の端末2の入力部25により、他の宝を埋めることが可能なスポットを示す表示画像G3のタップ操作を受け付ける。遊戯者の端末2の制御部21は、ゲームのシナリオに基づき、表示画像G3に応じる指示を取得する。例えば、遊戯者の端末2の制御部21は、表示画像G3に応じる指示が財宝の指示であると判断した場合、表示画像G5を取得する。
続けて、図28Dに示すように、遊戯者の端末2の制御部21は、表示画像G5に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する。遊戯者の端末2の表示部26を介して、遊戯者の端末2の制御部21は、特定した球体位置に表示画像G5を重ねて表示する。遊戯者の端末2の制御部21は、遊戯者の端末2のスピーカ20を介して、図示しない財宝発見の効果音を再生する。なお、遊戯者の端末2の表示部26にヒントマップの表示画像G4又は財宝の表示画像G5を全スクリーンで表示しても良く、またスクリーンの一部エリアで表示しても良い。
また、表示画像に関連付けられた説明情報がある場合、遊戯者の端末2の表示部26を介して、遊戯者の端末2の制御部21は、アースボール3の撮影画像に表示画像及び表示画像に関連付けられた説明情報を重ねて表示しても良い。例えば、図28Bに示すように、ヒントマップの表示画像G4に関連付けられた説明情報は「ヒント:海に行って探せ!」である。図28Dに示すように、財宝の表示画像G5に関連付けられた説明情報は「おめでとう!財宝獲得!」である。
図29は、実施形態3の端末2が表示画像及び音楽を送信する際の処理手順を示すフローチャートである。図11と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、アースボール3の撮影画像の特定の位置の表示に応じて再生するための音楽の選択を受け付ける(ステップS261)。端末2の制御部21は、選択された表示画像、音楽及び取得した位置情報をユーザIDに関連付ける。端末2の通信部23は、ユーザID、表示画像、音楽及び位置情報をサーバ1に送信する(ステップS262)。サーバ1の通信部13は、端末2から送信されたユーザID、表示画像、音楽及び位置情報を受信する(ステップS161)。サーバ1の制御部11は、受信した表示画像、音楽及び位置情報をユーザIDに関連付けて、大容量記憶部14に記憶する(ステップS162)。
図30は、実施形態3の端末2が表示画像及び音楽を受信する際の処理手順を示すフローチャートである。図12と重複する内容については同一の符号を付しているため説明を省略する。サーバ1の制御部11は、端末2から送信されたユーザIDに対応する表示画像ID、音楽ID及び位置情報を大容量記憶部14のユーザDB141より取得する(ステップS163)。サーバ1の制御部11は、取得した音楽IDに対応する音楽を大容量記憶部14の音楽DB145により取得する(ステップS164)。サーバ1の通信部13は、取得した表示画像、音楽及び表示画像に関連付けられた位置情報を端末2に送信する(ステップS165)。端末2の通信部23は、サーバ1から送信された表示画像、音楽及び表示画像に関連付けられた位置情報を受信する(ステップS263)。端末2の制御部21は、受信した表示画像、音楽及び表示画像に関連付けられた位置情報に応じて、ゲームの処理を行う(ステップS264)。ゲームの処理流れに関しては次に記述する。
図31は、実施形態3のゲームの処理手順を示すフローチャートである。端末2の制御部21は、宝を埋めることが可能なスポットを示す表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する(ステップS901)。以下では簡潔のため、宝を埋めることが可能なスポットを示す表示画像をスポットの表示画像と読み替える。端末2の制御部21は、端末2の表示部26を介して、スポットの表示画像を、特定した球体位置に重ねて表示する(ステップS902)。端末2の制御部21は、端末2の入力部25により、スポットの表示画像の選択を受け付ける(ステップS903)。ゲームのシナリオに基づき、端末2の制御部21は、選択されたスポットの表示画像に応じて財宝の指示であるか否かを判断する(ステップS904)。端末2の制御部21は、財宝の指示であると判断した場合(ステップS904でYES)、財宝の表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する(ステップS905)。端末2の制御部21は、端末2の表示部26を介して、財宝の表示画像を、特定した球体位置に重ねて表示する(ステップS906)。端末2の制御部21は、端末2のスピーカ20を介して、財宝発見の効果音を再生する(ステップS907)。端末2の制御部21は、端末2の表示部26を介して、財宝の表示画像に関連付けられた説明情報を特定した球体位置に重ねて表示し(ステップS908)、処理を終了する。端末2の制御部21は、財宝の指示でないと判断した場合(ステップS904でNO)、選択されたスポットの表示画像に応じてヒントマップの指示であるか否かを判断する(ステップS909)。端末2の制御部21は、ヒントマップの指示であると判断した場合(ステップS909でYES)、ヒントマップの表示画像に関連付けられた位置情報に対応する撮影画像中の球体位置を特定する(ステップS910)。端末2の制御部21は、端末2の表示部26を介して、ヒントマップの表示画像を、特定した球体位置に重ねて表示する(ステップS911)。端末2の制御部21は、端末2のスピーカ20を介して、ヒントマップの効果音を再生する(ステップS912)。端末2の制御部21は、端末2の表示部26を介して、ヒントマップの表示画像に関連付けられた説明情報を、特定した球体位置に重ねて表示する(ステップS913)。端末2の制御部21は、ステップS913の処理後、及びヒントマップの指示でないと判断した場合(ステップS909でNO)、スポットの表示画像の選択を受け付ける処理に戻る(ステップS903)。
本実施形態によると、表示画像と音楽を合わせて楽しめる。宝探しゲーム等シナリオがある場合、効果音等用いて気分は簡単に盛り上がることが可能となる。また、音楽のみサービスを提供しても良い。例えば、世界各国の歌手の出身地の位置情報を取得し、歌手の音楽及び取得した位置情報をサーバ1に送信すると、利用者は世界各国の歌手の出身地の位置情報に対応する音楽を取得し再生することが可能となる。
(実施形態4)
本実施形態は、異なる種類の球体に関するARシステムを実施する形態を一例として挙げる。表示言語、球体のサイズ、メーカ等により、様々な種類の球体が存在する。異なる種類の球体に対して、異なるマーカ認識システムを用いてマーカを認識する。
本実施形態は、異なる種類の球体に関するARシステムを実施する形態を一例として挙げる。表示言語、球体のサイズ、メーカ等により、様々な種類の球体が存在する。異なる種類の球体に対して、異なるマーカ認識システムを用いてマーカを認識する。
図32は、実施形態4のサーバ1の構成例を示すブロック図である。図2と重複する内容については同一の符号を付して説明を省略する。大容量記憶部14は、球体DB146を含む。球体DB146は、球体情報を記憶している。
図33は、実施形態4のユーザDB141のレコードレイアウトの一例を示す説明図である。図3と重複する内容について説明を省略する。ユーザDB141は、球体ID列を含む。球体ID列は、球体情報を一意に特定可能な球体のIDを記憶している。
図34は、球体DB146のレコードレイアウトの一例を示す説明図である。球体DB146は、球体ID列、メーカ列、サイズ列、言語列を含む。球体ID列は、球体を識別するために、一意に特定される球体IDを記憶している。メーカ列は、メーカの名称を記憶している。サイズ列は、球体のサイズを記憶している。言語列は球体に印字された言語種類を記憶している。
図35は、実施形態4のARシステムの動作を説明する説明図である。例えば、海外旅行又は国内旅行に向け、航空会社は搭乗者に映画、音楽等の視聴サービスを提供する。航空会社は、搭乗者の国籍、年齢、性別等の属性に基づき、搭乗者に異なる種類のアースボール3を配布又は販売する。例えば、欧米の国の搭乗者に英語版のアースボール3を配布し、日本の搭乗者に日本語版のアースボール3を配布する。また、子供向けにサイズが小さいアースボール3を配布しても良い。
具体的には、航空会社の端末2の制御部21は、航空会社の端末2の撮影部27により撮影したQRコードを読み込み、アースボール3の球体IDを特定する。なお、球体IDの特定手段について、QRコードに限らず、一次元コード又は他の二次元コードにより特定しても良く、手動入力により特定しても良い。またアースボール3の撮影画像中のARマーカ情報により特定しても良い。例えば、航空会社の端末2の制御部21は、航空会社の端末2の撮影部27により撮影したARマーカが付されたアースボール3の撮影画像を取得する。航空会社の端末2の制御部21は、取得した撮影画像中のARマーカを認識し、認識したARマーカに応じた球体IDを特定しても良い。地図中の海、大陸、各国又は都市等に名称が付されている文字がARマーカを構成する場合、大容量記憶部14の球体DB146により文字の言語の種類に応じて球体IDを特定することが可能となる。なお、アースボール3に付与されるQRコード、文字又はARマーカにより球体IDを判別する例を示したが、これに限るものではない。球体の種類に応じて、それぞれ個別のアプリケーションを用意しても良い。この場合、端末2から送信されるアプリケーションIDにより球体IDを特定することができる。
航空会社の端末2は、特定したアースボール3の球体IDに関連付けて、航空会社のユーザID、表示画像及び表示画像に関連付けられた位置情報をサーバ1に送信する。サーバ1は、航空会社の端末2から送信された航空会社のユーザID、表示画像及び表示画像に関連付けられた位置情報を球体IDに関連付けて、大容量記憶部14に記憶する。
これにより、搭乗者の端末2の表示部26を通して、航空会社が提供した表示画像を配布されたアースボール3の撮影画像に重ねて表示することが可能となる。例えば、搭乗者の端末2の撮影部27は、配布されたアースボール3の球体表面のQRコードを撮影する。搭乗者の端末2の制御部21は、撮影したQRコードを読み込み、球体IDを特定する。搭乗者の端末2の通信部23は、特定した球体ID及び航空会社のユーザIDをサーバ1に送信する。サーバ1の制御部11は、受信した球体ID及び航空会社のユーザIDに対応する表示画像と、表示画像に関連付けられた位置情報とを取得する。サーバ1の通信部13は、表示画像及び表示画像に関連付けられた位置情報を搭乗者の端末2に送信する。搭乗者の端末2の通信部23は、サーバ1から送信された表示画像及び表示画像に関連付けられた位置情報を受信する。搭乗者の端末2の制御部21は、受信した表示画像に関連付けられた位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。搭乗者の端末2の表示部26を介して、搭乗者の端末2の制御部21は、受信した表示画像を、特定した球体位置に重ねて表示する。
図36は、実施形態4の端末2が球体IDに基づき表示画像を送信する際の処理手順を示すフローチャートである。図11と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、球体IDを特定し(ステップS281)、ユーザID、選択された表示画像及び表示画像に関連付けられた位置情報を特定した球体IDに関連付ける。端末2の通信部23は、球体ID、ユーザID、表示画像及び表示画像に関連付けられた位置情報をサーバ1に送信する(ステップS282)。サーバ1の通信部13は、端末2から送信された球体ID、ユーザID、表示画像及び表示画像に関連付けられた位置情報を受信する(ステップS181)。サーバ1の制御部11は、受信したユーザID、表示画像及び表示画像に関連付けられた位置情報を受信した球体IDに関連付けて、大容量記憶部14に記憶する(ステップS182)。
図37は、実施形態4の端末2が球体IDに基づき表示画像を受信する際の処理手順を示すフローチャートである。図12と重複する内容については同一の符号を付して説明を省略する。なお、QRコードにより球体IDを特定する例として、処理流れを説明する。端末2の撮影部27は、アースボール3の球体表面のQRコードを撮影する。端末2の制御部21は、撮影したアースボール3の球体表面のQRコードの撮影画像からQRコードを取得する(ステップS283)。端末2の制御部21は、取得したQRコードによる球体IDを特定する(ステップS284)。端末2の通信部23は、特定した球体ID及びユーザIDをサーバ1に送信する(ステップS285)。サーバ1の通信部13は、端末2から送信された球体ID及びユーザIDを受信する(ステップS183)。サーバ1の制御部11は、受信した球体ID及びユーザIDに対応する表示画像IDと、位置情報とを大容量記憶部14のユーザDB141により取得する(ステップS184)。
本実施形態によると、複数の種類の球体に対してARシステムを利用することが可能となる。球体ID毎に表示画像又は音楽等サーバに送受信を行うことにより、多様化又は多用途のサービスを提供することが可能となる。その他企業のノベルティ又は商品として、独自のアースボール3を提供することが可能となる。
(実施形態5)
本実施形態は、表示画像の一例としてメダルを用いた例を挙げて説明する。オリンピック又はスポーツ競技大会等が開催される場合、選手別、国別に集計されたメダルの種類毎の獲得数量が発表される。本実施形態では、アースボール3の撮影画像に重ねてメダルを表示する。
本実施形態は、表示画像の一例としてメダルを用いた例を挙げて説明する。オリンピック又はスポーツ競技大会等が開催される場合、選手別、国別に集計されたメダルの種類毎の獲得数量が発表される。本実施形態では、アースボール3の撮影画像に重ねてメダルを表示する。
図38は、実施形態5のサーバ1の構成例を示すブロック図である。図2と重複する内容については同一の符号を付して説明を省略する。大容量記憶部14は、メダルDB147を含む。メダルDB147は、国別にメダルの種類毎の獲得数量を記憶している。
図39は、実施形態5の表示画像DB142のレコードレイアウトの一例を示す説明図である。図4と重複する内容について説明を省略する。本実施形態では、表示画像DB142は、国を代表する国旗、建造物又は風景等の表示画像及びメダルの表示画像等を記憶している。例えば、P6はメダルの立体的表示画像であり、P7は、日本の国旗の表示画像である。
図40は、メダルDB147のレコードレイアウトの一例を示す説明図である。メダルDB147は、国列、メダル列を含む。国列は、名称列、画像ID1列を含む。名称列は、国名を記憶している。なお、名称列は国名の代わりに、国のコードを記憶しても良い。画像ID1列は、各国を代表する表示画像のIDを記憶している。メダル列は、金列、銀列、銅列及び画像ID2列を含む。金列は、獲得された金メダルの数量を記憶している。銀列は、獲得された銀メダルの数量を記憶している。銅列は、獲得された銅メダルの数量を記憶している。画像ID2列は、メダルの表示画像のIDを記憶している。
以下では、ユーザ端末2を用いた、メダルの獲得数量及び国名の送信処理の概要について説明する。端末2の制御部21は、アースボール3の撮影画像に重ねて表示するためのメダルの表示画像及びメダルが獲得された各国の表示画像の選択を受け付ける。制御部21は、入力部25により入力されたメダルの種類毎の獲得数量及び国名を取得する。なお、制御部21は、通信部23を介して図示しない外部装置からメダルの種類毎の獲得数量及び国名を受信しても良い。端末2の制御部21は、国名に基づき国の位置情報を取得する。なお、位置情報の取得処理に関しては、実施形態1の位置情報の取得処理と同様であっても良い。例えば、端末2の入力部25により、国の表示画像に対する位置情報を手動入力しても良い。制御部21は、受け付けた表示画像、取得した各国の位置情報、メダルの種類毎の獲得数量及び国名をユーザIDに関連づけ、通信部23を介してサーバ1に送信する。
なお、本実施形態では、端末2は各国の表示画像及び位置情報をサーバ1に送信したが、これに限るものではない。例えば、端末2はメダルの種類毎の獲得数量及び国名のみをサーバ1に送信しても良い。この場合、サーバ1は、受信した国名に基づき国の位置情報及び事前に用意された各国の表示画像を取得しても良い。
サーバ1は、端末2から送信された表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名を大容量記憶部14に記憶する。具体的には、サーバ1の制御部11は、メダルの表示画像に対してユニークな表示画像IDを振り、ユーザID、該メダルの表示画像IDをユーザDB141に一つのレコードとして記憶する。制御部11は、国別に国の表示画像に対してユニークな表示画像IDを振り、ユーザID、該国の表示画像ID及び国の位置情報をユーザDB141に一つのレコードとして記憶する。制御部11は、表示画像ID及び表示画像のデータを一つのレコードとして表示画像DB142に記憶する。サーバ1の制御部11は、国別にメダルの種類毎の獲得数量を一つのレコードとしてメダルDB147に記憶する。
続いて、国別にメダルの種類毎の獲得数量を閲覧するユーザ端末2を用いて、上述したユーザが送信済みの表示画像を表示する処理について説明する。端末2の制御部21は、国別にメダルの種類毎の獲得数量を登録するユーザIDを取得し、通信部23を介して該ユーザIDをサーバ1に送信する。なお、ユーザIDの取得処理に関しては、実施形態1のユーザIDの取得処理と同様であるため説明を省略する。
サーバ1の通信部13は、端末2から送信されたユーザIDを受信する。サーバ1の制御部11は、受信したユーザIDに基づいて大容量記憶部14のユーザDB141を検索し、ユーザIDに対応する表示画像の表示画像ID及び位置情報を取得する。制御部11は、表示画像IDに対応する表示画像を表示画像DB142から取得する。制御部11は、国別にメダルの種類毎の獲得数量をメダルDB147から取得する。通信部13は、取得した表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名を端末2に送信する。
端末2の通信部23は、サーバ1から送信されたユーザIDに対応する表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名を受信する。図41は、メダルの表示画像の表示例を示すイメージ図である。なお、図示のように、白抜きの丸印は金メダルを示し、右斜めのハッチングを付した丸印は銀メダルを示し、左斜めのハッチングを付した丸印は銅メダルを示す。端末2の制御部21は、受信した国の位置情報に対応するアースボール3の撮影画像中の球体位置を特定する。制御部21は、国別にメダルの種類に応じて、メダルの獲得数量に基づきメダルの表示画像を色分けで積み上げ、表示部26を介して特定した球体位置に重ねて表示する。
以下では、銅メダルの表示処理例を説明する。制御部21は、受信した銅メダルの獲得数量及びメダルの表示画像を取得する。制御部21は、該メダルの表示画像を元に、銅メダルの獲得数量と同様の数量のメダルの表示画像を複製する。例えば、銅メダルの獲得数量が3である場合、三つのメダルの表示画像を複製する。制御部21は、複製した銅メダルの表示画像に銅色を付けて、アースボール3の撮影画像中の球体の表面との略垂直方向に沿わせて積み上げ、該国の位置情報に対応する撮影画像の球体位置に重ねて表示する。なお、銅メダル、銀メダル、金メダルそれぞれの表示画像データを用意しておいても良い。
銅メダルの表示画像の次に、銀メダルの表示画像、金メダルの表示画像の順に表示処理を行う。なお、銀メダル及び金メダルの表示処理に関しては、銅メダルの表示処理と同様であるため説明を省略する。制御部21は、金メダルの表示処理を行った後に、国旗の表示画像を金メダルの表示画像の上方に積み上げて表示する。なお、国旗の表示画像の表示位置は金メダルの表示画像の上方に限らず、例えばメダルの表示画像の間であっても良い。更にまた、国旗の表示画像の代わりに、文字列で国名を表示しても良い。なお、本実施形態では、銅メダル、銀メダル、金メダルの順に表示処理を行ったが、これに限るものではない。例えば、金メダル、銀メダル、銅メダルの順に表示処理を行うほか、ランダムの順に表示処理を行っても良い。
本実施形態では、メダルの表示画像に色を付けて表示したが、これに限るものではない。例えばメダルの表示画像に、「金」、「銀」又は「銅」の文字を書き込んで表示しても良い。なお、本実施形態では、メダルの表示画像をメダルの獲得数量に応じて積み上げ、アースボール3の撮影画像に重ねて表示したが、これに限るものではない。例えば、端末2は、直方体の表示画像をメダルの表示画像の代わりに用いて、メダルの獲得数量に応じて直方体の表示画像の高さを調整し表示しても良い。
図42は、実施形態5の端末が国別にメダルの種類毎の獲得数量を送信する際の処理手順を示すフローチャートである。図11と重複する内容については同一の符号を付して説明を省略する。端末2の制御部21は、入力部25により国別にメダルの種類毎の獲得数量を取得する(ステップS291)。制御部21は、国名に基づき国の位置情報を取得する(ステップS292)。制御部21は、表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名をユーザIDに関連付け、通信部23を介してサーバ1に送信する(ステップS293)。サーバ1の通信部13は、端末2から送信されたユーザID、表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名を受信する(ステップS191)。サーバ1の制御部11は、受信した表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名をユーザIDに関連付け、大容量記憶部14に記憶する(ステップS192)。
図43は、実施形態5の端末が国別にメダルの種類毎の獲得数量を受信する際の処理手順を示すフローチャートである。図12と重複する内容については同一の符号を付して説明を省略する。サーバ1の制御部11は、メダルの種類毎の獲得数量及び国名を大容量記憶部14のメダルDB147から取得する(ステップS193)。サーバ1の通信部13は、取得した表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名を端末2に送信する(ステップS194)。端末2の通信部23は、サーバ1から送信された表示画像、国の位置情報、メダルの種類毎の獲得数量及び国名を受信する(ステップS294)。端末2の制御部21は、受信した表示画像及び国の位置情報に基づき、メダルの表示画像及び国旗の表示画像をアースボール3の撮影画像に積み上げて表示する(ステップS295)。なお、メダルの表示のサブルーチンに関しては後述する。
図44は、メダル表示のサブルーチンの処理手順を示すフローチャートである。端末2の制御部21は、受信した表示画像の中からアースボール3の撮影画像に応じた領域の各国の表示画像を取得する(ステップSa01)。例えば、制御部21は、アースボール3の撮影範囲の緯度及び経度に対応する領域の表示画像を受信した表示画像の中から抽出しても良い。制御部21は、取得した各国の表示画像の中から一つの国の表示画像を取得する(ステップSa02)。制御部21は、該国の位置情報に対応するアースボール3の撮影画像中の球体位置を特定する(ステップSa03)。
続いて、制御部21は、銅メダル、銀メダル及び金メダルの表示処理を行う(ステップSa04~ステップSa06)。なお、各種類のメダルの表示処理に関しては、後述する。制御部21は、該国の表示画像を特定した球体位置に重ねて表示する(ステップSa07)。制御部21は、アースボール3の撮影画像に応じた領域において、該国の表示画像が最後の国の表示画像であるか否かを判断する(ステップSa08)。該国の表示画像が最後でないと判断した場合(ステップSa08でNO)、制御部21は、国の表示画像の取得処理に戻り、次の国の表示画像を取得する(ステップSa02)。該国の表示画像が最後であると判断した場合(ステップSa08でYES)、制御部21は処理を終了する。
図45は、各種類のメダルの表示処理手順を示すフローチャートであり、金メダル、銀メダル又は銅メダルのいずれかの表示処理に適用する。制御部21は、受信したメダルの表示画像を取得し(ステップSb01)、受信したメダルの獲得数量を取得する(ステップSb02)。例えば、金メダルの表示処理の場合、該国に対応する金メダルの獲得数量を取得する。制御部21は、メダルの表示画像を元として、メダルの獲得数量と同様の数量のメダルの表示画像を複製する(ステップSb03)。例えば、金メダルの獲得数量が3である場合、三つのメダルの表示画像を複製する。制御部21は、複製したメダルの表示画像に色を付ける(ステップSb04)。例えば、金メダルの場合、メダルの表示画像に金色を付ける。制御部21は、色が付けられたメダルの表示画像をアースボール3の撮影画像中の球体の表面との略垂直方向に沿わせて積み上げ(ステップSb05)、国旗の表示画像と共に、特定した球体位置に重ねて表示する(ステップSb06)。
また、表示画像に対する説明情報を設定することもできる。以下では、国の表示画像に関連付けられた説明情報の表示の概要を説明する。
図46は、実施形態5の説明情報DB143のレコードレイアウトの一例を示す説明図である。図5と重複する内容について説明を省略する。本実施形態では、説明情報DB143は、メダルの表示画像及び各国の表示画像に関連付けられた説明情報を記憶している。
図47は、国の表示画像に関連付けられた説明情報の表示例を示すイメージ図である。本実施形態では、例えば説明情報DB143は、「日本」の表示画像に対応するURL形式の説明情報「http://www.sports.japanInfo.co.jp」を記憶している。サーバ1の制御部11は、通信部13を介して、図示しない外部装置から該URLに対応する説明情報のコンテンツを取得することができる。なお、上述した形式に限らず、例えば事前に説明情報をテキストの形式で説明情報DB143に記憶しても良い。サーバ1の制御部11は、通信部13を介して、取得した「日本」の表示画像に関連付けられた説明情報を端末2に送信する。端末2の制御部21は、通信部23を介して「日本」の表示画像に関連付けられた説明情報を受信する。端末2の制御部21は、入力部25により「日本」の表示画像のタップ操作を受け取った場合、表示部26を介して、取得した説明情報をアースボール3の撮影画像に重ねて表示する。
なお、本実施形態では、サーバ1はURLに対応する説明情報のコンテンツを端末2に送信したが、これに限るものではない。例えば、サーバ1は、URL形式の説明情報そのものを端末2に送信し、端末2は受信したURLに対応する説明情報のコンテンツを取得し表示しても良い。
本実施形態によると、オリンピック又はスポーツ競技大会におけるメダルの獲得数量及び競技状況等が随時に反映される。また、メダルの表示画像がアースボール3の撮影画像に積み上げて表示されるため、国別に各種類のメダルの獲得数量を一目瞭然に把握することができる。また、オリンピック又はスポーツ競技大会のイベント情報、スポーツの視聴コンテンツ及び選手の紹介等サービスを提供することが可能となる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 情報処理装置(サーバ)
11 制御部
12 記憶部
13 通信部
14 大容量記憶部
141 ユーザDB
142 表示画像DB
143 説明情報DB
144 公開情報DB
145 音楽DB
146 球体DB
147 メダルDB
1a 可搬型記憶媒体
1b 半導体メモリ
1P 制御プログラム
2 情報処理端末(端末、コンピュータ)
21 制御部
22 記憶部
23 通信部
24 アルバム
25 入力部
26 表示部
27 撮影部
28 時計部
29 マイク
20 スピーカ
2P 制御プログラム
3 アースボール(球体)
B バス
N ネットワーク
11 制御部
12 記憶部
13 通信部
14 大容量記憶部
141 ユーザDB
142 表示画像DB
143 説明情報DB
144 公開情報DB
145 音楽DB
146 球体DB
147 メダルDB
1a 可搬型記憶媒体
1b 半導体メモリ
1P 制御プログラム
2 情報処理端末(端末、コンピュータ)
21 制御部
22 記憶部
23 通信部
24 アルバム
25 入力部
26 表示部
27 撮影部
28 時計部
29 マイク
20 スピーカ
2P 制御プログラム
3 アースボール(球体)
B バス
N ネットワーク
Claims (20)
- コンピュータに、
マーカを表面に有する球体の撮影画像に重ねて表示するための表示画像の選択を受け付け、
前記表示画像に対応する位置情報を取得し、
受け付けた前記表示画像及び取得した前記位置情報をユーザIDに関連付けて送信する処理を実行させるプログラム。 - 前記位置情報に対応する前記球体の前記撮影画像を取得し、
前記ユーザIDに対応する前記表示画像及び前記表示画像に関連付けられた前記位置情報を受信し、
前記位置情報に対応する前記撮影画像中の球体位置に、受信した前記表示画像を重ねて表示する
処理を実行させる請求項1に記載のプログラム。 - 前記表示画像に対する音声情報又はテキスト情報を含む説明情報の入力を受け付け、
前記ユーザID及び前記表示画像に関連付けて、前記説明情報を送信する
処理を実行させる請求項1又は2に記載のプログラム。 - 前記ユーザID及び前記表示画像に関連付けられた前記説明情報を受信し、
前記表示画像に関連付けられた前記位置情報に対応する前記撮影画像中の球体位置に、受信した前記説明情報を重ねて表示する
処理を実行させる請求項3に記載のプログラム。 - 前記表示画像に対する公開、非公開又は一部公開を含む公開情報の設定を受け付け、
前記ユーザID及び前記表示画像に関連付けて、前記公開情報を送信する
処理を実行させる請求項1から4までのいずれかひとつに記載のプログラム。 - 日時情報を含む複数の前記表示画像から前記日時情報を抽出し、
前記表示画像に関連付けられた前記位置情報に対応する前記撮影画像中の球体位置に、抽出した前記日時情報が示す日時の順に複数の前記表示画像を重ねて表示する
処理を実行させる請求項1から5までのいずれかひとつに記載のプログラム。 - 複数の前記表示画像の表示順序の入力を受け付け、
前記表示画像に関連付けられた前記位置情報に対応する前記撮影画像中の球体位置に、受け付けた前記表示順序の順に複数の前記表示画像を重ねて表示する
処理を実行させる請求項1から5までのいずれかひとつに記載のプログラム。 - 複数の前記表示画像に関連付けられた前記位置情報に基づき、位置軌跡情報を生成し、
前記位置情報に対応する前記撮影画像中の球体位置に、取得した前記位置軌跡情報を重ねて表示する
処理を実行させる請求項1から7までのいずれかひとつに記載のプログラム。 - 前記球体の前記撮影画像の特定の位置の表示に応じて再生するための音楽の選択を受け付け、
前記音楽に対応する前記位置情報を取得し、
受け付けた前記音楽と取得した前記位置情報を前記ユーザIDに関連付けて送信する
処理を実行させる請求項1から8までのいずれかひとつに記載のプログラム。 - 前記球体は複数種類存在し、
前記球体を識別する球体IDを特定し、
前記ユーザID、前記表示画像及び前記位置情報を、特定した前記球体IDに関連付けて送信する
処理を実行させる請求項1から9までのいずれかひとつに記載のプログラム。 - 国別にメダルの種類毎の獲得数量を取得し、
前記ユーザIDに関連付けて、取得した前記メダルの種類毎の獲得数量及び国名を送信する
処理を実行させる請求項1から10までのいずれかひとつに記載のプログラム。 - 前記ユーザIDに関連付けられた前記メダルの種類毎の獲得数量及び前記国名を受信し、
国の位置情報に対応する前記撮影画像中の球体位置に、国別に受信したメダルの種類毎のメダルの表示画像を積み上げて表示する
処理を実行させる請求項11に記載のプログラム。 - コンピュータに、
ユーザID、マーカを表面に有する球体の撮影画像に重ねて表示するための表示画像及び前記表示画像に関連付けられた位置情報を受信し、
受信した前記ユーザIDに関連付けて、前記表示画像及び位置情報を記憶し、
ユーザIDを受信した場合に、前記ユーザIDに対応する前記表示画像及び前記表示画像に関連付けられた前記位置情報を読み出し、
読み出した前記表示画像及び前記位置情報を送信する
処理を実行させるプログラム。 - ユーザID及び前記表示画像に関連付けられた説明情報を受信し、
前記ユーザID及び前記表示画像に関連付けて、受信した前記説明情報を記憶し、
ユーザIDを受信した場合に、前記ユーザIDに対応する前記表示画像に関連付けられた前記説明情報を読み出し、
読み出した前記説明情報を送信する
処理を実行させる請求項13に記載のプログラム。 - ユーザID及び前記表示画像に関連付けられた公開、非公開又は一部公開を含む公開情報を受信し、
前記ユーザID及び前記表示画像に関連付けて、受信した前記公開情報を記憶し、
第2ユーザIDを受信した場合に、前記第2ユーザIDに対応する前記表示画像に関連付けられた前記公開情報を読み出し、
読み出した前記公開情報に基づいて公開するか否かを判断し、
公開又は一部公開の条件を満たす前記表示画像及び前記表示画像に関連付けられた前記位置情報を読み出し、
読み出した前記表示画像及び前記位置情報を送信する
処理を実行させる請求項13又は14に記載のプログラム。 - 前記球体は複数種類存在し、
前記球体を識別する球体ID、並びに前記球体IDに関連付けられた前記ユーザID、前記表示画像及び前記位置情報を受信し、
受信した前記球体IDに関連付けて、前記ユーザID、前記表示画像及び前記位置情報を記憶し、
球体ID及びユーザIDを受信した場合に、前記球体ID及び前記ユーザIDに対応する前記表示画像と、前記表示画像に関連付けられた前記位置情報とを読み出し、
読み出した前記表示画像及び前記位置情報を送信する
処理を実行させる請求項13から15までのいずれかひとつに記載のプログラム。 - ユーザID、メダルの種類毎の獲得数量及び国名を受信し、
前記ユーザIDに関連付けて、受信した前記メダルの種類毎の獲得数量及び前記国名を記憶し、
ユーザIDを受信した場合に、前記ユーザIDに対応する前記メダルの種類毎の獲得数量及び前記国名を読み出し、
読み出した前記獲得数量及び前記国名を送信する
処理を実行させる請求項13から16までのいずれかひとつに記載のプログラム。 - ユーザID、マーカを表面に有する球体の撮影画像に重ねて表示するための表示画像及び前記表示画像に関連付けられた位置情報を受信する受信部と、
前記受信部が受信した前記ユーザIDに関連付けて、前記表示画像及び前記位置情報を記憶する記憶部と、
ユーザIDを受信する第2受信部と、
前記第2受信部が受信した前記ユーザIDに基づき、前記記憶部が記憶した前記表示画像及び前記表示画像に関連付けられた前記位置情報を読み出す読み出し部と、
前記読み出し部が読み出した前記表示画像及び前記位置情報を送信する送信部と
を備える情報処理装置。 - マーカを表面に有する球体の撮影画像に重ねて表示するための表示画像の選択を受け付け、
前記表示画像に対応する位置情報を取得し、
受け付けた前記表示画像及び取得した前記位置情報をユーザIDに関連付けて送信する
処理をコンピュータに実行させることを特徴とする情報処理方法。 - 前記位置情報に対応する前記球体の前記撮影画像を取得し、
前記ユーザIDに対応する前記表示画像及び前記表示画像に関連付けられた前記位置情報を受信し、
前記位置情報に対応する前記撮影画像中の球体位置に、受信した前記表示画像を重ねて表示する
処理を実行させる請求項19に記載の情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020187032327A KR20190089117A (ko) | 2018-01-18 | 2018-04-06 | 프로그램이 기록된 기록매체, 정보 처리 장치 및 정보 처리 방법 |
SG11201810348XA SG11201810348XA (en) | 2018-01-18 | 2018-04-06 | Program, information processing apparatus and information processing method |
EP18800458.4A EP3537385A4 (en) | 2018-01-18 | 2018-04-06 | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-006763 | 2018-01-18 | ||
JP2018006763A JP6413035B1 (ja) | 2018-01-18 | 2018-01-18 | プログラム、情報処理装置及び情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019142369A1 true WO2019142369A1 (ja) | 2019-07-25 |
Family
ID=63920545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/014821 WO2019142369A1 (ja) | 2018-01-18 | 2018-04-06 | プログラム、情報処理装置及び情報処理方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US10885688B2 (ja) |
EP (1) | EP3537385A4 (ja) |
JP (1) | JP6413035B1 (ja) |
KR (1) | KR20190089117A (ja) |
CN (1) | CN110059524A (ja) |
BR (1) | BR102018013612A2 (ja) |
SG (1) | SG11201810348XA (ja) |
TW (1) | TW201933274A (ja) |
WO (1) | WO2019142369A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD762692S1 (en) * | 2014-09-02 | 2016-08-02 | Apple Inc. | Display screen or portion thereof with graphical user interface |
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
KR102598082B1 (ko) * | 2016-10-28 | 2023-11-03 | 삼성전자주식회사 | 영상 표시 장치, 모바일 장치 및 그 동작방법 |
USD900830S1 (en) * | 2018-09-10 | 2020-11-03 | Apple Inc. | Electronic device with graphical user interface |
US11579750B2 (en) * | 2018-12-14 | 2023-02-14 | Perksy, Inc. | Methods, systems, and apparatus, for receiving persistent responses to online surveys |
USD941829S1 (en) | 2018-12-31 | 2022-01-25 | Perksy, Inc. | Display screen with graphical user interface |
JP2021039663A (ja) * | 2019-09-05 | 2021-03-11 | 株式会社アイ・オー・データ機器 | 情報取得装置、情報取得システム及び情報取得方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284882A (ja) * | 2004-03-30 | 2005-10-13 | Sharp Corp | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体、コンテンツ表現制御方法、コンテンツ表現制御プログラム、およびコンテンツ表現制御プログラムを記録した記録媒体 |
JP2013092407A (ja) | 2011-10-25 | 2013-05-16 | Kddi Corp | 3次元座標取得装置、カメラ姿勢推定装置、プログラム |
JP2013161103A (ja) * | 2012-02-01 | 2013-08-19 | Tmdance Corp | 情報処理システム、及び情報処理方法 |
JP2015090664A (ja) * | 2013-11-07 | 2015-05-11 | 株式会社Nttドコモ | 情報処理装置及び表示優先度決定方法 |
JP2016517054A (ja) * | 2013-02-14 | 2016-06-09 | フェイスブック,インク. | 友人のランチング |
JP2017117082A (ja) * | 2015-12-22 | 2017-06-29 | コニカミノルタ株式会社 | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム |
JP2017522682A (ja) * | 2014-07-24 | 2017-08-10 | 央数文化(上海)股▲ふん▼有限公司YoungZone Culture(Shanghai) Co.,Ltd. | 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992012496A1 (en) * | 1991-01-09 | 1992-07-23 | Du Pont Pixel Systems Limited | Computer system with enhanced image and graphics capabilities |
US7148898B1 (en) * | 2000-03-29 | 2006-12-12 | Sourceprose Corporation | System and method for synchronizing raster and vector map images |
JP4300767B2 (ja) * | 2002-08-05 | 2009-07-22 | ソニー株式会社 | ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体 |
CN100407782C (zh) * | 2002-09-27 | 2008-07-30 | 富士胶片株式会社 | 相册制作方法及其装置 |
JP4109075B2 (ja) * | 2002-10-10 | 2008-06-25 | Sriスポーツ株式会社 | 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置 |
US20040145602A1 (en) * | 2003-01-24 | 2004-07-29 | Microsoft Corporation | Organizing and displaying photographs based on time |
US8311733B2 (en) * | 2005-02-15 | 2012-11-13 | The Invention Science Fund I, Llc | Interactive key frame image mapping system and method |
US7617246B2 (en) * | 2006-02-21 | 2009-11-10 | Geopeg, Inc. | System and method for geo-coding user generated content |
US7853296B2 (en) * | 2007-10-31 | 2010-12-14 | Motorola Mobility, Inc. | Mobile virtual and augmented reality system |
WO2009124028A2 (en) * | 2008-03-31 | 2009-10-08 | University Of Southern California | Estimating pose of photographic images in 3d earth model using human assistance |
KR101623041B1 (ko) | 2008-08-19 | 2016-05-23 | 광주과학기술원 | 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
US8600098B2 (en) * | 2008-09-25 | 2013-12-03 | Volkswagen Ag | Method for processing a satellite image and/or an aerial image |
US8311556B2 (en) * | 2009-01-22 | 2012-11-13 | Htc Corporation | Method and system for managing images and geographic location data in a mobile device |
JP5716383B2 (ja) * | 2009-12-28 | 2015-05-13 | 株式会社ニコン | 情報処理装置、および情報処理プログラム |
US20110199286A1 (en) * | 2010-02-13 | 2011-08-18 | Robin Dziama | Spherical Electronic LCD Display |
JP4763847B1 (ja) * | 2010-08-30 | 2011-08-31 | 楽天株式会社 | 画像変換装置、画像処理装置、ならびに、画像処理システム |
JP5250598B2 (ja) * | 2010-10-05 | 2013-07-31 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
KR101083245B1 (ko) * | 2011-01-31 | 2011-11-14 | 주식회사 서전지구 | 지역정보 추출방법, 지역정보 출력방법, 및 이를 위한 장치 |
US9911209B2 (en) * | 2011-12-14 | 2018-03-06 | Christopher V. Beckman | System and method for improving video and other media playback |
JP5801209B2 (ja) * | 2012-01-06 | 2015-10-28 | Kddi株式会社 | カメラ姿勢推定装置、プログラム |
US20140040774A1 (en) * | 2012-08-01 | 2014-02-06 | Google Inc. | Sharing photos in a social network system |
US9691128B2 (en) * | 2012-09-20 | 2017-06-27 | Facebook, Inc. | Aggregating and displaying social networking system user information via a map interface |
US9298705B2 (en) * | 2012-10-23 | 2016-03-29 | Google Inc. | Associating a photo with a geographic place |
US10084994B2 (en) * | 2012-12-12 | 2018-09-25 | Verint Systems Ltd. | Live streaming video over 3D |
US20140267226A1 (en) * | 2013-03-13 | 2014-09-18 | Harry Yoon | Method and System for Geographic-Oriented Graphical Representation of Multivariable Input Data Set |
JP6314394B2 (ja) * | 2013-09-13 | 2018-04-25 | 富士通株式会社 | 情報処理装置、設定方法、設定プログラム、システムおよび管理装置 |
US9207780B2 (en) * | 2014-01-27 | 2015-12-08 | Fuji Xerox Co., Ltd. | Systems and methods for hiding and finding digital content associated with physical objects via coded lighting |
JP2017085533A (ja) * | 2015-10-26 | 2017-05-18 | 株式会社リコー | 情報処理システム、及び情報処理方法 |
US10091318B2 (en) * | 2016-03-30 | 2018-10-02 | Facebook, Inc. | Content-based notification delivery |
US10127637B2 (en) * | 2016-08-30 | 2018-11-13 | Adobe Systems Incorporated | Automatic orientation adjustment of spherical panorama digital images |
US10140739B1 (en) * | 2016-11-29 | 2018-11-27 | Palantir Technologies Inc. | User interface for automatically generating charts |
US10437545B2 (en) * | 2016-12-28 | 2019-10-08 | Ricoh Company, Ltd. | Apparatus, system, and method for controlling display, and recording medium |
JP6919334B2 (ja) * | 2017-05-26 | 2021-08-18 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム |
JP2019091203A (ja) * | 2017-11-14 | 2019-06-13 | 株式会社ほぼ日 | プログラム、情報処理装置及び情報処理方法 |
-
2018
- 2018-01-18 JP JP2018006763A patent/JP6413035B1/ja active Active
- 2018-04-06 SG SG11201810348XA patent/SG11201810348XA/en unknown
- 2018-04-06 EP EP18800458.4A patent/EP3537385A4/en not_active Withdrawn
- 2018-04-06 KR KR1020187032327A patent/KR20190089117A/ko not_active Application Discontinuation
- 2018-04-06 WO PCT/JP2018/014821 patent/WO2019142369A1/ja unknown
- 2018-06-20 CN CN201810639126.1A patent/CN110059524A/zh active Pending
- 2018-06-20 US US16/013,604 patent/US10885688B2/en active Active
- 2018-06-21 TW TW107121233A patent/TW201933274A/zh unknown
- 2018-07-03 BR BR102018013612-7A patent/BR102018013612A2/pt not_active Application Discontinuation
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284882A (ja) * | 2004-03-30 | 2005-10-13 | Sharp Corp | コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体、コンテンツ表現制御方法、コンテンツ表現制御プログラム、およびコンテンツ表現制御プログラムを記録した記録媒体 |
JP2013092407A (ja) | 2011-10-25 | 2013-05-16 | Kddi Corp | 3次元座標取得装置、カメラ姿勢推定装置、プログラム |
JP2013161103A (ja) * | 2012-02-01 | 2013-08-19 | Tmdance Corp | 情報処理システム、及び情報処理方法 |
JP2016517054A (ja) * | 2013-02-14 | 2016-06-09 | フェイスブック,インク. | 友人のランチング |
JP2015090664A (ja) * | 2013-11-07 | 2015-05-11 | 株式会社Nttドコモ | 情報処理装置及び表示優先度決定方法 |
JP2017522682A (ja) * | 2014-07-24 | 2017-08-10 | 央数文化(上海)股▲ふん▼有限公司YoungZone Culture(Shanghai) Co.,Ltd. | 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法 |
JP2017117082A (ja) * | 2015-12-22 | 2017-06-29 | コニカミノルタ株式会社 | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム |
Non-Patent Citations (2)
Title |
---|
SATO, NOBUHIKO: "This AR Learning Globe Makes a Perfect Back-to-School Gift: ''Orboot"", 3 March 2017 (2017-03-03), pages 1 - 5, XP055614982, Retrieved from the Internet <URL:https://japan.cnet.com/article/35097547/> * |
See also references of EP3537385A4 |
Also Published As
Publication number | Publication date |
---|---|
EP3537385A1 (en) | 2019-09-11 |
SG11201810348XA (en) | 2019-08-27 |
TW201933274A (zh) | 2019-08-16 |
BR102018013612A2 (pt) | 2019-07-30 |
US20190221019A1 (en) | 2019-07-18 |
EP3537385A4 (en) | 2020-02-26 |
US10885688B2 (en) | 2021-01-05 |
JP6413035B1 (ja) | 2018-10-24 |
CN110059524A (zh) | 2019-07-26 |
JP2019125271A (ja) | 2019-07-25 |
KR20190089117A (ko) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019142369A1 (ja) | プログラム、情報処理装置及び情報処理方法 | |
CN102763404B (zh) | 摄影装置、信息取得系统及程序 | |
CN104115180B (zh) | 信息处理设备、信息处理方法和程序 | |
CN103562957B (zh) | 信息提供装置、信息提供方法以及信息提供系统 | |
CN101836210A (zh) | 虚拟世界中的数字多媒体共享 | |
US8949238B2 (en) | Information processing device, method, and computer program product | |
JP2010057050A (ja) | 情報端末装置、情報配信装置、情報配信システム及びプログラム | |
CN110930517A (zh) | 一种全景视频交互系统及方法 | |
US20080319656A1 (en) | System And Method For Providing Player Interfacing Layouts For Geolocational Activities | |
CN114610198B (zh) | 基于虚拟资源的交互方法、装置、设备和存储介质 | |
JP7316695B2 (ja) | ロケーションベースのデジタルコンテンツを推奨する方法およびシステム | |
JPH11103451A (ja) | 在宅旅行システム | |
JP5237724B2 (ja) | 画像検索システム | |
JP7160707B2 (ja) | 仮想キャラクタを含む画像を提供するための方法 | |
CN111076738A (zh) | 导航路径规划方法、规划装置、存储介质及电子设备 | |
JP2019125342A (ja) | プログラム、情報処理装置及び情報処理方法 | |
JP2013055606A (ja) | 画像表示システム、画像表示装置、及びプログラム | |
JP6276375B2 (ja) | 画像検索装置、画像表示装置、画像検索方法、および画像表示方法 | |
JP4559210B2 (ja) | 電子アルバム作成装置および電子アルバム作成システム | |
JP2015186250A (ja) | 端末装置、動画配信装置、プログラム | |
JP2018055730A (ja) | 画像検索装置および画像検索方法 | |
JP5807090B2 (ja) | 画像検索方法、画像検索システム、画像検索装置、およびプログラム | |
JP7192749B2 (ja) | サーバ、情報処理システム、プログラム及び制御方法 | |
JP2002223432A (ja) | 在宅旅行システム | |
US20210123767A1 (en) | System having travel guidance and reality games |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 20187032327 Country of ref document: KR Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2018800458 Country of ref document: EP Effective date: 20181211 |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18800458 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |