WO2023074817A1 - コンテンツ提供装置 - Google Patents

コンテンツ提供装置 Download PDF

Info

Publication number
WO2023074817A1
WO2023074817A1 PCT/JP2022/040226 JP2022040226W WO2023074817A1 WO 2023074817 A1 WO2023074817 A1 WO 2023074817A1 JP 2022040226 W JP2022040226 W JP 2022040226W WO 2023074817 A1 WO2023074817 A1 WO 2023074817A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
physical
unit
content
physical object
Prior art date
Application number
PCT/JP2022/040226
Other languages
English (en)
French (fr)
Inventor
智仁 山▲崎▼
けい 石黒
亮佑 二ツ森
幹生 岩村
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2023556649A priority Critical patent/JPWO2023074817A1/ja
Publication of WO2023074817A1 publication Critical patent/WO2023074817A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • One aspect of the present invention relates to a content providing device.
  • Patent Document 1 by superimposing a virtual object on an image (video) representing a real space displayed on a display device, the user can experience augmented reality (AR) or mixed reality (MR). ) is disclosed.
  • AR augmented reality
  • MR mixed reality
  • Japanese Patent Application Laid-Open No. 2002-200000 describes a display that displays a virtual object pre-associated with a marker image at a display position associated with the marker image when a marker image pre-registered by the system is recognized in a captured image.
  • An apparatus is disclosed.
  • one aspect of the present invention aims to provide a content providing device capable of improving the convenience of the user's AR experience or MR experience.
  • a content providing apparatus includes a detection unit that detects a physical object that is an object included in a physical space image captured by a user terminal used by a first user; A registration unit that registers an object in association with a first user, an association unit that associates a virtual content that does not exist in the real space with the real object registered by the registration unit, and a user terminal used by the first user and a display control unit for displaying the content together with the real space on the display unit of the display unit, and the display control unit associates the content with the real object when the real object is included in the real space displayed on the display unit. to display.
  • the object included in the physical space image captured by the first user's user terminal is automatically registered as the physical object associated with the first user. That is, when the first user uses the user terminal, objects that exist around the user (in other words, objects that can be seen by the first user) can be automatically registered as physical objects. Therefore, since the first user does not need to manually register the objects existing around him/herself, the first user's labor is reduced. Then, when a physical object is displayed on the display unit of the user terminal, virtual content is displayed in association with the physical object. According to the above mechanism, it is possible to display virtual content in association with an object that the first user is likely to see when using the user terminal. can be presented effectively. As a result, it is possible to improve the convenience of the first user's AR experience or MR experience.
  • a content providing device capable of improving the convenience of the user's AR experience or MR experience.
  • FIG. 4 is a diagram showing a display example of content
  • FIG. 4 is a sequence diagram showing an example of operations of the content providing system
  • FIG. 5 is a flowchart showing an example of processing in step S5 of FIG. 4
  • FIG. It is a figure which shows an example of the hardware constitutions of a server.
  • FIG. 1 is a diagram showing an example of a content providing system 1 according to one embodiment.
  • the content providing system 1 is a computer system that provides virtual content (virtual objects) to be displayed on the display unit of the user terminal used by the user. That is, the content providing system 1 is a system that provides users with an AR experience or an MR experience by displaying virtual content along with the real space on the display unit of the user terminal.
  • the content providing system 1 includes a server 10 (content providing device), an HMD (Head Mounted Display) 20 which is a user terminal used by the first user, a list DB 30, includes an operation terminal 40 used by a different second user.
  • the server 10 is communicably connected to the HMD 20, the list DB 30, and the operation terminal 40 via any wired or wireless communication network.
  • a photographing function (recognition unit 21) of the HMD 20 worn on the head of the first user photographs the real space in front of the HMD 20 to obtain a real space image, and detects an object included in the real space image. (recognised).
  • the server 10 registers a physical object, which is an object detected from the physical space image, in association with the first user. For example, the server 10 stores information on physical objects in the list DB 30 . Subsequently, when the second user operates the operation terminal 40 to request list information indicating a list of physical objects associated with the first user from the server 10, the list information is transmitted from the server 10 to the operation terminal 40.
  • the second user selects one physical object (hereinafter referred to as "physical object X") and virtual content to be associated with the physical object (hereinafter "content Y"). ).
  • Information that is, information indicating the physical object X and the content Y) input at the operation terminal 40 is transmitted to the server 10 .
  • the server 10 controls display of content on the HMD 20 to display the content together with the real space on the display unit 22 of the HMD 20 . Specifically, when the physical space displayed on the display unit 22 of the HMD 20 includes the physical object X, the server 10 associates the content Y with the physical object X and displays it.
  • the server 10 may be configured to perform display control for a plurality of HMDs 20 .
  • the list DB 30 stores a plurality of users (first 1 user) is stored.
  • the second user using the operation terminal 40 selects a first user to whom content is to be transmitted, and selects the selected first user. list information from the server 10 .
  • the server 10 may be configured by a single computer device, or may be configured by a plurality of computer devices that can communicate with each other.
  • the HMD 20 is a device worn on the user's head.
  • the form of HMD20 is not limited to a specific form.
  • the HMD 20 can take various forms such as goggle type, glasses type (glasses type), and hat type.
  • the HMD 20 is smart glasses, for example.
  • the HMD 20 is AR glasses having a function of providing augmented reality (AR) to the user.
  • AR augmented reality
  • the HMD 20 is a see-through glass that allows the user to visually recognize the real space (outside world) and the virtual content superimposed on the real space.
  • the HMD 20 is not limited to the above, and may be an MR device such as MR glasses having a function of providing mixed reality (MR) to the user.
  • MR mixed reality
  • the HMD 20 has a recognition unit 21 and a display unit 22.
  • the recognition unit 21 has a function of photographing the physical space in front of the HMD 20 and obtaining a physical space image.
  • the physical space image may be a still image or a moving image (video).
  • the recognition unit 21 also has a function of detecting (object recognition) an object included in the physical space image (that is, an object appearing as a subject in the physical space image).
  • the recognition unit 21 is composed of, for example, a camera and a program for analyzing the real space image captured by the camera.
  • the recognition unit 21 detects an object included in the physical space image, for example, by performing at least one of image recognition (2D image recognition), photogrammetry, and 3D scanning on the physical space image.
  • the recognition unit 21 acquires (generates) 3D data (3D model) of the detected object.
  • the 3D data of the object detected by the recognition unit 21 is transmitted to the server 10 together with time information indicating the detection time and location information indicating the detection location.
  • the time information is information indicating the time (for example, date and time) when the physical space image in which the object was detected was captured.
  • the location information is information indicating the location in the physical space indicated by the physical space image in which the object is detected.
  • the location information may include position information indicating latitude, longitude, altitude, etc. acquired by, for example, a GPS sensor provided in the HMD 20 .
  • the HMD 20 when the HMD 20 has a function of wirelessly communicating with a wireless LAN access point installed in a private space such as the home of the first user or a public space such as a store or public facility, the HMD 20 is connected for communication.
  • An ID for example, BSSID, etc.
  • the installation location of the wireless LAN access point specified by the ID is used as the object detection location.
  • the display unit 22 is a display arranged in front of the user's eyes.
  • the display unit 22 is configured by, for example, a liquid crystal display element, an organic EL (Electro Luminescence) element, or the like.
  • the display unit 22 may separately have a right-eye display panel arranged in front of the user's right eye and a left-eye display panel arranged in front of the user's left eye.
  • the display unit 22 may be configured by an optical see-through type (transmissive type) display, or may be configured by a video see-through type display. In the former case, the display unit 22 displays a transmitted image of the optically transmitted real space (that is, the real space in front of the display unit 22).
  • the display unit 22 displays a video image (image) acquired (captured) in real time by the camera (recognition unit 21) of the HMD 20.
  • FIG. the display unit 22 displays virtual content (that is, content distributed from the server 10) superimposed on the image of the real space (transmission image or video image).
  • Content is display information that indicates arbitrary information.
  • the form of content is not limited to a specific form, but examples of content include images (still images or moving images), text information, graphic information, 3D models, and the like.
  • the server 10 has a detection unit 11, a registration unit 12, a list presentation unit 13, an association unit 14, and a display control unit 15.
  • the detection unit 11 detects physical objects, which are objects included in the physical space image captured by the HMD 20 .
  • the physical object is not limited to a specific object, but examples of the physical object include a PC monitor (display), a pen, a cup, a smart phone, a poster pasted on the wall of the first user's room, etc. owned by the first user. things are mentioned.
  • the “physical object detection” executed by the detection unit 11 is performed so that the physical object can be detected when the physical object exists in the physical space displayed on the display unit 22 of the HMD 20 later. , means to grasp (acquire) features such as the shape, color, and pattern of the physical object.
  • the detection unit 11 acquires 3D data of a physical object as a feature of the physical object. Further, the detection unit 11 may detect a real object (object recognition) by using not only the 3D data acquired by the HMD 20 but also the 2D image acquired by the RGB camera of the HMD 20 .
  • the detection unit 11 detects a real object by acquiring from the HMD 20 3D data, which is the result of detection (object recognition) by the recognition unit 21 of the HMD 20 .
  • the physical space image is an image obtained by photographing the physical space in front of the HMD 20 worn on the head of the first user. Therefore, in this embodiment, the detection unit 11 detects objects included in the physical space image corresponding to the field of view of the first user as physical objects. That is, the object seen by the first user while using (wearing) the HMD 20 is detected as a physical object.
  • the detection unit 11 detects a physical object is not limited to the above.
  • the detection unit 11 acquires from the HMD 20 a physical space image captured by the HMD 20, and detects a physical object based on the execution result of at least one of image recognition, photogrammetry, and 3D scanning of the physical space image. You may That is, the detection of physical objects may be performed by the HMD 20 or by the server 10 . Also, the detection of the physical object may be shared by both the HMD 20 and the server 10 .
  • the registration unit 12 registers the physical object detected by the detection unit 11 in association with the first user. That is, the registration unit 12 associates the first user, who is the user (owner) of the HMD 20 that captured the physical space image from which the physical object was detected, with the physical object, and registers the first user in the list DB 30 .
  • information list information of the plurality of physical objects associated with the first user is automatically accumulated in the list DB 30 .
  • a physical space image captured by the HMD 20 may include only a part of the object.
  • the registration unit 12 stores 3D data corresponding to a part of an object (physical object) obtained from a physical space image (for example, a part of a PC monitor (display)) and 3D data of a plurality of articles prepared in advance.
  • the article corresponding to the object for example, the article uniquely identified by the model number of the PC monitor, etc.
  • the former 3D data is imperfect 3D data acquired by the recognition unit 21 .
  • the latter 3D data is a complete data corresponding to the entire article stored in a database that can be referenced from the server 10 (for example, a database that stores article information such as model numbers, article names, and 3D data of a plurality of articles). 3D data.
  • the registration unit 12 may register the 3D data of the specified article as information of the physical object. According to such processing, even if the 3D data of the physical object obtained based on the physical space image acquired by the HMD 20 is incomplete, the product information prepared in advance can be referenced to obtain the complete data. 3D data can be acquired and registered.
  • the 3D data registered in this manner is included in the physical space displayed on the display unit 22 when the display control described later (that is, the control for displaying the content in association with the physical object on the display unit 22 of the HMD 20) is executed. It is used to detect real-world objects that are Therefore, according to the first example of the registration process, by registering the complete 3D data as the information of the physical object, it is possible to perform the display control with high accuracy. That is, it is possible to accurately detect a physical object included in the physical space displayed on the display unit 22 based on complete 3D data. As a result, even though a physical object is displayed on the display unit 22, the physical object is not detected and the content is not displayed in association with the physical object.
  • the registration unit 12 may register article information indicating an article corresponding to an object detected from the physical space image and unique information indicating characteristics unique to the object as part of the information of the physical object.
  • the article information is information indicating common features of articles (products) corresponding to the detected object.
  • the product information may include information such as product name, model number, shape (3D data), and the like.
  • unique information is information indicating characteristics unique to an actually detected object. Examples of unique information include information indicating the shape and arrangement of scratches, stains, stickers, sticky notes, characters, etc. attached to an object. Such unique information can be extracted by performing image analysis or the like on the real space image by the detection unit 11 .
  • the detection unit 11 compares the 3D data registered in advance for the article with the object actually appearing in the real space image, thereby determining the difference. may be extracted and the extracted difference may be obtained as unique information. Then, the registration unit 12 may register the unique information acquired by the detection unit 11 as part of the information of the physical object.
  • the unique information registered in this way is included in the physical space displayed on the display unit 22 when the display control described later (that is, the control for displaying the content in association with the physical object on the display unit 22 of the HMD 20) is executed. It is used to detect real-world objects that are Therefore, according to the second example of the registration process, when it is determined whether or not a physical object exists in the physical space displayed on the display unit 22, by using the unique information described above, the It becomes possible to detect a real object contained in the real space to be detected with much higher accuracy.
  • An object that was detected only once within a predetermined period of time is an object that the first user happened to see while using the HMD 20 (that is, an object that the first user seldom usually sees). objects that you cannot see). Even if such an object is registered as a physical object associated with the first user and the virtual content is associated with the physical object, the possibility that the first user will see the physical object is extremely low. A problem arises in that the content cannot be appropriately presented to the user. Therefore, in order to appropriately present the content to the first user, objects that the first user sees more than a certain frequency during the first user's daily life (when using the HMD 20) must be presented to the first user. It can be said that it is preferable to register as a real object associated with .
  • the registration unit 12 may register an object whose frequency of detection from physical space images taken within a predetermined period is equal to or higher than a predetermined threshold as a physical object associated with the first user. For example, when an object included in the physical space image is detected by the recognition unit 21, it is set not to be detected for a certain period of time (for example, 1 minute) even if the same object is included in the physical space image. Alternatively, the number of detections in a predetermined period (for example, the number of detections per hour) may be used as the detection frequency.
  • the registration unit 12 can calculate the detection frequency by referring to the time information transmitted from the HMD 20 to the server 10 as described above.
  • the registration unit 12 acquires location information indicating the location where the object was detected (that is, the location where the HMD 20 captured the physical space image in which the object was detected), and based on the location information, stores the physical space image. may determine whether to register the object detected from as a real object associated with the first user.
  • the location information is transmitted from the HMD 20 to the server 10 as described above.
  • the registration unit 12 registers the object as the first user's private space. It may be registered as a real object associated with the user. On the other hand, if the location information of a certain object indicates a location that is not registered as the first user's private space, the registration unit 12 may not register the object as a physical object associated with the first user. .
  • an object carried by the first user such as a smartphone
  • the registration unit 12 the object may be registered as a physical object associated with the first user.
  • the registration process based on the location information, it is possible to register an object that is highly likely to be the property of the first user as a physical object associated with the first user. Therefore, when the content is set to be associated with the physical object, it is possible to present the content to the first user at an appropriate timing (frequency).
  • FIG. 2 is a diagram schematically showing an example of a list (that is, list information) of physical objects registered by the registration unit 12.
  • registration information (record) corresponding to each physical object includes ID, product information, unique information, location information, detection frequency, and 3D information.
  • ID is identification information for uniquely identifying each physical object.
  • Items information is information for specifying an item (product) corresponding to a physical object, and includes an item name (product name), a model number, and the like.
  • Unique information is unique information registered by the second example of the registration process described above.
  • “Location information” is location information acquired in the fourth example of the registration process described above.
  • Detection frequency is the detection frequency acquired (calculated) in the third example of the registration process described above.
  • 3D information is 3D data of a physical object.
  • the 3D data of the product acquired in the first example of the registration process that is, the 3D data prepared in advance for the product corresponding to the physical object
  • 3D data representing the entire object actually obtained by the recognition unit 21 or the detection unit 11 is registered as the 3D data of the physical objects with IDs "002" and "003”.
  • the physical object with the ID "002” is registered with a relatively low detection frequency of 0.1 times per hour. 2 times/h”, the physical object with ID “002” is excluded from registration targets.
  • the list presentation unit 13 presents the second user with list information indicating a list of the plurality of physical objects registered by the registration unit 12 .
  • the list presentation unit 13 presents list information (see FIG. 2) stored in the list DB 30 to the second user.
  • the list presentation unit 13 presents the list information to the second user by transmitting the list information to the operation terminal 40 of the second user.
  • the list presentation unit 13 presents only some items (for example, text information indicating article information and visually displayed 3D data) of the list information shown in FIG. 2 to the second user. good too.
  • the operation terminal 40 is, for example, an arbitrary terminal such as a PC or smartphone used by the second user.
  • the operation terminal 40 has a list reception section 41 , a list display section 42 and an input section 43 .
  • the list reception unit 41 receives list information transmitted from the list presentation unit 13 .
  • the list display unit 42 displays list information on a display unit such as a display provided in the operation terminal 40 .
  • the input unit 43 receives the operation of the second user. More specifically, the input unit 43 receives an operation of selecting one or more physical objects X from among multiple physical objects included in the list information displayed on the display unit.
  • the input unit 43 also accepts an operation of designating the content Y to be associated with the physical object X.
  • content Y is content that includes a second user's message.
  • the content Y is a spherical object (for example, an object resembling a soap bubble), and when the first user performs a predetermined operation on the object (for example, an operation of placing a hand over the object), the second The user's message is expanded and displayed.
  • a display example of content on the display unit 22 of the HMD 20 will be described later.
  • the associating unit 14 associates the physical object registered by the registering unit 12 with virtual content that does not exist in the real space.
  • the association unit 14 associates the content Y specified by the second user with the physical object X selected by the second user from among the plurality of physical objects included in the list information. That is, the association unit 14 receives from the operation terminal 40 information on the physical object X and the content Y selected and specified by the input unit 43 of the operation terminal 40 described above, and associates the content Y with the physical object X. Information indicating that the content Y is associated with the physical object X is notified to the display control unit 15 .
  • the correspondence relationship between the physical object and the content is not limited to the "1:1" relationship. That is, a plurality of contents may be associated with one physical object, or a single common content may be associated with a plurality of physical objects. In this embodiment, one content Y is associated with one physical object X as an example.
  • the display control unit 15 controls the display of the display unit 22 of the HMD 20 to display the content together with the real space on the display unit 22 . More specifically, when the physical space displayed on the display unit 22 includes the physical object X, the display control unit 15 causes the content Y to be displayed in association with the physical object X. FIG. For example, the display control unit 15 transmits 3D data of the physical object X and display information of the content Y (for example, information used for rendering) to the HMD 20 as display control information. The HMD 20 controls display of the content Y on the display section 22 based on the display control information.
  • the HMD 20 uses the 3D data of the physical object X to determine whether or not an object corresponding to the physical object X exists in the physical space displayed on the display unit 22 . Then, when an object corresponding to the physical object X is detected in the physical space displayed on the display unit 22, the HMD 20 displays the content Y in association with the object. For example, the HMD 20 causes the display unit 22 to display the content Y at a position overlapping the detected object or near the detected object.
  • the determination of whether or not an object corresponding to the physical object X exists in the physical space displayed on the display unit 22 may be performed by the HMD 20 as in the above example, or may be performed by the server 10 (display control unit 15). ) may be performed by
  • FIG. 3 is a diagram showing a display example of content.
  • the physical object X is a lighting fixture placed on the desk at the first user's home.
  • content Y is content that includes the second user's message as described above.
  • FIG. 3A according to the display control of the display control unit 15 described above, an object corresponding to the physical object X is detected in the physical space displayed in the display area 22a of the display unit 22.
  • the content Y is associated with the physical object X and displayed.
  • the content Y is first displayed as an object resembling a soap bubble floating over the physical object X.
  • FIG. 3 is a diagram showing a display example of content.
  • the physical object X is a lighting fixture placed on the desk at the first user's home.
  • content Y is content that includes the second user's message as described above.
  • FIG. 3A according to the display control of the display control unit 15 described above, an object corresponding to the physical object X is detected in the physical space displayed in the display area
  • the HMD 20 or the display control unit 15 detects the predetermined operation, Change the state of content Y.
  • content Y shows a message set by the second user ("How are you?" in this example) after an effect display of bursting soap bubbles is displayed. Change to text information.
  • step S1 the recognition unit 21 of the first user's HMD 20 captures a physical space image.
  • the recognition unit 21 analyzes the physical space image. For example, the recognition unit 21 detects objects included in the physical space image by executing at least one of image recognition, photogrammetry, and 3D scanning. For example, the recognition unit 21 acquires (generates) 3D data of an object.
  • step S3 the HMD 20 transmits to the server 10 the 3D data of the object obtained by the analysis, as well as the above-described time information and location information.
  • step S4 the detection unit 11 of the server 10 detects a physical object, which is an object included in the physical space image captured by the HMD 20.
  • the detection unit 11 detects a physical object by acquiring 3D data detected by the HMD 20 (recognition unit 21).
  • step S5 the registration unit 12 registers the physical object detected in step S4 in association with the first user.
  • the registration unit 12 may, for example, execute the first example and second example of the registration process described above. Further, the registration unit 12 may execute the processes of the third example and the fourth example of the registration process described above. An example of the processing procedure of the third example and the fourth example of the registration processing of the registration unit 12 will be described with reference to the flowchart shown in FIG. Note that the processing of the flowchart of FIG. 5 is individually executed for each detected object (physical object).
  • step S51 the registration unit 12 determines whether or not the detection frequency within a predetermined period is equal to or higher than the threshold for the registration candidate physical object. If the detection frequency within the predetermined period is not equal to or greater than the threshold (step S51: NO), the registration unit 12 does not register the physical object in association with the first user. On the other hand, when the detection frequency within the predetermined period is equal to or higher than the threshold (step S51: YES), the registration unit 12 further executes the determination of step S52.
  • the registration unit 12 refers to the location information of the registration candidate physical object to determine whether the detected location of the physical object is the first user's private space or a plurality of unspecified locations. do. If the determination result is YES, the registration unit 12 registers the physical object in association with the first user (step S53). On the other hand, if the determination result is NO, the registration unit 12 does not register the physical object in association with the first user.
  • step S6 the list presentation unit 13 presents the second user with list information indicating a list of the plurality of physical objects registered by the registration unit 12.
  • List information is received by the list receiving unit 41 of the operation terminal 40 .
  • step S7 list information is displayed by the list display unit 42 of the operation terminal 40.
  • step S8 the input unit 43 of the operation terminal 40 accepts the second user's input operation. That is, the input unit 43 acquires information on the physical object X selected by the second user and information on the content Y associated with the physical object X.
  • step S9 information indicating the physical object X and the content Y is transmitted from the operating terminal 40 to the server 10.
  • step S10 the associating unit 14 associates the content Y with the physical object X.
  • step S11 the display control unit 15 controls the display of the display unit 22 of the HMD 20 to display the content together with the real space on the display unit 22.
  • the display control unit 15 controls the 3D rendering of the physical object X so that the content Y is displayed in association with the physical object X.
  • Display control information including data and content Y information is transmitted to the HMD 20 .
  • step S12 the HMD 20 executes display control based on the display control information, and when an object corresponding to the physical object X is detected in the physical space displayed on the display unit 22, content is displayed in association with the object. Y is displayed (see FIG. 3).
  • objects included in the physical space image captured by the first user's HMD 20 are automatically registered as physical objects associated with the first user. That is, when the first user uses the HMD 20, an object that exists around the user (in other words, an object that the first user sees) can be automatically registered as a physical object. Therefore, since the first user does not need to manually register the objects existing around him/herself, the first user's labor is reduced. Then, when the physical object X is displayed on the display unit 22 of the HMD 20, the virtual content Y is displayed in association with the physical object X. According to the above mechanism, it is possible to display the virtual content Y in association with an object that the first user is likely to see when using the HMD 20. Therefore, the content Y is presented to the first user. can be presented effectively. As a result, it is possible to improve the convenience of the first user's AR experience or MR experience.
  • the detection unit 11 detects objects included in the real space image corresponding to the field of view of the first user captured by the HMD 20 worn on the head of the first user as real objects.
  • the object to be viewed by the first user that is, the object that the first user is likely to see when using the HMD 20
  • the content is set to be associated with the physical object, it is possible to present the content to the first user at an appropriate timing (frequency).
  • the server 10 also includes a list presentation unit 13 that presents the second user with list information indicating a list of the plurality of physical objects (the physical objects associated with the first user) registered by the registration unit 12 . Also, the associating unit 14 associates the content Y specified by the second user with the physical object X selected by the second user from among the plurality of physical objects included in the list information. According to the above configuration, a list of physical objects associated with the first user (that is, objects that are likely to be seen by the first user while the first user is wearing the HMD 20) is displayed appropriately for the second user. can be grasped.
  • the second user can associate the content Y that the first user wants to see while the first user is wearing the HMD 20 with the real object X that the first user is likely to see.
  • the content Y includes a message input by the second user.
  • AR or MR can appropriately implement a mechanism for message transmission from the second user to the first user.
  • the physical object X selected by the second user different from the first user is associated with the content Y specified by the second user. It may be selected and specified by the user himself.
  • the operation terminal 40 in the above embodiment may be configured as a terminal operated by the first user.
  • the first user can associate content including a memo such as a memorandum with a physical object that is an arbitrary property of the first user.
  • the first user can confirm the content of the memo created by the first user when viewing the physical object while using the HMD 20 .
  • the server 10 functions as a content providing device in the above embodiment, the functions of the server 10 may be implemented in the HMD 20.
  • the HMD 20 functions as a content providing device.
  • some of the functions of the server 10 described above may be executed by the HMD 20 .
  • a computer system including the server 10 and the HMD 20 functions as a virtual content providing device.
  • FIG. 5 a flow in which both the third example and the fourth example of the registration processing are executed is shown, but this flow is only an example. That is, in step S5 of FIG. 4, only one of the third example and the fourth example of the registration process may be executed, or both the third example and the fourth example of the registration process may not be executed. .
  • the 3D data of the object included in the physical space image was acquired, but it is not always essential to use 3D data. That is, based on the 2D image of the object (physical object), the processing necessary for the display control described above (that is, the detection of the object included in the physical space displayed on the display unit 22) may be executed.
  • each functional block may be implemented using one device that is physically or logically coupled, or directly or indirectly using two or more devices that are physically or logically separated (e.g. , wired, wireless, etc.) and may be implemented using these multiple devices.
  • a functional block may be implemented by combining software in the one device or the plurality of devices.
  • Functions include judging, determining, determining, calculating, calculating, processing, deriving, investigating, searching, checking, receiving, transmitting, outputting, accessing, resolving, selecting, choosing, establishing, comparing, assuming, expecting, assuming, Broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, assigning, etc. can't
  • the server 10 in one embodiment of the present disclosure may function as a computer that performs the virtual content providing method of the present disclosure.
  • FIG. 6 is a diagram illustrating an example of a hardware configuration of server 10 according to an embodiment of the present disclosure.
  • the server 10 may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007 and the like.
  • the hardware configuration of the server 10 may be configured to include one or more of the devices shown in FIG. 6, or may be configured without some of the devices.
  • the HMD 20 may also have the same hardware configuration as the hardware configuration of the server 10 shown in FIG.
  • Each function in the server 10 is performed by causing the processor 1001 to perform calculations, controlling communication by the communication device 1004, controlling communication by the communication device 1004, and controlling the communication by the memory 1002 and It is realized by controlling at least one of data reading and writing in the storage 1003 .
  • the processor 1001 for example, operates an operating system and controls the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, registers, and the like.
  • CPU central processing unit
  • the processor 1001 reads programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 to the memory 1002, and executes various processes according to them.
  • programs program codes
  • software modules software modules
  • data etc.
  • the program a program that causes a computer to execute at least part of the operations described in the above embodiments is used.
  • each functional unit of the server 10 for example, the display control unit 15, etc.
  • each functional unit of the server 10 may be stored in the memory 1002 and implemented by a control program running on the processor 1001, and other functional blocks may be implemented in the same way. good too.
  • FIG. Processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from a network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. may be
  • ROM Read Only Memory
  • EPROM Erasable Programmable ROM
  • EEPROM Electrical Erasable Programmable ROM
  • RAM Random Access Memory
  • the memory 1002 may also be called a register, cache, main memory (main storage device), or the like.
  • the memory 1002 can store executable programs (program codes), software modules, etc. for implementing the content providing method according to an embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, and/or the like.
  • Storage 1003 may also be called an auxiliary storage device.
  • the storage medium described above may be, for example, a database, server, or other suitable medium including at least one of memory 1002 and storage 1003 .
  • the communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via at least one of a wired network and a wireless network, and is also called a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (for example, keyboard, mouse, microphone, switch, button, sensor, etc.) that receives input from the outside.
  • the output device 1006 is an output device (eg, display, speaker, LED lamp, etc.) that outputs to the outside. Note that the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses between devices.
  • the server 10 includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array).
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • PLD Physical Location Deposition
  • FPGA Field Programmable Gate Array
  • a part or all of each functional block may be implemented by the hardware.
  • processor 1001 may be implemented using at least one of these pieces of hardware.
  • Input/output information may be stored in a specific location (for example, memory) or managed using a management table. Input/output information and the like can be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.
  • the determination may be made by a value represented by one bit (0 or 1), by a true/false value (Boolean: true or false), or by numerical comparison (for example, a predetermined value).
  • notification of predetermined information is not limited to being performed explicitly, but may be performed implicitly (for example, not notifying the predetermined information). good too.
  • Software whether referred to as software, firmware, middleware, microcode, hardware description language or otherwise, includes instructions, instruction sets, code, code segments, program code, programs, subprograms, and software modules. , applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, and the like.
  • software, instructions, information, etc. may be transmitted and received via a transmission medium.
  • the software uses at least one of wired technology (coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.) to website, Wired and/or wireless technologies are included within the definition of transmission medium when sent from a server or other remote source.
  • wired technology coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of
  • information, parameters, etc. described in the present disclosure may be expressed using absolute values, may be expressed using relative values from a predetermined value, or may be expressed using other corresponding information. may be represented.
  • any reference to elements using the "first,” “second,” etc. designations used in this disclosure does not generally limit the quantity or order of those elements. These designations may be used in this disclosure as a convenient method of distinguishing between two or more elements. Thus, reference to a first and second element does not imply that only two elements can be employed or that the first element must precede the second element in any way.
  • a and B are different may mean “A and B are different from each other.”
  • the term may also mean that "A and B are different from C”.
  • Terms such as “separate,” “coupled,” etc. may also be interpreted in the same manner as “different.”

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一実施形態のサーバ１０は、第１ユーザに使用されるＨＭＤ２０により撮影された現実空間画像に含まれる物体である現実オブジェクトを検出する検出部１１と、検出部１１により検出された現実オブジェクトを、第１ユーザに関連付けて登録する登録部１２と、登録部１２により登録された現実オブジェクトに、現実空間には存在しない仮想的なコンテンツを関連付ける関連付け部１４と、第１ユーザに使用されるＨＭＤ２０の表示部２２に現実空間と共にコンテンツを表示させる表示制御部１５と、を備える。表示制御部１５は、表示部２２に表示される現実空間内に現実オブジェクトが含まれている場合に、コンテンツを現実オブジェクトに関連付けて表示させる。

Description

コンテンツ提供装置
　本発明の一側面は、コンテンツ提供装置に関する。
　特許文献１には、表示装置に表示される現実空間を表す画像（映像）上に仮想オブジェクトを重ねて表示することで、ユーザに拡張現実（ＡＲ：Augmented　Reality）又は複合現実（ＭＲ：Mixed　Reality）を提供する仕組みが開示されている。特許文献１には、撮影画像中に予めシステム側で登録されたマーカー画像が認識された場合に、当該マーカー画像に予め関連付けられた仮想オブジェクトを当該マーカー画像に関連付けられた表示位置に表示する表示装置が開示されている。
特開２０１４－２０３３８２号公報
　上記のような拡張現実又は複合現実をユーザに提供する仕組みにおいては、ユーザのＡＲ体験又はＭＲ体験の利便性を向上させることができる仕組みが求められている。
　そこで、本発明の一側面は、ユーザのＡＲ体験又はＭＲ体験における利便性を向上させることができるコンテンツ提供装置を提供することを目的とする。
　本発明の一側面に係るコンテンツ提供装置は、第１ユーザに使用されるユーザ端末により撮影された現実空間画像に含まれる物体である現実オブジェクトを検出する検出部と、検出部により検出された現実オブジェクトを、第１ユーザに関連付けて登録する登録部と、登録部により登録された現実オブジェクトに、現実空間には存在しない仮想的なコンテンツを関連付ける関連付け部と、第１ユーザに使用されるユーザ端末の表示部に現実空間と共にコンテンツを表示させる表示制御部と、を備え、表示制御部は、表示部に表示される現実空間内に現実オブジェクトが含まれている場合に、コンテンツを現実オブジェクトに関連付けて表示させる。
　本発明の一側面に係るコンテンツ提供装置においては、第１ユーザのユーザ端末によって撮影された現実空間画像に含まれる物体が、第１ユーザに関連付けられる現実オブジェクトとして自動的に登録される。すなわち、第１ユーザがユーザ端末を使用する際にユーザの周囲に存在する物体（言い換えれば、第１ユーザの目に入る物体）を、現実オブジェクトとして自動的に登録することができる。従って、第１ユーザが自身の周囲に存在する物体を手動で登録する必要がないため、第１ユーザの手間が削減される。そして、ユーザ端末の表示部に現実オブジェクトが表示されている場合に、当該現実オブジェクトに関連付けて仮想的なコンテンツが表示される。上記仕組みによれば、第１ユーザがユーザ端末を使用する際に目にする可能性の高い物体に仮想的なコンテンツを関連付けて表示することが可能となるため、コンテンツを第１ユーザに対して効果的に提示することができる。その結果、第１ユーザのＡＲ体験又はＭＲ体験における利便性を向上させることができる。
　本発明の一側面によれば、ユーザのＡＲ体験又はＭＲ体験における利便性を向上させることができるコンテンツ提供装置を提供することができる。
一実施形態に係るコンテンツ提供システムの機能構成の一例を示す図である。 リスト情報の一例を模式的に示す図である。 コンテンツの表示例を示す図である。 コンテンツ提供システムの動作の一例を示すシーケンス図である。 図４のステップＳ５の処理の一例を示すフローチャートである。 サーバのハードウェア構成の一例を示す図である。
　以下、添付図面を参照して、本発明の一実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。
　図１は、一実施形態に係るコンテンツ提供システム１の一例を示す図である。コンテンツ提供システム１は、ユーザに使用されるユーザ端末の表示部に表示するための仮想的なコンテンツ（仮想オブジェクト）を提供するコンピュータシステムである。すなわち、コンテンツ提供システム１は、ユーザ端末の表示部に現実空間と共に仮想的なコンテンツを表示させることにより、ユーザにＡＲ体験又はＭＲ体験を提供するシステムである。
　一例として、コンテンツ提供システム１は、サーバ１０（コンテンツ提供装置）と、第１ユーザに使用されるユーザ端末であるＨＭＤ（ヘッドマウントディスプレイ：Head　Mounted　Display）２０と、リストＤＢ３０と、第１ユーザとは異なる第２ユーザに使用される操作端末４０と、を含んで構成される。サーバ１０は、任意の有線又は無線の通信ネットワークを介して、ＨＭＤ２０、リストＤＢ３０及び操作端末４０と通信可能に接続されている。
　コンテンツ提供システム１の処理概要について説明する。第１ユーザの頭部に装着されたＨＭＤ２０が備える撮影機能（認識部２１）によって、ＨＭＤ２０の前方の現実空間が撮影されて現実空間画像が取得されると共に、現実空間画像に含まれる物体が検出（認識）される。サーバ１０は、現実空間画像から検出された物体である現実オブジェクトを、第１ユーザに関連付けて登録する。例えば、サーバ１０は、現実オブジェクトの情報をリストＤＢ３０に記憶させる。続いて、第２ユーザが操作端末４０を操作してサーバ１０に対して第１ユーザに関連付けられた現実オブジェクトの一覧を示すリスト情報を要求すると、サーバ１０から操作端末４０へとリスト情報が送信され、操作端末４０上で現実オブジェクトの一覧が表示される。第２ユーザは、操作端末４０を操作することにより、一の現実オブジェクト（以下「現実オブジェクトＸ」という。）を選択すると共に、当該現実オブジェクトに関連付ける対象となる仮想的なコンテンツ（以下「コンテンツＹ」という。）を指定する。操作端末４０において入力された情報（すなわち、現実オブジェクトＸ及びコンテンツＹを示す情報）は、サーバ１０に送信される。サーバ１０は、ＨＭＤ２０におけるコンテンツの表示制御を行うことにより、ＨＭＤ２０の表示部２２に現実空間と共にコンテンツを表示させる。具体的には、サーバ１０は、ＨＭＤ２０の表示部２２に表示される現実空間内に現実オブジェクトＸが含まれている場合に、コンテンツＹを現実オブジェクトＸに関連付けて表示させる。
　図１においては、サーバ１０がコンテンツの表示制御を行う対象として、１台のＨＭＤ２０のみを図示しているが、サーバ１０は、複数のＨＭＤ２０に対する表示制御を行うように構成されてもよい。この場合、サーバ１０が上述したような現実オブジェクトの登録処理（すなわち、現実オブジェクトを第１ユーザに関連付けてリストＤＢ３０に記憶させる処理）を実行することにより、リストＤＢ３０には、複数のユーザ（第１ユーザ）の各々のリスト情報が記憶される。このようにリストＤＢ３０に複数のユーザのリスト情報が記憶される場合には、操作端末４０を使用する第２ユーザは、コンテンツの送信対象となる第１ユーザを選択し、選択された第１ユーザのリスト情報をサーバ１０に要求すればよい。また、サーバ１０は、単一のコンピュータ装置によって構成されてもよいし、互いに通信可能な複数のコンピュータ装置によって構成されてもよい。
　ＨＭＤ２０は、ユーザの頭部に装着されるデバイスである。ＨＭＤ２０の形態は特定の形態に限定されない。ＨＭＤ２０は、例えば、ゴーグル型、グラス型（眼鏡型）、帽子型等の種々の形態を取り得る。ＨＭＤ２０は、例えばスマートグラスである。本実施形態では、ＨＭＤ２０は、ユーザに拡張現実（ＡＲ）を提供する機能を有するＡＲグラスである。例えば、ＨＭＤ２０は、ユーザが現実空間（外界）と現実空間上に重畳表示された仮想コンテンツとを視認できるように構成されたシースルー型のグラスである。なお、ＨＭＤ２０は上記に限定されず、ユーザに複合現実（ＭＲ）を提供する機能を有するＭＲグラス等のＭＲデバイスであってもよい。
　ＨＭＤ２０は、認識部２１と、表示部２２と、を有する。
　認識部２１は、ＨＭＤ２０の前方の現実空間を撮影して現実空間画像を取得する機能を有する。現実空間画像は、静止画像であってもよいし、動画像（映像）であってもよい。また、認識部２１は、現実空間画像に含まれる物体（すなわち、現実空間画像内に被写体として写っている物体）を検出（物体認識）する機能を有する。認識部２１は、例えば、カメラとカメラにより撮影された現実空間画像を解析するプログラムとからなる。認識部２１は、例えば、現実空間画像に対する画像認識（２Ｄ画像認識）、フォトグラメトリ、及び３Ｄスキャンの少なくとも１つを実行することにより、現実空間画像に含まれる物体を検出する。
　本実施形態では、認識部２１は、検出した物体の３Ｄデータ（３Ｄモデル）を取得（生成）する。認識部２１により検出された物体の３Ｄデータは、検出時刻を示す時刻情報及び検出場所を示す場所情報と共にサーバ１０に送信される。時刻情報は、物体が検出された現実空間画像が撮影された時刻（例えば日時）を示す情報である。場所情報は、物体が検出された現実空間画像が示す現実空間の場所を示す情報である。場所情報は、例えばＨＭＤ２０が備えるＧＰＳセンサ等によって取得された緯度、経度、高度等を示す位置情報を含み得る。或いは、例えばＨＭＤ２０が、第１ユーザの自宅等の私的空間又は店舗、公共施設等の公共空間に設置された無線ＬＡＮアクセスポイントと無線通信する機能を有する場合には、ＨＭＤ２０と通信接続された無線ＬＡＮアクセスポイントを識別するためのＩＤ（例えば、ＢＳＳＩＤ等）が、上記場所情報として用いられてもよい。この場合、ＩＤにより特定される無線ＬＡＮアクセスポイントの設置場所が、物体の検出場所として用いられる。
　表示部２２は、ユーザの両目の前方に配置されるディスプレイである。表示部２２は、例えば、液晶表示素子、有機ＥＬ（Electro　Luminescence）素子等によって構成される。表示部２２は、ユーザの右目の前方に配置される右目用の表示パネルと、ユーザの左目の前方に配置される左目用の表示パネルと、を別々に有してもよい。表示部２２は、光学シースルー型（透過型）のディスプレイによって構成されてもよいし、ビデオシースルー型のディスプレイによって構成されてもよい。前者の場合、表示部２２には、光学的に透過した現実空間（すなわち、表示部２２の前方の現実空間）の透過像が表示される。後者の場合、表示部２２には、ＨＭＤ２０が備えるカメラ（認識部２１）によりリアルタイムに取得（撮像）されたビデオ画像（映像）が表示される。また、表示部２２には、現実空間の画像（透過像又はビデオ画像）に重畳して配置される仮想的なコンテンツ（すなわち、サーバ１０から配信されるコンテンツ）が表示される。
　コンテンツは、任意の情報を示す表示情報である。コンテンツの形態は特定の形態に限定されないが、コンテンツの例としては、画像（静止画像又は動画像）、テキスト情報、図形情報、３Ｄモデル等が挙げられる。
　サーバ１０は、検出部１１と、登録部１２と、リスト提示部１３と、関連付け部１４と、表示制御部１５と、を有する。
　検出部１１は、ＨＭＤ２０により撮影された現実空間画像に含まれる物体である現実オブジェクトを検出する。現実オブジェクトは特定の物体に限られないが、現実オブジェクトの例としては、ＰＣモニタ（ディスプレイ）、ペン、コップ、スマートフォン、第１ユーザの部屋の壁に貼付されたポスター等の第１ユーザの所有物が挙げられる。ここで、検出部１１によって実行される「現実オブジェクトの検出」は、後でＨＭＤ２０の表示部２２に表示された現実空間に当該現実オブジェクトが存在する場合に当該現実オブジェクトを検知可能となるように、当該現実オブジェクトの形状、色彩、模様等の特徴を把握（取得）することを意味する。本実施形態では一例として、検出部１１は、現実オブジェクトの３Ｄデータを当該現実オブジェクトの特徴として取得する。また、検出部１１は、ＨＭＤ２０によって取得された３Ｄデータだけでなく、ＨＭＤ２０のＲＧＢカメラによって取得された２Ｄ画像も用いることによって、現実オブジェクトを検出（物体認識）してもよい。
　本実施形態では、検出部１１は、ＨＭＤ２０の認識部２１による検出（物体認識）結果である３ＤデータをＨＭＤ２０から取得することにより、現実オブジェクトを検出する。本実施形態では、現実空間画像は、第１ユーザの頭部に装着されたＨＭＤ２０の前方の現実空間を撮影することで得られた画像である。従って、本実施形態では、検出部１１は、第１ユーザの視界に対応する現実空間画像に含まれる物体を、現実オブジェクトとして検出することになる。つまり、第１ユーザがＨＭＤ２０の使用中（装着中）に見た物体が、現実オブジェクトとして検出される。
　なお、検出部１１が現実オブジェクトを検出する方法は、上記に限られない。例えば、検出部１１は、ＨＭＤ２０により撮影された現実空間画像をＨＭＤ２０から取得し、当該現実空間画像に対する画像認識、フォトグラメトリ、及び３Ｄスキャンの少なくとも１つの実行結果に基づいて、現実オブジェクトを検出してもよい。すなわち、現実オブジェクトの検出は、ＨＭＤ２０によって実行されてもよいし、サーバ１０によって実行されてもよい。また、現実オブジェクトの検出は、ＨＭＤ２０及びサーバ１０の両方で分担して実行されてもよい。
　登録部１２は、検出部１１により検出された現実オブジェクトを、第１ユーザに関連付けて登録する。すなわち、登録部１２は、現実オブジェクトが検出された現実空間画像を撮影したＨＭＤ２０の使用者（所有者）である第１ユーザを当該現実オブジェクトに関連付けて、リストＤＢ３０に登録する。上記処理が複数の現実オブジェクトの各々について実行されることにより、リストＤＢ３０には、第１ユーザに関連付けられる複数の現実オブジェクトの情報（リスト情報）が自動的に蓄積される。以下、登録部１２のいくつかの処理例について説明する。
（登録処理の第１例）
　ＨＭＤ２０（認識部２１）により撮影される現実空間画像には、物体の一部しか含まれていない場合がある。また、ある角度（方向）からの現実空間画像だけでは、物体の全体のうち、ある角度（方向）から見たときに見える部分しか解析することができない。すなわち、検出部１１により取得される３Ｄデータ（本実施形態では、認識部２１により取得される３Ｄデータ）は、物体の一部にのみ対応する不完全なデータである場合がある。そこで、登録部１２は、以下のような処理を行うことで、物体の全体に対応する完全な３Ｄデータを取得及び登録してもよい。
　すなわち、登録部１２は、現実空間画像から得られた物体（現実オブジェクト）の一部（例えば、ＰＣモニタ（ディスプレイ）の一部）に対応する３Ｄデータと、予め用意された複数の物品の３Ｄデータと、を照合することにより、上記物体に対応する物品（例えば、上記ＰＣモニタの型番等によって一意に特定される商品）を特定してもよい。ここで、前者の３Ｄデータは、認識部２１により取得された不完全な３Ｄデータである。一方、後者の３Ｄデータは、サーバ１０から参照可能なデータベース（例えば、複数の物品の型番、物品名、３Ｄデータ等の商品情報を格納するデータベース）に記憶されている物品の全体に対応する完全な３Ｄデータである。そして、登録部１２は、特定された物品の３Ｄデータを、現実オブジェクトの情報として登録してもよい。このような処理によれば、ＨＭＤ２０により取得された現実空間画像に基づいて得られる現実オブジェクトの３Ｄデータが不完全な場合であっても、予め用意された商品情報を参照することにより、完全な３Ｄデータを取得及び登録することができる。
　このように登録された３Ｄデータは、後述する表示制御（すなわち、ＨＭＤ２０の表示部２２においてコンテンツを現実オブジェクトに関連付けて表示させる制御）を実行する際に表示部２２に表示された現実空間に含まれる現実オブジェクトを検出するために利用される。従って、登録処理の第１例によれば、完全な３Ｄデータを現実オブジェクトの情報として登録することにより、上記表示制御を精度良く実行することが可能となる。すなわち、表示部２２に表示される現実空間に含まれる現実オブジェクトを、完全な３Ｄデータに基づいて精度良く検出することが可能となる。その結果、表示部２２に現実オブジェクトが表示されているにもかかわらず当該現実オブジェクトが検出されず、コンテンツが当該現実オブジェクトに関連付けて表示されないといった不具合の発生を抑制することができる。
（登録処理の第２例）
　登録部１２は、現実空間画像から検出された物体に対応する物品を示す物品情報と共に当該物体に固有の特徴を示す固有情報を、現実オブジェクトの情報の一部として登録してもよい。物品情報は、検出された物体に対応する物品（商品）に共通の特徴を示す情報である。物品情報は、例えば、商品名、型番、形状（３Ｄデータ）等の情報を含み得る。一方、固有情報は、実際に検出された物体に特有の特徴を示す情報である。固有情報の例としては、物体に付けられた傷、汚れ、シール、付箋、文字等の形状及び配置を示す情報が挙げられる。このような固有情報は、検出部１１による現実空間画像に対する画像解析等を行うことにより抽出され得る。例えば、検出部１１は、検出された物体に対応する物品（商品）を特定した後、当該物品について予め登録された３Ｄデータと実際に現実空間画像に写っている物体とを比較することにより差分を抽出し、抽出された差分を固有情報として取得してもよい。そして、登録部１２は、検出部１１により取得された固有情報を、現実オブジェクトの情報の一部として登録してもよい。
　このように登録された固有情報は、後述する表示制御（すなわち、ＨＭＤ２０の表示部２２においてコンテンツを現実オブジェクトに関連付けて表示させる制御）を実行する際に表示部２２に表示された現実空間に含まれる現実オブジェクトを検出するために利用される。従って、登録処理の第２例によれば、表示部２２に表示された現実空間に現実オブジェクトが存在するか否かを判定する際に、上述した固有情報を用いることにより、表示部２２に表示される現実空間に含まれる現実オブジェクトをより一層精度良く検出することが可能となる。
（登録処理の第３例）
　所定期間（例えば１日間等）内に１回しか検出されなかった物体は、第１ユーザがＨＭＤ２０を使用している最中に偶然目に入っただけの物体（すなわち、第１ユーザが普段めったに見ることがない物体）である可能性がある。このような物体を第１ユーザに関連付けられる現実オブジェクトとして登録し、当該現実オブジェクトに仮想的なコンテンツを関連付けたとしても、第１ユーザが当該現実オブジェクトを見る可能性が非常に低いため、第１ユーザに対してコンテンツを適切に提示できないという問題が生じる。従って、第１ユーザに対してコンテンツを適切に提示するためには、第１ユーザの普段の生活時（ＨＭＤ２０の使用時）において一定頻度以上で第１ユーザの目に触れる物体を、第１ユーザに関連付けられる現実オブジェクトとして登録することが好ましいといえる。
　そこで、登録部１２は、所定期間内に撮影された現実空間画像から検出される頻度が予め定められた閾値以上である物体を、第１ユーザに関連付けられる現実オブジェクトとして登録してもよい。例えば、認識部２１によって現実空間画像に含まれる物体が検出された後、一定期間（例えば１分間等）は同じ物体が現実空間画像に含まれていても検出されないように設定されている場合には、所定期間における検出回数（例えば１時間当たりの検出回数）が、上記検出頻度として用いられてもよい。また、現実空間画像に物体が被写体として含まれている間中、当該物体が検出され続ける場合には、所定期間のうち物体が検出されていた期間（例えば１時間当たりの検出期間）が、上記検出頻度として用いられてもよい。本実施形態では、登録部１２は、上述したようにＨＭＤ２０からサーバ１０に送信される時刻情報を参照することにより、上記検出頻度を算出することができる。
　登録処理の第３例によれば、第１ユーザがＨＭＤ２０を使用している最中に第１ユーザの目に触れる可能性が一定以上の物体のみを第１ユーザに関連付けられる現実オブジェクトとして登録することができる。従って、現実オブジェクトに対してコンテンツを関連付ける設定を行った場合に、第１ユーザに対して当該コンテンツを適切なタイミング（頻度）で提示することが可能となる。
（登録処理の第４例）
　第１ユーザに対してコンテンツをより確実に提示するためには、第１ユーザが普段視認する可能性の高い第１ユーザの所有物を第１ユーザに関連付けられる現実オブジェクトとして登録することが好ましいといえる。ここで、第１ユーザが第１ユーザの自宅、自室内等のプライベート空間でＨＭＤ２０を使用している最中に検出された物体は、第１ユーザの所有物である可能性が高い。一方で、第１ユーザが上記のようなプライベート空間以外の場所（例えば、通勤又は通学時に通る場所、職場、学校等の公共スペース等）でＨＭＤ２０を使用している最中に検出された物体は、第１ユーザの所有物でない可能性が高い。
　そこで、登録部１２は、物体が検出された場所（すなわち、物体が検出された現実空間画像がＨＭＤ２０によって撮影された場所）を示す場所情報を取得し、当該場所情報に基づいて、現実空間画像から検出された物体を第１ユーザに関連付けられる現実オブジェクトとして登録するか否かを決定してもよい。本実施形態では、上述したように、場所情報は、ＨＭＤ２０からサーバ１０に送信される。
　例えば、ある物体の場所情報（例えば、ＧＰＳにより取得される位置座標が示す場所）が予め第１ユーザのプライベート空間として登録された場所を示す場合には、登録部１２は、当該物体を第１ユーザに関連付けられる現実オブジェクトとして登録してもよい。一方、ある物体の場所情報が第１ユーザのプライベート空間として登録されていない場所を示す場合には、登録部１２は、当該物体を第１ユーザに関連付けられる現実オブジェクトとして登録しないようにしてもよい。
　また、第１ユーザの所有物のうち、例えばスマートフォン等のように第１ユーザに携帯される物体は、不特定の複数の場所で検出されると考えられる。そこで、登録部１２は、同一の物体について、不特定の複数の場所で検出された場合（すなわち、同一の物体について、不特定の複数の場所に対応する場所情報が取得された場合）には、当該物体を第１ユーザに関連付けられる現実オブジェクトとして登録してもよい。
　登録処理の第４例によれば、場所情報に基づいて、第１ユーザの所有物である可能性が高い物体を第１ユーザに関連付けられる現実オブジェクトとして登録することができる。従って、現実オブジェクトに対してコンテンツを関連付ける設定を行った場合に、第１ユーザに対して当該コンテンツを適切なタイミング（頻度）で提示することが可能となる。
　図２は、登録部１２により登録される現実オブジェクトの一覧（すなわち、リスト情報）の一例を模式的に示す図である。この例では、各現実オブジェクトに対応する登録情報（レコード）は、ＩＤ、物品情報、固有情報、場所情報、検出頻度、及び３Ｄ情報を含んでいる。「ＩＤ」は、個々の現実オブジェクトを一意に識別するための識別情報である。「物品情報」は、現実オブジェクトに対応する物品（商品）を特定するための情報であり、物品名（商品名）及び型番等を含んでいる。「固有情報」は、上述した登録処理の第２例により登録される固有情報である。「場所情報」は、上述した登録処理の第４例において取得される場所情報である。「検出頻度」は、上述した登録処理の第３例において取得（算出）される検出頻度である。「３Ｄ情報」は、現実オブジェクトの３Ｄデータである。この例では、ＩＤ「００１」の現実オブジェクトには、上述した登録処理の第１例において取得された物品の３Ｄデータ（すなわち、現実オブジェクトに対応する商品について予め用意されていた３Ｄデータ）が現実オブジェクトの３Ｄデータとして登録されている。一方、ＩＤ「００２」及びＩＤ「００３」の現実オブジェクトには、認識部２１又は検出部１１によって実際に得られた物体の全体を示す３Ｄデータが現実オブジェクトの３Ｄデータとして登録されている。なお、図２の例では、検出頻度が１時間当たり０．１回と比較的低いＩＤ「００２」の現実オブジェクトが登録されているが、上述した登録処理の第３例において、仮に閾値を「２回／ｈ」に設定した場合には、ＩＤ「００２」の現実オブジェクトは登録対象から除外される。
　リスト提示部１３は、登録部１２により登録された複数の現実オブジェクトの一覧を示すリスト情報を第２ユーザに提示する。例えば、リスト提示部１３は、リストＤＢ３０に記憶されたリスト情報（図２参照）を第２ユーザに提示する。本実施形態では、リスト提示部１３は、リスト情報を第２ユーザの操作端末４０に送信することにより、リスト情報を第２ユーザに提示する。なお、リスト提示部１３は、図２に示したリスト情報のうちの一部の項目（例えば、物品情報を示すテキスト情報及び視覚的に表示された３Ｄデータ）のみを第２ユーザに提示してもよい。
　操作端末４０は、例えば、第２ユーザに使用されるＰＣ、スマートフォン等の任意の端末である。操作端末４０は、リスト受信部４１と、リスト表示部４２と、入力部４３と、を有する。リスト受信部４１は、リスト提示部１３から送信されたリスト情報を受信する。リスト表示部４２は、操作端末４０が備えるディスプレイ等の表示部にリスト情報を表示する。入力部４３は、第２ユーザの操作を受け付ける。より具体的には、入力部４３は、表示部に表示されたリスト情報に含まれる複数の現実オブジェクトのうちから一以上の現実オブジェクトＸを選択する操作を受け付ける。また、入力部４３は、現実オブジェクトＸに関連付けるためのコンテンツＹを指定する操作も受け付ける。本実施形態では一例として、コンテンツＹは、第２ユーザのメッセージを含むコンテンツである。例えば、コンテンツＹは、球状のオブジェクト（例えばシャボン玉を模したオブジェクト）であり、当該オブジェクトに対する第１ユーザの所定の操作（例えば、当該オブジェクトに手をかざす操作等）がされると、第２ユーザのメッセージが展開表示される。ＨＭＤ２０の表示部２２上におけるコンテンツの表示例については後述する。
　関連付け部１４は、登録部１２により登録された現実オブジェクトに、現実空間には存在しない仮想的なコンテンツを関連付ける。本実施形態では、関連付け部１４は、リスト情報に含まれる複数の現実オブジェクトのうちから第２ユーザによって選択された現実オブジェクトＸに、当該第２ユーザによって指定されたコンテンツＹを関連付ける。すなわち、関連付け部１４は、上述した操作端末４０の入力部４３によって選択及び指定された現実オブジェクトＸ及びコンテンツＹの情報を操作端末４０から受信し、当該現実オブジェクトＸに当該コンテンツＹを関連付ける。現実オブジェクトＸにコンテンツＹが関連付けられたことを示す情報は、表示制御部１５に通知される。なお、現実オブジェクトとコンテンツとの対応関係は、「１：１」の関係に限られない。すなわち、１つの現実オブジェクトに対して複数のコンテンツが関連付けられてもよいし、複数の現実オブジェクトに対して共通の１つのコンテンツが関連付けられてもよい。本実施形態では一例として、１つの現実オブジェクトＸに対して１つのコンテンツＹが関連付けられるものとする。
　表示制御部１５は、ＨＭＤ２０の表示部２２の表示を制御することにより、表示部２２に現実空間と共にコンテンツを表示させる。より具体的には、表示制御部１５は、表示部２２に表示される現実空間内に現実オブジェクトＸが含まれている場合に、コンテンツＹを現実オブジェクトＸに関連付けて表示させる。例えば、表示制御部１５は、現実オブジェクトＸの３Ｄデータ及びコンテンツＹの表示情報（例えば、レンダリングのために用いる情報）を表示制御情報としてＨＭＤ２０に送信する。ＨＭＤ２０は、当該表示制御情報に基づいて、表示部２２におけるコンテンツＹの表示を制御する。すなわち、ＨＭＤ２０は、現実オブジェクトＸの３Ｄデータを用いることにより、表示部２２に表示される現実空間に現実オブジェクトＸに相当する物体が存在するか否かを判定する。そして、ＨＭＤ２０は、表示部２２に表示される現実空間において、現実オブジェクトＸに相当する物体が検出された場合に、当該物体に関連付けてコンテンツＹを表示する。例えば、ＨＭＤ２０は、表示部２２において、検知された物体と重なる位置又は検知された物体の近傍に、コンテンツＹを表示させる。なお、表示部２２に表示される現実空間に現実オブジェクトＸに相当する物体が存在するか否かの判定は、上記例のようにＨＭＤ２０によって実行されてもよいし、サーバ１０（表示制御部１５）によって実行されてもよい。
　図３は、コンテンツの表示例を示す図である。この例では、現実オブジェクトＸは、第１ユーザの自宅の机の上に置かれた照明器具である。また、コンテンツＹは、上述したような第２ユーザのメッセージを含むコンテンツである。図３の（Ａ）に示されるように、上述した表示制御部１５の表示制御によれば、表示部２２の表示領域２２ａに写された現実空間に現実オブジェクトＸに相当する物体が検出された場合に、コンテンツＹが現実オブジェクトＸに関連付けて表示される。この例では、コンテンツＹは、最初は現実オブジェクトＸに重なるように浮遊するシャボン玉を模したオブジェクトとして表示される。
　続いて、ＨＭＤ２０を装着した第１ユーザが、コンテンツＹに対する所定の操作（例えば、コンテンツＹに手をかざす操作等）を実行すると、ＨＭＤ２０又は表示制御部１５は、当該所定の操作を検知し、コンテンツＹの状態を変化させる。この例では、図３の（Ｂ）に示されるように、コンテンツＹは、シャボン玉が割れる演出表示がされた後に、第２ユーザによって設定されたメッセージ（この例では「元気？」）を示すテキスト情報に変化する。
　次に、図４を参照して、コンテンツ提供システム１の動作の一例（実施形態に係るコンテンツ提供方法を含む）について説明する。
　ステップＳ１において、第１ユーザのＨＭＤ２０の認識部２１は、現実空間画像を撮影する。
　ステップＳ２において、認識部２１は、当該現実空間画像を解析する。例えば、認識部２１は、画像認識、フォトグラメトリ、及び３Ｄスキャンの少なくとも１つを実行することにより、現実空間画像に含まれる物体を検出する。例えば、認識部２１は、物体の３Ｄデータを取得（生成）する。
　ステップＳ３において、ＨＭＤ２０は、解析により得られた物体の３Ｄデータ、並びに上述した時刻情報及び場所情報をサーバ１０に送信する。
　ステップＳ４において、サーバ１０の検出部１１は、ＨＭＤ２０により撮影された現実空間画像に含まれる物体である現実オブジェクトを検出する。一例として、検出部１１は、ＨＭＤ２０（認識部２１）により検出された３Ｄデータを取得することにより、現実オブジェクトを検出する。
　ステップＳ５において、登録部１２は、ステップＳ４において検出された現実オブジェクトを第１ユーザに関連付けて登録する。登録部１２は、例えば、上述した登録処理の第１例及び第２例の処理を実行してもよい。また、登録部１２は、上述した登録処理の第３例及び第４例の処理を実行してもよい。図５に示されるフローチャートを参照して、登録部１２の登録処理の第３例及び第４例の処理手順の一例について説明する。なお、図５のフローチャートの処理は、検出された物体（現実オブジェクト）毎に個別に実行される。
　ステップＳ５１において、登録部１２は、登録候補の現実オブジェクトについて、所定期間内の検出頻度が閾値以上であるか否かを判定する。所定期間内の検出頻度が閾値以上でない場合（ステップＳ５１：ＮＯ）、登録部１２は、当該現実オブジェクトを第１ユーザに関連付けて登録しない。一方、所定期間内の検出頻度が閾値以上である場合（ステップＳ５１：ＹＥＳ）、登録部１２は、ステップＳ５２の判定を更に実行する。
　ステップＳ５２において、登録部１２は、登録候補の現実オブジェクトの場所情報を参照することにより、当該現実オブジェクトの検出場所が第１ユーザのプライベート空間又は不特定の複数の場所であるか否かを判定する。判定結果がＹＥＳの場合には、登録部１２は、当該現実オブジェクトを第１ユーザに関連付けて登録する（ステップＳ５３）。一方、判定結果がＮＯの場合には、登録部１２は、当該現実オブジェクトを第１ユーザに関連付けて登録しない。
　図４に戻り、ステップＳ６において、リスト提示部１３は、登録部１２により登録された複数の現実オブジェクトの一覧を示すリスト情報を第２ユーザに提示する。すなわち、リスト提示部１３は、リスト情報を操作端末４０に送信する。リスト情報は、操作端末４０のリスト受信部４１によって受信される。
　ステップＳ７において、操作端末４０のリスト表示部４２により、リスト情報が表示される。
　ステップＳ８において、操作端末４０の入力部４３が、第２ユーザの入力操作を受け付ける。すなわち、入力部４３は、第２ユーザにより選択された現実オブジェクトＸの情報と当該現実オブジェクトＸに関連付けるコンテンツＹの情報とを取得する。
　ステップＳ９において、現実オブジェクトＸ及びコンテンツＹを示す情報が、操作端末４０からサーバ１０に送信される。
　ステップＳ１０において、関連付け部１４は、現実オブジェクトＸにコンテンツＹを関連付ける。
　ステップＳ１１において、表示制御部１５は、ＨＭＤ２０の表示部２２の表示を制御することにより、表示部２２に現実空間と共にコンテンツを表示させる。例えば、表示制御部１５は、表示部２２に表示される現実空間内に現実オブジェクトＸが含まれている場合に、コンテンツＹが現実オブジェクトＸに関連付けて表示されるように、現実オブジェクトＸの３Ｄデータ及びコンテンツＹの情報を含む表示制御情報をＨＭＤ２０に送信する。
　ステップＳ１２において、ＨＭＤ２０が表示制御情報に基づく表示制御を実行することにより、表示部２２に表示される現実空間において、現実オブジェクトＸに相当する物体が検出された場合に、当該物体に関連付けてコンテンツＹが表示される（図３参照）。
　以上説明したサーバ１０においては、第１ユーザのＨＭＤ２０によって撮影された現実空間画像に含まれる物体が、第１ユーザに関連付けられる現実オブジェクトとして自動的に登録される。すなわち、第１ユーザがＨＭＤ２０を使用する際にユーザの周囲に存在する物体（言い換えれば、第１ユーザの目に入る物体）を、現実オブジェクトとして自動的に登録することができる。従って、第１ユーザが自身の周囲に存在する物体を手動で登録する必要がないため、第１ユーザの手間が削減される。そして、ＨＭＤ２０の表示部２２に現実オブジェクトＸが表示されている場合に、当該現実オブジェクトＸに関連付けて仮想的なコンテンツＹが表示される。上記仕組みによれば、第１ユーザがＨＭＤ２０を使用する際に目にする可能性の高い物体に仮想的なコンテンツＹを関連付けて表示することが可能となるため、コンテンツＹを第１ユーザに対して効果的に提示することができる。その結果、第１ユーザのＡＲ体験又はＭＲ体験における利便性を向上させることができる。
　また、検出部１１は、第１ユーザの頭部に装着されたＨＭＤ２０によって撮影された第１ユーザの視界に対応する現実空間画像に含まれる物体を、現実オブジェクトとして検出する。上記構成によれば、第１ユーザがＨＭＤ２０の使用時（装着時）において第１ユーザの視認対象となる物体（すなわち、第１ユーザがＨＭＤ２０を使用する際に見る可能性が高い物体）を、第１ユーザに関連付けられる現実オブジェクトとして登録することができる。従って、現実オブジェクトに対してコンテンツを関連付ける設定を行った場合に、第１ユーザに対して当該コンテンツを適切なタイミング（頻度）で提示することが可能となる。
　また、サーバ１０は、登録部１２により登録された複数の現実オブジェクト（第１ユーザに関連付けられた現実オブジェクト）の一覧を示すリスト情報を第２ユーザに提示するリスト提示部１３を備える。また、関連付け部１４は、リスト情報に含まれる複数の現実オブジェクトのうちから第２ユーザによって選択された現実オブジェクトＸに、第２ユーザによって指定されたコンテンツＹを関連付ける。上記構成によれば、第１ユーザに関連付けられる現実オブジェクト（すなわち、第１ユーザがＨＭＤ２０を装着している最中に第１ユーザによって見られる可能性の高い物体）の一覧を第２ユーザに適切に把握させることができる。その結果、第２ユーザは、第１ユーザがＨＭＤ２０を装着している最中に第１ユーザに見せたいコンテンツＹを、第１ユーザが見る可能性の高い現実オブジェクトＸに関連付けることができる。以上により、ＡＲ又はＭＲによって第２ユーザから第１ユーザに向けてコンテンツを提示する仕組みを適切に実現することができる。また、本実施形態では、コンテンツＹは、第２ユーザによって入力されたメッセージを含んでいる。この場合、ＡＲ又はＭＲによって第２ユーザから第１ユーザに向けたメッセージ送信の仕組みを適切に実現することができる。
　なお、上記実施形態では、第１ユーザとは異なる第２ユーザによって選択された現実オブジェクトＸに、第２ユーザによって指定されたコンテンツＹが関連付けられたが、現実オブジェクトＸ及びコンテンツＹは、第１ユーザ自身によって選択及び指定されてもよい。この場合、上記実施形態における操作端末４０は、第１ユーザが操作する端末として構成されてもよい。このような形態によれば、例えば、第１ユーザは、備忘録等のメモを含むコンテンツを、第１ユーザの任意の所有物である現実オブジェクトに関連付けることができる。その結果、第１ユーザは、ＨＭＤ２０の使用時に当該現実オブジェクトを視認した際に、第１ユーザ自身が作成したメモの内容を確認することができる。
　なお、上記実施形態では、サーバ１０がコンテンツ提供装置として機能したが、サーバ１０の機能は、ＨＭＤ２０に実装されてもよい。この場合、ＨＭＤ２０がコンテンツ提供装置として機能する。また、上述したサーバ１０の機能の一部は、ＨＭＤ２０によって実行されてもよい。この場合、サーバ１０及びＨＭＤ２０を含むコンピュータシステムが、仮想コンテンツ提供装置として機能する。
　また、上記実施形態（図５）では、登録処理の第３例及び第４例の両方の処理が実行さるフローを示したが、当該フローは一例に過ぎない。すなわち、図４のステップＳ５においては、登録処理の第３例及び第４例の一方のみが実行されてもよいし、登録処理の第３例及び第４例の両方とも実行されなくてもよい。
　また、上記実施形態では、現実空間画像に含まれる物体の３Ｄデータが取得されたが、３Ｄデータを用いることは必ずしも必須ではない。すなわち、物体（現実オブジェクト）の２Ｄ画像に基づいて、上述した表示制御に必要な処理（すなわち、表示部２２に表示された現実空間に含まれる物体の検出）が実行されてもよい。
　また、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。
　例えば、本開示の一実施の形態におけるサーバ１０は、本開示の仮想コンテンツ提供方法を行うコンピュータとして機能してもよい。図６は、本開示の一実施の形態に係るサーバ１０のハードウェア構成の一例を示す図である。サーバ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ１０のハードウェア構成は、図６に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。なお、ＨＭＤ２０も、図６に示すサーバ１０のハードウェア構成と同様のハードウェア構成を有してもよい。
　サーバ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、サーバ１０の各機能部（例えば、表示制御部１５等）は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係るコンテンツ提供方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、サーバ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
　上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々な情報要素は、あらゆる好適な名称によって識別できるので、これらの様々な情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１…コンテンツ提供システム、１０…サーバ（コンテンツ提供装置）、１１…検出部、１２…登録部、１３…リスト提示部、１４…関連付け部、１５…表示制御部、２０…ＨＭＤ（ユーザ端末）、２２…表示部、Ｘ…現実オブジェクト、Ｙ…コンテンツ。

Claims (9)

  1. 　第１ユーザに使用されるユーザ端末により撮影された現実空間画像に含まれる物体である現実オブジェクトを検出する検出部と、
    　前記検出部により検出された前記現実オブジェクトを、前記第１ユーザに関連付けて登録する登録部と、
    　前記登録部により登録された前記現実オブジェクトに、現実空間には存在しない仮想的なコンテンツを関連付ける関連付け部と、
    　前記第１ユーザに使用されるユーザ端末の表示部に現実空間と共に前記コンテンツを表示させる表示制御部と、を備え、
    　前記表示制御部は、前記表示部に表示される現実空間内に前記現実オブジェクトが含まれている場合に、前記コンテンツを前記現実オブジェクトに関連付けて表示させる、
    　コンテンツ提供装置。
  2. 　前記ユーザ端末は、前記第１ユーザの頭部に装着されるヘッドマウントディスプレイを含み、
    　前記検出部は、前記ヘッドマウントディスプレイによって撮影された前記第１ユーザの視界に対応する前記現実空間画像に含まれる物体を、前記現実オブジェクトとして検出する、
    　請求項１に記載のコンテンツ提供装置。
  3. 　前記登録部により登録された複数の前記現実オブジェクトの一覧を示すリスト情報を前記第１ユーザ又は前記第１ユーザとは異なる第２ユーザに提示するリスト提示部を更に備え、
    　前記関連付け部は、前記リスト情報に含まれる複数の前記現実オブジェクトのうちから前記第１ユーザ又は前記第２ユーザによって選択された前記現実オブジェクトに、前記第１ユーザ又は前記第２ユーザによって指定された前記コンテンツを関連付ける、
    　請求項１又は２に記載のコンテンツ提供装置。
  4. 　前記リスト提示部は、前記リスト情報を前記第２ユーザに提示し、
    　前記関連付け部は、前記第２ユーザによって選択された前記現実オブジェクトに、前記第２ユーザによって入力されたメッセージを含む前記コンテンツを関連付ける、
    　請求項３に記載のコンテンツ提供装置。
  5. 　前記検出部は、前記現実空間画像に対する画像認識、フォトグラメトリ、及び３Ｄスキャンの少なくとも１つの実行結果に基づいて、前記現実オブジェクトを検出する、
    　請求項１～４のいずれか一項に記載のコンテンツ提供装置。
  6. 　前記登録部は、前記現実空間画像から得られた前記物体の一部に対応する３Ｄデータと予め用意された複数の物品の３Ｄデータとを照合することにより前記物体に対応する物品を特定し、特定された前記物品の３Ｄデータを、前記現実オブジェクトの情報として登録する、
    　請求項１～５のいずれか一項に記載のコンテンツ提供装置。
  7. 　前記登録部は、前記現実空間画像から検出された前記物体に対応する物品を示す物品情報と共に前記物体に固有の特徴を示す固有情報を、前記現実オブジェクトの情報の一部として登録する、
    　請求項１～６のいずれか一項に記載のコンテンツ提供装置。
  8. 　前記登録部は、所定期間内に撮影された前記現実空間画像から検出される頻度が予め定められた閾値以上である前記物体を、前記第１ユーザに関連付けられる前記現実オブジェクトとして登録する、
    　請求項１～７のいずれか一項に記載のコンテンツ提供装置。
  9. 　前記登録部は、前記現実空間画像が撮影された場所を示す場所情報を取得し、前記場所情報に基づいて、前記現実空間画像から検出された物体を前記第１ユーザに関連付けられる前記現実オブジェクトとして登録するか否かを決定する、
    　請求項１～８のいずれか一項に記載のコンテンツ提供装置。
PCT/JP2022/040226 2021-11-01 2022-10-27 コンテンツ提供装置 WO2023074817A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023556649A JPWO2023074817A1 (ja) 2021-11-01 2022-10-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-178517 2021-11-01
JP2021178517 2021-11-01

Publications (1)

Publication Number Publication Date
WO2023074817A1 true WO2023074817A1 (ja) 2023-05-04

Family

ID=86159934

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040226 WO2023074817A1 (ja) 2021-11-01 2022-10-27 コンテンツ提供装置

Country Status (2)

Country Link
JP (1) JPWO2023074817A1 (ja)
WO (1) WO2023074817A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059263A (ja) * 2010-09-09 2012-03-22 Pantech Co Ltd オブジェクト間の関連性を利用した拡張現実提供装置及び方法
JP2018005499A (ja) * 2016-06-30 2018-01-11 キヤノンマーケティングジャパン株式会社 仮想空間制御装置、その制御方法、及びプログラム
WO2020161816A1 (ja) * 2019-02-06 2020-08-13 マクセル株式会社 複合現実表示装置および複合現実表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012059263A (ja) * 2010-09-09 2012-03-22 Pantech Co Ltd オブジェクト間の関連性を利用した拡張現実提供装置及び方法
JP2018005499A (ja) * 2016-06-30 2018-01-11 キヤノンマーケティングジャパン株式会社 仮想空間制御装置、その制御方法、及びプログラム
WO2020161816A1 (ja) * 2019-02-06 2020-08-13 マクセル株式会社 複合現実表示装置および複合現実表示方法

Also Published As

Publication number Publication date
JPWO2023074817A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP5468585B2 (ja) オブジェクト間の関連性を利用した拡張現実提供装置及び方法
US20120038670A1 (en) Apparatus and method for providing augmented reality information
US11126848B2 (en) Information processing device, information processing method, and information processing program
US20120046072A1 (en) User terminal, remote terminal, and method for sharing augmented reality service
US20140232750A1 (en) Visual overlay for augmenting reality
CN111988729B (zh) 远程设备的发现和连接
US10867606B2 (en) Systems and methods for performing task using simple code
WO2019130991A1 (ja) 情報処理装置
CN111527466A (zh) 信息处理装置、信息处理方法和程序
JP6869809B2 (ja) 画像推定装置
US11682045B2 (en) Augmented reality advertisements on objects
WO2023074817A1 (ja) コンテンツ提供装置
CN111754272A (zh) 广告推荐方法、推荐广告显示方法、装置及设备
US20220198794A1 (en) Related information output device
US11601639B2 (en) Information processing apparatus and image display method
JP2022136068A (ja) 情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造
US9911237B1 (en) Image processing techniques for self-captured images
JP2019186591A (ja) 情報処理装置、画像表示方法、コンピュータプログラム、及び記憶媒体
CN111435511B (zh) 订单处理方法、装置、设备、系统及可读存储介质
CN113920221A (zh) 信息处理装置、信息处理方法及计算机可读介质
JP7097464B2 (ja) 機能制御装置
WO2023171341A1 (ja) 表示制御装置
WO2018198320A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US20180268471A1 (en) Information processing apparatus, information processing method, program, and information processing system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887142

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023556649

Country of ref document: JP