WO2012108180A1 - 通信装置、通信システム、通信方法、及び通信プログラム - Google Patents

通信装置、通信システム、通信方法、及び通信プログラム Download PDF

Info

Publication number
WO2012108180A1
WO2012108180A1 PCT/JP2012/000801 JP2012000801W WO2012108180A1 WO 2012108180 A1 WO2012108180 A1 WO 2012108180A1 JP 2012000801 W JP2012000801 W JP 2012000801W WO 2012108180 A1 WO2012108180 A1 WO 2012108180A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
annotation
display
physical object
Prior art date
Application number
PCT/JP2012/000801
Other languages
English (en)
French (fr)
Inventor
安齋　潤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/814,705 priority Critical patent/US20130135348A1/en
Publication of WO2012108180A1 publication Critical patent/WO2012108180A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Definitions

  • the present invention relates to a communication device, a communication system, a communication method, and a communication program.
  • the present invention relates to a technology used in an augmented reality (AR) system that provides information (annotations) on an object (physical object) in a real environment to a user.
  • AR augmented reality
  • augmented reality also referred to as augmented reality
  • AR technology electronic information (annotation) including explanation and related information regarding a specific object in a real environment is presented in association with an actual object (physical object) to be explained.
  • the following technologies are known as augmented reality technologies. For example, the similarity between the visual feature information extracted from the partial video of the captured video and the visual feature information of the physical object stored in the storage device is calculated, and the physical object is determined based on the calculated similarity. It is determined whether or not it exists in the captured video.
  • An apparatus is known in which an annotation is not displayed when a physical object does not exist in a captured video (see, for example, Patent Document 1).
  • a service incorporating the augmented reality system will be provided even in an e-mail system using a communication device such as a mobile phone.
  • a communication device such as a mobile phone.
  • a service incorporating the augmented reality system will be provided even in an e-mail system using a communication device such as a mobile phone.
  • a communication device such as a mobile phone.
  • a physical object included in an image taken with a camera of a mobile phone it is expected to provide some content via email.
  • Patent Document 3 it is possible to deliver content that matches the consumer's preference before the consumer requests it. If this technology is applied to the augmented reality systems shown in Patent Documents 1 and 2, the annotation providing side as content (transmission side) can provide the annotation related to a specific physical object, It is considered that the side receiving the annotation (reception side) can display and confirm the annotation.
  • annotations are not displayed in consideration of various situations, the annotations may be visually intrusive or have a sense of incongruity far from the real world. There is a possibility that it will be.
  • the present invention has been made in view of the above circumstances, and provides a communication device, a communication system, a communication method, and a communication program capable of providing or displaying an annotation in consideration of various situations. Objective.
  • the communication apparatus displays an annotation generation unit that generates annotation generation information for generating an annotation corresponding to a physical object, display condition information indicating a condition for displaying the annotation, and the annotation.
  • An information generation unit that generates display target information for identifying a physical object to be displayed, the annotation generation information generated by the annotation generation unit, the display condition information generated by the information generation unit, And a transmission unit that transmits the display target information.
  • the information generation unit generates guide information presentation condition information indicating a condition for presenting guide information for guiding an annotation checker, and the transmission unit includes the information The guidance information presentation condition information generated by the generation unit is transmitted.
  • the information generation unit generates guidance information presentation method information indicating a method of presenting the guidance information
  • the transmission unit generates the guidance information presentation generated by the information generation unit. Send method information.
  • the communication device of the present invention includes a reference image storage unit that stores a reference image corresponding to the image of the physical object, and the annotation generation unit uses the reference image stored in the reference image storage unit, The annotation generation information is generated.
  • This configuration makes it possible to easily generate annotation generation information visually using a reference image.
  • the communication device of the present invention is an annotation generation information for generating an annotation corresponding to a physical object, display condition information indicating a condition for displaying the annotation, and a display target on which the annotation is displayed.
  • a reception unit that receives display target information for identifying a physical object, a state detection unit that detects a state, an image acquisition unit that acquires an image, and a physical object included in the image acquired by the image acquisition unit
  • An object recognition unit for recognizing physical object identification information for identifying the state, and whether or not the state information detected by the state detection unit substantially matches the display condition information received by the reception unit
  • a display target determination unit that determines whether or not the display target information received by the communication unit substantially matches, and the display condition determination unit determines that the display target determination unit substantially matches, and the display target determination unit determines that the display target determination unit substantially matches.
  • An annotation reproduction unit that reproduces the annotation based on the annotation generation information received by the reception unit.
  • the communication device of the present invention includes a guidance information presentation condition determination unit and a guidance information presentation unit, and the reception unit indicates conditions for presenting guidance information for guiding an annotation confirmer. Whether or not the guidance information presentation condition information is received and the guidance information presentation condition determination unit substantially matches the status information detected by the status detection unit and the guidance information presentation condition information received by the reception unit. When the guidance information presentation unit determines that the guidance information presentation condition judgment unit substantially matches, the guidance information is presented.
  • the receiving unit receives guide information presentation method information indicating a method of presenting the guide information
  • the guide information presenting unit receives the guide information presentation received by the receiver.
  • the guidance information is presented according to the method information.
  • the communication system of the present invention is a communication system that performs communication between a first communication device and a second communication device, and the first communication device generates an annotation corresponding to a physical object.
  • An annotation generation unit for generating annotation generation information, display condition information indicating a condition for displaying the annotation, and display target information for identifying a physical object to be displayed on which the annotation is displayed,
  • An information generation unit that generates the information, and a transmission unit that transmits the annotation generation information generated by the annotation generation unit, the display condition information generated by the information generation unit, and the display target information.
  • the second communication device includes the annotation generation information, the display condition information, and the display target.
  • a receiving unit for receiving information, a state detecting unit for detecting a state, an image acquiring unit for acquiring an image, and physical object identification information for identifying a physical object included in the image acquired by the image acquiring unit
  • An object recognizing unit for recognizing a state, a display condition determining unit for determining whether or not the state information detected by the state detecting unit and the display condition information received by the receiving unit substantially match, and the object recognition
  • the physical object identification information recognized by the unit and the display target information received by the receiving unit are substantially matched by the display target determining unit, the display condition determining unit is determined to be substantially matched, and When it is determined that the display target determining unit substantially matches, the annotation is generated based on the annotation generation information received by the receiving unit.
  • Comprising a annotation reproducing unit for reproducing the down, the.
  • the first communication method of the present invention includes a step of generating annotation generation information for generating an annotation corresponding to a physical object, display condition information indicating a condition for displaying the annotation, and the annotation Generating display target information for identifying a physical object to be displayed, and transmitting the annotation generation information, the display condition information, and the display target information.
  • the second communication method of the present invention provides annotation generation information for generating an annotation corresponding to a physical object, display condition information indicating a condition for displaying the annotation, and a display for displaying the annotation
  • an annotation is reproduced based on the annotation generation information.
  • the communication program of the present invention is a program for causing a computer to execute each step of the first communication method.
  • This program can provide annotations considering various situations by sending display conditions and information to be displayed.
  • the communication program of the present invention is a program for causing a computer to execute each step of the second communication method.
  • This program can display annotations considering various situations by acquiring display conditions and information to be displayed.
  • summary of the augmented reality system in this embodiment in embodiment of this invention The block diagram which shows the structural example of the transmitter in the augmented reality system of embodiment of this invention
  • the block diagram which shows the structural example of the receiver in the augmented reality system of embodiment of this invention The figure for demonstrating the operation example of the transmitter in embodiment of this invention
  • the figure for demonstrating the operation example of the transmitter in embodiment of this invention (continuation of FIG. 4).
  • a physical object in this embodiment is a feature, a moving object, a place, or the like.
  • the feature is a building fixed at a specific position such as a building or a monument.
  • a moving body is a movable object such as a person or a car.
  • a place is a district uniquely identified by a latitude and longitude and uniquely identified by a specific name such as a predetermined point, a park, or a street.
  • annotation text information such as character information, image information such as 2D / 3D graphics, and the like are assumed.
  • Images include moving images as well as still images.
  • FIG. 1 is an image diagram for explaining the outline of the augmented reality system in the present embodiment.
  • mail AR mail
  • FIG. 1 the transmission device A owned by the user A generates information related to an annotation corresponding to a predetermined physical object.
  • the receiving device B owned by the user B displays the received annotation at a predetermined position in an image captured by the camera function of the receiving device B.
  • the transmitting device A generates information about AR mail and transmits the information.
  • information such as the destination of the AR mail, the contents of the AR mail, the display target, the display condition, the contents of the decoration, the notification method, and the like are generated.
  • the transmission destination information is identification information (e-mail address or the like) for identifying the receiving device B owned by the user B.
  • the information on the content of the AR mail is information for generating an annotation by the receiving device B and information on the content corresponding to the text of a general E-mail.
  • the display target information is physical object identification information for identifying all or part of the physical object corresponding to the annotation included in the AR mail.
  • the display condition information is timing information indicating a condition for displaying the annotation.
  • the content information of the decoration is decoration information for decorating the annotation displayed by the receiving apparatus B.
  • the information on the notification method is information indicating a method for presenting guidance information for guiding a recipient who confirms an annotation by the receiving device B.
  • the reception apparatus B Upon receiving each piece of information from the transmission apparatus A, the reception apparatus B searches for a physical object (all or a part) corresponding to the contents of the AR mail generated by the transmission apparatus A based on the information. Then, when the receiving device B specifies the physical object, the receiving device B guides the user B so that the physical object is included in an image captured by the receiving device B. For example, the user B is guided by displaying a message such as “turn around” on the display screen of the receiving apparatus B, outputting the voice as a voice message, or presenting it with a vibrator. Then, the receiving device B displays, for example, an overlay (superimposed display) of the annotation included in the AR mail on the physical object.
  • a message such as “turn around”
  • the receiving apparatus B displays, for example, an overlay (superimposed display) of the annotation included in the AR mail on the physical object.
  • a plurality of communication devices are connected via a communication network such as the Internet network or a mobile phone network.
  • the communication device includes a transmitting device that transmits AR mail and a receiving device that receives AR mail.
  • mobile devices such as a mobile phone, a portable information terminal, and a laptop computer, and a photographing device such as a digital camera, a digital video camera, and an in-vehicle camera can be considered.
  • FIG. 2 is a block diagram illustrating a configuration example of the transmission device 100 according to the embodiment of the present invention.
  • the transmission apparatus 100 includes a storage unit 101, a display condition setting unit 102, a display target setting unit 103, a reference image selection unit 104, a guidance information presentation method setting unit 105, a guidance information presentation condition setting unit 106, a content generation unit 107, and a content display.
  • An information setting unit 108, a communication unit 109, and an operation unit 110 are included.
  • the storage unit 101 stores various information. For example, a reference image (template image) for designating the display position of content as an annotation is stored.
  • the reference image is, for example, an image that represents a physical object in the real world in a simulated manner, and is an image that corresponds to the actual physical object. Examples of the reference image include an image related to a building, a place, and a moving body as a physical object.
  • the storage unit 101 may store an image captured by a camera (not shown) included in the transmission apparatus 100 as a reference image, or download the reference image from a predetermined server by the communication unit 109, for example. It may be acquired and stored.
  • the storage unit 101 stores, for example, decoration item information as decoration information for decorating content.
  • decoration items images such as “ ⁇ ”, “#”, “$”, images related to illumination, Christmas, birthday, etc., sound effects, sound information as BGM, and the like are stored.
  • the display condition setting unit 102 sets conditions for displaying content by the receiving device 200 via the operation unit 110.
  • the set condition information is sent to the content display information setting unit 108 as display condition information. Also, the display condition information can be not set.
  • the display condition information includes display time information, receiver posture information, movement speed information, and the like.
  • the display time information is time information indicating the date and time when the content should be displayed, and is information such as ** month ** day **.
  • Recipient posture information is information indicating the posture of the recipient who should display the content. Information such as viewing, looking down, looking forward, sitting, sleeping, etc. It is.
  • the moving speed information is information indicating the moving speed of the receiving apparatus 200 that should display the content, such as OO km / h, stopped, or on a specific vehicle (train, car, etc.) It is.
  • display condition information information on the position where the content should be displayed (information such as latitude, longitude, altitude, etc.), direction information, and direction information (direction of the receiving device 200) Information), location information (station, downtown, house, quiet location, etc.), and the like.
  • the display target setting unit 103 sets display target information for identifying a display target to be displayed in association with content via the operation unit 110.
  • the display target information is physical object identification information for identifying a physical object to be displayed on which content is displayed.
  • the display target information is sent to the content display information setting unit 108.
  • the display target information includes, for example, type information indicating the type of the physical object, size information indicating the size of the physical object, color information indicating the color of the physical object, complexity information indicating the complexity of the physical object, and the like. It is.
  • Specified type information includes buildings, squares, and sky.
  • size information information such as the area of the physical object can be considered.
  • color information white, transparent colors such as glass, and the like are conceivable.
  • complexity information for example, information such as that the window of a building as a physical object is flat and simple, or that the wall of the building has irregularities and is complicated can be considered.
  • the reference image selection unit 104 refers to the template image stored in the storage unit 101, and selects a desired template image from a plurality of template images via the operation unit 110.
  • the guidance information presentation method setting unit 105 is a receiver who confirms content so that the content corresponding to the physical object can be confirmed via the operation unit 110 via the display unit 213 of the reception device 200 or a speaker (not shown).
  • Guidance information presentation method information for presenting guidance information for guiding the (confirmer) is generated.
  • the guidance information presentation method information is sent to the content display information setting unit 108.
  • the guidance information presentation method information includes information for presenting guidance information such as “turn around” and “please look up” by voice, characters, images, etc., icons and arrows on the display unit 213 of the receiving apparatus 200 And the like, information for displaying by vibration, and the like.
  • the guidance information presentation condition setting unit 106 sets conditions for presenting guidance information via the operation unit 110. Information on the set condition is sent to the content display information setting unit 108 as guide information presentation condition information.
  • the receiving device status information indicating the status of the receiving device 200, the receiver status information indicating the status of the receiver who owns the receiving device 200, and the content display conditions are immediately satisfied.
  • Immediate presentation information indicating that the guidance information is presented is included.
  • the reception device status information includes information indicating whether or not the reception device 200 is activating the AR application, and whether or not the power of the display unit 213 (LCD (Liquid Crystal Display), etc.) of the reception device 200 is OFF. Information indicating whether or not mail communication is being performed by the communication unit 201 of the receiving apparatus 200, and the like.
  • LCD Liquid Crystal Display
  • the receiver status information includes information indicating whether or not the receiver is walking, information indicating whether or not the receiver is stopped, and a physical object corresponding to the content to be displayed by the receiver. There is information indicating whether or not it is facing the direction.
  • the content generation unit 107 generates content generation information for generating content via the operation unit 110.
  • the annotation generation information can be generated using the template image.
  • the content generation unit 107 uses the template image selected by the reference image selection unit 104 to specify the display position where the content is to be displayed.
  • the position information related to the display position is specified as a coordinate position in the template image, for example.
  • the display position for displaying the content is designated in the image taken by the camera unit 205 of the receiving apparatus 200.
  • the content generation unit 107 generates character information (text information), image information, and the like included in the content via the operation unit 110. For example, in the example shown in FIG. 1, a character string “To Be Happy” and an image “ ⁇ ” (star) behind the character string are generated. Further, in the example shown in FIG. 1, an image for emphasizing the area where the content is displayed (red border, double outer frame line, etc.) is generated. The content generation unit 107 also generates information such as the position where the character string is displayed in the content, the character color, the character direction (italic), the character size, the character font, and the like together with the character itself. .
  • the content generation unit 107 refers to the decoration items stored in the storage unit 101, and selects a desired decoration item from the plurality of decoration items via the operation unit 110.
  • the content generation unit 107 designates a display position where the selected decoration item is to be displayed on the template image selected by the reference image selection unit 104.
  • the display position for displaying the decoration item in the image taken by the camera unit 205 of the receiving apparatus 200 is designated.
  • the content generation unit 107 generates content generation information for generating such content (information generated, specified, selected, etc. by the content generation unit 107) at least a part of the body of the AR mail, the header, or the attached file. Set as. Further, the generated content itself may be set in AR mail.
  • the content display information setting unit 108 sets the content display information for displaying the content by the receiving device 200 as at least a part of the body of the AR mail, the header, or the attached file.
  • the content display information includes display condition information from the display condition setting unit 102, display target information from the display target setting unit 103, guidance information presentation method information from the guidance information presentation method setting unit 105, and guidance information presentation condition setting unit 106. Guidance information presentation condition information, etc. are included.
  • the communication unit 109 sends an AR mail including the content generation information generated by the content generation unit 107 and the content display information set by the content display information setting unit 108 to the receiving device 200 via a predetermined communication network. Send.
  • the operation unit 110 receives an operation input from the user, and is a numeric keypad, a cross key, a touch panel, or the like, for example.
  • FIG. 3 is a block diagram illustrating a configuration example of the receiving device 200 according to the embodiment of the present invention.
  • the receiving device 200 includes a communication unit 201, a storage unit 202, an information analysis unit 203, a state detection unit 204, a camera unit 205, an object recognition unit 206, a display condition determination unit 207, a display target search unit 208, and a guidance information presentation condition determination unit. 209, a guidance information presentation unit 210, a content reproduction unit 211, a composition unit 212, and a display unit 213.
  • the communication unit 201 receives the AR mail from the transmission device 100 via a predetermined communication network.
  • the AR mail includes content generation information and content display information.
  • the storage unit 202 stores various information. For example, the content generation information received by the communication unit 201 and the content display information are stored in association with each other.
  • the information analysis unit 203 extracts and analyzes display condition information, display target information, guidance information presentation method information, guidance information presentation condition information, and the like included in the content display information stored in the storage unit 202.
  • the state detection unit 204 detects various states. For example, the position information (latitude, longitude, altitude, etc.) of the receiving device 200 is detected by having a GPS function. In addition, by having a geomagnetic sensor, information on the direction of the receiving device 200 (information such as directions of east, west, south, and north) is detected. Further, by having an acceleration sensor and a speed sensor, information on the moving speed of the receiving device 200 is detected. Moreover, time information is detected by having a timer. In addition, the state detection unit 204 acquires information on other components in the reception device 200 to detect that the power source of the display unit 213 and the like is in an OFF state.
  • the camera unit 205 is a photographing device that captures 2D or 3D still images or moving images, and is, for example, a CCD image sensor or a CMOS image sensor.
  • the object recognition unit 206 performs a feature extraction process for extracting features of an image photographed by the camera unit 205.
  • a known feature extraction method such as feature point extraction or edge extraction is used.
  • the object recognition unit 206 performs a recognition process for recognizing a physical object from the extracted features.
  • a known image recognition method such as pattern matching is used.
  • recognition processing physical object identification information for identifying the physical object is recognized, and thereby the physical object as the display target is recognized.
  • the physical object identification information recognized by the recognition process includes type information, size information, color information, complexity information, and the like.
  • type information a door, a building, the ground, the sky, and the like can be considered.
  • size information information such as the area of the physical object being large, medium, or small can be considered.
  • color information white, transparent colors such as glass, and the like are conceivable.
  • the complexity information is, for example, information that the physical object is entirely composed of a plane, or that the physical object has a lot of unevenness. That is, it corresponds to display target information set by the transmission device 100.
  • the display condition determination unit 207 determines whether or not the condition for displaying the content stored in the storage unit 202 is satisfied.
  • the display condition determination unit 207 includes information corresponding to the display condition information (display time information, receiver attitude) among the display condition information analyzed by the information analysis unit 203 and the state information detected by the state detection unit 204. Information, movement speed information, and the like) are substantially the same, it is determined that the condition for displaying the content is satisfied.
  • the display target search unit 208 searches the physical object to be displayed corresponding to the content from the image taken by the camera unit 205. For example, when the display target information analyzed by the information analysis unit 203 and the physical object identification information recognized by the object recognition unit 206 substantially match, the physical object identified by the physical object identification information is It is specified as a physical object to be displayed.
  • the guidance information presentation condition determination unit 209 determines whether a condition for presenting guidance information for guiding a recipient who confirms content is satisfied. For example, information corresponding to the guidance information presentation condition information among the guidance information presentation condition information analyzed by the information analysis unit 203 and the status information detected by the status detection unit 204 (receiving device status information, receiver status information, And the like) are substantially coincident with each other, it is determined that the condition for presenting the guidance information is satisfied.
  • the guidance information presentation unit 210 presents guidance information according to the guidance information presentation method information analyzed by the information analysis unit 203 via the display unit 213, a speaker (not shown), a vibration (not shown), and the like.
  • the content reproduction unit 211 reproduces content based on the content generation information stored in the storage unit 202. At this time, a character string or an image included in the content is generated based on the content generation information, and the decoration item is reproduced.
  • the content reproduction unit 211 recognizes the display position of the content according to the information (display position) specified by the transmission device 100. Further, the contents are recognized according to character information and image information. In addition, the position where the character string is displayed, the character color, the direction of the character (italic, etc.), the character size, the font of the character, and the like are recognized according to the information generated by the transmission device 100. Further, the information of the decoration item is recognized according to the information (of the decoration item) selected by the transmission device 100. Note that the decoration item may be stored in advance in the storage unit 202, or the decoration item itself may be acquired from the transmission device 100 via the communication unit 201.
  • the composition unit 212 synthesizes the content reproduced by the content reproduction unit 211 with the image taken by the camera unit 205. As a result, the content is associated with the physical object included in the image in the form intended by the transmission apparatus 100.
  • the display unit 213 is a liquid crystal display (LCD: Liquid Crystal Display) or a head-mounted display (HMD: Head Mounted Display), and displays the physical object and content synthesized in association with each other by the synthesis unit 212.
  • LCD Liquid Crystal Display
  • HMD Head Mounted Display
  • content is overlaid (superimposed) displayed on the physical object.
  • the display unit 213 may project and display content on a physical object using a projector.
  • FIG. 4 and 5 are diagrams for explaining an operation example of the transmission apparatus 100.
  • FIG. 4 and 5 are diagrams for explaining an operation example of the transmission apparatus 100.
  • the display condition setting unit 102 sets display condition information via an operation input to the operation unit 110.
  • display position information step S101
  • display orientation information step S102
  • display timing information step S103
  • display condition achievement information step S104
  • the information on the display position is set by designating coordinates on a predetermined map via the operation unit 110, inputting a place name or the like via the operation unit 110, and designating a place.
  • the receiving device 200 can recognize the display position from information acquired by GPS or the like. Note that the display position information may not be set.
  • the display direction information specifies the direction (direction) of the receiving device 200 that should display the content via the operation unit 110, and the direction of the receiving device 200 based on the recipient via the operation unit 110 (recipient). It is set by designating a reference angle).
  • the receiving device 200 can recognize the display orientation based on information acquired by a geomagnetic sensor or the like. Note that the display orientation information may not be set.
  • the display timing information is received via the operation unit 110 by specifying a time such as date and time via the operation unit 110, specifying the posture of the receiver (tilt of the receiving device 200) via the operation unit 110. It is set by designating the moving speed of the device 200 or the like.
  • the receiving apparatus 200 can recognize the time based on information acquired by a timer or the like. Further, it is possible to recognize the inclination of the receiving device 200 from information acquired by a gyro sensor or the like. Further, it is possible to recognize the moving speed of the receiving apparatus 200 from information acquired by a speed sensor or the like.
  • the display timing information may not be set.
  • the information about the display condition achievement is set by designating the achievement level of the display condition through the operation unit 110, designating the behavior when the display condition is not achieved through the operation unit 110, and the like.
  • the information on the achievement level of the display condition means that the required display condition among the multiple display conditions is satisfied, how many non-essential display conditions are satisfied, and what is the error when compared with the display condition It is information such as whether it is permitted.
  • this allowable error information may be set in advance by the display condition setting unit 102 and transmitted to the receiving apparatus 200 by the communication unit 109.
  • the behavior information when the display condition is not achieved is information such as relaxing the achievement level of the display condition or displaying the content at the time-out even if the display condition is not achieved.
  • the receiving device 200 can recognize the achievement level of the display condition based on information acquired by each state detection sensor. Note that the display condition achievement information may not be set.
  • the display target setting unit 103 sets display target information via an operation input to the operation unit 110.
  • display target type information (step S105) and display target discovery information (step S106) are sequentially set as display target information.
  • the type information is designated via the operation unit 110, the size information is designated via the operation unit 110, the color information is designated via the operation unit 110, and the operation unit 110 is designated. It is set by designating complexity information via, for example.
  • the receiving apparatus 200 can recognize these pieces of information using the object recognition unit 206.
  • the display target discovery information is set by designating a display target discovery level via the operation unit 110, designating a display target undiscovered behavior via the operation unit 110, and the like.
  • the information on the discovery level of the display target means that the required information among the display target type information is satisfied, how many non-essential information are satisfied, and the error when compared with the display target type information. It is information such as to what extent it is allowed.
  • the information on the allowable error may be set in advance by the display target setting unit 103 and transmitted to the receiving apparatus 200 by the communication unit 109.
  • the behavior information when the display target is not found is to relax the discovery level of the display target, to display the content even if it has not been achieved, to display the content even if it has not been discovered, to display the content even if it has not been discovered, This is information such as not displaying or displaying content even if the display target type information is similar.
  • the receiving device 200 can recognize the discovery level of the display target based on information acquired by each state detection sensor. Note that display target discovery information may not be set.
  • the reference image selection unit 104 extracts from the template images stored in the storage unit 101, a template image that substantially matches the display target type information set in step S105. Then, the reference image selection unit 104 selects a desired template image from the extracted template images via an operation input to the operation unit 110 (step S107).
  • template candidates A to C as template images are stored in the storage unit 101.
  • the template candidate B is selected by the reference image selection unit 104 in order to provide content corresponding to a physical object similar to the template candidate B.
  • the reference image selection unit 104 may select an object close to a physical object that is assumed to exist at the display position via the operation unit 110 based on the information on the display position set in step S101. . Further, the reference image selection unit 104 may cooperate with a server having the display position information set in step S101, and acquire an actual physical object image from the server by the communication unit 109.
  • the content generation unit 107 designates a display position (display area) for displaying the content in the template image via an operation input to the operation unit 110 (step S108).
  • a display position display area
  • the first floor front part of the building is designated as the content display position.
  • the display area may be designated by an area other than the rectangle.
  • the content generation unit 107 sets the content content via an operation input to the operation unit 110 (step S109).
  • the background color is blue
  • the outer peripheral portion is a red bold line
  • the central portion is a ⁇ mark ( ⁇ mark)
  • “To Be Happy” as a character is set.
  • the font, size, color, etc. of the character are set.
  • the content generation unit 107 designates a display position (display area) for displaying the decoration item through an operation input to the operation unit 110 (step S110).
  • display area display area
  • the four corners of the rectangle as the content display area are designated as the decoration item display area.
  • the display area may be designated by an area other than the rectangle.
  • the content generation unit 107 selects a desired decoration item from the decoration items stored in the storage unit 101 via an operation input to the operation unit 110 (step S111).
  • the star image “ ⁇ ” is selected as the decoration item.
  • the content generation unit 107 generates the content content including the decoration items by the processing of steps S108 to S111 in FIG.
  • the guidance information presentation method setting unit 105 sets guidance information presentation method information via an operation input to the operation unit 110 (step S112).
  • the guidance information presentation method information specifies that the guidance information is presented by voice via the operation unit 110, designates that the guidance information is presented by display via the operation unit 110, and vibrates via the operation unit 110. It is set by designating that the guidance information is presented by (vibration) or the like.
  • the guidance information presentation condition setting unit 106 sets guidance information presentation condition information via an operation input to the operation unit 110 (step S113).
  • the guidance information presentation condition information specifies receiving device status information via the operation unit 110, specifies receiver status information via the operation unit 110, and specifies immediate presentation information via the operation unit 110. , Etc.
  • the receiving apparatus 200 can recognize the state of the receiving apparatus 200 and the state of the recipient from information acquired by each state detection sensor.
  • the communication unit 109 transmits the content generation information generated by the content generation unit 107 and the content display information set by the content display information setting unit 108 to the receiving device 200.
  • the content generation information may be the content image itself generated in steps S108 to S111, or may be information (metadata) for reproducing the content generated by the transmission device.
  • the metadata includes each piece of information specified in steps S108 to S111.
  • the transmission apparatus 100 According to the operation of the transmission apparatus 100 as described above, it is possible to provide content as an annotation in consideration of various situations.
  • content generation information can be generated using a reference image similar to an actual physical object, an annotation for a physical object in a place where the sender who owns the transmitting apparatus 100 has never visited is actually used. Can also be generated.
  • the transmission device 100 displays an image as shown in FIGS. 4 and 5 on the display screen of the transmission device 100 in each of steps S101 to S113 in FIGS. 4 and 5 and uses a touch panel via the operation unit 110. By performing input, the operation may be performed intuitively. Further, the transmission apparatus 100 may perform the designation in each of steps S101 to S113 in a wizard format or a navigation format.
  • FIG. 6 is a flowchart illustrating an operation example of the receiving apparatus 200.
  • an image is captured by the camera unit 205 during window shopping, and the content is superimposed on a store window included in the captured image.
  • the communication unit 201 receives information including content generation information and content display information from the transmission device 100, and the storage unit 202 stores the information (step S201). Then, the information analysis unit 203 analyzes content display information among the information stored in the storage unit 202.
  • the state detection unit 204 detects various states (step S202). For example, the time is detected by a clock (timer), the position of the receiving device 200 is detected by GPS or the like, the direction of the receiving device 200 is detected by a geomagnetic sensor or the like, and the moving speed of the receiving device 200 is detected by a speed sensor or the like. .
  • a clock timer
  • the position of the receiving device 200 is detected by GPS or the like
  • the direction of the receiving device 200 is detected by a geomagnetic sensor or the like
  • the moving speed of the receiving device 200 is detected by a speed sensor or the like.
  • the display condition determination unit 207 determines whether or not the display condition information included in the content display information analyzed by the information analysis unit 203 substantially matches the state detected by the state detection unit 204 (step S203).
  • the display condition information includes, for example, “after 18:00 on Friday, June 7” as display timing information, “latitude 35 degrees, longitude 139 degrees” as display position information, and display direction information. Information such as “East” and “Stopped for more than 1 minute” are included as movement speed information.
  • the display condition determination unit 207 considers this information and determines whether the display condition information substantially matches the detected state information. To do. For example, it is assumed that “date and time” is set as information on essential conditions, “1” is set as information on required number of optional conditions, and “within 20%” is set as allowable error information. In this case, the error between “after 18:00 on Friday, June 7” and the time information detected by the state detection unit 204 is within 20% (within a predetermined range), and other conditions such as “longitude 35 When the error between “degree, longitude 139 degrees” and the position information detected by the state detection unit 204 is within 20% (within a predetermined range), the display condition determination unit 207 determines that the display condition is satisfied. To do.
  • step S203 if the two pieces of information do not substantially match, step S203 is repeated until they substantially match.
  • the object recognition unit 206 determines physical object identification information (type information, size information, color information, complexity information) for each physical object from the image captured by the camera unit 205. , Etc.) are recognized (step S204).
  • the display target search unit 208 determines whether the display target information included in the content display information analyzed by the information analysis unit 203 substantially matches the physical object information recognized by the object recognition unit 206.
  • the display target information includes, for example, information such as “two-story building” as type information, “medium” as size information, “glass” as color information, and “all planes” as complexity information. It is included.
  • the display target search unit 208 considers this information and determines whether the display target information and the recognized physical object identification information substantially match. judge. For example, it is assumed that “color” is set as information on essential conditions, “1” is set as information on the required number of optional conditions, and “within 30%” is set as allowable error information. In this case, the error between “glass” and the color information recognized by the object recognition unit 206 is within 30% (within a predetermined range), and other conditions such as “medium” are recognized by the object recognition unit 206. When the error from the size information is within 30% (within a predetermined range), the display target search unit 208 determines that the physical object is a display target.
  • step S205 If it is determined in step S205 that the two pieces of information do not substantially match, step S205 is repeated until they substantially match.
  • step S205 when both information substantially coincides, the state detection unit 204 detects various states (step S206). For example, the time is detected by a clock (timer), the position is detected by GPS or the like, the direction of the receiving device 200 is detected by a geomagnetic sensor or the like, the moving speed of the receiving device 200 is detected by a speed sensor or the like, and not shown.
  • the application monitoring unit detects an application being executed (in AR or in mail), and a power supply monitoring unit (not shown) detects whether the power of the display unit 213 is ON.
  • the display target search unit 208 determines whether or not the guidance information presentation condition information included in the content display information analyzed by the information analysis unit 203 substantially matches the state detected by the state detection unit 204.
  • the guidance information presentation condition information includes, for example, information such as “AR application is being executed” as the receiving apparatus state information, “stopped” as the receiver state information, and “No” as the immediate presentation information. It is.
  • step S207 if the two pieces of information do not substantially match, step S207 is repeated until they substantially match.
  • the guidance information presentation unit 210 presents the guidance information according to the guidance information presentation method information included in the content display information analyzed by the information analysis unit 203 (step S208).
  • the guidance information presentation method information for example, “slightly away from the window” as information to be presented by voice, “arrow display toward window” as information to be presented by display, and presentation by vibration
  • information such as “vibe ON” is included.
  • the guidance information presentation process may be omitted. That is, the processing in steps S206 to S208 may be omitted.
  • the content reproduction unit 211 extracts content generation information from the content generation information stored in the storage unit 202.
  • the content generation information includes, for example, “center” as the position information of the text or image in the content, “red” as the color information of the text or image, and information of the direction of the text or image. “20 degrees tilt”, “20 points, Gothic” as the font information of the text, “(321, 220)” (coordinate information) as the information of the position of the display target in the photographed image, and the edge information (decoration)
  • Information on the display position of the item and information on the contents of the decoration item include information such as “star image at the apex” and information on the background of the content “blue”.
  • the content reproduction unit 211 reproduces the content based on the extracted content generation information (step S209). For example, when the above information is included in the content generation information, the content completed in step S111 in FIG.
  • the composition unit 212 superimposes the content reproduced by the content reproduction unit 211 on the position (the display target position included in the content generation information) specified by the transmission device 100 in the image captured by the camera unit 205.
  • the display unit 213 displays the synthesized image (step S210).
  • the receiving apparatus 200 may generate content according to the size and shape of an actual physical object included in the captured image as long as the display condition and the display target tolerance are within a predetermined range. That is, content may be generated by slightly processing information included in the content generation information. Thereby, content can be displayed according to an actual physical object.
  • annotations can be displayed in the following situations (1) to (8).
  • Annotation is displayed on the window of the building opposite from a certain building.
  • Annotation is displayed on the entire building behind you while you are walking.
  • Annotation is displayed in the sky looking up in the evening (4 )
  • Annotation is displayed in the window during window shopping (5)
  • Annotation is displayed when looking down in the square (6)
  • Annotation is displayed at the entrance of the house where the birthday came home (7)
  • On the ceiling when lying on the bed Display annotations (8) Display annotations on the side (side) of the bus when commuting
  • graphical mail can be displayed according to physical objects in the real world. Therefore, it is very unlikely that the display of the annotation visually becomes an obstacle, and the annotation can be displayed by being melted into the real world. Further, since the annotation can be displayed according to the situation of the receiver and the receiving apparatus 200, for example, the annotation can be displayed at the moment of turning around, or the annotation can be displayed at the moment of looking up.
  • the transmitting device 100 and the receiving device 200 share information by email communication, but information may be shared by a method other than email communication. .
  • the present invention is useful for a communication device, a communication system, a communication program, and the like capable of providing or displaying content in consideration of various situations.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)

Abstract

　通信装置は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するコンテンツ生成部１０７と、アノテーションを表示するための条件を示す表示条件情報を生成する表示条件設定部１０２と、アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報を生成する表示対象設定部１０３と、アノテーション生成情報、表示条件情報、及び表示対象情報、を送信する通信部１０９と、を備える。

Description

通信装置、通信システム、通信方法、及び通信プログラム
　本発明は、通信装置、通信システム、通信方法、及び通信プログラムに関する。特に、現実環境の対象物（物理オブジェクト）に関する情報（アノテーション）をユーザに提供する拡張現実感（ＡＲ：Augmented Reality）システムで用いられる技術に関する。
　近年、現実環境にコンピュータを用いて情報を付加提示する技術、及び情報を付加提示された環境そのものを示す言葉として、「拡張現実感（拡張現実ともいう）」が知られつつある。拡張現実感技術（ＡＲ技術）では、現実環境における特定の物体に関する説明や関連情報を含む電子情報（アノテーション）が、説明対象となる実物体（物理オブジェクト）に対応付けて提示される。
　拡張現実感に関する技術として、以下のような技術が知られている。例えば、撮影映像の部分映像から抽出された視覚的特徴情報と、記憶装置により記憶されている物理オブジェクトの視覚的特徴情報と、の類似度を算出し、算出された類似度により、物理オブジェクトが撮影映像に存在するか否かを判定する。そして、物理オブジェクトが撮影映像に存在しない場合には、アノテーションを表示しないようにする装置が知られている（例えば、特許文献１参照）。
　また、実世界映像に映し出される物理オブジェクトと実世界映像の視点との距離を測定し、取得された距離に応じて、アノテーションの表示を変更する装置が知られている（例えば、特許文献２参照）。
　また、従来、インターネット等の通信網を介したデジタルコンテンツの販売及び配信が盛んに行われている。このようなデジタルコンテンツの配信技術の一例として、属性情報、位置情報、時間情報などを利用して潜在的な消費者を識別し、その消費者が要求する前にコンテンツ・アイテムを配信するシステムが知られている（特許文献３参照）。このシステムにより、消費者はコンテンツ・アイテムを即時に利用することができる。
日本国特許第４４８８２３３号公報 国際公開第２０１０／０７３６１６号 日本国特表２００９－５２７８０７号公報
　拡張現実感システムが今後一層普及してくると、携帯電話等の通信装置を利用したＥメールシステムにおいても拡張現実感システムを取り入れたサービスが行われると予想される。例えば、携帯電話のカメラで撮影された画像に含まれる物理オブジェクトに関して、Ｅメールを介して何らかのコンテンツを提供することが予想される。
　特許文献３によれば、消費者が要求する前に、消費者の嗜好に合せたコンテンツを配信することは可能である。この技術を特許文献１及び２に示された拡張現実感システムに適用すれば、コンテンツとしてのアノテーションを提供する側（送信側）は、特定の物理オブジェクトに関するアノテーションを提供することが可能になり、アノテーションの提供を受けた側（受信側）は、そのアノテーションを表示して確認することが可能になると考えられる。
　しかしながら、受信側では、様々なシチュエーションを考慮してアノテーションを表示するようにしなければ、そのアノテーションが、視覚的に邪魔になる可能性があったり、実世界とはかけ離れた違和感のあるものとなってしまったりする可能性がある。
　本発明は、上記事情に鑑みてなされたものであって、様々なシチュエーションを考慮したアノテーションの提供又は表示を行うことが可能な通信装置、通信システム、通信方法、及び通信プログラムを提供することを目的とする。
　本発明の通信装置は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成する情報生成部と、前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、及び前記表示対象情報、を送信する送信部と、を備える。
　この構成により、表示条件や表示対象の情報を送信することで、様々なシチュエーションを考慮したアノテーションの提供を行うことが可能である。
　また、本発明の通信装置は、前記情報生成部が、アノテーションの確認者を誘導するための誘導情報を提示するための条件を示す誘導情報提示条件情報を生成し、前記送信部が、前記情報生成部により生成された前記誘導情報提示条件情報を送信する。
　この構成により、所望のタイミングで、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。
　また、本発明の通信装置は、前記情報生成部が、前記誘導情報を提示する方法を示す誘導情報提示方法情報を生成し、前記送信部が、前記情報生成部により生成された前記誘導情報提示方法情報を送信する。
　この構成により、所望の方法で、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。
　また、本発明の通信装置は、前記物理オブジェクトの画像に対応する参照画像を記憶する参照画像記憶部を備え、前記アノテーション生成部は、前記参照画像記憶部に記憶された参照画像を用いて、前記アノテーション生成情報を生成する。
　この構成により、参照画像を用いて視覚的に容易にアノテーション生成情報を生成することができる。
　また、本発明の通信装置は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信する受信部と、状態を検出する状態検出部と、画像を取得する画像取得部と、前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かをする表示対象判定部と、前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、を備える。
　この構成により、表示条件や表示対象の情報を取得することで、様々なシチュエーションを考慮したアノテーションの表示を行うことが可能である。
　また、本発明の通信装置は、誘導情報提示条件判定部と、誘導情報提示部と、を備え、前記受信部が、アノテーションの確認者を誘導するための誘導情報を提示するための条件を示す誘導情報提示条件情報を受信し、前記誘導情報提示条件判定部が、前記状態検出部により検出された状態の情報と前記受信部により受信された誘導情報提示条件情報とが略一致するか否かを判定し、前記誘導情報提示部が、前記誘導情報提示条件判定部により略一致すると判定された場合、前記誘導情報を提示する。
　この構成により、所望のタイミングで、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。
　また、本発明の通信装置は、前記受信部が、前記誘導情報を提示する方法を示す誘導情報提示方法情報を受信し、前記誘導情報提示部が、前記受信部により受信された前記誘導情報提示方法情報に従って、前記誘導情報を提示する。
　この構成により、所望の方法で、アノテーションを確実に確認することができる状態になるように、アノテーションの確認者を誘導することができる。
　また、本発明の通信システムは、第１の通信装置と第２の通信装置との間で通信を行う通信システムであって、前記第１の通信装置が、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成する情報生成部と、前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、及び前記表示対象情報、を送信する送信部と、を備え、前記第２の通信装置が、前記アノテーション生成情報、前記表示条件情報、及び、前記表示対象情報、を受信する受信部と、状態を検出する状態検出部と、画像を取得する画像取得部と、前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かをする表示対象判定部と、前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、を備える。
　この構成により、表示条件や表示対象の情報を用いて、様々なシチュエーションを考慮したアノテーションの提供及び表示を行うことが可能である。
　また、本発明の第１の通信方法は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するステップと、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成するステップと、前記アノテーション生成情報、前記表示条件情報、及び前記表示対象情報、を送信するステップと、を有する。
　この方法により、表示条件や表示対象の情報を送信することで、様々なシチュエーションを考慮したアノテーションの提供を行うことが可能である。
　また、本発明の第２の通信方法は、物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信するステップと、状態を検出するステップと、画像を取得するステップと、前記取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するステップと、前記検出された状態の情報と前記受信された表示条件情報とが略一致するか否かを判定するステップと、前記認識された物理オブジェクト識別情報と前記受信された表示対象情報とが略一致するか否かを判定するステップと、前記状態の情報と前記表示条件情報とが略一致すると判定され、かつ、前記物理オブジェクト識別情報と前記表示対象情報とが略一致すると判定された場合、前記アノテーション生成情報に基づいてアノテーションを再現するステップと、を有する。
　この方法により、表示条件や表示対象の情報を取得することで、様々なシチュエーションを考慮したアノテーションの表示を行うことが可能である。
　また、本発明の通信プログラムは、上記第１の通信方法の各ステップをコンピュータに実行させるためのプログラムである。
　このプログラムにより、表示条件や表示対象の情報を送信することで、様々なシチュエーションを考慮したアノテーションの提供を行うことが可能である。
　また、本発明の通信プログラムは、上記第２の通信方法の各ステップをコンピュータに実行させるためのプログラムである。
　このプログラムにより、表示条件や表示対象の情報を取得することで、様々なシチュエーションを考慮したアノテーションの表示を行うことが可能である。
　本発明によれば、様々なシチュエーションを考慮したコンテンツの提供又は表示を行うことが可能である。
本発明の実施形態における本実施形態における拡張現実感システムの概要を説明するためのイメージ図 本発明の実施形態の拡張現実感システムにおける送信装置の構成例を示すブロック図 本発明の実施形態の拡張現実感システムにおける受信装置の構成例を示すブロック図 本発明の実施形態における送信装置の動作例を説明するための図 本発明の実施形態における送信装置の動作例を説明するための図（図４の続き） 本発明の実施形態における受信装置の動作例を示すフローチャート
　以下、本発明の実施形態について、図面を参照して詳細に説明する。
　本実施形態での物理オブジェクトとしては、地物、移動体、場所等を想定する。地物とは、建物や記念碑など特定の位置に固定された建造物等である。移動体とは、人や車などの移動可能な物体である。場所とは、緯度経度により一意に特定され、所定の地点、公園、街路など、特定の名称により一意にされる地区である。また、アノテーション（コンテンツ）としては、文字情報等のテキスト情報、２Ｄ／３Ｄグラフィックなどの画像情報、等を想定する。画像には、静止画だけでなく、動画も含まれる。
　図１は、本実施形態における拡張現実感システムの概要を説明するためのイメージ図である。本実施形態の拡張現実感システムでは、１又は複数の送信装置と１又は複数の受信装置との間で、ＡＲ技術を採用したメール（ＡＲメール）の通信を行う。図１では、ユーザＡが所有する送信装置Ａが、所定の物理オブジェクトに対応するアノテーションに関する情報を生成する。そして、ユーザＢが所有する受信装置Ｂが、受信装置Ｂのカメラ機能により撮影された画像内の所定の位置に、受信されたアノテーションを表示することを想定している。
　まず、送信装置Ａが、ＡＲメールに関する情報を生成して、その情報を送信する。ＡＲメールを生成する際には、ＡＲメールの送信先、ＡＲメールの内容、表示対象、表示条件、デコレーションの内容、お知らせ方法、等の情報を生成する。
　ここで、送信先の情報とは、ユーザＢが所有する受信装置Ｂを識別するための識別情報（Ｅメールアドレス等）である。ＡＲメールの内容の情報とは、受信装置Ｂによりアノテーションを生成するための情報や、一般的なＥメールの本文に相当する内容の情報である。表示対象の情報とは、ＡＲメールに含まれるアノテーションに対応する物理オブジェクトの全体又は一部を識別するための物理オブジェクト識別情報である。表示条件の情報とは、アノテーションを表示する条件を示すタイミング情報である。デコレーションの内容の情報とは、受信装置Ｂにより表示されるアノテーションを装飾するための装飾情報である。お知らせ方法の情報とは、受信装置Ｂによりアノテーションを確認する受信者を誘導するための誘導情報を提示する方法を示す情報である。
　受信装置Ｂは、送信装置Ａからの各情報を受信すると、それらの情報に基づいて、送信装置Ａにより生成されたＡＲメールの内容に対応する物理オブジェクト（全体又は一部）を探索する。そして、受信装置Ｂは、その物理オブジェクトを特定すると、その物理オブジェクトが受信装置Ｂにより撮影される画像に含まれるように、ユーザＢを誘導する。例えば、「後ろを振り向いてください」のようなメッセージを受信装置Ｂの表示画面上に表示させたり、音声メッセージとして音声出力したり、バイブレータにより提示したりすることで、ユーザＢを誘導する。そして、受信装置Ｂは、その物理オブジェクトに対して、ＡＲメールに含まれるアノテーションを例えばオーバーレイ表示（重畳表示）する。
　次に、本発明の拡張現実感システムの構成について説明する。
　本実施形態における拡張現実感システムでは、複数の通信装置がインターネット網や携帯電話網等の通信網を介して接続されている。通信装置には、ＡＲメールを送信する送信装置、ＡＲメールを受信する受信装置が含まれる。通信装置としては、例えば、携帯電話、携帯情報端末、ノートパソコン等のモバイル機器、デジタルカメラ、デジタルビデオカメラ、車載用カメラ等の撮影装置、が考えられる。
　まず、送信装置の構成について説明する。
　図２は、本発明の実施形態における送信装置１００の構成例を示すブロック図である。
　送信装置１００は、記憶部１０１、表示条件設定部１０２、表示対象設定部１０３、参照画像選択部１０４、誘導情報提示方法設定部１０５、誘導情報提示条件設定部１０６、コンテンツ生成部１０７、コンテンツ表示情報設定部１０８、通信部１０９、操作部１１０、を有して構成される。
　記憶部１０１は、各種情報を記憶する。例えば、アノテーションとしてのコンテンツの表示位置を指定するための参照画像（テンプレート画像）を記憶する。参照画像は、例えば実世界の物理オブジェクトを模擬的に表した画像であり、実際の物理オブジェクトに対応する画像である。参照画像としては、物理オブジェクトとしての建物、場所、移動体、に関する画像等がある。また、記憶部１０１は、送信装置１００が備える不図示のカメラにより撮影された画像を参照画像として記憶しておいてもよいし、所定のサーバから通信部１０９によりダウンロード等することで参照画像を取得し、記憶しておいてもよい。
　また、記憶部１０１は、例えば、コンテンツを装飾するための装飾情報としてのデコレーションアイテムの情報を記憶する。デコレーションアイテムとしては、「☆」、「＃」、「＄」、等の画像、イルミネーション、クリスマス、誕生日等に関する画像、効果音やＢＧＭとしての音情報、等を記憶する。
　表示条件設定部１０２は、操作部１１０を介して、受信装置２００によりコンテンツを表示するための条件を設定する。設定された条件の情報は、表示条件情報としてコンテンツ表示情報設定部１０８に送られる。また、表示条件情報を設定しないこともできる。
　ここで、表示条件情報には、表示時間情報、受信者姿勢情報、移動速度情報、等が含まれる。表示時間情報とは、コンテンツの表示を行うべき日時等を示す時間情報であり、○月○日○○時、等の情報である。受信者姿勢情報とは、コンテンツの表示を行うべき受信者の姿勢を示す情報であり、見ている、下を見ている、前を見ている、座っている、寝ている、等の情報である。移動速度情報とは、コンテンツの表示を行うべき受信装置２００の移動速度を示す情報であり、○○ｋｍ／ｈ、停止中、特定の乗り物（電車、車等）に乗っている、等の情報である。
　また、上記の情報以外であっても、表示条件情報として、コンテンツの表示を行うべき位置の情報（緯度、経度、高度、等の情報）、方角の情報、向きの情報（受信装置２００の向きを示す情報）、場所の情報（駅、繁華街、家、静かな場所、等の情報）、等が考えられる。
　表示対象設定部１０３は、操作部１１０を介して、コンテンツを対応付けて表示すべき表示対象を識別するための表示対象情報を設定する。表示対象情報は、コンテンツが表示される表示対象となる物理オブジェクトを識別するための物理オブジェクト識別情報である。表示対象情報は、コンテンツ表示情報設定部１０８に送られる。
　表示対象情報には、例えば、物理オブジェクトの種別を示す種別情報、物理オブジェクトの大きさを示すサイズ情報、物理オブジェクトの色を示す色情報、物理オブジェクトの複雑さを示す複雑さ情報、等が含まれる。
　種別情報としては、ビル、広場、空、等が考えられる。サイズ情報としては、物理オブジェクトの面積等の情報が考えられる。色情報としては、白色、ガラス等の透明色、等が考えられる。複雑さ情報としては、例えば、物理オブジェクトとしての建物の窓が平らであり単純である、建物の壁が凸凹を有しており複雑である、等の情報が考えられる。
　参照画像選択部１０４は、記憶部１０１に記憶されたテンプレート画像を参照し、操作部１１０を介して、複数のテンプレート画像から所望のテンプレート画像を選択する。
　誘導情報提示方法設定部１０５は、操作部１１０を介して、受信装置２００の表示部２１３や不図示のスピーカを介して、物理オブジェクトに対応するコンテンツを確認できるように、コンテンツを確認する受信者（確認者）を誘導するための誘導情報を提示するための誘導情報提示方法情報を生成する。誘導情報提示方法情報は、コンテンツ表示情報設定部１０８に送られる。
　誘導情報提示方法情報は、「振り向いて下さい」、「見上げて下さい」、のような誘導情報を、音声、文字、画像等により提示するための情報、受信装置２００の表示部２１３にアイコンや矢印等を表示するための情報、バイブレーションにより提示するための情報、等である。
　誘導情報提示条件設定部１０６は、操作部１１０を介して、誘導情報を提示するための条件を設定する。設定された条件の情報は、誘導情報提示条件情報としてコンテンツ表示情報設定部１０８に送られる。
　ここで、誘導情報提示条件情報には、受信装置２００の状態を示す受信装置状態情報、受信装置２００を所有する受信者の状態を示す受信者状態情報、コンテンツの表示条件を満たしたときに直ぐに誘導情報を提示することを示す即時提示情報、等が含まれる。
　受信装置状態情報としては、受信装置２００がＡＲアプリケーションを起動中であるか否かを示す情報、受信装置２００の表示部２１３（ＬＣＤ（Liquid Crystal Display）等）の電源がＯＦＦであるか否かを示す情報、受信装置２００の通信部２０１によりメール通信中であるか否かを示す情報、等がある。
　受信者状態情報としては、受信者が歩行中であるか否かを示す情報、受信者が停止中であるか否かを示す情報、受信者が表示すべきコンテンツに対応する物理オブジェクトとは逆方向を向いているか否かを示す情報、等がある。
　コンテンツ生成部１０７は、操作部１１０を介して、コンテンツを生成するためのコンテンツ生成情報を生成する。このとき、テンプレート画像を用いて、アノテーション生成情報を生成することができる。
　例えば、コンテンツ生成部１０７は、参照画像選択部１０４により選択されたテンプレート画像を利用して、コンテンツを表示すべき表示位置を指定する。この表示位置に係る位置情報は、例えば、テンプレート画像における座標位置として指定される。この表示位置の指定に対応して、受信装置２００のカメラ部２０５により撮影された画像において、コンテンツを表示させる表示位置が指定される。
　また、コンテンツ生成部１０７は、操作部１１０を介して、コンテンツに含まれる文字情報（テキスト情報）、画像情報、等を生成する。例えば、図１に示した例では、「Ｔｏ　Ｂｅ　Ｈａｐｐｙ」の文字列、文字列の背後の画像「☆」（星印）を生成する。また、図１に示した例では、コンテンツが表示される領域を強調するための画像（赤枠での縁取り、二重外枠線、等）を生成する。また、コンテンツ生成部１０７は、コンテンツにおけるこの文字列が表示される位置、文字色、文字の向き（斜体等）、文字のサイズ、文字のフォント、等の情報も、文字自体と合わせて生成する。
　また、コンテンツ生成部１０７は、記憶部１０１に記憶されたデコレーションアイテムを参照し、操作部１１０を介して、複数のデコレーションアイテムから所望のデコレーションアイテムを選択する。
　また、コンテンツ生成部１０７は、参照画像選択部１０４により選択されたテンプレート画像上で、選択されたデコレーションアイテムを表示すべき表示位置を指定する。この表示位置の指定に対応して、受信装置２００のカメラ部２０５により撮影された画像において、デコレーションアイテムを表示させる表示位置が指定される。
　コンテンツ生成部１０７は、このようなコンテンツを生成するためのコンテンツ生成情報（コンテンツ生成部１０７により生成、指定、選択等された情報）を、ＡＲメールの本文、ヘッダ、又は添付ファイルの少なくとも一部として設定する。また、生成されたコンテンツ自体を、ＡＲメールに設定してもよい。
　コンテンツ表示情報設定部１０８は、受信装置２００によりコンテンツを表示するためコンテンツ表示情報を、ＡＲメールの本文、ヘッダ、又は添付ファイルの少なくとも一部として設定する。コンテンツ表示情報には、表示条件設定部１０２からの表示条件情報、表示対象設定部１０３からの表示対象情報、誘導情報提示方法設定部１０５からの誘導情報提示方法情報、誘導情報提示条件設定部１０６からの誘導情報提示条件情報、等が含まれる。
　通信部１０９は、コンテンツ生成部１０７により生成されたコンテンツ生成情報と、コンテンツ表示情報設定部１０８により設定されたコンテンツ表示情報と、を含むＡＲメールを、所定の通信網を介して受信装置２００へ送信する。
　操作部１１０は、ユーザからの操作入力を受け付けるものであり、例えば、テンキー、十字キー、タッチパネル等である。
　次に、受信装置の構成について説明する。
　図３は、本発明の実施形態における受信装置２００の構成例を示すブロック図である。
　受信装置２００は、通信部２０１、記憶部２０２、情報解析部２０３、状態検出部２０４、カメラ部２０５、オブジェクト認識部２０６、表示条件判定部２０７、表示対象探索部２０８、誘導情報提示条件判定部２０９、誘導情報提示部２１０、コンテンツ再現部２１１、合成部２１２、表示部２１３、を有して構成される。
　通信部２０１は、所定の通信網を介して、送信装置１００からのＡＲメールを受信する。ＡＲメールには、コンテンツ生成情報及びコンテンツ表示情報が含まれる。
　記憶部２０２は、各種情報を記憶する。例えば、通信部２０１により受信されたコンテンツ生成情報と、コンテンツ表示情報と、を対応付けて記憶する。
　情報解析部２０３は、記憶部２０２により記憶されたコンテンツ表示情報に含まれる、表示条件情報、表示対象情報、誘導情報提示方法情報、誘導情報提示条件情報、等を抽出し、解析する。
　状態検出部２０４は、各種状態を検出する。例えば、ＧＰＳ機能を有することで、受信装置２００の位置情報（緯度、経度、高度、等の情報）を検出する。また、地磁気センサを有することで、受信装置２００の向きの情報（東西南北の方位等の情報）を検出する。また、加速度センサや速度センサを有することで、受信装置２００の移動速度の情報を検出する。また、タイマを有することで、時刻情報を検出する。また、状態検出部２０４が受信装置２００内の他の構成部の情報を取得することで、表示部２１３等の電源がＯＦＦ状態であることを検出する。
　カメラ部２０５は、２Ｄ又は３Ｄの静止画像又は動画像を撮影する撮影装置であり、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサである。
　オブジェクト認識部２０６は、カメラ部２０５により撮影された画像の特徴を抽出する特徴抽出処理を行う。この特徴抽出処理には、特徴点抽出やエッジ抽出等の公知の特徴抽出方法を用いる。そして、オブジェクト認識部２０６は、抽出された特徴から、物理オブジェクトを認識する認識処理を行う。この認識処理には、パターンマッチング等の公知の画像認識方法を用いる。この認識処理により、物理オブジェクトを識別するための物理オブジェクト識別情報を認識し、これにより表示対象としての物理オブジェクトを認識する。
　認識処理により認識される物理オブジェクト識別情報には、種別情報、サイズ情報、色情報、複雑さ情報、等がある。種別情報としては、ドア、ビル、地面、空、等が考えられる。サイズ情報としては、物理オブジェクトの面積等が大きい、中程度、小さい、等の情報が考えられる。色情報としては、白色、ガラス等の透明色、等が考えられる。複雑さ情報としては、例えば、物理オブジェクトが全体的に平面で構成されている、物理オブジェクトに凹凸が多くガタガタしている、等の情報である。つまり、送信装置１００により設定される表示対象情報に対応している。
　表示条件判定部２０７は、記憶部２０２に記憶されたコンテンツを表示する条件を満たしているか否かを判定する。例えば、表示条件判定部２０７は、情報解析部２０３により解析された表示条件情報と、状態検出部２０４により検出された状態の情報のうち表示条件情報に対応する情報（表示時間情報、受信者姿勢情報、移動速度情報、等の情報）と、が略一致した場合には、コンテンツを表示する条件を満たしていると判定する。
　表示対象探索部２０８は、カメラ部２０５により撮影された画像から、コンテンツに対応する表示対象となる物理オブジェクトを探索する。例えば、情報解析部２０３により解析された表示対象情報と、オブジェクト認識部２０６により認識された物理オブジェクト識別情報と、が略一致する場合には、その物理オブジェクト識別情報により識別される物理オブジェクトを、表示対象となる物理オブジェクトとして特定する。
　誘導情報提示条件判定部２０９は、コンテンツを確認する受信者を誘導するための誘導情報を提示する条件を満たすか否かを判定する。例えば、情報解析部２０３により解析された誘導情報提示条件情報と、状態検出部２０４により検出された状態の情報のうち誘導情報提示条件情報に対応する情報（受信装置状態情報、受信者状態情報、等の情報）とが、略一致した場合には、誘導情報を提示する条件を満たしていると判定する。
　誘導情報提示部２１０は、表示部２１３、不図示のスピーカ、不図示のバイブレーション、等を介して、情報解析部２０３により解析された誘導情報提示方法情報に従って、誘導情報を提示する。
　コンテンツ再現部２１１は、記憶部２０２により記憶されたコンテンツ生成情報に基づいて、コンテンツを再現する。このとき、コンテンツ生成情報に基づいて、コンテンツに含まれる文字列や画像を生成し、さらにデコレーションアイテムを再現する。
　例えば、コンテンツ再現部２１１は、コンテンツの表示位置を、送信装置１００により指定されたその（表示位置の）情報に従って認識する。また、コンテンツの内容を、文字情報や画像情報に従って認識する。また、文字列が表示される位置、文字色、文字の向き（斜体等）、文字のサイズ、文字のフォント、等を、送信装置１００により生成されたそれらの情報に従って認識する。また、デコレーションアイテムの情報を、送信装置１００により選択されたその（デコレーションアイテムの）情報に従って認識する。なお、デコレーションアイテムについては、記憶部２０２にあらかじめ記憶しておいてもよいし、送信装置１００から通信部２０１を介してデコレーションアイテム自体を取得してもよい。
　合成部２１２は、カメラ部２０５により撮影された画像に、コンテンツ再現部２１１により再現されたコンテンツを合成する。これにより、画像に含まれる物理オブジェクトに対して、送信装置１００が意図した形態でコンテンツが対応付けられる。
　表示部２１３は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）やヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）であり、合成部２１２により対応付けて合成された物理オブジェクトとコンテンツとを表示する。表示部２１３による表示では、例えば物理オブジェクトにコンテンツがオーバーレイ表示（重畳表示）される。また、表示部２１３は、他にプロジェクタを用いて物理オブジェクトにコンテンツを投影して表示するようにしてもよい。
　次に、送信装置１００の動作について説明する。
　図４及び図５は、送信装置１００の動作例を説明するための図である。
　まず、表示条件設定部１０２は、操作部１１０への操作入力を介して、表示条件情報を設定する。ここでは、表示条件情報として、表示位置の情報（ステップＳ１０１）、表示向きの情報（ステップＳ１０２）、表示タイミングの情報（ステップＳ１０３）、表示条件達成の情報（ステップＳ１０４）を、順に設定する。
　表示位置の情報は、操作部１１０を介して所定の地図上で座標を指定すること、操作部１１０を介して地名等を入力し場所を指定すること、等により設定される。受信装置２００は、ＧＰＳ等により取得される情報により表示位置を認識することが可能である。なお、表示位置の情報が未設定であってもよい。
　表示向きの情報は、操作部１１０を介してコンテンツを表示すべき受信装置２００の向き（方角）を指定すること、操作部１１０を介して受信者を基準とした受信装置２００の向き（受信者基準角度）を指定すること、等により設定される。受信装置２００は、地磁気センサ等により取得される情報により表示向きを認識することが可能である。なお、表示向きの情報が未設定であってもよい。
　表示タイミングの情報は、操作部１１０を介して日時等の時間を指定すること、操作部１１０を介して受信者の姿勢（受信装置２００の傾き）を指定すること、操作部１１０を介して受信装置２００の移動速度を指定すること、等により設定される。受信装置２００は、タイマ等により取得される情報により時間を認識することが可能である。また、ジャイロセンサ等により取得される情報により受信装置２００の傾きを認識することが可能である。また、速度センサ等により取得される情報により受信装置２００の移動速度を認識することが可能である。表示タイミングの情報が未設定であってもよい。
　表示条件達成の情報は、操作部１１０を介して表示条件の達成レベルを指定すること、操作部１１０を介して表示条件未達成時の挙動を指定すること、等により設定される。ここで、表示条件の達成レベルの情報とは、複数の表示条件のうち必須の表示条件は満たしているか、必須ではない表示条件はいくつ満たしているか、表示条件と比較した場合の誤差がどの程度まで許容されるか、などの情報である。なお、この許容誤差の情報を、あらかじめ表示条件設定部１０２が設定し、通信部１０９により受信装置２００へ送信しておいてもよい。また、表示条件未達成時の挙動の情報とは、表示条件の達成レベルを緩和する、未達成であってもタイムアウト時にはコンテンツを表示させる、などの情報である。受信装置２００は、各状態検出センサにより取得される情報に基づいて、表示条件の達成レベルを認識することが可能である。なお、表示条件達成の情報が未設定であってもよい。
　続いて、表示対象設定部１０３は、操作部１１０への操作入力を介して、表示対象情報を設定する。ここでは、表示対象情報として、表示対象種別の情報（ステップＳ１０５）、表示対象発見の情報（ステップＳ１０６）を、順に設定する。
　表示対象種別の情報は、操作部１１０を介して種別情報を指定すること、操作部１１０を介してサイズ情報を指定すること、操作部１１０を介して色情報を指定すること、操作部１１０を介して複雑さ情報を指定すること、等により設定される。受信装置２００は、オブジェクト認識部２０６によりこれらの情報を認識することが可能である。
　表示対象発見の情報は、操作部１１０を介して表示対象の発見レベルを指定すること、操作部１１０を介して表示対象未発見時の挙動を指定すること、等により設定される。ここで、表示対象の発見レベルの情報とは、表示対象種別の情報のうち必須の情報は満たしているか、必須ではない情報はいくつ満たしているか、表示対象種別の情報と比較した場合の誤差がどの程度まで許容されるか、などの情報である。なお、この許容誤差の情報を、あらかじめ表示対象設定部１０３が設定し、通信部１０９により受信装置２００へ送信しておいてもよい。また、表示対象未発見時の挙動の情報とは、表示対象の発見レベルを緩和する、未達成であってもタイムアウト時にはコンテンツを表示させる、未発見時でもコンテンツを表示させる、未発見時にはコンテンツを表示させない、表示対象種別の情報が類似する表示対象であってもコンテンツを表示する、などの情報である。受信装置２００は、各状態検出センサにより取得される情報に基づいて、表示対象の発見レベルを認識することが可能である。なお、表示対象発見の情報が未設定であってもよい。
　続いて、参照画像選択部１０４は、記憶部１０１に記憶されたテンプレート画像のうち、ステップＳ１０５において設定された表示対象種別の情報と略一致するテンプレート画像を抽出する。そして、参照画像選択部１０４は、操作部１１０への操作入力を介して、抽出されたテンプレート画像から、所望のテンプレート画像を選択する（ステップＳ１０７）。図５に示す例では、記憶部１０１にテンプレート画像としてのテンプレート候補Ａ～Ｃが記憶されている。ここでは、テンプレート候補Ｂに類似する物理オブジェクトに対応するコンテンツを提供すべく、参照画像選択部１０４によりテンプレート候補Ｂを選択する。
　また、参照画像選択部１０４は、ステップＳ１０１において設定された表示位置の情報に基づいて、その表示位置に存在すると想定される物理オブジェクトに近いものを、操作部１１０を介して選択してもよい。また、参照画像選択部１０４は、ステップＳ１０１において設定された表示位置の情報を有するサーバと連携し、このサーバから通信部１０９により実際の物理オブジェクトの画像を取得するようにしてもよい。
　続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、テンプレート画像におけるコンテンツを表示させる表示位置（表示領域）を指定する（ステップＳ１０８）。図５に示す例では、建物の１階正面部分をコンテンツの表示位置に指定している。なお、矩形以外の領域で表示領域を指定してもよい。
　続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、コンテンツの内容を設定する（ステップＳ１０９）。図５に示す例では、ステップＳ１０８において指定されたコンテンツの表示領域における、背景色に青色、外周部分に赤太線、中央部分に☆印（☆印）、文字としての「Ｔｏ　Ｂｅ　Ｈａｐｐｙ」を設定する。さらに、文字のフォント、サイズ、色、等も設定する。これらの情報がコンテンツ生成情報に含めて設定される。
　続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、デコレーションアイテムを表示させる表示位置（表示領域）を指定する（ステップＳ１１０）。図５に示す例では、コンテンツの表示領域としての矩形の４隅をデコレーションアイテムの表示領域に指定している。なお、矩形以外の領域で表示領域を指定してもよい。
　続いて、コンテンツ生成部１０７は、操作部１１０への操作入力を介して、記憶部１０１に記憶されたデコレーションアイテムから所望のデコレーションアイテムを選択する（ステップＳ１１１）。図５に示す例では、デコレーションアイテムとして星画像「☆」を選択している。
　このように、コンテンツ生成部１０７は、図５のステップＳ１０８～Ｓ１１１の処理により、デコレーションアイテムを含むコンテンツの内容を生成する。
　続いて、誘導情報提示方法設定部１０５は、操作部１１０への操作入力を介して、誘導情報提示方法情報を設定する（ステップＳ１１２）。誘導情報提示方法情報は、操作部１１０を介して音声により誘導情報を提示するよう指定すること、操作部１１０を介して表示により誘導情報を提示するよう指定すること、操作部１１０を介してバイブレーション（振動）により誘導情報を提示するよう指定すること、等により設定される。
　続いて、誘導情報提示条件設定部１０６は、操作部１１０への操作入力を介して、誘導情報提示条件情報を設定する（ステップＳ１１３）。誘導情報提示条件情報は、操作部１１０を介して受信装置状態情報を指定すること、操作部１１０を介して受信者状態情報を指定すること、操作部１１０を介して即時提示情報を指定すること、等により設定される。受信装置２００は、各状態検出センサにより取得される情報により受信装置２００の状態及び受信者の状態を認識することが可能である。
　続いて、通信部１０９は、コンテンツ生成部１０７により生成されたコンテンツ生成情報と、コンテンツ表示情報設定部１０８により設定されたコンテンツ表示情報と、を受信装置２００へ送信する。ここでは、コンテンツ生成情報は、ステップＳ１０８～Ｓ１１１により生成されたコンテンツ画像自体であってもよいし、送信装置により生成されたコンテンツを再現するための情報（メタデータ）であってもよい。メタデータには、ステップＳ１０８～Ｓ１１１により指定された各情報が含まれる。
　このような送信装置１００の動作によれば、様々なシチュエーションを考慮したアノテーションとしてのコンテンツを提供することができる。また、実際の物理オブジェクトに類似する参照画像を利用してコンテンツ生成情報を生成することができるので、実際には送信装置１００を所有する送信者が訪れたことのない場所にある物理オブジェクトに対するアノテーションを生成することもできる。
　なお、送信装置１００は、図４及び図５の各ステップＳ１０１～Ｓ１１３において、図４及び図５に示すような画像を送信装置１００の表示画面上に表示させ、操作部１１０を介してタッチパネルにより入力を行うことで、直感的に操作を行うようにしてもよい。また、送信装置１００は、各ステップＳ１０１～Ｓ１１３における指定をウィザード形式やナビゲーション形式で行うようにしてもよい。
　次に、受信装置２００の動作について説明する。
　図６は、受信装置２００の動作例を示すフローチャートある。図６では、ウィンドウショッピング中にカメラ部２０５により画像を撮影し、撮影画像に含まれる店舗の窓（ウィンドウ）にコンテンツを重畳表示することを想定している。
　まず、通信部２０１が送信装置１００からのコンテンツ生成情報及びコンテンツ表示情報を含む情報を受信し、記憶部２０２がそれらの情報を記憶する（ステップＳ２０１）。そして、情報解析部２０３が、記憶部２０２に記憶された情報のうちコンテンツ表示情報を解析する。
　続いて、状態検出部２０４は、各種状態を検出する（ステップＳ２０２）。例えば、時計（タイマ）により時刻を検出し、ＧＰＳ等により受信装置２００の位置を検出し、地磁気センサ等により受信装置２００の向きを検出し、速度センサ等により受信装置２００の移動速度を検出する。
　続いて、表示条件判定部２０７は、情報解析部２０３により解析されたコンテンツ表示情報に含まれる表示条件情報と、状態検出部２０４により検出された状態が略一致するか否かを判定する（ステップＳ２０３）。ここで、表示条件情報には、例えば、表示タイミングの情報として「６月７日（金）の１８時以降」、表示位置の情報として「緯度３５度、経度１３９度」、表示向きの情報として「東」、移動速度の情報として「１分以上停止中」、のような情報が含まれている。
　また、表示条件判定部２０７は、表示条件達成の情報が設定されている場合には、この情報を加味して、表示条件情報と検出された状態の情報とが略一致するか否かを判定する。例えば、表示条件達成の情報には、必須条件の情報として「日時」、オプション条件の必達個数の情報として「１」、許容誤差の情報として「２０％以内」が設定されているとする。この場合、「６月７日（金）の１８時以降」と状態検出部２０４により検出された時刻情報との誤差が２０％以内（所定範囲内）であり、その他の条件、例えば「経度３５度、経度１３９度」と状態検出部２０４により検出された位置情報との誤差が２０％以内（所定範囲内）である場合には、表示条件判定部２０７は、表示条件を満たしていると判定する。
　ステップＳ２０３において両情報が略一致しない場合には、略一致するまでステップＳ２０３を繰り返す。
　ステップＳ２０３において両情報が略一致した場合には、オブジェクト認識部２０６が、カメラ部２０５により撮影された画像から、物理オブジェクト毎に物理オブジェクト識別情報（種別情報、サイズ情報、色情報、複雑さ情報、等）を認識する（ステップＳ２０４）。
　続いて、表示対象探索部２０８が、情報解析部２０３により解析されたコンテンツ表示情報に含まれる表示対象情報と、オブジェクト認識部２０６により認識された物理オブジェクト情報とが略一致するか否かを判定する（ステップＳ２０５）。ここで、表示対象情報には、例えば、種別情報として「２階建てのビル」、サイズ情報として「中程度」、色情報として「ガラス」、複雑さ情報として「全平面」、のような情報が含まれている。
　また、表示対象探索部２０８は、表示対象発見の情報が設定されている場合には、この情報を加味して、表示対象情報と認識された物理オブジェクト識別情報とが略一致するか否かを判定する。例えば、表示対象発見の情報には、必須条件の情報として「色」、オプション条件の必達個数の情報として「１」、許容誤差の情報として「３０％以内」が設定されているとする。この場合、「ガラス」とオブジェクト認識部２０６により認識された色情報との誤差が３０％以内（所定範囲内）であり、その他の条件、例えば「中程度」とオブジェクト認識部２０６により認識されたサイズ情報との誤差が３０％以内（所定範囲内）である場合には、表示対象探索部２０８は、表示対象の物理オブジェクトであると判定する。
　ステップＳ２０５において両情報が略一致しない場合には、略一致するまでステップＳ２０５を繰り返す。
　ステップＳ２０５において両情報が略一致した場合には、状態検出部２０４は、各種状態を検出する（ステップＳ２０６）。例えば、時計（タイマ）により時刻を検出し、ＧＰＳ等により位置を検出し、地磁気センサ等により受信装置２００の向きを検出し、速度センサ等により受信装置２００の移動速度を検出し、不図示のアプリケーション監視部により実行中のアプリケーション（ＡＲ中、メール中）を検出し、不図示の電源監視部により表示部２１３の電源がＯＮ状態であるか否かを検出する。
　続いて、表示対象探索部２０８が、情報解析部２０３により解析されたコンテンツ表示情報に含まれる誘導情報提示条件情報と、状態検出部２０４により検出された状態とが略一致するか否かを判定する（ステップＳ２０７）。ここで、誘導情報提示条件情報には、例えば、受信装置状態情報として「ＡＲアプリケーションの実行中」、受信者状態情報として「停止中」、即時提示情報として「Ｎｏ」、のような情報が含まれている。
　ステップＳ２０７において両情報が略一致しない場合には、略一致するまでステップＳ２０７を繰り返す。
　ステップＳ２０７において両情報が略一致した場合には、誘導情報提示部２１０は、情報解析部２０３により解析されたコンテンツ表示情報に含まれる誘導情報提示方法情報に従って、誘導情報を提示する（ステップＳ２０８）。ここで、誘導情報提示方法情報には、例えば、音声により提示するための情報として「少しウィンドウから離れて」、表示により提示するための情報として「ウィンドウに向けて矢印表示」、バイブレーションにより提示するための情報として「バイブＯＮ」、のような情報が含まれている。
　なお、誘導情報の提示を行うまでもなく、受信者がコンテンツを確認できる状態にある場合には、誘導情報の提示の処理を省略してもよい。つまり、ステップＳ２０６～Ｓ２０８の処理を省略してもよい。
　続いて、コンテンツ再現部２１１は、記憶部２０２に記憶されたコンテンツ生成情報から、コンテンツ生成情報を抽出する。ここで、コンテンツ生成情報には、例えば、コンテンツ内でのテキストや画像を配置する位置の情報として「中央」、そのテキストや画像の色の情報として「赤」、そのテキストや画像の向きの情報として「傾き２０度」、そのテキストのフォントの情報として「２０ｐｏｉｎｔ、ゴシック体」、撮影画像における表示対象の位置の情報として「（３２１，２２０）」（座標情報）、コンテンツのエッジの情報（デコレーションアイテムの表示位置の情報及びデコレーションアイテムの内容の情報）として「頂点に星画像」、コンテンツの背景の情報として「青塗り」、のような情報が含まれる。
　続いて、コンテンツ再現部２１１は、抽出されたコンテンツ生成情報に基づいて、コンテンツを再現する（ステップＳ２０９）。例えば、コンテンツ生成情報に上記のような情報が含まれる場合には、図５のステップＳ１１１で完成したコンテンツが、表示部２１３により再現される。
　続いて、合成部２１２が、カメラ部２０５により撮影された画像における送信装置１００が指定した位置（コンテンツ生成情報に含まれる表示対象の位置）に、コンテンツ再現部２１１により再現されたコンテンツを重畳して合成し、表示部２１３が、この合成された画像を表示する（ステップＳ２１０）。
　このような受信装置２００の動作によれば様々なシチュエーションを考慮したコンテンツの提示を行うことが可能である。また、受信装置２００は、表示条件及び表示対象の許容誤差が所定範囲内であれば、撮影画像に含まれる実際の物理オブジェクトのサイズや形状に合わせてコンテンツを生成してもよい。つまり、コンテンツ生成情報に含まれる情報を多少加工して、コンテンツを生成してもよい。これにより、実際の物理オブジェクトに合せてコンテンツを表示させることができる。
　このような拡張現実感システムによれば、例えば以下の（１）～（８）のようなシチュエーションで、アノテーション（コンテンツ）を表示することができる。
（１）あるビルの中から見た向かいのビルの窓にアノテーションを表示
（２）歩行中に振り向いた後ろのビルの全体にアノテーションを表示
（３）夕方ふと見上げた空にアノテーションを表示
（４）ウィンドウショッピング中のウィンドウにアノテーションを表示
（５）広場で下を見たときにアノテーションを表示
（６）誕生日の帰宅した家の玄関にアノテーションを表示
（７）ベッドに寝転んだときの天井にアノテーションを表示
（８）通勤時のバスの横（側面）一面にアノテーションを表示
　また、グラフィカルなメールを実世界の物理オブジェクトに合わせて表示させることができる。したがって、視覚的にアノテーションの表示が邪魔になる可能性は極めて低く、実世界に溶け込ませてアノテーションを表示させることができる。また、受信者や受信装置２００の状況に応じてアノテーションを表示できるので、例えば振り向いた瞬間にアノテーションを表示したり、見上げた瞬間にアノテーションを表示したりすることができる。
　なお、本実施形態の拡張現実感システムでは、送信装置１００と受信装置２００とはＥメールの通信により情報を共有していたが、Ｅメール通信以外の方法で情報を共有するようにしてもよい。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2011年2月8日出願の日本特許出願No.2011-025334に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、様々なシチュエーションを考慮したコンテンツの提供又は表示を行うことが可能な通信装置、通信システム、通信プログラム等に有用である。
１００　送信装置
１０１　記憶部
１０２　表示条件設定部
１０３　表示対象設定部
１０４　参照画像選択部
１０５　誘導情報提示方法設定部
１０６　誘導情報提示条件設定部
１０７　コンテンツ生成部
１０８　コンテンツ表示情報設定部
１０９　通信部
１１０　操作部
２００　受信装置
２０１　通信部
２０２　記憶部
２０３　情報解析部
２０４　状態検出部
２０５　カメラ部
２０６　オブジェクト認識部
２０７　表示条件判定部
２０８　表示対象探索部
２０９　誘導情報提示条件判定部
２１０　誘導情報提示部
２１１　コンテンツ再現部
２１２　合成部
２１３　表示部

Claims (12)

  1. 　物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、
    　前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成する情報生成部と、
    　前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、及び前記表示対象情報、を送信する送信部と、
    　を備える通信装置。
  2. 　請求項１に記載の通信装置であって、
    　前記情報生成部は、アノテーションの確認者を誘導するための誘導情報を提示するための条件を示す誘導情報提示条件情報を生成し、
    　前記送信部は、前記情報生成部により生成された前記誘導情報提示条件情報を送信する通信装置。
  3. 　請求項２に記載の通信装置であって、
    　前記情報生成部は、前記誘導情報を提示する方法を示す誘導情報提示方法情報を生成し、
    　前記送信部は、前記情報生成部により生成された前記誘導情報提示方法情報を送信する通信装置。
  4. 　請求項１ないし３のいずれか１項に記載の通信装置であって、更に、
    　前記物理オブジェクトの画像に対応する参照画像を記憶する参照画像記憶部を備え、
    　前記アノテーション生成部は、前記参照画像記憶部に記憶された参照画像を用いて、前記アノテーション生成情報を生成する通信装置。
  5. 　物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信する受信部と、
    　状態を検出する状態検出部と、
    　画像を取得する画像取得部と、
    　前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、
    　前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、
    　前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かをする表示対象判定部と、
    　前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、
    　を備える通信装置。
  6. 　請求項５に記載の通信装置であって、更に、
    　誘導情報提示条件判定部と、誘導情報提示部と、を備え、
    　前記受信部は、アノテーションの確認者を誘導するための誘導情報を提示するための条件を示す誘導情報提示条件情報を受信し、
    　前記誘導情報提示条件判定部は、前記状態検出部により検出された状態の情報と前記受信部により受信された誘導情報提示条件情報とが略一致するか否かを判定し、
    　前記誘導情報提示部は、前記誘導情報提示条件判定部により略一致すると判定された場合、前記誘導情報を提示する通信装置。
  7. 　請求項６に記載の通信装置であって、
    　前記受信部は、前記誘導情報を提示する方法を示す誘導情報提示方法情報を受信し、
    　前記誘導情報提示部は、前記受信部により受信された前記誘導情報提示方法情報に従って、前記誘導情報を提示する通信装置。
  8. 　第１の通信装置と第２の通信装置との間で通信を行う通信システムであって、
    　前記第１の通信装置は、
    　物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するアノテーション生成部と、
    　前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成する情報生成部と、
    　前記アノテーション生成部により生成された前記アノテーション生成情報、前記情報生成部により生成された前記表示条件情報、及び前記表示対象情報、を送信する送信部と、
    　を備え、
    　前記第２の通信装置は、
    　前記アノテーション生成情報、前記表示条件情報、及び、前記表示対象情報、を受信する受信部と、
    　状態を検出する状態検出部と、
    　画像を取得する画像取得部と、
    　前記画像取得部により取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するオブジェクト認識部と、
    　前記状態検出部により検出された状態の情報と前記受信部により受信された表示条件情報とが略一致するか否かを判定する表示条件判定部と、
    　前記オブジェクト認識部により認識された物理オブジェクト識別情報と前記受信部により受信された表示対象情報とが略一致するか否かをする表示対象判定部と、
    　前記表示条件判定部により略一致すると判定され、かつ、前記表示対象判定部により略一致すると判定された場合、前記受信部により受信された前記アノテーション生成情報に基づいて、アノテーションを再現するアノテーション再現部と、
    　を備える通信システム。
  9. 　物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報を生成するステップと、
    　前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を生成するステップと、
    　前記アノテーション生成情報、前記表示条件情報、及び前記表示対象情報、を送信するステップと、
    　を有する通信方法。
  10. 　物理オブジェクトに対応するアノテーションを生成するためのアノテーション生成情報、前記アノテーションを表示するための条件を示す表示条件情報、及び、前記アノテーションが表示される表示対象となる物理オブジェクトを識別するための表示対象情報、を受信するステップと、
    　状態を検出するステップと、
    　画像を取得するステップと、
    　前記取得された画像に含まれる物理オブジェクトを識別するための物理オブジェクト識別情報を認識するステップと、
    　前記検出された状態の情報と前記受信された表示条件情報とが略一致するか否かを判定するステップと、
    　前記認識された物理オブジェクト識別情報と前記受信された表示対象情報とが略一致するか否かを判定するステップと、
    　前記状態の情報と前記表示条件情報とが略一致すると判定され、かつ、前記物理オブジェクト識別情報と前記表示対象情報とが略一致すると判定された場合、前記アノテーション生成情報に基づいてアノテーションを再現するステップと、
    　を有する通信方法。
  11. 　請求項９に記載の通信方法の各ステップをコンピュータに実行させるための通信プログラム。
  12. 　請求項１０に記載の通信方法の各ステップをコンピュータに実行させるための通信プログラム。
PCT/JP2012/000801 2011-02-08 2012-02-07 通信装置、通信システム、通信方法、及び通信プログラム WO2012108180A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/814,705 US20130135348A1 (en) 2011-02-08 2012-02-07 Communication device, communication system, communication method, and communication program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011025334A JP5511084B2 (ja) 2011-02-08 2011-02-08 通信装置、通信システム、通信方法、及び通信プログラム
JP2011-025334 2011-02-08

Publications (1)

Publication Number Publication Date
WO2012108180A1 true WO2012108180A1 (ja) 2012-08-16

Family

ID=46638401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000801 WO2012108180A1 (ja) 2011-02-08 2012-02-07 通信装置、通信システム、通信方法、及び通信プログラム

Country Status (3)

Country Link
US (1) US20130135348A1 (ja)
JP (1) JP5511084B2 (ja)
WO (1) WO2012108180A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005018A (ja) * 2013-06-19 2015-01-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262865B2 (en) 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
JP2015228050A (ja) * 2014-05-30 2015-12-17 ソニー株式会社 情報処理装置および情報処理方法
US12069013B1 (en) * 2014-06-27 2024-08-20 Amazon Technologies, Inc. User initiated augmented reality system
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US10354449B2 (en) * 2015-06-12 2019-07-16 Hand Held Products, Inc. Augmented reality lighting effects
US10996924B2 (en) * 2019-03-28 2021-05-04 Lenovo (Singapore) Pte. Ltd. Drawing attention to a graphical element on a display
US20220083307A1 (en) * 2020-09-16 2022-03-17 Meta View, Inc. Augmented reality collaboration system with annotation capability

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009527807A (ja) 2006-01-30 2009-07-30 サンディスク アイエル リミテッド メディア予測委託
JP2010067275A (ja) * 1998-10-19 2010-03-25 Sony Corp 情報処理端末、情報処理システム及び情報処理方法
JP4488233B2 (ja) 2003-04-21 2010-06-23 日本電気株式会社 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
WO2011004608A1 (ja) * 2009-07-09 2011-01-13 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076168A (ja) * 1999-09-02 2001-03-23 Ntt Docomo Inc 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法
US9681925B2 (en) * 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
US20070035563A1 (en) * 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
KR101019569B1 (ko) * 2005-08-29 2011-03-08 에브릭스 테크놀로지스, 인코포레이티드 모바일 이미지 인식을 통한 상호작용
US20100157848A1 (en) * 2008-12-22 2010-06-24 Qualcomm Incorporated Method and apparatus for providing and utilizing local maps and annotations in location determination
US8743145B1 (en) * 2010-08-26 2014-06-03 Amazon Technologies, Inc. Visual overlay for augmenting reality
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067275A (ja) * 1998-10-19 2010-03-25 Sony Corp 情報処理端末、情報処理システム及び情報処理方法
JP4488233B2 (ja) 2003-04-21 2010-06-23 日本電気株式会社 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
JP2009527807A (ja) 2006-01-30 2009-07-30 サンディスク アイエル リミテッド メディア予測委託
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
WO2011004608A1 (ja) * 2009-07-09 2011-01-13 頓智ドット株式会社 視界情報に仮想情報を付加して表示できるシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005018A (ja) * 2013-06-19 2015-01-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20130135348A1 (en) 2013-05-30
JP5511084B2 (ja) 2014-06-04
JP2012165276A (ja) 2012-08-30

Similar Documents

Publication Publication Date Title
JP5511084B2 (ja) 通信装置、通信システム、通信方法、及び通信プログラム
US11488358B2 (en) Augmented reality session creation using skeleton tracking
US9710969B2 (en) Indicating the geographic origin of a digitally-mediated communication
KR101591493B1 (ko) 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
CN111598974B (zh) 用于呈现与真实对象相关的数字信息的方法和系统
JP5389111B2 (ja) 拡張現実情報提供装置及び方法
ES2558255T3 (es) Anotación automatizada de una vista
US8661053B2 (en) Method and apparatus for enabling virtual tags
EP3702914B1 (en) Mobile virtual and augmented reality system
US10264207B2 (en) Method and system for creating virtual message onto a moving object and searching the same
KR20110093664A (ko) 데이터 송신 방법 및 시스템
CN110851095B (zh) 虚拟和增强现实中的多屏幕交互
WO2009029423A1 (en) Mobile virtual and augmented reality system
US20230274461A1 (en) Marker-based shared augmented reality session creation
JP2012128779A (ja) 仮想物体表示装置
JP2012068481A (ja) 拡張現実表現システムおよび方法
US11227494B1 (en) Providing transit information in an augmented reality environment
US20220351425A1 (en) Integrating overlaid digital content into data via processing circuitry using an audio buffer
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
CN111176338A (zh) 导航方法、电子设备及存储介质
CN105468171A (zh) 显示系统及显示系统的显示方法
US11212442B2 (en) Creation and display of a 360 degree looping video file
WO2021200187A1 (ja) 携帯端末および情報処理方法、並びに記憶媒体
JP7086242B1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240233274A9 (en) Electronic device and method for displaying modification of virtual object and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12744319

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13814705

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012744319

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE