WO2014091824A1 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
WO2014091824A1
WO2014091824A1 PCT/JP2013/078592 JP2013078592W WO2014091824A1 WO 2014091824 A1 WO2014091824 A1 WO 2014091824A1 JP 2013078592 W JP2013078592 W JP 2013078592W WO 2014091824 A1 WO2014091824 A1 WO 2014091824A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
display control
user
displayed
Prior art date
Application number
PCT/JP2013/078592
Other languages
English (en)
French (fr)
Inventor
裕也 花井
辰吾 鶴見
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/433,073 priority Critical patent/US9613461B2/en
Priority to EP13861660.2A priority patent/EP2930693B1/en
Priority to JP2014551923A priority patent/JP6102944B2/ja
Priority to EP20177348.8A priority patent/EP3734555A1/en
Publication of WO2014091824A1 publication Critical patent/WO2014091824A1/ja
Priority to US15/454,516 priority patent/US10181221B2/en
Priority to US16/194,543 priority patent/US11321921B2/en
Priority to US17/712,788 priority patent/US20220222905A1/en
Priority to US18/525,228 priority patent/US20240096039A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Definitions

  • This disclosure relates to a display control device, a display control method, and a program.
  • Patent Document 1 proposes a technique for presenting information more easily in a situation where information is congested in an image.
  • the present disclosure proposes a new and improved display control device, display control method, and program that enable a plurality of display contents to be displayed more appropriately.
  • a state detection unit that detects a state of a user observing an image, and the display displays the image in which a plurality of display contents are superimposed on a captured image, and displays each display according to the state of the user.
  • a display control device includes a display control unit that controls the behavior of content.
  • an image in which a plurality of display contents are superimposed on a captured image is displayed on a display, a state of a user who observes the image is detected, and the state is determined according to the state of the user.
  • a display control method including controlling the behavior of each display content.
  • a function for displaying an image in which a plurality of display contents are superimposed on a captured image a function for detecting a state of a user observing the image, and a function according to the state of the user
  • a program for causing a computer to realize a function of controlling the behavior of each display content is provided.
  • the plurality of display contents can be displayed more appropriately.
  • a plurality of display contents can be displayed more appropriately.
  • FIG. 5 is a diagram for describing an overview of image display according to an embodiment of the present disclosure.
  • FIG. It is a figure which shows the case where an image is observed from the left side in the example of FIG. It is a figure which shows the case where an image is observed from the right side in the example of FIG. It is a figure which shows the case where it approaches to the image in the example of FIG.
  • FIG. 5 is a diagram for conceptually explaining the example shown in FIGS. 2 to 4; 12 is a flowchart illustrating a first example of a process for reducing a load according to an embodiment of the present disclosure. 12 is a flowchart illustrating a second example of a process for reducing a load according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating a third example of processing for reducing a load according to an embodiment of the present disclosure.
  • 5 is a diagram illustrating an example of an initial display size of an object image according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of an initial display size of an object image according to an embodiment of the present disclosure.
  • FIG. 6 is a graph illustrating a setting example of a display size of an object image according to an embodiment of the present disclosure.
  • 5 is a diagram illustrating an example of an object image displayed in accordance with a user's line of sight in an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of an object image displayed in accordance with a user's line of sight in an embodiment of the present disclosure.
  • 14 is a flowchart illustrating an example of image display processing according to an embodiment of the present disclosure.
  • 14 is a flowchart illustrating an example of audio output processing according to an embodiment of the present disclosure.
  • this indication it is a figure showing an example which displays a shadow of an object using SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • it is a figure showing an example which displays a shadow of an object using SLAM.
  • it is a figure showing an example which displays a shadow of an object using SLAM.
  • FIG 14 is a flowchart illustrating an example of processing for displaying a shadow of an object using SLAM according to an embodiment of the present disclosure.
  • this indication it is a figure showing an example which displays an object on the basis of a floor. It is a figure which shows the example of the display of the comment in one Embodiment of this indication. It is a figure which shows the example of the display of the comment in one Embodiment of this indication. It is a figure which shows the example of the display of the comment in one Embodiment of this indication. It is a figure which shows the example of the display of the coupon in one Embodiment of this indication.
  • FIG. 3 is a diagram illustrating a first functional configuration example for image display according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating a second functional configuration example for image display according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram for describing an overview of image display according to an embodiment of the present disclosure.
  • a terminal device 100 for example, a smartphone, a PC (Personal Computer), a portable game machine, or the like
  • the poster 10 includes a marker 11.
  • the terminal device 100 displays an image obtained by imaging as a through image on the display 110, recognizes the marker 11 included in the image, and acquires the object image 12 from the server using information indicated by the marker 11. Then, it is displayed on the display 110 while being superimposed on the through image.
  • object images 12a to 12e are displayed.
  • the object image 12a is an image that displays the stage arranged in the space on the near side of the poster 10
  • the object images 12b to 12e are images that display the members of the band performing on the stage.
  • the image displayed on the display 110 of the terminal device 100 includes a plurality of display contents (object images 12a) for displaying a plurality of objects (stages and band members) whose display positions are defined in a space (real space). To 12e).
  • the user images the poster 10 with the terminal device 100 from various angles and displays the object image 12. Further, since the terminal device 100 can easily move, the orientation of the terminal device 100 and the positional relationship between the terminal device 100 and the poster 10 often change in a state where the object image 12 is displayed.
  • the entire object image 12 may be a single multi-viewpoint image, and the displayed image may be switched to a different viewpoint image depending on the positional relationship between the terminal device 100 and the poster 10. 100 is not practical because in many cases the processing capability is not high.
  • the object image 12 having reality can be displayed by a more realistic method.
  • FIG. 2 is a diagram showing a case where an image is observed from the left side in the example of FIG.
  • each object image 12 is a layer image arranged corresponding to the display position of each object. It is superimposed. Therefore, when the user observes the image from the left side of the poster 10, the object image 12 b that displays the member standing in front of the left side of the stage, that is, the terminal device 100, is displayed large in front. On the other hand, the object image 12e displaying a member standing on the right side of the stage, that is, on the back when viewed from the terminal device 100, is displayed small in the back.
  • FIG. 3 is a diagram showing a case where an image is observed from the right side in the example of FIG. Contrary to the example of FIG. 2, when the user observes an image from the right side of the poster 10, an object image 12 e that displays a member standing in front of the right side of the stage, that is, the terminal device 100, is displayed large in front. .
  • the object image 12b that displays the members standing on the left side of the stage, that is, as viewed from the terminal device 100 is displayed small in the back.
  • the left and right positional relationship between the object image 12d displaying the central member (guitar) and the object image 12c displaying the inner member (drum) is opposite to the example of FIG.
  • FIG. 4 is a diagram illustrating a case where the image approaches the image in the example of FIG.
  • the distance between the display position of each object and the terminal device 100 is reduced.
  • the object is enlarged and displayed in the same manner as when the actual object is approached.
  • the object images 12c and 12d displaying the two members displayed near the center of the object image 12 are enlarged and displayed.
  • the display range of the image is narrowed due to the closer distance, and the object images 12b and 12e displaying the other two members are out of the display range.
  • FIG. 5 is a diagram for conceptually explaining the examples shown in FIGS.
  • the display position in the real space with respect to the poster 10 is defined for each object.
  • the position defined for each object is represented by a coordinate system in which the horizontal direction is the x-axis, the vertical direction is the y-axis, and the depth direction is the z-axis. Any coordinate system can be used.
  • the object image 12 is displayed as a two-dimensional image in which an alpha channel is set. That is, in the present embodiment, the object image 12 is a layer image that is transparent except for a portion where the object is displayed, and transparently displays another object image located behind. Note that the transparent portion of each object image 12 is not shown.
  • the object image 12 is rotated and displayed with reference to the display position of the corresponding object according to the movement of the user's viewpoint position (rotation around the y axis in the illustrated example).
  • the object displayed by each object image 12 faces the viewpoint position (the position of the terminal device 100) regardless of the movement of the viewpoint position.
  • a state where the object image 12 is directly facing toward the terminal device 100R is indicated by a solid line
  • a state where the object image 12 is directly facing toward the terminal device 100L is indicated by a virtual line.
  • the order in which the layers of the object image 12 are superimposed differs between the display on the terminal device 100R and the display on the terminal device 100L.
  • the terminal device 100 in the example of FIG. 2 is illustrated as the terminal device 100L
  • the terminal device 100 in the example of FIG. 3 is illustrated as the terminal device 100R
  • the terminal device 100 in the example of FIG. 4 is illustrated as the terminal device 100C.
  • the positions of the terminal devices 100 (user viewpoint positions) are also defined in the same manner as the positions of the object images 12, for example.
  • the viewpoint position is determined based on, for example, the distance from the terminal device 100 to the poster 10 or the angle of the terminal device 100 with respect to the poster 10 (horizontal direction / vertical direction) based on the size and shape of the marker 11 in the image captured by the camera. ) Can be specified.
  • the angle of the terminal device 100 may be specified based on a detection result of a sensor such as an acceleration sensor or a geomagnetic sensor included in the terminal device 100 and position information of the poster 10 registered in advance.
  • each object image 12 has a three-dimensional position, and the appearance changes while maintaining the mutual positional relationship according to the viewpoint position. You can feel the reality as if you were watching.
  • the object image 12 may be a multi-viewpoint image whose display changes according to a relative angle with the terminal device 100. Further, as will be described later, for example, the two-dimensional image facing display and the multi-viewpoint image displaying may be switched according to a predetermined condition.
  • FIG. 6 is a flowchart illustrating a first example of processing for reducing the load according to an embodiment of the present disclosure.
  • the first example for example, as shown in FIG. 4, an image that displays such an object when a part of the object is not included in the display range due to the movement of the user's viewpoint position.
  • the processing load is reduced by not drawing.
  • determination processing for each object image is executed in the terminal device 100 (step S101).
  • Whether or not the object is included in the display range can be determined based on information on the camera position (viewpoint position) of the terminal device 100 specified based on the shape of the marker 11 included in the captured image, for example. is there.
  • step S105 If it is determined in step S103 that the object is included in the display range (YES), an object image that displays the object is set as a drawing target (step S105). On the other hand, when it is determined that the object is not included in the display range (NO), the object image is not set as a drawing target.
  • the drawing process is executed for the object image set as the drawing target (step S107). Since the drawing processing here is for object images whose objects are included in the display range, for example, when some objects are not included in the display range as shown in FIG. The processing load is lower than the rendering process for object images. Note that the “drawing process” in this specification may include a decoding process.
  • an object having a display position closer to the viewpoint position is displayed when the relationship between the viewpoint position of the user and the display position of the object changes, for example, as shown in FIGS.
  • the quality of the object image 12 is made higher.
  • An object having a display position closer to the viewpoint position is presumed to be an object that is more conspicuous to the user or may be noticed by the user. Therefore, when such an object is displayed with high quality, the user can The quality of the entire image can be improved efficiently.
  • the number of viewpoints corresponding to the object image may be increased. More specifically, for example, an image displayed as an object image may be switched between a two-dimensional image and a multi-viewpoint image that are displayed facing each other as described with reference to FIG.
  • the image is used regardless of the viewpoint position, whereas in a multiple viewpoint image, the object is viewed from multiple viewpoints. Images are prepared and selectively used according to the angle of the line of sight of viewing the object from the viewpoint position.
  • the displayed object image 12 when displaying a plurality of viewpoint images as the object image 12 in the example of FIG. 5, when the viewpoint position is diagonally forward left (in the case of the terminal device 100L), and when the viewpoint position is diagonally forward right (terminal device) 100R), the displayed object image 12 may be different. In this way, if a multi-viewpoint image is displayed as an object image, the orientation of the object is changed according to the position of the user, so that the user can feel reality with the image. However, when a multi-viewpoint image is displayed as an object image, the processing load for image decoding and drawing becomes larger than when a two-dimensional image is displayed.
  • the object image is displayed as a multi-viewpoint image for an object that is more conspicuous to the user or may be noticed by the user.
  • the processing load can be reduced.
  • the object images before and after switching are not limited to two-dimensional images (single-viewpoint images) and multi-viewpoint images as in the above example.
  • switching between multiple viewpoint images an image corresponding to a smaller viewpoint and an image corresponding to a larger viewpoint may be performed.
  • the resolution of the object image may be increased. If the resolution of the object image is increased, the object is displayed in more detail, but the processing load for image decoding and drawing becomes larger. Therefore, for example, depending on the relationship between the viewpoint position of the user and the display position of the object, the resolution of the object image is increased for an object that is more conspicuous for the user or may be noticed by the user. If the resolution of the object image is kept low, the processing load can be reduced.
  • the actual resolution can be changed by turning on / off a loop filter at the time of drawing processing, turning on / off a post process such as a deblocking filter or an unsharp mask, a subsample of a texture to be drawn, etc. Change ".
  • FIG. 7 is a flowchart illustrating a second example of processing for reducing the load according to an embodiment of the present disclosure.
  • a determination process for each object image is executed in the terminal device 100 (step S201).
  • it is determined whether or not the display position of the object displayed by each object image is close to the viewpoint position step S203.
  • the display position and the viewpoint position used for the determination here can be defined as in the example shown in FIG. Whether or not the positions are close to each other can be determined, for example, based on whether or not the calculated distance is smaller than a predetermined threshold.
  • step S203 If it is determined in step S203 that the display position is close to the viewpoint position (YES), an image having a large viewpoint / high resolution is selected as an object image for displaying the object (step S205). On the other hand, when it is determined that the display position is not close to the viewpoint position (NO), an image with a small viewpoint / low resolution is selected as the object image to be displayed (step S207).
  • a drawing process is executed for each object image (step S209).
  • an object image whose display position is close to the viewpoint position is drawn with many viewpoints / high resolution, so the processing load is high, but other object images are drawn with a small viewpoint / low resolution. Therefore, the processing load can be suppressed.
  • either the change in the number of viewpoints of the object image and the change in the resolution of the object image may be performed, or both may be performed. That is, an object image that displays an object having a display position close to the viewpoint position can be drawn with many viewpoints and high-resolution images.
  • the number of viewpoints and the resolution are not switched in two stages (whether the display position is close to the viewpoint position) as shown in the figure, but in three stages or more (for example, how close the display position is to the viewpoint position). May be.
  • the second example described above may be combined with the first example.
  • the first example after determining whether or not to set the object image as the drawing target depending on whether or not the object is included in the display range, it is set as the drawing target.
  • the number of viewpoints or the resolution can be set according to the relationship between the display position of the object and the viewpoint position of the user.
  • FIG. 8 is a diagram for describing a region of interest according to an embodiment of the present disclosure.
  • the attention area of the user in the image is used for processing for reducing the load. Can be used.
  • the attention area 21 is set near the center of the image displayed on the display 110.
  • the region located at the center of the display 110 as a result of such movement. Is presumed to be a region that the user is paying attention to.
  • the attention area 21 includes object images 12c and 12d. Therefore, it is estimated that the user is paying attention to the object images 12c and 12d.
  • the attention area may be specified by detecting the user's line of sight.
  • the position that is the target of the action is included.
  • An area may be specified as the attention area.
  • FIG. 9 is a flowchart illustrating a third example of processing for reducing the load according to an embodiment of the present disclosure.
  • the above-described attention area of the user is used as a reference, and the quality of the object image estimated to be noticed by the user is further increased. Thereby, the quality of the entire image felt by the user can be improved efficiently.
  • As a specific method for further improving the quality of the object image for example, changing the number of viewpoints used in the second example and switching of the resolution can be used.
  • determination processing for each object image is executed in the terminal device 100 (step S301).
  • the attention area used for the determination here may be an area set as a predetermined area such as the vicinity of the center of the display unit as in the example shown in FIG.
  • step S303 If it is determined in step S303 that the object image is included in the attention area (YES), an image with many viewpoints / high resolution is selected as the object image (step S305). On the other hand, when it is determined that the object image is not included in the attention area (NO), an image with a small viewpoint / low resolution is selected as the object image (step S307).
  • a drawing process is executed for each object image (step S309).
  • the drawing processing here has a high processing load because drawing is performed with a large number of viewpoints / high resolution for object images estimated to be focused on by the user, but with a small viewpoint / low resolution for other object images. Since drawing is performed, the processing load is reduced.
  • either the switching of the number of viewpoints of the object image and the switching of the resolution of the object image may be performed, or both may be performed. That is, the object image included in the attention area can be drawn with many viewpoints and high resolution. Further, the number of viewpoints and the resolution are not two steps (whether or not the object image is included in the attention area) as shown in the figure, but three or more stages (for example, how much part of the object image is included in the attention area). Or may be switched.
  • the above third example may be combined with the first example and / or the second example.
  • the number of viewpoints or the resolution can be set according to the relationship with the attention area.
  • the number of viewpoints or the resolution may be set by determination using an index value calculated based on both the relationship between the display position of the object and the viewpoint position of the user and the relationship between the object image and the attention area.
  • the resolution or the number of viewpoints of each object image can be determined according to the number of object images set as the rendering target. This can be said to be a process of distributing resources that can be used for drawing an image by using an object image set as a drawing target. Therefore, if there are many object images set as drawing targets, the resolution is low and the number of viewpoints is small. On the other hand, if there are few object images set as drawing targets, the resolution is high and the number of viewpoints is large. In this case, the determination as in the second example or the third example is further performed between the object images set as the drawing target, and resources are preferentially allocated to the object image that the user is paying attention to. Also good.
  • the poster 10 serving as a reference for the display position of the object image 12 and the terminal device 100 used by the user to observe the image including the object image 12.
  • the poster 10 is affixed to a public place, and the object image 12 is displayed on the display 110 when the user who passes by points the camera of the terminal device 100.
  • the distance between the poster 10 and the terminal device 100 and the angle of the terminal device 100 with respect to the poster 10 differ depending on the place where the poster 10 is pasted and where the user observes the poster 10.
  • the distance between the poster 10 and the terminal device 100 is large when the user observes the poster 10 affixed to the bulletin board from a close distance and when the user observes the poster 10 from a distance such as sandwiching a road.
  • the size of the marker 11 included in the image captured by the camera of the terminal device 100 also changes greatly.
  • the display size of the object image 12 is proportional to the size of the marker 11 included in the captured image, the object image 12 may be too large or too small to be visually recognized.
  • the display size of the object image 12 is constant regardless of the size of the marker 11 included in the captured image, the display size of the object image 12 does not change even when the user approaches or leaves the marker 11. Reality is reduced.
  • the display size of the object image 12 is changed in accordance with the change in the size of the marker 11 included in the captured image with reference to the initial display size.
  • the ratio between the change in the size of the marker 11 and the change in the size of the object image 12 included in the captured image after the determination of the initial display size may be the same regardless of the initial display size.
  • FIG. 10 and 11 are diagrams illustrating examples of the initial display size of the object image according to an embodiment of the present disclosure.
  • FIG. 10 shows an object image 12s displayed when the poster 10s included in the captured image is relatively small, and thus the marker 11s is also relatively small.
  • FIG. 11 shows the poster 10b included in the captured image being relatively large. Therefore, the object image 12b displayed when the marker 11b is also relatively large is shown.
  • the display size of the object image 12 changes, the scale of the display position arrangement of each object also changes. More specifically, the display position of each object is arranged at a larger interval in the object image 12b than in the object image 12s.
  • the size of the marker 11b included in the captured image is about twice the size of the marker 11s, but the size of the object image 12b is slightly larger than the object image 12s and does not change much.
  • the initial display size of the object image 12 is determined so that the visibility of the object image 12 does not deteriorate due to the change in the size of the object image 12 due to the size of the marker 11 included in the captured image. Is done.
  • FIG. 12 is a graph illustrating a setting example of the display size of the object image according to an embodiment of the present disclosure.
  • the solid line graph indicates the initial display size of the object image 12 determined with respect to the size of the marker 11 in the captured image.
  • the broken line graph shows a change in the display size of the object image 12 set according to a change in the size of the marker 11 in the captured image due to the movement of the terminal device 100 after the initial display size of the object image 12 is determined.
  • the point Ps in the figure corresponds to the example of FIG. 10, and the point Pb corresponds to the example of FIG.
  • the setting of the initial display size of the object image 12 as described above with reference to FIGS. 10 and 11 is performed when the size of the marker 11 in the captured image is large (left side of the graph) and small (graph). This is realized by suppressing a change in the initial display size with respect to the size of the marker 11. In this case, the size of the object image 12 changes somewhat depending on whether the marker 11 in the captured image is small or large, but does not change significantly.
  • the shape of such a graph is merely an example, and various other settings are possible as long as the deterioration of the visibility due to the size of the object image 12 becoming too large or too small is prevented. It is.
  • the initial display size of the object image 12 can be set to a constant value regardless of the size of the marker 11 in the captured image. It is also possible to set a straight line having a gentle slope instead of the illustrated curve.
  • the display size after the determination of the initial display size of the object image 12 is different from the determination of the initial size described above, and can change greatly depending on the change of the size of the marker 11 in the captured image.
  • the graph showing the change in the display size of the object image 12 may have a much steeper shape than the graph showing the change in the initial display size (shown by a solid line). This is because, in part, when the user intends to enlarge / reduce the display of the object image 12, the range in which the user can move the terminal device 100 is limited. For example, in order to enlarge the object image 12 displayed when the poster 10 located at a position where the road is sandwiched is captured, there are few users who bother to cross the road and approach the poster 10. In the present embodiment, after the initial display size of the object image 12 is determined, the size of the object image 12 is largely changed in accordance with the change in the size of the marker 11 included in the captured image. It keeps the reality that it gets bigger and gets smaller as you move away.
  • the terminal device 100 (when the poster 10 affixed to the bulletin board is observed from substantially the same height and when the poster 10 affixed to a high position on the outer wall of the building is observed from the ground. And the angle of elevation when the user who shares the viewpoint) observes the poster 10 is greatly different.
  • the object images 12 described in the examples so far are all images viewed from the front, that is, from substantially the same height. However, when such an image has a large elevation angle, that is, the poster 10 at a high position is displayed. If it is displayed even when looking up, an image from the front is displayed despite looking up, and the display as AR may be uncomfortable.
  • the terminal device 100 when the object image 12 is first displayed on the terminal device 100, more specifically, for example, when an application that displays the object image 12 is activated, the terminal device 100 (viewpoint) Depending on the elevation angle (when looking up) or depression angle (when looking down) of the marker 11 with respect to (position), the vertical direction of each object displayed as the object image 12 is determined. Thereafter, the object image 12 that is initially selected is basically displayed continuously. However, when the angle at which the user visually recognizes the poster 10 is changed, the object image 12 to be displayed may be switched.
  • the elevation angle or depression angle of the marker 11 with respect to the viewpoint position can be calculated based on the shape of the marker 11 included in the captured image, for example. Furthermore, angle detection accuracy may be improved by using detection results of sensors such as an acceleration sensor included in the terminal device 100 together.
  • FIG. 13 and FIG. 14 are diagrams illustrating examples of object images that are displayed according to the user's eyes in an embodiment of the present disclosure.
  • FIG. 13 shows a case where an object image 12m is displayed based on a poster 10m that is substantially the same height as the terminal device 100.
  • FIG. 14 shows an object image 12h based on a poster 10h that is higher than the terminal device 100. Is displayed.
  • the elevation angle of the marker relative to the viewpoint position is close to 0 (that is, the depression angle is also 0 based on the shape of the marker 11m included in the captured image).
  • the object image 12m as viewed from the front is displayed.
  • the object image 12 is an image that displays the members of the band performing on the stage. Therefore, the object image 12m in the state viewed from the front is, for example, the performance of the band from a seat far from the stage. It can be said that it is an image that is being appreciated.
  • the object image 12h is an image in which, for example, the performance of the band is being viewed from close to the stage. In this way, the vertical orientation of the object displayed by the object image 12 changes, and an image that is viewed from the front, looked up, or looked down according to the user's line of sight is displayed, thereby further improving the reality. To do.
  • FIG. 15 is a flowchart illustrating an example of image display processing according to an embodiment of the present disclosure.
  • the example shown in FIG. 15 includes image selection processing that reflects the relationship between the scale setting and the user's line of sight.
  • step S301 information indicating the camera position (viewpoint position) of the terminal device 100 is acquired as a viewpoint position matrix (step S301).
  • the viewpoint position matrix is acquired a plurality of times, for example, in time series, and indicates a change in the position of the camera of the terminal device 100.
  • step S303 it is determined whether or not the viewpoint position matrix is acquired for the second time or later (step S303), and if it is not the second or later (NO, that is, in the case of the first time), the calculation of the scale as described above and / or Alternatively, an object image is selected according to the eye angle (step S305). This corresponds to the processing “when the object image 12 is first displayed” in the above description.
  • the process of step S305 is not executed.
  • a setting process related to drawing is executed (step S307).
  • the processing here includes, for example, processing for limiting the drawing target or changing the setting at the time of drawing, as described with reference to FIGS. 6 to 9 above, in order to reduce the processing load.
  • the image is decoded in accordance with the setting here (step S309), drawn on the captured image and output (step S311). The above process is repeated until the end condition is satisfied (step S313).
  • FIG. 16 is a flowchart illustrating an example of audio output processing according to an embodiment of the present disclosure.
  • information indicating the camera position (viewpoint position) of the terminal device 100 is acquired as a viewpoint position matrix (step S401).
  • the viewpoint position matrix is acquired continuously at a predetermined interval, for example, and indicates a change in the position of the camera of the terminal device 100.
  • it is determined whether or not the viewpoint position matrix is acquired for the second time or later (step S405). If it is not the second or later (NO, that is, in the first case), the scale described above as the processing for the image is performed. Is calculated.
  • step S405 since the target is audio, what is calculated may be the initial audio volume, not the initial display size of the object image 12.
  • the sound volume is larger as the sound source is closer, and the sound volume is smaller as the sound source is farther. Therefore, as the distance between the terminal device 100 and the poster 10 is increased, the sound volume of the sound output together with the object image 12 is decreased. May be.
  • the initial sound of the sound is also determined according to the size of the marker 11 included in the captured image when the sound associated with the object image 12 is first output in the terminal device 100. The volume is determined.
  • step S407 sound source distance calculation is executed (step S407).
  • the distance between the user and the sound source is calculated based on the object defined as in the example shown in FIG. 5 and the position of the user.
  • the position of the sound source is set in association with the position of the object and the user.
  • the reproduced sound is provided separately for each sound source, and can be mixed at different ratios depending on the positional relationship between the user and the sound source.
  • the positions of the sound sources for reproducing the stereo left channel and the right channel may be set on the left side and the right side on the stage, respectively.
  • the distance (sound source distance) from the user's position to the positions of the left and right sound sources for example, if the user observes the object image 12 from the left side, the sound of the left channel can be heard louder and observed from the right side.
  • the sound can be mixed so that the right channel sound can be heard louder.
  • the position of the sound source that reproduces the voice of each member or the sound of the musical instrument being played may be set at the position of each member on the stage.
  • the distance sound source distance
  • the distance sound source distance
  • the sound of the drum can be heard loudly.
  • the object image 12d displaying the members who play the guitar is brought close to the object image 12d, the sound can be mixed so that the sound of the guitar can be heard loudly.
  • step S405 uses the results of the calculation of the initial volume in step S405 and the sound source distance calculation in step S407.
  • the output volume is calculated (step S409).
  • the audio is decoded based on the calculation result (step S411).
  • the terminal device 100 may use a vibrator to perform feedback to a tactile sensation that expresses a deep bass when outputting sound.
  • the feedback function it is determined whether or not the feedback function is valid (step S413). If it is valid (YES), vibration is set (step S415). On the other hand, even if the feedback function is implemented, if it is not effective (NO), no vibration is set.
  • step S417 sound is output via an output device such as a speaker of the terminal device 100 (step S417).
  • the vibration is set in step S415 described above, the vibrator of the terminal device 100 is driven according to the setting. The above process is repeated until the end condition is satisfied (step S419).
  • the sound is output with reality without being affected by the situation when the user observes the poster 10 via the terminal device 100 as in the case of the image. Can be realized.
  • SLAM is a technology that localizes itself in the surrounding environment (Localize) and creates a surrounding terrain model (Map) based on the result of sensing the surrounding environment. Since this technology is well known, detailed description is omitted, but this technology is applied to the terminal device 100 according to the present embodiment, and the display of each object image is controlled according to the terrain model, thereby adapting to the surrounding environment. It is possible to display a more appropriate object image.
  • FIG. 17 to 19 are diagrams illustrating an example of displaying the shadow of an object using SLAM according to an embodiment of the present disclosure.
  • both the object obj and its shadow Shadow are displayed as object images.
  • FIG. 17 shows a display example of the shadow Shadow_n of the object obj in the normal case.
  • FIG. 18 shows an example of display of shadow Shadow_w of object obj when there is a wall behind. In this case, the shadow Shadow_w rises along the wall and is displayed.
  • FIG. 19 shows an example of display of shadow Shadow_c of object obj when the back is a cliff. In this case, the shadow Shadow_c is displayed by being cut off at the edge of the cliff.
  • Such display is performed by, for example, detecting a landmark composed of feature points from a captured image of the terminal device 100 using SLAM, and approximating the detected landmark with a cube or the like to form a terrain model.
  • a landmark composed of feature points from a captured image of the terminal device 100 using SLAM
  • a cubic terrain model that forms a wall surface is generated, and the display of the shadow is the terrain.
  • the display of the shadow is the terrain.
  • FIG. 20 is a flowchart illustrating an example of processing for displaying the shadow of an object using SLAM according to an embodiment of the present disclosure.
  • the position of the terminal device 100 is specified using GPS (Global Positioning System) or the like (step S501).
  • step S501 the position of the terminal device 100 is outdoors or indoors. If it is determined that the terminal device 100 is outdoors (YES), the position of the sun at the position of the terminal device 100 is calculated based on the position information and time information acquired in step S501 (step S501).
  • step S501 the position of the sun at the position of the terminal device 100 is calculated based on the position information and time information acquired in step S501 (step S501).
  • the direction of the shadow of the object is determined based on the position of the sun.
  • step S503 if it is determined in step S503 that the terminal device 100 is not outdoors (that is, indoors), the position of the sun is not calculated, and instead an indoor light source is disposed at a predetermined position (for example, a point) The direction of the shadow is determined on the assumption that a plurality of light sources are arranged above.
  • the SLAM is used to acquire a landmark (SLAM landmark) included in the captured image (step S507).
  • a shadow is superimposed on the object image and displayed (step S511).
  • the direction of the shadow to be superimposed here is the direction determined in steps S501 to S505 described above.
  • the processes in steps S507 to S511 are repeated until the end condition is satisfied (step S513).
  • FIG. 21 is a diagram illustrating an example in which an object is displayed based on a floor surface according to an embodiment of the present disclosure.
  • the object image 12 is displayed with reference to the marker 11 included in the poster 10.
  • the position where the object image 12 is displayed is set with reference to the marker 11, for example, when the object image 12a displaying the stage is displayed on the floor surface, the position between the poster 10 and the floor surface is displayed. The relationship had to be adjusted in advance.
  • the object obj_t is also displayed tilted.
  • the object obj is displayed with reference to the floor as shown on the right side of FIG. The object obj can be displayed correctly even when the poster 10t is tilted.
  • the display range of the image for example, see the example of FIG. 8
  • the viewpoint position of the user for example, see the example of FIG. 5.
  • Display of comments 22 to 24 are diagrams illustrating examples of displaying a comment according to an embodiment of the present disclosure.
  • FIG. 22 shows an example in which a comment input by each user is displayed in an area where a plurality of users are paying attention.
  • the comment character string 31 displayed so as to be superimposed on the object image 12 displayed on the display 110 is added to the object image included in the attention area of the user who inputs each comment.
  • a comment character string 31 that displays a comment input by a user who is paying attention to an area including the object image 12b is added to the object image 12b.
  • a comment character string 31 that displays a comment input by a user who is paying attention to an area including the object image 12e is added to the object image 12e.
  • the displayed comment may be displayed, for example, staying on the spot and then disappearing, or may be displayed by scrolling from the displayed position.
  • the size of the character of the comment may be set according to the distance between the user's attention area (for example, see the example in FIG. 5) and the user's viewpoint position.
  • the comment input method in the terminal device 100 is not limited to input using a keyboard, and may be input using voice recognition.
  • FIG. 23 is a modification of the example of FIG. 22.
  • a comment input by a user observing the object image 12 with the display 110 in the horizontal direction is displayed as a horizontal comment character string 31h, and the display 110 is set in the vertical direction.
  • a comment input by a user observing the object image 12 is displayed as a vertically oriented comment character string 31v. Accordingly, for example, the state in which the user who has input the comment is observing the object image 12 can be recognized by other users who have viewed the comment.
  • FIG. 24 is another modification of the example of FIG. 22 and shows an example in which the comment character string 31 is displayed in the bubble 32.
  • the bubble 32 may be initially displayed in a small size without including the comment character string 31, and may be enlarged to display the comment character string 31 when selected by a user operation on the displayed image. In this case, even when the comment character string 31 is large and cannot be displayed, it can be determined which part of the object image 12 is focused on by indicating that a comment exists.
  • only the bubble 32 may be displayed according to the user's predetermined action on the attention area.
  • the predetermined action may be a tap on the display 110, for example. This action may be used as information that directly indicates the user's attention area. For example, when all members of the band are displayed as the object image 12 and the user taps the area where the object image 12b is displayed on the display 110, the position of the tap is determined as the attention area, and a bubble appears in this area. 32 may be displayed.
  • the tap may be acquired as an action that does not specify an area, and the bubble 32 may be displayed in an area specified based on the display range of the image, the viewpoint position of the user, or the like regardless of the position of the tap.
  • the user's attention area information there are many other examples of using the user's attention area information. For example, by specifying an object included in the user's attention area, it is possible to specify a band, a group member, or the like that is an object of the user's interest. This result can be used, for example, for recommending contents related to the member and measuring the popularity of the member.
  • the object image included in the attention area may be displayed as a multi-viewpoint image or displayed at a high resolution.
  • the object image included in the attention area may be replaced with a special object image in which the object reacts to the user's action.
  • sound corresponding to an object included in the attention area may be output with emphasis.
  • the viewpoint position information can be used in various ways, similar to the attention area information.
  • FIG. 25 is a diagram illustrating an example of coupon display according to an embodiment of the present disclosure.
  • the coupon image 41 is released from the object image 12 displayed on the display 110 and flies toward the user.
  • the position of the terminal device 100 is specified as the viewpoint position of the user, and the position of the terminal device 100 can be designated as the destination of the displayed coupon image 41. If the movement destination of the coupon image 41 is set at random, the coupon image 41 flying toward the user and the coupon image 41 that is not so are displayed, and the display of the coupon image 41 can have game characteristics.
  • the coupon image 41 may display a sign ball, for example.
  • the coupon image 41 is displayed. It is difficult to display to fly to the user. However, for example, by using the combination of the SLAM and the acceleration sensor described with reference to FIGS. 17 to 21, the coupon image 41 flying in the sky when the camera of the terminal device 100 is directed upward is displayed. be able to.
  • FIG. 26 is a diagram illustrating a display example in a case where an image display is shared with another user according to an embodiment of the present disclosure.
  • the images 110b to 110d observed by other users are displayed on the display.
  • icons 51b to 51d indicating the viewpoint positions of other users are displayed on the image 110a.
  • Such a display allows the user to know what image the other user is observing from what viewpoint position. For example, if the user likes the object image 12e shown in the image 110b that is being observed by another user (Brian), the user can refer to the viewpoint position icon 51b (Brian's viewpoint) displayed in the image 110a and use the same viewpoint. You can move to a position and share the same object image 12e display as Brian.
  • FIG. 27 is a diagram illustrating a first system configuration example in a case where image display is shared with other users according to an embodiment of the present disclosure.
  • clients (terminal devices) 100a to 100d are connected to a content server 210 and a viewpoint position information exchange server 220, respectively.
  • the content server 210 is a server that distributes the object image 12 to each client.
  • the viewpoint position information exchange server 220 is a server for exchanging viewpoint position information between the clients.
  • the viewpoint position of each user is given as numerical information such as a viewpoint position matrix, and the amount of data is small. Therefore, the above example in which the viewpoint position information is exchanged between the clients is suitable when there is a limitation on the communication band and processing capability.
  • Each client displays the object image 12 displayed on each client based on the viewpoint position information received from the other clients.
  • the real space image (through image) displayed together with the object image 12 in each client is not displayed in another client. Therefore, for example, a virtual image prepared in advance can be displayed in the background of the images 110b to 110d in the example of FIG.
  • FIG. 28 is a diagram illustrating a second system configuration example in a case where an image display is shared with other users according to an embodiment of the present disclosure.
  • clients (terminal devices) 100a to 100d are connected to a content server 210, a viewpoint position information exchange server 220, and a through image exchange server 230, respectively.
  • the through image exchange server 230 is a server for exchanging through images acquired by each client as captured images.
  • the object image 12 displayed on another client can be displayed together with the real space image (through image) displayed together with the object image 12 on each client. Accordingly, in the example of FIG. 26, for example, an image of the real space that is shown behind when Roger observes the object image 12 can be displayed on the image 110c.
  • the through image of each client may be exchanged using the through image exchange server 230 without providing the viewpoint position information exchange server 220.
  • the through image exchange server 230 without providing the viewpoint position information exchange server 220.
  • the marker 11 is reflected in the through image, it is possible to identify the viewpoint position in each client based on the shape of the marker 11. Therefore, if the marker 11 is not lost in each client, the image can be shared and displayed as shown in FIG. 26 even if the viewpoint position information is not exchanged.
  • FIG. 29 is a diagram illustrating a third system configuration example in a case where an image display is shared with other users according to an embodiment of the present disclosure.
  • clients (terminal devices) 100a to 100d are connected to a content server 210 and an image exchange server 240, respectively.
  • the image exchange server 240 is a server for each client to exchange a synthesized image obtained by superimposing the object image 12 on the through image.
  • the processing at the receiving client is simplified.
  • the data amount of the synthesized image is large, the required communication band is also large.
  • the resolution of the through image and the object image 12 cannot be set independently, when it is necessary to reduce the resolution of the image due to restrictions on the communication band and / or user operation, the through image and the object image 12 In both cases, the resolution drops.
  • the resolution of the object image 12 can be maintained while reducing the resolution of the through image. It is.
  • FIG. 30 is a diagram illustrating a first functional configuration example for image display according to an embodiment of the present disclosure.
  • the first functional configuration example includes a display 110, a speaker 120, a camera 130, a viewpoint position detection unit 140, a display control unit 150, and an audio control unit 160.
  • the functions of the viewpoint position detection unit 140, the display control unit 150, and the audio control unit 160 execute, for example, a program command stored in a RAM (Random Access Memory) or a ROM (Read Only Memory) by a CPU (Central Processing Unit). Can be realized.
  • a program command stored in a RAM (Random Access Memory) or a ROM (Read Only Memory) by a CPU (Central Processing Unit).
  • the viewpoint position detection unit 140 is an example of a state detection unit that detects the state of a user who observes an image.
  • the viewpoint position detection unit 140 recognizes the marker 11 included in the captured image of the real space acquired by the camera 130.
  • the feature of the marker 11 can be registered in the viewpoint position detection unit 140 in advance.
  • the viewpoint position detection unit 140 further detects the position of the terminal device 100 based on the marker 11, that is, the viewpoint position, based on the detected shape of the marker 11.
  • the viewpoint position detection unit 140 detects the distance from the marker 11 to the terminal device 100 based on the size of the marker 11 included in the captured image.
  • the viewpoint position detection unit 140 detects the angle of the terminal device 100 with respect to the marker 11 by deformation of the marker 11 included in the captured image.
  • the viewpoint position detection unit 140 may detect the viewpoint position of the user without depending on the marker 11. For example, if the above-mentioned SLAM is used to detect the floor surface or the inclination of the terminal device is detected using the detection result of a sensor such as an acceleration sensor, the user's viewpoint position can be determined without depending on the marker. It is possible to detect.
  • the object image may be displayed with the floor surface as a reference, for example, and the display may change according to the tilt of the terminal device or the vertical movement.
  • a reference for the object arrangement for example, an arbitrary real space object that appears in the captured image at the start of displaying the object image may be set.
  • the display control unit 150 performs processing such as decoding, composition, and drawing based on the content data 170 and the real space image acquired from the camera 130, and displays an AR image on the display 110.
  • the display control unit 150 identifies the viewpoint of the object image 12 based on the viewpoint position detected by the viewpoint position detection unit 140, for example, and generates the object image 12 observed from the viewpoint with reference to the content data 170. . Further, the display control unit 150 generates an image in which the object image 12 is superimposed on the real space image acquired from the camera 130 and causes the display 110 to display the image.
  • the display control unit 150 is a functional part that implements each function from the reception of the content data 170 to the display on the display 110, for example, the above-described processing for reducing the load, setting of the scale, and image And the display using SLAM (the detection of the terrain model by SLAM itself can be executed by the viewpoint position detection unit 140) and the like can be realized by the display control unit 150.
  • the display control unit 150 displays a plurality of display contents (object images) on the display 110 as images, and is detected by the state of the user who observes the images (for example, the viewpoint position detection unit 140). It can be said that the behavior of each display content (object image) is controlled according to the
  • the display control unit 150 observes comments (including information indicating the display position), the coupon image 41, and other users when displaying other users' comments together with the content data 170, for example, the object image 12.
  • Information such as the images 110b to 110d and the icons 51b to 51d indicating the viewpoint positions of other users may be acquired.
  • the content data 170 may be stored in the server or may be stored in the client.
  • the audio control unit 160 executes processing such as decoding and synthesis based on the content data 170, and outputs audio corresponding to the AR image from the speaker 120.
  • the audio control unit 160 can realize a function of changing settings such as audio mixing in accordance with the user state such as the viewpoint position described as an example of audio processing above.
  • FIG. 31 is a diagram illustrating a second functional configuration example for image display according to an embodiment of the present disclosure.
  • the second functional configuration example includes a display 110, a speaker 120, a camera 130, a viewpoint position / user operation detection unit 142, an input unit 144, a display control unit 150, and an audio control unit 160.
  • these functional configurations are included in a client such as the terminal device 100, for example.
  • the functions of the viewpoint position / user operation detection unit 142, the display control unit 150, and the audio control unit 160 can be realized by, for example, the CPU executing program instructions stored in the RAM or ROM.
  • the viewpoint position / user operation detection unit 142 has both a function of a state detection unit that detects the state of a user observing an image and a function of an operation detection unit that detects a user's operation.
  • the viewpoint position / user operation detection unit 142 detects the user's operation in addition to detecting the viewpoint position, similarly to the viewpoint position detection unit 140 in the first functional configuration example.
  • the user's operation can be detected via the input unit 144, for example.
  • the input unit 144 is various input devices such as a touch pad, a keyboard, and a microphone, for example, and accepts a user operation input by tapping, character input, voice input, or the like.
  • the viewpoint position / user action detection unit 142 detects such an operation input as a user action.
  • the viewpoint position / user motion detection unit 142 provides the display control unit 150 with information on the acquired user motion together with information on the viewpoint position. Further, the viewpoint position / user motion detection unit 142 may provide the information to the voice control unit 160.
  • the display control unit 150 for example, the content and display position of the comment in the display of the above-described comment (including a bubble where the comment is not displayed), the attention specified by the explicit operation of the user. Area information and the like can be acquired from the viewpoint position / user motion detection unit 142.
  • FIG. 32 is a diagram illustrating a third functional configuration example for image display according to an embodiment of the present disclosure.
  • the third functional configuration example includes a display 110, a speaker 120, a region of interest detection unit 146, a display control unit 150, and an audio control unit 160.
  • the functional configuration may additionally include some or all of the camera 130, the input unit 144, and the viewpoint position / user motion detection unit 142 (or the viewpoint position detection unit 140).
  • these functional configurations are included in a client such as the terminal device 100, for example.
  • the functions of the attention area detection unit 146, the display control unit 150, and the sound control unit 160 can be realized by, for example, the CPU executing program instructions stored in the RAM or ROM.
  • the attention area detection unit 146 is an example of a state detection unit that detects a state of a user who observes an image (a state in which attention is paid to the image).
  • the attention area detection unit 146 detects an attention area that is set as a predetermined position of an image displayed on the display 110 as in the example illustrated in FIG. Therefore, the attention area detection unit 146 acquires information on an image displayed on the display 110 from the display control unit 150.
  • this third functional configuration example may not include a functional configuration such as the camera 130. That is, the object image 12 is not necessarily an AR image that is displayed superimposed on the captured image in the real space.
  • the virtual viewpoint position of the user can be set by a user operation such as zooming or panning on the image displayed on the display 110, for example.
  • the change of the viewpoint position by the user operation can also be effective for the AR image.
  • the viewpoint position detected by the viewpoint position / user motion detection unit 142 can be forcibly changed by a user operation.
  • the input unit 144 and the viewpoint position / user operation detection unit 142 can be provided.
  • the attention area detection unit 146 may acquire the attention area explicitly designated by the user based on the detection result of the user's action by the viewpoint position / user action detection unit 142.
  • FIG. 33 is a configuration example in the case where an image to be displayed is recorded in an embodiment of the present disclosure.
  • the image display processing according to the present embodiment is often executed by the terminal device 100 which is a mobile device, available resources are limited. Therefore, there is a possibility that the displayed image is not a multi-viewpoint image but a two-dimensional image, or an image with suppressed quality, such as a low resolution. If this image is recorded as it is, the quality will of course remain low.
  • the minimum necessary data is recorded at the time of image display, and an object image extracted later from high-quality content data is again recorded. By synthesizing, it is possible to record a higher quality image.
  • a display 110, a camera 130, a viewpoint position detection unit 140, and a display control unit 150 are shown as functional configurations of the client.
  • the functional configuration related to audio is not shown, but may be provided in the same manner as in the examples of FIGS. 31 to 32 described above.
  • the camera 130 provides the captured image to the display control unit 150 and records it as captured image data 184 in a storage device or the like.
  • the viewpoint position detection unit 140 also detects the viewpoint position and provides it to the display control unit 150, and records it as viewpoint position data 180 in a storage device or the like.
  • the recorded viewpoint position data 180 is provided to the recording image extraction unit 182.
  • the recording image extraction unit 182 extracts a recording object image from the high-quality content data 172 with reference to the viewpoint position data 180.
  • the high quality content data 172 is data for displaying part or all of the content data 170 as a higher quality object image such as a multi-viewpoint image or a high resolution image. If the display control unit 150 tries to generate an object image from the high-quality content data 172, it is often not realistic because of restrictions on the communication band and processing capability. However, when the recording image extraction unit 182 extracts the recording image after the fact, it can be sufficiently realized because there is no time limit, for example.
  • the recorded captured image data 184 is provided to the image composition unit 186.
  • the image composition unit 186 superimposes the object image extracted by the recording image extraction unit 182 on the captured image acquired from the captured image data 184, and is similar to the image displayed on the display 110 at the time of recording. Is generated. However, the object image is replaced with a high-quality image based on the high-quality content data 172. The image generated in this manner is provided to the client as a recording image 188.
  • the recording image extraction unit 182 and the image composition unit 186 perform the same processing as the display control unit 150 using the high-quality content data 172.
  • the recording image extraction unit 182 is preferably realized by a server because high processing capability is required, but may be realized by a client.
  • the image composition unit 186 may be implemented by a server or a client. These functions can be realized by the CPU executing program instructions stored in the RAM or ROM, for example.
  • the client can record an image on which an object image of higher quality than the image displayed in real time is displayed.
  • FIG. 34 is a block diagram for explaining a hardware configuration of the display control apparatus.
  • the illustrated display control device 900 can realize, for example, a client (terminal device) and a server in the above-described embodiment.
  • the display control device 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the display control device 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the display control device 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the display control apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the display control device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone corresponding to the operation of the display control device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the display control device 900.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an organic EL (Electro-Luminescence) display, an audio output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the display control device 900 as a video such as text or an image, or outputs it as a sound such as voice or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the display control device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the display control device 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for directly connecting a device to the display control device 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a wired or wireless network, such as the Internet, a home LAN, infrared communication, radio wave communication, or satellite communication.
  • the imaging device 933 uses various members such as an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, and a sound sensor.
  • the sensor 935 obtains information related to the surrounding environment of the display control device 900 such as information about the state of the display control device 900 itself, such as the attitude of the housing of the display control device 900, and brightness and noise around the display control device 900, for example. To do.
  • the sensor 935 may include a GPS sensor that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the apparatus.
  • GPS Global Positioning System
  • each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • a display control apparatus for example, a display control apparatus, a system, a display control method executed by the display control apparatus or system, a program for causing the display control apparatus to function, and a program are recorded. It may include tangible media that is not temporary.
  • a state detection unit that detects a state of a user who observes an image
  • a display control device comprising: a display control unit configured to display on the display the image in which a plurality of display contents are superimposed on a captured image, and to control the behavior of each display content according to the state of the user.
  • the state detection unit detects an attention area in which the user is paying attention in the image, The display control device according to (1), wherein the display control unit changes a behavior of display content included in the attention area.
  • the display control device increases a resolution of display content included in the attention area.
  • the display control device increases the number of viewpoints to which the display content included in the attention area corresponds.
  • the user's action is input of a comment;
  • the display control device according to (6), wherein the display corresponding to the user's operation is a character string that displays the comment.
  • the display control device according to (6) or (7), wherein the state detection unit detects the region of interest based on an operation of the user.
  • the display control device according to any one of (2) to (7), wherein the state detection unit detects the region of interest as a predetermined region in an image displayed on the display.
  • the state detection unit detects the viewpoint position of the user defined in space, The display control unit displays a plurality of objects whose display positions are defined in the space by each display content, and changes the behavior of each display content based on the relationship between the viewpoint position and the display position.
  • the display control device according to any one of (1) to (9).
  • the display control device according to (10), wherein the display control unit further increases the quality of display content for displaying an object having a display position closer to the viewpoint position.
  • the display control unit determines whether or not each object is displayed in the image based on the viewpoint position and the display position, and excludes display content that displays an object that is not displayed from the rendering target.
  • the display control device according to (10) or (11).
  • the display control unit superimposes the display contents as a layer image, and rotates the layer image with reference to the display position according to the movement of the viewpoint position, thereby causing the objects to be displayed.
  • the display control apparatus according to any one of (10) to (12), wherein the display control apparatus is configured to face a viewpoint position.
  • the state detection unit detects the viewpoint position of the user on the basis of the marker arranged in the real space, The display control unit responds to a distance from the marker to the viewpoint position when a plurality of objects whose display positions are virtually defined with respect to the marker in the real space are displayed by the display contents.
  • the display control apparatus according to any one of (1) to (13), wherein a scale of the display position arrangement and an initial display size of the object are determined.
  • the state detection unit detects the viewpoint position of the user on the basis of a marker arranged in real space, The display control unit is configured to set an elevation angle or depression angle of the marker with respect to the viewpoint position when a plurality of objects whose display positions are virtually defined with respect to the marker in the real space are displayed by the display contents.
  • the display control device according to any one of (1) to (14), wherein the vertical direction of each object displayed by each display content is determined accordingly.
  • the state detection unit detects a terrain model of the real space observed by the user, The display control unit controls the behavior of each display content according to the terrain model when a plurality of objects whose display positions are virtually set in the real space are displayed by each display content.
  • the display control device according to any one of (15).
  • the display control unit corrects the display of the shadow according to the terrain model when the first object and the shadow thereof are displayed by the display contents as the plurality of objects. ) Display control device.
  • the control system according to any one of (1) to (17), further including a sound control unit that controls output of sound corresponding to the image and controls setting of the sound according to the state of the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】複数の表示コンテンツをより適切に表示する。 【解決手段】画像を観察するユーザの状態を検出する状態検出部と、複数の表示コンテンツが撮像画像に重畳された上記画像をディスプレイに表示させ、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御する表示制御部とを含む表示制御装置が提供される。

Description

表示制御装置、表示制御方法およびプログラム
　本開示は表示制御装置、表示制御方法およびプログラムに関する。
　近年、実空間を撮像して得られる画像に情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented　Reality）と呼ばれる技術が注目されている。こうした技術では、例えば特許文献１に記載されているように、３次元空間（ＡＲの場合は実空間）に配置されたオブジェクトが画像として表示される。なお、特許文献１では、画像内で情報が混雑する状況において、よりわかりやすく情報を呈示する技術が提案されている。
特開２０１２－５８８３８号公報
　しかしながら、上記のような技術はまだ開発されて日が浅く、例えば空間に配置された複数のオブジェクトを、表示コンテンツとしてどのようにして表示するのが適切であるかといった観点からの技術は、まだ十分に提案されているとはいい難い。
　そこで、本開示では、複数の表示コンテンツをより適切に表示することを可能にする、新規かつ改良された表示制御装置、表示制御方法およびプログラムを提案する。
　本開示によれば、画像を観察するユーザの状態を検出する状態検出部と、複数の表示コンテンツが撮像画像に重畳された上記画像をディスプレイに表示させ、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御する表示制御部とを含む表示制御装置が提供される。
　また、本開示によれば、複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させることと、上記画像を観察するユーザの状態を検出することと、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御することとを含む表示制御方法が提供される。
　また、本開示によれば、複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させる機能と、上記画像を観察するユーザの状態を検出する機能と、上記ユーザの状態に応じて上記各表示コンテンツの挙動を制御する機能とをコンピュータに実現させるためのプログラムが提供される。
　複数の表示コンテンツを観察するユーザの状態に応じてこれらの表示コンテンツの挙動を制御することで、複数の表示コンテンツをより適切に表示することができる。
　以上説明したように本開示によれば、複数の表示コンテンツをより適切に表示することができる。
本開示の一実施形態に係る画像表示の概要について説明するための図である。 図１の例において左側から画像を観察する場合を示す図である。 図１の例において右側から画像を観察する場合を示す図である。 図１の例において画像に近づいた場合を示す図である。 図２～図４に示した例について概念的に説明するための図である。 本開示の一実施形態における負荷軽減のための処理の第１の例を示すフローチャートである。 本開示の一実施形態における負荷軽減のための処理の第２の例を示すフローチャートである。 本開示の一実施形態における注目領域について説明するための図である。 本開示の一実施形態における負荷軽減のための処理の第３の例を示すフローチャートである。 本開示の一実施形態におけるオブジェクト画像の初期表示サイズの例を示す図である。 本開示の一実施形態におけるオブジェクト画像の初期表示サイズの例を示す図である。 本開示の一実施形態におけるオブジェクト画像の表示サイズの設定例を示すグラフである。 本開示の一実施形態においてユーザの目線に応じて表示されるオブジェクト画像の例を示す図である。 本開示の一実施形態においてユーザの目線に応じて表示されるオブジェクト画像の例を示す図である。 本開示の一実施形態における画像表示の処理の例を示すフローチャートである。 本開示の一実施形態における音声出力の処理の例を示すフローチャートである。 本開示の一実施形態において、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）を利用してオブジェクトの影を表示する例を示す図である。 本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する例を示す図である。 本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する例を示す図である。 本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する処理の例を示すフローチャートである。 本開示の一実施形態において、床面を基準にしてオブジェクトを表示する例を示す図である。 本開示の一実施形態におけるコメントの表示の例を示す図である。 本開示の一実施形態におけるコメントの表示の例を示す図である。 本開示の一実施形態におけるコメントの表示の例を示す図である。 本開示の一実施形態におけるクーポンの表示の例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の表示例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第１のシステム構成例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第２のシステム構成例を示す図である。 本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第３のシステム構成例を示す図である。 本開示の一実施形態に係る画像表示のための第１の機能構成例を示す図である。 本開示の一実施形態に係る画像表示のための第２の機能構成例を示す図である。 本開示の一実施形態に係る画像表示のための第３の機能構成例を示す図である。 本開示の一実施形態において、表示される画像を録画する場合の構成例である。 表示制御装置のハードウェア構成を説明するためのブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　２．オブジェクト画像の配置
　３．処理負荷軽減のための処理
　４．スケールの設定および画像の選択
　５．音声の処理
　６．ＳＬＡＭを利用した表示
　７．ユーザの注目領域情報の利用
　８．ユーザの視点位置情報の利用
　９．機能構成例
　１０．ハードウェア構成
　１１．補足
　（１．概要）
　まず、図１を参照して、本開示の一実施形態に係る画像表示の概要について説明する。
　図１は、本開示の一実施形態に係る画像表示の概要について説明するための図である。図１を参照すると、端末装置１００（例えば、スマートフォン、ＰＣ（Personal　Computer）、携帯ゲーム機など）が、内蔵しているカメラを用いてポスター１０を含む実空間を撮像する。ここで、ポスター１０にはマーカ１１が含まれる。端末装置１００は、撮像して得られた画像をディスプレイ１１０にスルー画像として表示させるとともに、画像に含まれるマーカ１１を認識し、マーカ１１によって示される情報を用いてサーバからオブジェクト画像１２を取得し、スルー画像に重畳してディスプレイ１１０に表示させる。
　図示された例では、オブジェクト画像１２ａ～１２ｅが表示される。オブジェクト画像１２ａは、ポスター１０の手前側の空間に配置されたステージを表示する画像であり、オブジェクト画像１２ｂ～１２ｅは、ステージ上で演奏するバンドのメンバーを表示する画像である。このように、端末装置１００のディスプレイ１１０に表示される画像は、空間（実空間）おいて表示位置が定義される複数のオブジェクト（ステージおよびバンドメンバー）を表示する複数の表示コンテンツ（オブジェクト画像１２ａ～１２ｅ）を含む画像である。
　（２．オブジェクト画像の配置）
　次に、図２～図５を参照して、本開示の一実施形態におけるオブジェクト画像の配置について説明する。上述したような画像表示では、ユーザが様々な角度から端末装置１００でポスター１０を撮像し、オブジェクト画像１２を表示させる。また、端末装置１００は容易に移動できるため、オブジェクト画像１２が表示された状態で、端末装置１００の姿勢や、端末装置１００とポスター１０との位置関係が変化することも多い。
　このような場合に、例えば端末装置１００の姿勢や端末装置１００とポスター１０との位置関係に関わらず同じオブジェクト画像１２が表示されると、例えばオブジェクト画像１２の中の特定の部分に注目してその部分に端末装置１００のカメラを近づけたような場合にも表示が変化せず、リアリティが減殺されてしまう。
　例えば、オブジェクト画像１２全体を１つの多視点画像とし、端末装置１００とポスター１０との位置関係に応じて表示する画像を異なる視点画像に切り替えることも考えられるが、オブジェクト画像１２を表示する端末装置１００は多くの場合処理能力が高くないため、現実的ではない。本実施形態では、より現実的な方法で、リアリティをもったオブジェクト画像１２の表示を可能にする。
　図２は、図１の例において左側から画像を観察する場合を示す図である。本実施形態では、オブジェクトのそれぞれについて、実空間におけるマーカ１１を基準にした相対的な表示位置が定義され、各オブジェクト画像１２は、それぞれのオブジェクトの表示位置に対応して配置されるレイヤ画像として重畳表示されている。従って、ユーザがポスター１０の左側から画像を観察した場合、ステージの左側、すなわち端末装置１００からみて手前に立つメンバーを表示するオブジェクト画像１２ｂは、手前に大きく表示される。一方、ステージの右側、すなわち端末装置１００からみて奥に立つメンバーを表示するオブジェクト画像１２ｅは、奥に小さく表示される。
　図３は、図１の例において右側から画像を観察する場合を示す図である。図２の例とは逆に、ユーザがポスター１０の右側から画像を観察した場合、ステージの右側、すなわち端末装置１００からみて手前に立つメンバーを表示するオブジェクト画像１２ｅが、手前に大きく表示される。一方、ステージの左側、すなわち端末装置１００からみて奥に立つメンバーを表示するオブジェクト画像１２ｂは、奥に小さく表示される。また、中央のメンバー（ギター）を表示するオブジェクト画像１２ｄと、奥のメンバー（ドラム）を表示するオブジェクト画像１２ｃとの左右の位置関係が、図２の例とは逆になっている。
　図４は、図１の例において画像に近づいた場合を示す図である。ユーザが画像に近づくと、各オブジェクトの表示位置と端末装置１００との距離が近くなる。本実施形態では、このような場合、実際のオブジェクトに近づいた場合と同様に、オブジェクトが拡大表示される。図示された例では、オブジェクト画像１２の中央付近に表示されている２人のメンバーを表示するオブジェクト画像１２ｃ，１２ｄが拡大表示されている。一方、距離が近くなったことによって画像の表示範囲は狭くなり、他の２人のメンバーを表示するオブジェクト画像１２ｂ，１２ｅは、表示範囲の外に出ている。
　図５は、図２～図４に示した例について概念的に説明するための図である。上述したように、本実施形態では、各オブジェクトについて、ポスター１０を基準にした実空間での表示位置が定義されている。図５では、各オブジェクトについて定義される位置を、左右方向をｘ軸、上下方向をｙ軸、奥行き方向をｚ軸とする座標系によって表現しているが、オブジェクトの位置の定義にはこの例には限らず任意の座標系が用いられうる。
　本実施形態において、オブジェクト画像１２は、アルファチャネルが設定された２次元画像として表示される。つまり、本実施形態において、オブジェクト画像１２は、オブジェクトを表示する部分以外では透明であり、後方に位置する他のオブジェクト画像を透過表示させるレイヤ画像である。なお、各オブジェクト画像１２の透過部分は図示されていない。
　また、オブジェクト画像１２は、ユーザの視点位置の移動に応じて、対応するオブジェクトの表示位置を基準にして回転して表示される（図示された例ではｙ軸周りの回転）。これによって、視点位置の移動に関わらず、各オブジェクト画像１２によって表示されるオブジェクトが視点位置（端末装置１００の位置）に正対する。図では、オブジェクト画像１２が端末装置１００Ｒに向けて正対した状態が実線で示され、端末装置１００Ｌに向けて正対した状態が仮想線で示されている。図から明らかなように、端末装置１００Ｒに対する表示と端末装置１００Ｌに対する表示との間では、オブジェクト画像１２のレイヤが重畳される順序が異なっている。
　さらに、図では、図２の例における端末装置１００が端末装置１００Ｌとして、図３の例における端末装置１００が端末装置１００Ｒとして、図４の例における端末装置１００が端末装置１００Ｃとして、それぞれ図示されている。本実施形態における画像の表示あたっては、これらの端末装置１００の位置（ユーザの視点位置）も、例えばオブジェクト画像１２の位置と同様にして定義される。視点位置は、例えば、カメラで撮像された画像に写ったマーカ１１のサイズや形状に基づいて、端末装置１００からポスター１０までの距離や、ポスター１０に対する端末装置１００の角度（水平方向／上下方向）を算出することによって特定されうる。なお、端末装置１００の角度は、端末装置１００が有する加速度センサや地磁気センサなどのセンサの検出結果と予め登録されたポスター１０の位置情報とに基づいて特定されてもよい。
　このように、各オブジェクト画像１２が３次元位置を有し、視点位置に応じて相互の位置関係を保ったまま見え方が変化することによって、オブジェクト画像１２として表示される画像について、ユーザが実物を見ているかのようなリアリティを感じることが可能になる。
　なお、図５に示した例は一例であり、図２～図４に示したような表示を実現するために他の構成も可能である。例えば、オブジェクト画像１２は、端末装置１００との相対角度によって応じて表示が変化する複数視点画像であってもよい。また、後述するように、例えば２次元画像の正対表示と複数視点画像の表示とが、所定の条件によって切り替えられてもよい。
　（３．処理負荷軽減のための処理）
　次に、図６～９を参照して、本開示の一実施形態における処理負荷軽減のための処理について説明する。本開示の一実施形態に係る画像表示の処理を実行する端末装置１００は多くの場合処理能力が高くないため、画像表示にあたっては処理負荷の軽減が求められる。
　（３－１．第１の例）
　図６は、本開示の一実施形態における負荷軽減のための処理の第１の例を示すフローチャートである。この第１の例では、例えば図４に示した場合のように、ユーザの視点位置が移動したことによって一部のオブジェクトが表示範囲に含まれなくなった場合に、そのようなオブジェクトを表示する画像を描画しないことによって処理負荷を軽減する。
　処理ではまず、端末装置１００において、オブジェクト画像ごとの判定処理が実行される（ステップＳ１０１）。ここでは各オブジェクト画像が表示するオブジェクトが表示範囲に含まれるか否かが判定される（ステップＳ１０３）。オブジェクトが表示範囲に含まれるか否かは、例えば撮像画像に含まれるマーカ１１の形状に基づいて特定される端末装置１００のカメラの位置（視点位置）の情報に基づいて判定することが可能である。
　上記のステップＳ１０３の判定において、オブジェクトが表示範囲に含まれると判定された場合（ＹＥＳ）、そのオブジェクトを表示するオブジェクト画像を描画対象に設定する（ステップＳ１０５）。一方、オブジェクトが表示範囲に含まれないと判定された場合（ＮＯ）、オブジェクト画像は描画対象に設定されない。
　上記のようなオブジェクト画像ごとの判定処理の後、描画対象に設定されたオブジェクト画像について描画処理が実行される（ステップＳ１０７）。ここでの描画処理は、オブジェクトが表示範囲に含まれるオブジェクト画像を対象とするため、例えば図４に示した場合のように一部のオブジェクトが表示範囲に含まれていない場合には、すべてのオブジェクト画像を対象にした描画処理よりも処理負荷が低い。なお、本明細書における「描画処理」は、デコードの処理を含みうる。
　（３－２．第２の例）
　この第２の例では、例えば図２～図４に示した場合のようにユーザの視点位置とオブジェクトの表示位置との関係が変化する場合に、視点位置により近い表示位置を有するオブジェクトを表示するオブジェクト画像１２のクオリティをより高くする。視点位置により近い表示位置を有するオブジェクトは、ユーザにとってより目立つ、あるいはユーザが注目している可能性があるオブジェクトと推定されるため、このようなオブジェクトが高いクオリティで表示されることによって、ユーザが感じる画像全体のクオリティを効率的に向上させることができる。
　オブジェクト画像のクオリティを高くする方法の例として、オブジェクト画像が対応する視点数を増加させてもよい。より具体的には、例えば、オブジェクト画像として表示される画像が、図５で説明したような正対表示される２次元画像と複数視点画像との間で切り替えられてもよい。２次元画像（単一視点画像）ではオブジェクトを単一の視点からオブジェクトを見た場合の画像が視点位置に関わらず用いられるのに対し、複数視点画像では複数の視点からそれぞれオブジェクトを見た場合の画像が用意され、視点位置からオブジェクトを見る視線の角度に応じて選択的に用いられる。
　従って、例えば図５の例でオブジェクト画像１２として複数視点画像を表示する場合、視点位置が左斜め前にある場合（端末装置１００Ｌの場合）と、視点位置が右斜め前にある場合（端末装置１００Ｒの場合）とでは、表示されるオブジェクト画像１２が異なりうる。このように、オブジェクト画像として複数視点画像を表示すれば、ユーザの位置に応じてオブジェクトの向きが変化して表示されるため、ユーザは画像によりリアリティを感じることができる。しかしながら、オブジェクト画像として複数視点画像を表示する場合、画像のデコードや描画の処理負荷が２次元画像を表示する場合よりも大きくなる。
　そこで、例えば、ユーザの視点位置とオブジェクトの表示位置との関係に応じて、ユーザにとってより目立つ、あるいはユーザが注目している可能性があるオブジェクトについては複数視点画像でオブジェクト画像を表示し、そうではないオブジェクトについては二次元画像でオブジェクト画像を表示すれば、処理負荷を抑制することができる。
　なお、切り替え前後のオブジェクト画像は、上記の例のように２次元画像（単一視点画像）と複数視点画像とには限定されない。別の例として、複数視点画像同士（より少ない視点に対応する画像と、より多い視点に対応する画像）の間で切り替えが実施されてもよい。
　また、オブジェクト画像のクオリティを高くする方法の別の例として、オブジェクト画像の解像度を上げてもよい。オブジェクト画像の解像度を上げれば、オブジェクトはより詳細に表示されるが、画像のデコードや描画の処理負荷がより大きくなる。そこで、例えば、ユーザの視点位置とオブジェクトの表示位置との関係に応じて、ユーザにとってより目立つ、あるいはユーザが注目している可能性があるオブジェクトについてはオブジェクト画像の解像度を上げ、そうではないオブジェクトについてはオブジェクト画像の解像度を低く抑えれば、処理負荷を抑制することができる。
　なお、オブジェクト画像の解像度を変更する場合、同じオブジェクトを異なる解像度で表示する複数のオブジェクト画像が用意されていれば、それらの画像のうちどの画像を選択するかを切り替えればよい。あるいは、描画処理時のループフィルタのＯＮ／ＯＦＦ、デブロッキングフィルタやアンシャープマスクなどのポストプロセスのＯＮ／ＯＦＦ、描画するテクスチャのサブサンプルなどによって実質的な解像度を変更することも、「解像度の変更」に含まれうる。
　図７は、本開示の一実施形態における負荷軽減のための処理の第２の例を示すフローチャートである。処理ではまず、端末装置１００において、オブジェクト画像ごとの判定処理が実行される（ステップＳ２０１）。ここでは各オブジェクト画像が表示するオブジェクトの表示位置が視点位置に近いか否かが判定される（ステップＳ２０３）。ここでの判定に用いられる表示位置および視点位置は、例えば図５に示した例のように定義されたものでありうる。位置同士が近いか否かは、例えば算出された距離が所定の閾値よりも小さいか否かによって判定されうる。
　上記のステップＳ２０３の判定において、表示位置が視点位置に近いと判定された場合（ＹＥＳ）、そのオブジェクトを表示するオブジェクト画像として視点が多い／解像度が高い画像を選択する（ステップＳ２０５）。一方、表示位置が視点位置に近くないと判定された場合（ＮＯ）、そのオブジェクト表示するオブジェクト画像として視点が少ない／解像度が低い画像を選択する（ステップＳ２０７）。
　上記のようなオブジェクト画像ごとの判定処理の後、各オブジェクト画像について描画処理が実行される（ステップＳ２０９）。ここでの描画処理は、表示位置が視点位置に近いオブジェクト画像については多くの視点／高い解像度で描画するために処理負荷が高いものの、それ以外のオブジェクト画像については少ない視点／低い解像度で描画するため処理負荷が抑えられる。
　なお、この第２の例において、オブジェクト画像の視点数の変更と、オブジェクト画像の解像度の変更とは、そのいずれかが実施されてもよいし、両方が実施されてもよい。つまり、視点位置に近い表示位置を有するオブジェクトを表示するオブジェクト画像は、多くの視点かつ高い解像度の画像で描画されうる。また、視点数および解像度は、いずれも図示したように２段階（表示位置が視点位置に近いか否か）ではなく、３段階以上（例えば表示位置が視点位置にどの程度近いか）で切り替えられてもよい。
　また、上記の第２の例は、第１の例と組み合わされてもよい。その場合、例えば、第１の例に示したような、オブジェクトが表示範囲に含まれるか否かに応じてオブジェクト画像を描画対象に設定するか否かが判定された後に、描画対象に設定されたオブジェクト画像について、オブジェクトの表示位置とユーザの視点位置との関係に応じて視点数または解像度が設定されうる。
　（３－３．第３の例）
　図８は、本開示の一実施形態における注目領域について説明するための図である。本実施形態では、例えば第１の例に示した表示範囲や、第２の例に示したオブジェクトとユーザとの位置関係の他に、画像におけるユーザの注目領域が、負荷軽減のための処理に用いられうる。
　図示された例において、注目領域２１は、ディスプレイ１１０に表示される画像の中央付近に設定される。本実施形態において、ユーザは端末装置１００を移動させることによって、任意の角度からオブジェクト画像１２を観察することが可能であるため、そのような移動の結果、ディスプレイ１１０の中心に位置している領域は、ユーザが注目している領域と推定される。この場合、注目領域２１はオブジェクト画像１２ｃ，１２ｄを含んでいる。従って、ユーザは、オブジェクト画像１２ｃ，１２ｄに注目していると推定される。
　別の例として、例えば、端末装置１００としてヘッドマウントディスプレイ（Head　Mounted　Display）であるような場合には、ユーザの視線検出によって注目領域が特定されてもよい。また、後述する例のように、ディスプレイ１１０に表示された画像の中の特定の位置に対してユーザが何らかのアクションを起こすことが可能である場合には、そのアクションの対象になった位置を含む領域を注目領域として特定してもよい。
　図９は、本開示の一実施形態における負荷軽減のための処理の第３の例を示すフローチャートである。この第３の例では、上述したユーザの注目領域を基準として用いて、ユーザが注目していると推定されるオブジェクト画像のクオリティをより高くする。これによって、ユーザが感じる画像全体のクオリティを効率的に向上させることができる。なお、オブジェクト画像のクオリティをより高くするための具体的な方法としては、例えば上記の第２の例で用いられた視点数の変更や、解像度の切り替えが用いられうる。
　処理ではまず、端末装置１００において、オブジェクト画像ごとの判定処理が実行される（ステップＳ３０１）。ここでは各オブジェクト画像が注目領域に含まれるか否かが判定される（ステップＳ３０３）。ここでの判定に用いられる注目領域は、例えば図８に示した例のように表示部の中央付近などの所定の領域として設定された領域でありうる。
　上記のステップＳ３０３の判定において、オブジェクト画像が注目領域に含まれると判定された場合（ＹＥＳ）、視点が多い／解像度が高い画像をオブジェクト画像として選択する（ステップＳ３０５）。一方、オブジェクト画像が注目領域に含まれないと判定された場合（ＮＯ）、視点が少ない／解像度が低い画像をオブジェクト画像として選択する（ステップＳ３０７）。
　上記のようなオブジェクト画像ごとの判定処理の後、各オブジェクト画像について描画処理が実行される（ステップＳ３０９）。ここでの描画処理は、ユーザが注目していると推定されるオブジェクト画像については多くの視点／高い解像度で描画するため処理負荷が高いものの、それ以外のオブジェクト画像については少ない視点／低い解像度で描画するため処理負荷が抑えられる。
　なお、この第３の例でも、オブジェクト画像の視点数の切り替えと、オブジェクト画像の解像度の切り替えとは、そのいずれかが実施されてもよいし、両方が実施されてもよい。つまり、注目領域に含まれるオブジェクト画像は、多くの視点かつ高い解像度で描画されうる。また、視点数および解像度は、いずれも図示したように２段階（オブジェクト画像が注目領域に含まれるか否か）ではなく、３段階以上（例えばオブジェクト画像のどのぐらいの部分が注目領域に含まれるか）で切り替えられてもよい。
　また、上記の第３の例は、第１の例および／または第２の例と組み合わされてもよい。その場合、例えば、第１の例に示したような、オブジェクトが表示範囲に含まれるか否かに応じてオブジェクト画像を描画対象に設定するか否かが判定された後に、描画対象に設定されたオブジェクト画像について、注目領域との関係に応じて視点数または解像度が設定されうる。あるいは、オブジェクトの表示位置とユーザの視点位置との関係、およびオブジェクト画像と注目領域との関係の両方に基づいて算出される指標値を用いた判定によって視点数または解像度が設定されてもよい。
　例えば上記の第１の例によって描画対象になるオブジェクト画像が限定された場合、描画対象に設定されたオブジェクト画像の数に応じて、各オブジェクト画像の解像度または視点数が決定されうる。これは、画像の描画のために利用可能なリソースを、描画対象に設定されたオブジェクト画像で分配する処理ともいえる。従って、描画対象に設定されたオブジェクト画像が多ければ解像度は低く、視点数は少なくなる。一方、描画対象に設定されたオブジェクト画像が少なければ解像度は高く、視点数は多くなる。この場合、さらに、描画対象に設定されたオブジェクト画像の間で第２の例または第３の例のような判定が実施され、ユーザが注目しているオブジェクト画像にリソースが優先的に配分されてもよい。
　（４．スケールの設定および画像の選択）
　次に、図１０～図１５を参照して、本開示の一実施形態におけるスケールの設定および画像の選択について説明する。
　例えば図１に例示したような画像表示にあたって、オブジェクト画像１２の表示位置の基準になるポスター１０と、ユーザがオブジェクト画像１２を含む画像を観察するのに用いる端末装置１００との位置関係は、さまざまに変化しうる。例えば、ポスター１０は、公共の場所に貼られており、通りかかったユーザが端末装置１００のカメラを向けることによってディスプレイ１１０にオブジェクト画像１２が表示される。
　このような場合、ポスター１０と端末装置１００との間の距離や、ポスター１０に対する端末装置１００の角度は、ポスター１０の貼られた場所や、ユーザがポスター１０をどこから観察するかによって異なる。
　（４－１．スケールの設定）
　例えば、掲示板に貼られたポスター１０を、ユーザが至近距離から観察する場合と、道路を挟むなどして離れた位置から観察する場合とで、ポスター１０と端末装置１００との間の距離は大きく異なり、端末装置１００のカメラによる撮像画像に含まれるマーカ１１のサイズも大きく変化する。ここで、例えば撮像画像に含まれるマーカ１１のサイズにオブジェクト画像１２の表示サイズを比例させると、オブジェクト画像１２が大きすぎたり小さすぎたりして視認が困難な場合がある。その一方で、撮像画像に含まれるマーカ１１のサイズにかかわらずオブジェクト画像１２の表示サイズが一定だと、ユーザがマーカ１１に近づいたり離れたりしてもオブジェクト画像１２の表示サイズが変化せず、リアリティが減殺されてしまう。
　そこで、本開示の一実施形態では、オブジェクト画像１２の表示サイズの設定手順として、端末装置１００において最初にオブジェクト画像１２が表示されるとき、より具体的には例えばオブジェクト画像１２を表示させるアプリケーションが起動されたときの端末装置１００（視点位置）からマーカ１１までの距離に応じて、オブジェクト画像１２が表示する各オブジェクトの表示位置配置のスケールと、オブジェクト画像１２の初期表示サイズとを決定する。その後は、初期表示サイズを基準にして撮像画像に含まれるマーカ１１のサイズの変化に応じてオブジェクト画像１２の表示サイズを変化させる。初期表示サイズの決定後の撮像画像に含まれるマーカ１１のサイズの変化とオブジェクト画像１２のサイズ変化との割合は、初期表示サイズに関わらず同様であってもよい。
　図１０および図１１は、本開示の一実施形態におけるオブジェクト画像の初期表示サイズの例を示す図である。図１０は、撮像画像に含まれるポスター１０ｓが比較的小さく、従ってマーカ１１ｓも比較的小さい場合に表示されるオブジェクト画像１２ｓを示し、図１１は、撮像画像に含まれるポスター１０ｂが比較的大きく、従ってマーカ１１ｂも比較的大きい場合に表示されるオブジェクト画像１２ｂを示す。このとき、オブジェクト画像１２の表示サイズが変化しているのに合わせて、各オブジェクトの表示位置配置のスケールも変化している。より具体的には、オブジェクト画像１２ｓよりもオブジェクト画像１２ｂの方が、より大きい間隔で各オブジェクトの表示位置が配置されている。
　図示されるように、撮像画像に含まれるマーカ１１ｂのサイズはマーカ１１ｓの２倍程度あるが、オブジェクト画像１２ｂのサイズはオブジェクト画像１２ｓよりも少し大きい程度であまり変わらない。このように、本実施形態では、撮像画像に含まれるマーカ１１のサイズによるオブジェクト画像１２のサイズの変動が大きすぎてオブジェクト画像１２の視認性が低下しないようにオブジェクト画像１２の初期表示サイズが決定される。
　図１２は、本開示の一実施形態におけるオブジェクト画像の表示サイズの設定例を示すグラフである。実線のグラフは、撮像画像中のマーカ１１のサイズに対して決定されるオブジェクト画像１２の初期表示サイズを示す。破線のグラフは、オブジェクト画像１２の初期表示サイズの決定後に、端末装置１００の移動などによる撮像画像中のマーカ１１のサイズの変化に応じて設定されるオブジェクト画像１２の表示サイズの変化を示す。なお、図中の点Ｐｓは図１０の例に対応し、点Ｐｂは図１１の例に対応する。
　図示された例では、上記の図１０および図１１で説明したようなオブジェクト画像１２の初期表示サイズの設定が、撮像画像中のマーカ１１のサイズが大きい場合（グラフの左側）および小さい場合（グラフの右側）で、マーカ１１のサイズに対する初期表示サイズの変化を抑制することで実現されている。この場合、撮像画像中のマーカ１１が小さい場合と大きい場合とで、オブジェクト画像１２のサイズはいくらか変化するものの、大きくは変化しない。
　なお、このようなグラフの形状は一例にすぎず、オブジェクト画像１２のサイズが大きくなりすぎたり小さくなりすぎたりすることによる視認性の低下を防ぐものであれば、他にもさまざまな設定が可能である。例えば、オブジェクト画像１２の初期表示サイズを、撮像画像中のマーカ１１のサイズに関わらず一定値にすることも可能である。また、図示された曲線の代わりに、傾きの緩やかな直線を設定することも可能である。
　一方、オブジェクト画像１２の初期表示サイズの決定後の表示サイズは、上述した初期サイズの決定とは異なり、撮像画像中のマーカ１１のサイズの変化に大きく依存して変化しうる。図示された例では、設定された初期表示サイズ（例えば点Ｐｓおよび点Ｐｂによって表されるサイズ）を基準にして、撮像画像中のマーカ１１のサイズが大きくなった場合にはオブジェクト画像１２のサイズがより大きくなり、逆にマーカ１１のサイズが小さくなった場合にはオブジェクト画像のサイズがより小さくなる。
　この場合のオブジェクト画像１２の表示サイズの変化を示すグラフ（破線で示す）は、初期表示サイズの変化を示すグラフ（実線で示す）よりもずっと急な形状を有するものでありうる。これは、一つには、ユーザがオブジェクト画像１２の表示を拡大／縮小しようと意図した場合、ユーザが端末装置１００を動かすことが可能な範囲は限られているためである。例えば、道路を挟んだ位置にあるポスター１０を撮像したときに表示されたオブジェクト画像１２を拡大したいために、わざわざ道路を横断してポスター１０に近づくユーザは少ない。本実施形態では、オブジェクト画像１２の初期表示サイズが決定された後は、撮像画像に含まれるマーカ１１のサイズの変化に応じてオブジェクト画像１２のサイズを大きく変化させることで、「オブジェクトが近づけば大きくなり、遠ざかれば小さくなる」というリアリティを保つ。
　（４－２．画像の選択）
　また、別の例として、掲示板に貼られたポスター１０をほぼ同じ高さから観察する場合と、ビルの外壁の高い位置に貼られたポスター１０を地上から観察する場合とで、端末装置１００（と視点を共有するユーザ）がポスター１０を観察するときの仰角が大きく異なる。ここまでの例で説明したオブジェクト画像１２は、いずれも正面、つまりほぼ同じ高さから見た画像であるが、このような画像が、仰角が大きい場合、つまりユーザが高い位置にあるポスター１０を見上げている場合にも表示されると、見上げているにも関わらず正面からの画像が表示され、ＡＲとしての表示に違和感が生じる場合がある。
　そこで、本開示の一実施形態では、端末装置１００において最初にオブジェクト画像１２が表示されるとき、より具体的には例えばオブジェクト画像１２を表示させるアプリケーションが起動されたときの、端末装置１００（視点位置）に対するマーカ１１の仰角（見上げる場合）または俯角（見下ろす場合）に応じて、オブジェクト画像１２として表示される各オブジェクトの上下方向の向きが決定される。その後は、基本的に初期に選択されたオブジェクト画像１２を引き続き表示するが、ユーザがポスター１０を視認する角度の変化が生じた場合には表示するオブジェクト画像１２を切り替えてもよい。
　ここで、視点位置に対するマーカ１１の仰角または俯角は、例えば撮像画像に含まれるマーカ１１の形状に基づいて算出することが可能である。さらに、端末装置１００が有する加速度センサなどのセンサの検出結果を併用して角度検出の精度を向上させてもよい。
　図１３および図１４は、本開示の一実施形態においてユーザの目線に応じて表示されるオブジェクト画像の例を示す図である。図１３は、端末装置１００とほぼ同じ高さにあるポスター１０ｍに基づいてオブジェクト画像１２ｍを表示する場合を示し、図１４は、端末装置１００よりも高い位置にあるポスター１０ｈに基づいてオブジェクト画像１２ｈを表示する場合を示す。
　図示されるように、ユーザが端末装置１００を介してポスター１０ｍを観察する場合には、撮像画像に含まれるマーカ１１ｍの形状から、視点位置に対するマーカの仰角が０に近い（つまり俯角も０に近い）ことが判定され、正面から見た状態のオブジェクト画像１２ｍが表示される。本実施形態の例において、オブジェクト画像１２はステージ上で演奏するバンドのメンバーを表示する画像であるため、正面から見た状態のオブジェクト画像１２ｍは、例えばバンドの演奏を比較的ステージから遠い客席から鑑賞しているような画像であるともいえる。
　一方、ユーザが端末装置１００を介してポスター１０ｈを観察する場合には、撮像画像に含まれるマーカ１１ｈの形状から、視点位置に対するマーカ１１の仰角が比較的大きいことが判定され、下から見上げた状態のオブジェクト画像１２ｈが表示される。このオブジェクト画像１２ｈは、例えばバンドの演奏をステージの間近から鑑賞しているような画像であるともいえる。このように、オブジェクト画像１２によって表示されるオブジェクトの上下方向の向きが変化し、ユーザの目線に応じて正面から見たり、見上げたり、見下ろしたりする画像が表示されることによって、リアリティがさらに向上する。
　（４－３．処理フロー）
　図１５は、本開示の一実施形態における画像表示の処理の例を示すフローチャートである。図１５に示される例には、上記のスケールの設定およびユーザ目線との関係を反映した画像の選択の処理が含まれている。
　まず、端末装置１００のカメラの位置（視点位置）を示す情報が、視点位置行列として取得される（ステップＳ３０１）。視点位置行列は、例えば時系列で複数回にわたって取得され、端末装置１００のカメラの位置の変化を示す。次に、視点位置行列の取得が２回目以降であるか否かが判定され（ステップＳ３０３）、２回目以降でなければ（ＮＯ、すなわち１回目の場合）、上述したようなスケールの計算および／または目線の角度に応じたオブジェクト画像の選択が実施される（ステップＳ３０５）。これが、上記の説明でいう「最初にオブジェクト画像１２が表示されるとき」の処理に相当する。一方、２回目以降である場合（ＹＥＳ）、ステップＳ３０５の処理は実行されない。
　次に、描画に関する設定処理が実行される（ステップＳ３０７）。ここでの処理は、例えば上記で図６～図９を参照して説明したような、処理負荷の軽減のために描画対象を限定したり描画時の設定を変更したりする処理を含む。ここでの設定に従って画像がデコードされ（ステップＳ３０９）、撮像画像に重畳して描画されて出力される（ステップＳ３１１）。以上の処理が、終了条件が満たされるまで繰り返される（ステップＳ３１３）。
　（５．音声の処理）
　次に、図１６を参照して、本開示の一実施形態における音声の処理の例について説明する。
　ここまでは、画像を観察するユーザの状態に応じて画像の表示を制御する例について説明してきた。同様の制御が、音声についても可能である。音声の場合も、例えば端末装置１００の姿勢や端末装置１００とポスター１０との位置関係に関わらず同じ音声が再生されると、例えばオブジェクト画像１２の中の特定の部分に注目してその部分に端末装置１００を近づけたような場合にも音声が変化せず、リアリティが減殺されてしまう。こうした状況は、例えば演奏するバンドのメンバーを表示するオブジェクト画像１２のように、個々のオブジェクトに対応する音（例えば、各メンバーが演奏している楽器の音、またはそれをステージ上のスピーカから出力した音）によって音場が形成されていることが想定される場合に特にあてはまる。
　図１６は、本開示の一実施形態における音声出力の処理の例を示すフローチャートである。処理では、まず、端末装置１００のカメラの位置（視点位置）を示す情報が、視点位置行列として取得される（ステップＳ４０１）。視点位置行列は、例えば所定の間隔で連続して取得され、端末装置１００のカメラの位置の変化を示す。次に、視点位置行列の取得が２回目以降であるか否かが判定され（ステップＳ４０５）、２回目以降でなければ（ＮＯ，すなわち１回目の場合）、画像のついての処理として上述したスケールの計算が実行される。
　なお、ステップＳ４０５の処理では、対象が音声であるため、算出されるのはオブジェクト画像１２の初期表示サイズではなく音声の初期音量でありうる。音声についても、現実の世界では音源が近いほど音量が大きく、遠いほど音量が小さくなるため、端末装置１００とポスター１０との距離が大きくなるにつれて、オブジェクト画像１２とともに出力される音声の音量を小さくしてもよい。ただし、画像のスケールについて説明したのと同様に、音声が大きすぎたり小さすぎたりするのも、ユーザにとってよいことではない。そこで、この例では、音声についても、画像の場合と同様に、端末装置１００において最初にオブジェクト画像１２に伴う音声が出力されるときの撮像画像に含まれるマーカ１１のサイズに応じて音声の初期音量が決定される。
　次に、音源距離計算が実行される（ステップＳ４０７）。ここでは、例えば図５に示した例のように定義されたオブジェクトおよびユーザの位置に基づいて、ユーザと音源との距離が算出される。端末装置１００の姿勢や端末装置１００とポスター１０との位置関係に応じて再生される音声を変化させるためには、例えばオブジェクトおよびユーザの位置に関連付けて音源の位置が設定される。なお、この場合、再生される音声は、音源ごとに分離して提供され、ユーザと音源との位置関係に応じて異なる割合でミキシングされうる。
　例えば図１に示す例の場合、ステージ上の左側と右側に、それぞれステレオの左チャネルと右チャネルとを再生する音源の位置が設定されてもよい。この場合、ユーザの位置から左右の音源の位置までの距離（音源距離）を算出することによって、例えばユーザがオブジェクト画像１２を左側から観察すれば左チャネルの音がより大きく聞こえ、右側から観察すれば右チャネルの音がより大きく聞こえるように音声をミキシングすることが可能である。あるいは、ステージ上の各メンバーの位置に、それぞれのメンバーの声または演奏している楽器の音を再生する音源の位置が設定されてもよい。この場合、ユーザの位置から各メンバーを表示するオブジェクトまでの距離（音源距離）を算出することによって、例えばユーザがドラムを演奏するメンバーを表示するオブジェクト画像１２ｃに近づけばドラムの音が大きく聞こえ、ギターを演奏するメンバーを表示するオブジェクト画像１２ｄに近づけばギターの音が大きく聞こえるように音声をミキシングすることが可能である。
　次に、ステップＳ４０５における初期音量の計算と、ステップＳ４０７における音源距離計算との結果を利用して、出力される音量の計算が実行される（ステップＳ４０９）。そして、この計算の結果に基づいて音声がデコードされる（ステップＳ４１１）。
　ここで、付加的な構成として、端末装置１００では、バイブレータを用いて、音声出力時に重低音を表現する触覚へのフィードバックを実施してもよい。この場合、フィードバックの機能が有効であるか否かが判定され（ステップＳ４１３）、有効である場合（ＹＥＳ）、バイブレーションを設定する（ステップＳ４１５）。一方、フィードバックの機能が実装されていても、有効ではない場合（ＮＯ）、バイブレーションは設定されない。
　次に、端末装置１００のスピーカなどの出力装置を介して音声が出力される（ステップＳ４１７）。上記のステップＳ４１５でバイブレーションが設定された場合、端末装置１００のバイブレータが設定に応じて駆動される。以上の処理が、終了条件が満たされるまで繰り返される（ステップＳ４１９）。
　以上のような処理によれば、音声についても、画像の場合と同様に、ユーザが端末装置１００を介してポスター１０を観察する場合の状況に左右されることなく、リアリティをもった音声出力を実現することができる。
　（６．ＳＬＡＭを利用した表示）
　次に、図１７～図２１を参照して、本開示の一実施形態におけるＳＬＡＭ（Simultaneous　Localization　and　Mapping）を利用した画像の表示の例について説明する。
　ＳＬＡＭは、周辺環境をセンシングした結果に基づいて、周辺環境の中で自らを定位する（Localize）とともに周辺の地形モデルを作成する（Map）技術である。この技術自体は公知であるため詳細な説明は省略するが、この技術を本実施形態における端末装置１００に適用し、地形モデルに応じて各オブジェクト画像の表示を制御することで、周辺環境に適応したより適切なオブジェクト画像の表示が可能になる。
　（６－１．影の表示）
　図１７～図１９は、本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する例を示す図である。図示された例において、オブジェクトｏｂｊと、その影Ｓｈａｄｏｗとは、いずれもオブジェクト画像によって表示される。図１７は、通常の場合のオブジェクトｏｂｊの影Ｓｈａｄｏｗ＿ｎの表示の例を示す。図１８は、背後に壁がある場合のオブジェクトｏｂｊの影Ｓｈａｄｏｗ＿ｗの表示の例を示す。この場合、影Ｓｈａｄｏｗ＿ｗは、壁に沿って立ち上がって表示される。図１９は、背後が崖になっている場合のオブジェクトｏｂｊの影Ｓｈａｄｏｗ＿ｃの表示の例を示す。この場合、影Ｓｈａｄｏｗ＿ｃは、崖の縁で切れて表示される。
　このような表示は、例えば、ＳＬＡＭを利用して端末装置１００の撮像画像から特徴点によって構成されるランドマークを検出し、検出されたランドマークを立方体などによって近似して地形モデル化することによって可能である。例えば図１８の例であれば、オブジェクトｏｂｊの背後に傾斜の変化を示す特徴点があることが検出され、これに基づいて壁面を構成する立方体の地形モデルを生成し、影の表示がこの地形モデルに応じて補正された結果、立ち上がって表示される。どの面が床でどの面が壁であるかは、例えば端末装置１００が有する加速度センサを用いて、撮像画像の傾きを検出することで特定することが可能である。
　図２０は、本開示の一実施形態において、ＳＬＡＭを利用してオブジェクトの影を表示する処理の例を示すフローチャートである。まず、例えばＧＰＳ（Global　Positioning　System）などを利用して端末装置１００の位置を特定する（ステップＳ５０１）。次に、特定された位置に基づいて、端末装置１００が屋外にあるか屋内にあるかを判定する（ステップＳ５０３）。ここで、端末装置１００が屋外にあると判定された場合（ＹＥＳ）、ステップＳ５０１で取得された位置情報と時刻情報とに基づいて、端末装置１００の位置における太陽の位置が計算される（ステップＳ５０５）。この場合、オブジェクトの影の向きは、太陽の位置に基づいて決定される。一方、ステップＳ５０３において端末装置１００が屋外にない（つまり屋内にある）と判定された場合、太陽の位置は計算されず、代わりに所定の位置に屋内の光源が配置されている（例えば、点光源が上方に複数配置されている）ことを仮定して影の向きが決定される。
　次に、端末装置１００の撮像画像を入力として用いてＳＬＡＭを利用し、撮像画像に含まれるランドマーク（ＳＬＡＭランドマーク）を取得する（ステップＳ５０７）。このランドマークを立方体モデル化した（ステップＳ５０９）結果に基づいて、オブジェクト画像に影を重畳して表示させる（ステップＳ５１１）。ここで重畳される影の向きは、上記のステップＳ５０１～Ｓ５０５で決定された向きである。以上のステップＳ５０７～Ｓ５１１の処理（ＳＬＡＭランドマークの取得から影の重畳表示まで）は、終了条件が満たされるまで繰り返される（ステップＳ５１３）。
　（６－２．床面基準表示）
　図２１は、本開示の一実施形態において、床面を基準にしてオブジェクトを表示する例を示す図である。例えば上述した図１の例では、ポスター１０に含まれるマーカ１１を基準にしてオブジェクト画像１２が表示されていた。この場合、オブジェクト画像１２が表示される位置はマーカ１１を基準にして設定されるため、例えばステージを表示するオブジェクト画像１２ａを床面に一致して表示させる場合、ポスター１０と床面との位置関係を予め調整する必要があった。
　上記の場合、例えば、図２１の左側に示すように、ポスター１０ｔが誤って傾いて貼られていると、オブジェクトｏｂｊ＿ｔも傾いて表示されてしまう。図示された例のように、オブジェクトが直接床面に立つように見える表示が意図されている場合、このような表示は特に大きな違和感をもたらす。一方、上記の影の表示について説明したのと同様に、ＳＬＡＭを利用して床面の領域が特定されていれば、図２１の右側に示すように、オブジェクトｏｂｊを床面を基準にして表示させることができ、ポスター１０ｔが傾いている場合でも正しくオブジェクトｏｂｊを表示させることができる。
　（７．ユーザの注目領域情報の利用）
　次に、図２２～２４を参照して、本開示の一実施形態におけるユーザの注目領域情報の利用の例について説明する。
　本実施形態の画像の表示では、例えば図６～図９の例で説明したように、画像の表示範囲（例えば図８の例を参照）やユーザの視点位置（例えば図５の例を参照）などに基づいて、ユーザが画像の中で特に注目している可能性がある領域（注目領域）を特定することが可能である。この領域の情報は、上記の例における表示処理負荷の軽減だけではなく、他にもさまざまな利用が可能である。
　（７－１．コメントの表示）
　図２２～図２４は、本開示の一実施形態におけるコメントの表示の例を示す図である。
　図２２は、複数のユーザがそれぞれ注目している領域に、各ユーザが入力したコメントが表示される例を示す。ディスプレイ１１０に表示されたオブジェクト画像１２に重畳して表示されるコメント文字列３１は、各コメントを入力したユーザの注目領域に含まれるオブジェクト画像に追加される。例えばオブジェクト画像１２ｂを含む領域に注目しているユーザが入力したコメントを表示するコメント文字列３１は、オブジェクト画像１２ｂに追加される。一方、例えばオブジェクト画像１２ｅを含む領域に注目しているユーザが入力したコメントを表示するコメント文字列３１は、オブジェクト画像１２ｅに追加される。
　なお、表示されたコメントは、例えばその場にとどまって表示されてやがて消えてもよいし、表示された位置を起点にしてスクロールして表示されてもよい。また、コメントの文字のサイズは、例えば、ユーザの注目領域（例えば図５の例を参照）とユーザの視点位置との距離に応じて設定されてもよい。端末装置１００におけるコメントの入力方法は、キーボードを用いた入力には限られず、音声認識を利用した入力であってもよい。
　図２３は、図２２の例の変形例であり、ディスプレイ１１０を横向きにしてオブジェクト画像１２を観察しているユーザが入力したコメントが横向きのコメント文字列３１ｈとして表示され、ディスプレイ１１０を縦向きにしてオブジェクト画像１２を観察しているユーザが入力したコメントが縦向きのコメント文字列３１ｖとして表示される例を示す。これによって、例えばコメントを入力したユーザがどのような状態でオブジェクト画像１２を観察しているかが、コメントを見た他のユーザにもわかる。
　図２４は、図２２の例の別の変形例であり、コメント文字列３１がバブル３２の中に表示される例を示す。これによって、オブジェクト画像１２とコメント文字列３１が直接重なり合わないために、画像の視認性が向上する。また、バブル３２は、最初はコメント文字列３１を含まずに小さなサイズで表示され、表示された画像に対するユーザの操作によって選択された場合に拡大されてコメント文字列３１を表示してもよい。この場合、コメント文字列３１が多くて表示しきれない場合にも、コメントが存在することを示すことで、オブジェクト画像１２のどの部分に注目しているユーザが多いかがわかる。
　上記の例のさらなる変形例として、注目領域に対するユーザの所定のアクションに応じて、バブル３２だけが表示されてもよい。所定のアクションは、例えばディスプレイ１１０のタップなどであってもよい。このアクションは、ユーザの注目領域を直接的に示す情報として用いられてもよい。例えば、オブジェクト画像１２としてバンドのメンバー全員が表示された状態で、ユーザがディスプレイ１１０でオブジェクト画像１２ｂが表示された領域をタップした場合、このタップの位置が注目領域と判定され、この領域にバブル３２が表示されてもよい。あるいは、タップは領域を指定しないアクションとして取得され、タップの位置とは関係なく、画像の表示範囲やユーザの視点位置などに基づいて特定された領域にバブル３２が表示されてもよい。
　図示しないが、ユーザの注目領域情報の利用例は他にも多くある。例えば、ユーザの注目領域に含まれていたオブジェクトを特定することによって、ユーザの興味の対象になっているバンドやグループのメンバーなどを特定することができる。この結果は、例えばそのメンバーに関連するコンテンツの推薦や、メンバーの人気度計測などに利用することができる。
　また、ユーザの注目領域に含まれているオブジェクトなどに応じて、画像の表示や音声の出力を変化させることも可能である。例えば、注目領域に含まれるオブジェクト画像が多視点画像として表示されたり、高解像度で表示されたりしてもよい。また、注目領域に対するユーザの所定のアクションが取得された場合に、注目領域に含まれるオブジェクト画像が、オブジェクトがユーザのアクションに対するリアクションをする特別なオブジェクト画像に差し替えられてもよい。また、注目領域に含まれるオブジェクトに対応する音声が、強調して出力されてもよい。
　（８．ユーザの視点位置情報の利用）
　次に、図２５～図２９を参照して、本開示の一実施形態におけるユーザの視点位置情報の利用の例について説明する。
　本実施形態の画像の表示では、例えば図５の例で説明したように、画像を観察するユーザの視点位置を特定することが可能である。この視点位置の情報についても、注目領域の情報と同様に、さまざまな利用が可能である。
　（８－１．クーポンの表示）
　図２５は、本開示の一実施形態におけるクーポンの表示の例を示す図である。図示された例では、クーポン画像４１が、ディスプレイ１１０に表示されているオブジェクト画像１２から放出されて、ユーザに向かって飛んでくる。このような表示は、端末装置１００の位置がユーザの視点位置として特定されており、表示されるクーポン画像４１の移動先として端末装置１００の位置を指定することができるために可能になる。クーポン画像４１の移動先をランダムに設定すれば、ユーザに向かって飛んでくるクーポン画像４１とそうではないクーポン画像４１とが表示され、クーポン画像４１の表示にゲーム性をもたせることができる。クーポン画像４１は、例えばサインボールを表示するものであってもよい。
　なお、ユーザの視点位置は例えば端末装置１００とマーカ１１との位置関係に基づいて特定されるため、端末装置１００の撮像画像にマーカ１１が映らなくなる（マーカ１１をロストする）とクーポン画像４１をユーザに向けて飛んでくるように表示させることは困難である。しかし、例えば図１７～図２１を参照して説明したＳＬＡＭと加速度センサとの組み合わせを利用することによって、端末装置１００のカメラを上に向けた場合に上空を飛んでいくクーポン画像４１を表示することができる。
　（８－２．他のユーザとの画像共有）
　図２６は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の表示例を示す図である。図示された例では、ディスプレイに、ユーザ本人が観察している画像１１０ａに加えて、他のユーザが観察している画像１１０ｂ～１１０ｄが表示される。さらに、画像１１０ａには、他のユーザの視点位置を示すアイコン５１ｂ～５１ｄが表示される。
　このような表示によって、ユーザは、他のユーザがどのような視点位置からどのような画像を観察しているかを知ることができる。例えば、ユーザは、他のユーザ（Ｂｒｉａｎ）が観察している画像１１０ｂに映っているオブジェクト画像１２ｅが気に入れば、画像１１０ａに表示された視点位置アイコン５１ｂ（Ｂｒｉａｎの視点）を参照して同じ視点位置に移動し、Ｂｒｉａｎと同じオブジェクト画像１２ｅの表示を共有することができる。
　　（システム構成例）
　図２７は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第１のシステム構成例を示す図である。図示された例では、クライアント（端末装置）１００ａ～１００ｄが、コンテンツサーバ２１０と、視点位置情報交換サーバ２２０とにそれぞれ接続される。コンテンツサーバ２１０は、オブジェクト画像１２を各クライアントに配信するサーバである。視点位置情報交換サーバ２２０は、各クライアントの間で視点位置情報を交換するためのサーバである。
　上述のように、各ユーザの視点位置は、例えば視点位置行列のような数値情報として与えられ、データ量としては小さい。従って、各クライアントの間で視点位置情報を交換する上記の例は、通信帯域や処理能力に制限がある場合に適する。各クライアントでは、他のクライアントから受信した視点位置情報に基づいて、それぞれのクライアントで表示されているオブジェクト画像１２が表示される。ただし、この場合、それぞれのクライアントでオブジェクト画像１２とともに表示されている実空間の画像（スルー画像）は、別のクライアントでは表示されない。従って、例えば図２６の例における画像１１０ｂ～１１０ｄの背景には、予め用意された仮想的な画像などが表示されうる。
　図２８は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第２のシステム構成例を示す図である。図示された例では、クライアント（端末装置）１００ａ～１００ｄが、コンテンツサーバ２１０と、視点位置情報交換サーバ２２０と、スルー画像交換サーバ２３０とにそれぞれ接続される。スルー画像交換サーバ２３０は、各クライアントが撮像画像として取得しているスルー画像を交換するためのサーバである。
　この例では、他のクライアントで表示されているオブジェクト画像１２を、それぞれのクライアントでオブジェクト画像１２とともに表示されている実空間の画像（スルー画像）とともに表示することが可能である。従って、例えば図２６の例であれば、画像１１０ｃにはＲｏｇｅｒがオブジェクト画像１２を観察しているときに背後に映っている実空間の画像が表示されうる。
　各クライアントでのスルー画像は、視点位置情報に比べるとデータ量が大きい。従って、この例では、通信帯域や処理能力がある程度必要である。しかし、例えば一部のクライアントについて通信帯域が狭いような場合は、そのクライアントについてはスルー画像を交換しないことによって、上記の図２７の例と同様にオブジェクト画像１２に限定した画像の共有が可能である。また、ユーザが明示的な操作によってスルー画像の共有を無効にした場合も、そのユーザのクライアントからはスルー画像が送信されない（他のユーザのスルー画像がそのクライアントに送信されることはありうる）。このように、上記の例では、必要に応じてスルー画像の交換をＯＮ／ＯＦＦできるという利点がある。
　上記の例の変形例として、視点位置情報交換サーバ２２０を設けずに、スルー画像交換サーバ２３０を用いて各クライアントのスルー画像を交換してもよい。この場合は、例えばスルー画像にマーカ１１が映っていれば、マーカ１１の形状に基づいてそれぞれのクライアントでの視点位置を特定することが可能である。従って、各クライアントにおいてマーカ１１がロストされていなければ、視点位置情報が交換されなくても図２６に示したように画像を共有して表示することが可能である。
　図２９は、本開示の一実施形態において、他のユーザとの間で画像の表示を共有する場合の第３のシステム構成例を示す図である。図示された例では、クライアント（端末装置）１００ａ～１００ｄが、コンテンツサーバ２１０と、画像交換サーバ２４０とにそれぞれ接続される。画像交換サーバ２４０は、各クライアントがスルー画像にオブジェクト画像１２を重畳した合成済み画像を交換するためのサーバである。
　この例では、各クライアントで既にオブジェクト画像１２が重畳された画像が交換されるため、受信側のクライアントでの処理が単純になる。ただし、合成済み画像のデータ量は大きいため、必要とされる通信帯域も大きい。また、スルー画像とオブジェクト画像１２との解像度などを独立して設定することができないため、通信帯域や／ユーザ動作の制約で画像の解像度を下げる必要が生じた場合は、スルー画像およびオブジェクト画像１２ともに解像度が下がってしまう。一方、上記の図２８の例では、他のクライアントで表示されるオブジェクト画像１２も受信側のクライアントで描画されるため、スルー画像の解像度を下げつつオブジェクト画像１２の解像度は維持するといったことが可能である。
　（９．機能構成例）
　次に、図３０～図３３を参照して、本開示の一実施形態に係る画像表示のための機能構成の例について説明する。あわせて、表示される画像を録画する場合の構成例についても説明する。
　図３０は、本開示の一実施形態に係る画像表示のための第１の機能構成例を示す図である。第１の機能構成例は、ディスプレイ１１０、スピーカ１２０、カメラ１３０、視点位置検出部１４０、表示制御部１５０、音声制御部１６０を含む。
　これらの機能構成は、例えば端末装置１００のようなクライアントに含まれる。視点位置検出部１４０、表示制御部１５０、および音声制御部１６０の機能は、例えばＣＰＵ（Central　Processing　Unit）がＲＡＭ（Random　Access　Memory）またはＲＯＭ（Read　Only　Memory）に格納されたプログラム命令を実行することによって実現されうる。
　視点位置検出部１４０は、画像を観察するユーザの状態を検出する状態検出部の一例である。視点位置検出部１４０は、カメラ１３０によって取得された実空間の撮像画像に含まれるマーカ１１を認識する。マーカ１１の特徴は、予め視点位置検出部１４０に登録されうる。視点位置検出部１４０は、さらに、検出されたマーカ１１の形状に基づいて、マーカ１１を基準にした端末装置１００の位置、つまり視点位置を検出する。例えば、視点位置検出部１４０は、撮像画像に含まれるマーカ１１のサイズによって、マーカ１１から端末装置１００までの距離を検出する。また、例えば、視点位置検出部１４０は、撮像画像に含まれるマーカ１１の変形によって、マーカ１１に対する端末装置１００の角度を検出する。
　別の例として、視点位置検出部１４０は、マーカ１１に依存せずにユーザの視点位置を検出してもよい。例えば、上述したＳＬＡＭを利用して床面などを検出したり、加速度センサなどのセンサの検出結果を用いて端末装置の傾きを検出したりすれば、マーカに依存せずにユーザの視点位置を検出することが可能である。この場合、オブジェクト画像は、例えば床面を基準として表示され、端末装置の傾きや上下方向の移動に応じて表示が変化するものでありうる。オブジェクト配置の基準として、例えばオブジェクト画像の表示開始時に撮像画像に映っていた任意の実空間オブジェクトを設定してもよい。
　表示制御部１５０は、コンテンツデータ１７０と、カメラ１３０から取得した実空間の画像とに基づいて、デコード、合成、描画などの処理を実行し、ディスプレイ１１０にＡＲ画像を表示させる。表示制御部１５０は、例えば視点位置検出部１４０によって検出された視点位置に基づいて、オブジェクト画像１２の視点を特定し、コンテンツデータ１７０を参照して当該視点から観察されるオブジェクト画像１２を生成する。さらに、表示制御部１５０は、カメラ１３０から取得した実空間の画像にオブジェクト画像１２を重畳させた画像を生成し、この画像をディスプレイ１１０に表示させる。
　なお、表示制御部１５０は、コンテンツデータ１７０の受信からディスプレイ１１０への表示までの間の各機能を実現する機能部分であるため、例えば上述された負荷軽減のための処理、スケールの設定、画像の選択、ＳＬＡＭを利用した表示（ＳＬＡＭによる地形モデルの検出自体は視点位置検出部１４０で実行されうる）などは、表示制御部１５０によって実現されうる。
　上記の例のいくつかにおいて、表示制御部１５０は、複数の表示コンテンツ（オブジェクト画像）を画像としてディスプレイ１１０に表示させ、この画像を観察するユーザの状態（例えば視点位置検出部１４０などによって検出される）に応じて各表示コンテンツ（オブジェクト画像）の挙動を制御するものといえる。
　また、表示制御部１５０は、コンテンツデータ１７０とともに、例えばオブジェクト画像１２とともに他のユーザのコメントを表示する場合のコメント（表示位置を示す情報を含む）、クーポン画像４１、他のユーザが観察している画像１１０ｂ～１１０ｄ、他のユーザの視点位置を示すアイコン５１ｂ～５１ｄなどの情報を取得してもよい。コンテンツデータ１７０は、サーバに格納されていてもよいし、クライアントの内部に格納されていてもよい。
　音声制御部１６０は、コンテンツデータ１７０に基づいて、デコード、合成などの処理を実行し、スピーカ１２０からＡＲ画像に対応した音声を出力させる。音声制御部１６０は、例えば上記で音声の処理の例として説明した視点位置のようなユーザの状態に応じて音声のミキシングなどの設定を変化させる機能を実現しうる。
　図３１は、本開示の一実施形態に係る画像表示のための第２の機能構成例を示す図である。第２の機能構成例は、ディスプレイ１１０、スピーカ１２０、カメラ１３０、視点位置／ユーザ動作検出部１４２、入力部１４４、表示制御部１５０、音声制御部１６０を含む。
　上記の第１の機能構成例と同様に、これらの機能構成は、例えば端末装置１００のようなクライアントに含まれる。視点位置／ユーザ動作検出部１４２、表示制御部１５０、および音声制御部１６０の機能は、例えばＣＰＵがＲＡＭまたはＲＯＭに格納されたプログラム命令を実行することによって実現されうる。
　視点位置／ユーザ動作検出部１４２は、画像を観察するユーザの状態を検出する状態検出部の機能と、ユーザの動作を検出する動作検出部の機能とをあわせもつ。視点位置／ユーザ動作検出部１４２は、上記の第１の機能構成例における視点位置検出部１４０と同様に視点位置を検出するのに加えて、ユーザの動作を検出する。ユーザの動作は、例えば入力部１４４を介して検出されうる。入力部１４４は、例えばタッチパッド、キーボード、マイクなどの各種入力装置であり、タップ、文字入力、音声入力などによってユーザの操作入力を受け付ける。視点位置／ユーザ動作検出部１４２は、こうした操作入力を、ユーザの動作として検出する。視点位置／ユーザ動作検出部１４２は、視点位置の情報とともに、取得したユーザの動作に関する情報を表示制御部１５０に提供する。さらに、視点位置／ユーザ動作検出部１４２は、これらの情報を音声制御部１６０に提供してもよい。
　この第２の機能構成例において、表示制御部１５０は、例えば上述されたコメント（コメントが表示されないバブルも含む）の表示におけるコメントの内容および表示位置、ユーザの明示的な操作によって指定される注目領域の情報などを、視点位置／ユーザ動作検出部１４２から取得しうる。
　図３２は、本開示の一実施形態に係る画像表示のための第３の機能構成例を示す図である。第３の機能構成例は、ディスプレイ１１０、スピーカ１２０、注目領域検出部１４６、表示制御部１５０、および音声制御部１６０を含む。さらに、機能構成は、カメラ１３０、入力部１４４、および視点位置／ユーザ動作検出部１４２（または視点位置検出部１４０）の一部または全部を付加的に含みうる。
　上記の第１の機能構成例と同様に、これらの機能構成は、例えば端末装置１００のようなクライアントに含まれる。注目領域検出部１４６、表示制御部１５０、および音声制御部１６０の機能は、例えばＣＰＵがＲＡＭまたはＲＯＭに格納されたプログラム命令を実行することによって実現されうる。
　注目領域検出部１４６は、画像を観察するユーザの状態（画像に注目している状態）を検出する状態検出部の一例である。注目領域検出部１４６は、例えば上記の図８に示した例のように、ディスプレイ１１０に表示される画像の所定の位置として設定される注目領域を検出する。そのため、注目領域検出部１４６は、表示制御部１５０から、ディスプレイ１１０に表示される画像の情報を取得する。
　図示されているように、この第３の機能構成例では、カメラ１３０などの機能構成を含まないことが可能である。つまり、オブジェクト画像１２は、必ずしも実空間の撮像画像に重畳して表示されるＡＲ画像でなくてよい。この場合、ユーザの仮想的な視点位置は、例えばディスプレイ１１０に表示された画像に対するズームやパンなどのユーザ操作によって設定されうる。なお、ユーザ操作による視点位置の変更は、ＡＲ画像についても有効でありうる。この場合、例えば視点位置／ユーザ動作検出部１４２によって検出された視点位置が、ユーザ操作によって強制的に変更されうる。
　上記のように、この第３の機能構成例においても、入力部１４４および視点位置／ユーザ動作検出部１４２が設けられうる。この場合、注目領域検出部１４６は、視点位置／ユーザ動作検出部１４２によりユーザの動作の検出結果に基づいて、ユーザが明示的に指定した注目領域を取得してもよい。
　　（録画する場合の構成例）
　図３３は、本開示の一実施形態において、表示される画像を録画する場合の構成例である。上述のように、本実施形態に係る画像表示の処理が、多くの場合モバイル装置である端末装置１００で実行されるため、利用可能なリソースが限られる。従って、表示される画像は、例えば多視点画像ではなく２次元画像であったり、解像度が低かったりといったように、品質が抑制された画像である可能性がある。この画像をそのまま録画すると、当然品質は低いままである。
　本実施形態では、録画の場合は画像をリアルタイムで処理する必要がないことに着目し、画像の表示時に必要最小限のデータを記録し、後で高品質なコンテンツデータから抽出したオブジェクト画像を再度合成することによって、より高品質な画像を記録することを可能にする。
　図示された例では、クライアントの機能構成として、ディスプレイ１１０、カメラ１３０、視点位置検出部１４０、表示制御部１５０が示されている。音声に関する機能構成は図示を省略されているが、上記の図３１～図３２の例と同様に設けられうる。表示される画像を録画するために、カメラ１３０は、撮像画像を表示制御部１５０に提供するとともに、ストレージ装置などに撮像画像データ１８４として記録する。一方、視点位置検出部１４０も、視点位置を検出して表示制御部１５０に提供するとともに、ストレージ装置などに視点位置データ１８０として記録する。
　記録された視点位置データ１８０は、記録用画像抽出部１８２に提供される。記録用画像抽出部１８２は、視点位置データ１８０を参照して、高品質コンテンツデータ１７２から記録用のオブジェクト画像を抽出する。ここで、高品質コンテンツデータ１７２は、コンテンツデータ１７０の一部または全部を、例えば多視点画像や高解像度画像などのより高品質なオブジェクト画像として表示するためのデータである。仮に表示制御部１５０が高品質コンテンツデータ１７２からオブジェクト画像を生成しようとすると、通信帯域や処理能力の制約から現実的でない場合が多い。しかし、事後的に記録用画像抽出部１８２で記録用画像を抽出する場合には、例えば時間の制約がないために十分に実現可能である。
　一方、記録された撮像画像データ１８４は、画像合成部１８６に提供される。画像合成部１８６は、撮像画像データ１８４から取得される撮像画像に、記録用画像抽出部１８２によって抽出されたオブジェクト画像を重畳して、録画実行時にディスプレイ１１０に表示されていたのと同様の画像を生成する。ただし、オブジェクト画像は、高品質コンテンツデータ１７２に基づく高品質な画像に置き換えられている。このようにして生成された画像は、記録用画像１８８として、クライアントに提供される。
　上記の説明から明らかなように、記録用画像抽出部１８２および画像合成部１８６は、表示制御部１５０と同様の処理を、高品質コンテンツデータ１７２を用いて実行するものといえる。記録用画像抽出部１８２は、高い処理能力が求められるためサーバで実現されることが望ましいが、クライアントで実現されてもよい。画像合成部１８６は、サーバで実現されてもよく、クライアントで実現されてもよい。これらの機能は、例えばＣＰＵがＲＡＭまたはＲＯＭに格納されたプログラム命令を実行することによって実現されうる。
　以上のような構成によって、クライアントでは、リアルタイムで表示した画像よりも高品質なオブジェクト画像が表示された画像を記録することができる。
　（１０．ハードウェア構成）
　次に、図３４を参照して、本開示の実施形態に係る表示制御装置のハードウェア構成について説明する。図３４は、表示制御装置のハードウェア構成を説明するためのブロック図である。図示された表示制御装置９００は、例えば、上記の実施形態におけるクライアント（端末装置）およびサーバを実現しうる。
　表示制御装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、表示制御装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、表示制御装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。表示制御装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、表示制御装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、表示制御装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、表示制御装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＰＤＰ（Plasma　Display　Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、表示制御装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
　ストレージ装置９１９は、表示制御装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、表示制御装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を表示制御装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、表示制御装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。
　撮像装置９３３は、例えば、ＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば表示制御装置９００の筐体の姿勢など、表示制御装置９００自体の状態に関する情報や、表示制御装置９００の周辺の明るさや騒音など、表示制御装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global　Positioning　System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。
　以上、表示制御装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（１１．補足）
　本開示の実施形態は、例えば、上記で説明したような表示制御装置、システム、表示制御装置またはシステムで実行される表示制御方法、表示制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）画像を観察するユーザの状態を検出する状態検出部と、
　複数の表示コンテンツが撮像画像に重畳された前記画像をディスプレイに表示させ、前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する表示制御部と
　を備える表示制御装置。
（２）前記状態検出部は、前記画像の中でユーザが注目している注目領域を検出し、
　前記表示制御部は、前記注目領域に含まれる表示コンテンツの挙動を変化させる、前記（１）に記載の表示制御装置。
（３）前記表示制御部は、前記注目領域に含まれる表示コンテンツのクオリティをより高くする、前記（２）に記載の表示制御装置。
（４）前記表示制御部は、前記注目領域に含まれる表示コンテンツの解像度を上げる、前記（３）に記載の表示制御装置。
（５）前記表示制御部は、前記注目領域に含まれる表示コンテンツが対応する視点数を増加させる、前記（３）または（４）に記載の表示制御装置。
（６）前記ユーザの動作を検出する動作検出部をさらに備え、
　前記表示制御部は、前記注目領域に含まれる表示コンテンツに前記ユーザの動作に対応する表示を追加する、前記（２）～（５）のいずれか１項に記載の表示制御装置。
（７）前記ユーザの動作は、コメントの入力であり、
　前記ユーザの動作に対応する表示は、前記コメントを表示する文字列である、前記（６）に記載の表示制御装置。
（８）前記状態検出部は、前記ユーザの動作に基づいて前記注目領域を検出する、前記（６）または（７）に記載の表示制御装置。
（９）前記状態検出部は、前記ディスプレイに表示された画像の中の所定の領域として前記注目領域を検出する、前記（２）～（７）のいずれか１項に記載の表示制御装置。
（１０）前記状態検出部は、空間において定義される前記ユーザの視点位置を検出し、
　前記表示制御部は、前記空間において表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるとともに、前記視点位置と前記表示位置との関係に基づいて前記各表示コンテンツの挙動を変化させる、前記（１）～（９）のいずれか１項に記載の表示制御装置。
（１１）前記表示制御部は、前記視点位置により近い表示位置を有するオブジェクトを表示する表示コンテンツのクオリティをより高くする、前記（１０）に記載の表示制御装置。
（１２）前記表示制御部は、前記視点位置および前記表示位置に基づいて前記各オブジェクトが前記画像に表示されるか否かを判定し、表示されないオブジェクトを表示する表示コンテンツを描画対象から除外する、前記（１０）または（１１）に記載の表示制御装置。
（１３）前記表示制御部は、前記各表示コンテンツをレイヤ画像として重畳表示させるとともに、前記視点位置の移動に応じて前記レイヤ画像を前記表示位置を基準にして回転させることによって前記各オブジェクトを前記視点位置に正対させる、前記前記（１０）～（１２）のいずれか１項に記載の表示制御装置。
（１４）前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
　前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記マーカから前記視点位置までの距離に応じて前記表示位置配置のスケールおよび前記オブジェクトの初期表示サイズを決定する、前記（１）～（１３）のいずれか１項に記載の表示制御装置。
（１５）前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
　前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記視点位置に対する前記マーカの仰角または俯角に応じて前記各表示コンテンツによって表示される前記各オブジェクトの上下方向の向きを決定する、前記（１）～（１４）のいずれか１項に記載の表示制御装置。
（１６）前記状態検出部は、前記ユーザが観察する実空間の地形モデルを検出し、
　前記表示制御部は、前記実空間において仮想的に表示位置が設定される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記地形モデルに応じて前記各表示コンテンツの挙動を制御する、前記（１）～（１５）のいずれか１項に記載の表示制御装置。
（１７）前記表示制御部は、前記複数のオブジェクトとして第１のオブジェクトとその影とを前記各表示コンテンツによって表示させるときに、前記影の表示を前記地形モデルに応じて補正する、前記（１６）に記載の表示制御装置。
（１８）前記画像に対応する音声の出力を制御し、前記ユーザの状態に応じて前記音声の設定を制御する音声制御部をさらに備える、前記（１）～（１７）のいずれか１項に記載の表示制御装置。
（１９）複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させることと、
　前記画像を観察するユーザの状態を検出することと、
　前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御することと
　を含む表示制御方法。
（２０）複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させる機能と、
　前記画像を観察するユーザの状態を検出する機能と、
　前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する機能と
　をコンピュータに実現させるためのプログラム。
　１０　　　ポスター
　１１　　　マーカ
　１２　　　オブジェクト画像
　２１　　　注目領域
　３１　　　コメント文字列
　３２　　　バブル
　４１　　　クーポン画像
　１００　　端末装置
　１１０　　ディスプレイ
　１２０　　スピーカ
　１３０　　カメラ
　１４０　　視点位置検出部
　１４２　　視点位置／ユーザ動作検出部
　１４４　　入力部
　１４６　　注目領域検出部
　１５０　　表示制御部
　１６０　　音声制御部
　１８２　　記録用画像抽出部
　１８４　　画像合成部

Claims (20)

  1. 　画像を観察するユーザの状態を検出する状態検出部と、
    　複数の表示コンテンツが撮像画像に重畳された前記画像をディスプレイに表示させ、前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する表示制御部と
    　を備える表示制御装置。
  2. 　前記状態検出部は、前記画像の中でユーザが注目している注目領域を検出し、
    　前記表示制御部は、前記注目領域に含まれる表示コンテンツの挙動を変化させる、請求項１に記載の表示制御装置。
  3. 　前記表示制御部は、前記注目領域に含まれる表示コンテンツのクオリティをより高くする、請求項２に記載の表示制御装置。
  4. 　前記表示制御部は、前記注目領域に含まれる表示コンテンツの解像度を上げる、請求項３に記載の表示制御装置。
  5. 　前記表示制御部は、前記注目領域に含まれる表示コンテンツが対応する視点数を増加させる、請求項３に記載の表示制御装置。
  6. 　前記ユーザの動作を検出する動作検出部をさらに備え、
    　前記表示制御部は、前記注目領域に含まれる表示コンテンツに前記ユーザの動作に対応する表示を追加する、請求項２に記載の表示制御装置。
  7. 　前記ユーザの動作は、コメントの入力であり、
    　前記ユーザの動作に対応する表示は、前記コメントを表示する文字列である、請求項６に記載の表示制御装置。
  8. 　前記状態検出部は、前記ユーザの動作に基づいて前記注目領域を検出する、請求項６に記載の表示制御装置。
  9. 　前記状態検出部は、前記ディスプレイに表示された画像の中の所定の領域として前記注目領域を検出する、請求項２に記載の表示制御装置。
  10. 　前記状態検出部は、空間において定義される前記ユーザの視点位置を検出し、
    　前記表示制御部は、前記空間において表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるとともに、前記視点位置と前記表示位置との関係に基づいて前記各表示コンテンツの挙動を変化させる、請求項１に記載の表示制御装置。
  11. 　前記表示制御部は、前記視点位置により近い表示位置を有するオブジェクトを表示する表示コンテンツのクオリティをより高くする、請求項１０に記載の表示制御装置。
  12. 　前記表示制御部は、前記視点位置および前記表示位置に基づいて前記各オブジェクトが前記画像に表示されるか否かを判定し、表示されないオブジェクトを表示する表示コンテンツを描画対象から除外する、請求項１０に記載の表示制御装置。
  13. 　前記表示制御部は、前記各表示コンテンツをレイヤ画像として重畳表示させるとともに、前記視点位置の移動に応じて前記レイヤ画像を前記表示位置を基準にして回転させることによって前記各オブジェクトを前記視点位置に正対させる、前記請求項１０に記載の表示制御装置。
  14. 　前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
    　前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記マーカから前記視点位置までの距離に応じて前記表示位置配置のスケールおよび前記オブジェクトの初期表示サイズを決定する、請求項１に記載の表示制御装置。
  15. 　前記状態検出部は、実空間に配置されたマーカを基準にして前記ユーザの視点位置を検出し、
    　前記表示制御部は、前記実空間において前記マーカを基準にして仮想的に表示位置が定義される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記視点位置に対する前記マーカの仰角または俯角に応じて前記各表示コンテンツによって表示される前記各オブジェクトの上下方向の向きを決定する、請求項１に記載の表示制御装置。
  16. 　前記状態検出部は、前記ユーザが観察する実空間の地形モデルを検出し、
    　前記表示制御部は、前記実空間において仮想的に表示位置が設定される複数のオブジェクトを前記各表示コンテンツによって表示させるときに、前記地形モデルに応じて前記各表示コンテンツの挙動を制御する、請求項１に記載の表示制御装置。
  17. 　前記表示制御部は、前記複数のオブジェクトとして第１のオブジェクトとその影とを前記各表示コンテンツによって表示させるときに、前記影の表示を前記地形モデルに応じて補正する、請求項１６に記載の表示制御装置。
  18. 　前記画像に対応する音声の出力を制御し、前記ユーザの状態に応じて前記音声の設定を制御する音声制御部をさらに備える、請求項１に記載の表示制御装置。
  19. 　複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させることと、
    　前記画像を観察するユーザの状態を検出することと、
    　前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御することと
    　を含む表示制御方法。
  20. 　複数の表示コンテンツが撮像画像に重畳された画像をディスプレイに表示させる機能と、
    　前記画像を観察するユーザの状態を検出する機能と、
    　前記ユーザの状態に応じて前記各表示コンテンツの挙動を制御する機能と
    　をコンピュータに実現させるためのプログラム。
PCT/JP2013/078592 2012-12-10 2013-10-22 表示制御装置、表示制御方法およびプログラム WO2014091824A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US14/433,073 US9613461B2 (en) 2012-12-10 2013-10-22 Display control apparatus, display control method, and program
EP13861660.2A EP2930693B1 (en) 2012-12-10 2013-10-22 Display control device, display control method and program
JP2014551923A JP6102944B2 (ja) 2012-12-10 2013-10-22 表示制御装置、表示制御方法およびプログラム
EP20177348.8A EP3734555A1 (en) 2012-12-10 2013-10-22 Display control apparatus, display control method, and program
US15/454,516 US10181221B2 (en) 2012-12-10 2017-03-09 Display control apparatus, display control method, and program
US16/194,543 US11321921B2 (en) 2012-12-10 2018-11-19 Display control apparatus, display control method, and program
US17/712,788 US20220222905A1 (en) 2012-12-10 2022-04-04 Display control apparatus, display control method, and program
US18/525,228 US20240096039A1 (en) 2012-12-10 2023-11-30 Display control apparatus, display control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012269191 2012-12-10
JP2012-269191 2012-12-10

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/433,073 A-371-Of-International US9613461B2 (en) 2012-12-10 2013-10-22 Display control apparatus, display control method, and program
US15/454,516 Continuation US10181221B2 (en) 2012-12-10 2017-03-09 Display control apparatus, display control method, and program

Publications (1)

Publication Number Publication Date
WO2014091824A1 true WO2014091824A1 (ja) 2014-06-19

Family

ID=50909597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/078592 WO2014091824A1 (ja) 2012-12-10 2013-10-22 表示制御装置、表示制御方法およびプログラム

Country Status (5)

Country Link
US (5) US9613461B2 (ja)
EP (2) EP2930693B1 (ja)
JP (1) JP6102944B2 (ja)
CN (1) CN103871092A (ja)
WO (1) WO2014091824A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016033764A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016038867A (ja) * 2014-08-11 2016-03-22 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
JP5899364B1 (ja) * 2015-09-17 2016-04-06 株式会社Ｃｙｇａｍｅｓ プレイヤの意図を予測してレンダリングするためのリソース配分を決定するプログラム、電子装置、システム及び方法
EP3059669A1 (en) * 2015-02-19 2016-08-24 Nokia Technologies OY Controlling display of video content
JP2017027206A (ja) * 2015-07-17 2017-02-02 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
JP2017103787A (ja) * 2014-02-14 2017-06-08 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2018123022A1 (ja) * 2016-12-28 2018-07-05 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
WO2019097639A1 (ja) * 2017-11-16 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2019142432A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2019185358A (ja) * 2018-04-09 2019-10-24 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及びプログラム
JP2019533489A (ja) * 2016-08-12 2019-11-21 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． ユーザインタフェース機能を備えた分散型インタラクティブ医療視覚化システム
JP2020154858A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法、配信装置、および制御サーバ
JP2020537200A (ja) * 2017-10-04 2020-12-17 グーグル エルエルシー 画像に挿入される画像コンテンツについての影生成
WO2021166747A1 (ja) * 2020-02-18 2021-08-26 株式会社Ｎｔｔドコモ 情報処理システム
JP2021524636A (ja) * 2018-06-27 2021-09-13 ナイアンティック， インコーポレイテッドＮｉａｎｔｉｃ，Ｉｎｃ． デバイスローカリゼーションのためのマルチシンクアンサンブルモデル
WO2022230253A1 (ja) * 2021-04-28 2022-11-03 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934614B2 (en) * 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
KR20150135895A (ko) * 2014-05-26 2015-12-04 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
JP2016167656A (ja) * 2015-03-09 2016-09-15 株式会社リコー 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
DE102015115394A1 (de) 2015-09-11 2017-03-16 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
CN106354756A (zh) * 2016-08-17 2017-01-25 深圳市彬讯科技有限公司 一种基于增强现实云识别的多户型识别方法及系统
DE102016121281A1 (de) 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
US10567737B2 (en) * 2017-04-10 2020-02-18 Eys3D Microelectronics, Co. Depth information processing device capable of increasing accuracy of depth information in specific regions
JP2018195254A (ja) * 2017-05-22 2018-12-06 富士通株式会社 表示制御プログラム、表示制御装置及び表示制御方法
CN114667543A (zh) * 2019-11-11 2022-06-24 阿韦瓦软件有限责任公司 用于扩展现实(xr)渐进可视化界面的计算机化的系统和方法
EP3846453B1 (en) * 2019-12-31 2023-06-14 Nokia Technologies Oy An apparatus, method and computer program for recording audio content and image content

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2006155238A (ja) * 2004-11-29 2006-06-15 Hiroshima Univ 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2008046806A (ja) * 2006-08-14 2008-02-28 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置およびプログラム
JP2010238096A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、拡張現実感システム及び端末画面表示方法
JP2011118687A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc オブジェクト管理装置及びオブジェクト管理方法
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2012058838A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP2012104871A (ja) * 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
JP2012178067A (ja) * 2011-02-25 2012-09-13 Nintendo Co Ltd 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
US7019742B2 (en) * 2003-11-20 2006-03-28 Microsoft Corporation Dynamic 2D imposters of 3D graphic objects
US8751156B2 (en) * 2004-06-30 2014-06-10 HERE North America LLC Method of operating a navigation system using images
EP1814101A1 (en) * 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
US8689134B2 (en) * 2006-02-24 2014-04-01 Dana W. Paxson Apparatus and method for display navigation
JP4177381B2 (ja) * 2006-03-01 2008-11-05 株式会社スクウェア・エニックス 画像生成方法、画像生成装置、および画像生成プログラム
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
JP5514219B2 (ja) * 2008-10-28 2014-06-04 コーニンクレッカ フィリップス エヌ ヴェ 三次元表示システム
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
JP2011203823A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP4757948B1 (ja) * 2010-06-11 2011-08-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
US8411092B2 (en) * 2010-06-14 2013-04-02 Nintendo Co., Ltd. 2D imposters for simplifying processing of plural animation objects in computer graphics generation
WO2012015460A1 (en) * 2010-07-26 2012-02-02 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
US8487252B2 (en) * 2010-09-29 2013-07-16 Carl Zeiss Nts Gmbh Particle beam microscope and method for operating the particle beam microscope
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120120113A1 (en) * 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9092061B2 (en) * 2011-01-06 2015-07-28 David ELMEKIES Augmented reality system
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8872852B2 (en) * 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
JP5718197B2 (ja) * 2011-09-14 2015-05-13 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US9639857B2 (en) * 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
US9007364B2 (en) * 2011-10-12 2015-04-14 Salesforce.Com, Inc. Augmented reality display apparatus and related methods using database record data
US9361283B2 (en) * 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
US8726189B2 (en) * 2011-12-07 2014-05-13 Google Inc. Multiple tab stack user interface
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9952820B2 (en) * 2011-12-20 2018-04-24 Intel Corporation Augmented reality representations across multiple devices
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9214137B2 (en) * 2012-06-18 2015-12-15 Xerox Corporation Methods and systems for realistic rendering of digital objects in augmented reality
US9870642B2 (en) * 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US9092897B2 (en) * 2012-08-10 2015-07-28 Here Global B.V. Method and apparatus for displaying interface elements
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140192033A1 (en) * 2013-01-07 2014-07-10 Htc Corporation 3d image apparatus and method for displaying images
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP2006155238A (ja) * 2004-11-29 2006-06-15 Hiroshima Univ 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2008046806A (ja) * 2006-08-14 2008-02-28 Nippon Telegr & Teleph Corp <Ntt> 画像処理方法、画像処理装置およびプログラム
JP2010238096A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、拡張現実感システム及び端末画面表示方法
JP2011118687A (ja) * 2009-12-03 2011-06-16 Ntt Docomo Inc オブジェクト管理装置及びオブジェクト管理方法
JP2012048597A (ja) * 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
JP2012058838A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2012104871A (ja) * 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
JP2012178067A (ja) * 2011-02-25 2012-09-13 Nintendo Co Ltd 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2930693A4

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017103787A (ja) * 2014-02-14 2017-06-08 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2016033764A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016038867A (ja) * 2014-08-11 2016-03-22 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
EP3059669A1 (en) * 2015-02-19 2016-08-24 Nokia Technologies OY Controlling display of video content
JP2017027206A (ja) * 2015-07-17 2017-02-02 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
JP5899364B1 (ja) * 2015-09-17 2016-04-06 株式会社Ｃｙｇａｍｅｓ プレイヤの意図を予測してレンダリングするためのリソース配分を決定するプログラム、電子装置、システム及び方法
JP2017056038A (ja) * 2015-09-17 2017-03-23 株式会社Ｃｙｇａｍｅｓ プレイヤの意図を予測してレンダリングするためのリソース配分を決定するプログラム、電子装置、システム及び方法
WO2017047348A1 (ja) * 2015-09-17 2017-03-23 株式会社Ｃｙｇａｍｅｓ プレイヤの意図を予測してレンダリングするためのリソース配分を決定するプログラム、電子装置、システム及び方法
US10675538B2 (en) 2015-09-17 2020-06-09 Cygames, Inc. Program, electronic device, system, and method for determining resource allocation for executing rendering while predicting player's intent
JP2019533489A (ja) * 2016-08-12 2019-11-21 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． ユーザインタフェース機能を備えた分散型インタラクティブ医療視覚化システム
JPWO2018123022A1 (ja) * 2016-12-28 2019-11-14 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
WO2018123022A1 (ja) * 2016-12-28 2018-07-05 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
JP2020537200A (ja) * 2017-10-04 2020-12-17 グーグル エルエルシー 画像に挿入される画像コンテンツについての影生成
JP7008730B2 (ja) 2017-10-04 2022-01-25 グーグル エルエルシー 画像に挿入される画像コンテンツについての影生成
JPWO2019097639A1 (ja) * 2017-11-16 2020-09-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2019097639A1 (ja) * 2017-11-16 2019-05-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
US11310472B2 (en) 2017-11-16 2022-04-19 Sony Interactive Entertainment Inc. Information processing device and image generation method for projecting a subject image onto a virtual screen
WO2019142432A1 (ja) * 2018-01-19 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
JP2019185358A (ja) * 2018-04-09 2019-10-24 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及びプログラム
US11540096B2 (en) 2018-06-27 2022-12-27 Niantic, Inc. Multi-sync ensemble model for device localization
JP2021524636A (ja) * 2018-06-27 2021-09-13 ナイアンティック， インコーポレイテッドＮｉａｎｔｉｃ，Ｉｎｃ． デバイスローカリゼーションのためのマルチシンクアンサンブルモデル
JP2020154858A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法、配信装置、および制御サーバ
JPWO2021166747A1 (ja) * 2020-02-18 2021-08-26
WO2021166747A1 (ja) * 2020-02-18 2021-08-26 株式会社Ｎｔｔドコモ 情報処理システム
JP7490743B2 (ja) 2020-02-18 2024-05-27 株式会社Ｎｔｔドコモ 情報処理システム
WO2022230253A1 (ja) * 2021-04-28 2022-11-03 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JPWO2014091824A1 (ja) 2017-01-05
EP3734555A1 (en) 2020-11-04
CN103871092A (zh) 2014-06-18
US20170186239A1 (en) 2017-06-29
US20220222905A1 (en) 2022-07-14
US11321921B2 (en) 2022-05-03
JP6102944B2 (ja) 2017-03-29
EP2930693A1 (en) 2015-10-14
EP2930693A4 (en) 2016-10-19
EP2930693B1 (en) 2020-06-24
US20240096039A1 (en) 2024-03-21
US10181221B2 (en) 2019-01-15
US20190088028A1 (en) 2019-03-21
US9613461B2 (en) 2017-04-04
US20150279105A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6102944B2 (ja) 表示制御装置、表示制御方法およびプログラム
US11221726B2 (en) Marker point location display method, electronic device, and computer-readable storage medium
US10401960B2 (en) Methods and systems for gaze-based control of virtual reality media content
Litvak et al. Enhancing cultural heritage outdoor experience with augmented-reality smart glasses
JP7498209B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
JP2019510321A (ja) 仮想現実用パススルーカメラのユーザインターフェイス要素
JP7247260B2 (ja) データ処理プログラム、データ処理方法、および、データ処理装置
US11151804B2 (en) Information processing device, information processing method, and program
WO2018192455A1 (zh) 一种生成字幕的方法及装置
WO2014008438A1 (en) Systems and methods for tracking user postures and motions to control display of and navigate panoramas
JP6658799B2 (ja) 端末装置及びプログラム
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
US11647350B2 (en) Audio processing
WO2023248832A1 (ja) 遠隔視認システム、現地撮像システム
US20230316670A1 (en) Volumetric immersion system &amp; method
WO2020054585A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024040601A (ja) 電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13861660

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014551923

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14433073

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013861660

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE