WO2024071208A1 - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
WO2024071208A1
WO2024071208A1 PCT/JP2023/035168 JP2023035168W WO2024071208A1 WO 2024071208 A1 WO2024071208 A1 WO 2024071208A1 JP 2023035168 W JP2023035168 W JP 2023035168W WO 2024071208 A1 WO2024071208 A1 WO 2024071208A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
unit
image
target object
main image
Prior art date
Application number
PCT/JP2023/035168
Other languages
English (en)
French (fr)
Inventor
浩史 野口
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2024071208A1 publication Critical patent/WO2024071208A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Definitions

  • the present invention relates to a display device, a display method, and a program.
  • Patent Document 1 describes how, when controlling an interactive virtual environment, objects in the virtual environment can be dynamically combined with and separated from other objects.
  • this embodiment aims to provide a display device, a display method, and a program that can reduce the discomfort felt by users.
  • the display device includes a target object extraction unit that extracts a target object included in a main image captured by an imaging unit, a first object generation unit that generates a first object, which is an image filled with the target object, based on the target object, a superimposition position setting unit that sets a superimposition position where the first object is to be displayed in the main image, a display object generation unit that sets a display mode of the first object based on the position of another object to be superimposed on the target object included in the main image and the superimposition position, and generates a display object, and a display unit that displays the display object at the superimposition position.
  • the display method includes the steps of extracting a target object included in a main image captured by an imaging unit, generating a first object based on the target object, which is an image filled with the target object, setting a superimposition position in the main image where the first object is to be displayed, setting the display mode of the first object based on the position of another object superimposed on the target object included in the main image and the superimposition position to generate a display object, and displaying the display object at the superimposition position.
  • a program causes a computer to execute the steps of: extracting a target object included in a main image captured by an imaging unit; generating a first object, which is an image filled with the target object, based on the target object; setting a superimposition position, which is a position at which the first object is to be displayed in the main image; setting a display mode of the first object based on the position of another object superimposed on the target object included in the main image and the superimposition position, to generate a display object; and displaying the display object at the superimposition position.
  • This embodiment can reduce the discomfort felt by the user.
  • FIG. 1 is a diagram showing an example of a display device according to the present embodiment.
  • FIG. 2 is a diagram showing an example of an image displayed by the display device.
  • FIG. 3 is a schematic block diagram of the display device according to the first embodiment.
  • FIG. 4 is a schematic diagram for explaining an example of generating a first object.
  • FIG. 5 is a schematic diagram showing another example of setting the superimposition position.
  • FIG. 6 is a schematic diagram showing an example of an image displayed by the display unit.
  • FIG. 7 is a flowchart illustrating a process flow of the display device according to the present embodiment.
  • FIG. 8 is a schematic diagram showing an example of an image displayed by the display unit in the second embodiment.
  • FIG. 1 is a diagram showing an example of a display device according to the present embodiment.
  • the display device 10 according to the first embodiment is a device that provides information to a user U by outputting a visual stimulus to the user U.
  • the display device 10 is a so-called wearable device that is worn on the body of the user U.
  • the display device 10 is worn on the eyes of the user U and outputs a visual stimulus to the user U (displays an image).
  • the configuration of FIG. 1 is an example, and the number of devices and the position of attachment to the user U may be arbitrary.
  • the display device 10 is not limited to a wearable device, and may be a device carried by the user U, such as a so-called smartphone or tablet terminal.
  • FIG. 2 is a diagram showing an example of an image displayed by the display device.
  • the display device 10 provides the user U with a main image PM through the display unit 22.
  • the user U wearing the display device 10 can view the main image PM.
  • the main image PM is an image of a landscape that the user U would view if the user U were not wearing the display device 10, and can also be said to be an image including an actual object that falls within the visual field of the user U.
  • the visual field range refers to a range that can be seen without moving the eyeball, centered on the line of sight of the user U.
  • the display device 10 causes the imaging unit 28 described later to capture an image that falls within the visual field range of the user U, and causes the display unit 22 to display the image captured by the imaging unit 28 (the image that falls within the visual field range of the user U) as the main image PM.
  • the user U will view the image of the landscape displayed on the display unit 22 as the main image PM.
  • the display device 10 may provide the main image PM to the user U by transmitting external light (ambient visible light) from the display unit 22. That is, the display device 10 may allow an image of an actual landscape to be directly viewed as the main image PM through the display unit 22.
  • an object MA which is a chair and an object MB which is a desk are illustrated as examples of the object M included in the main image PM in Fig. 2, these are merely examples.
  • the object M included in the main image PM can be said to be an image representing an object, and when an image of an actual landscape is viewed as the main image PM, it can be said to be an image of the object itself.
  • the display device 10 displays the sub-image PS on the display unit 22 so as to be superimposed on the main image PM provided through the display unit 22.
  • the user U visually recognizes an image in which the sub-image PS is superimposed on the main image PM.
  • the sub-image PS is an image superimposed on the main image PM, and can be said to be an image other than an actual scene that is within the field of view of the user U.
  • the display device 10 can be said to provide MR or AR (Augmented Reality) to the user U by superimposing the sub-image PS on the main image PM.
  • an avatar of a person other than the user U is displayed as the sub-image PS.
  • Display Device 3 is a schematic block diagram of the display device according to the first embodiment. As shown in FIG. 3, the display device 10 includes an input unit 20, a display unit 22, a storage unit 24, a communication unit 26, an imaging unit 28, and a control unit 30.
  • the input unit 20 is a device that accepts user operations and may be, for example, a controller or a touch panel.
  • the display unit 22 is a display that displays images.
  • the display unit 22 is a so-called HMD (Head Mount Display).
  • the output unit may include an audio output unit (speaker) that outputs audio, and a tactile stimulus output unit that outputs tactile stimuli to the user U.
  • the tactile stimulus output unit outputs tactile stimuli to the user by physically operating, such as by vibration, but the type of tactile stimulus is not limited to vibration and may be any type.
  • the storage unit 24 is a memory that stores various information such as the calculation contents and programs of the control unit 30, and includes at least one of a main storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and an external storage device such as a HDD (Hard Disk Drive).
  • the programs for the control unit 30 saved in the storage unit 24 may be stored in a recording medium that can be read by the display device 10.
  • the communication unit 26 is a module that communicates with external devices and the like, and may include, for example, an antenna.
  • the communication method used by the communication unit 26 is wireless communication, but the communication method may be any method.
  • the imaging unit 28 is a camera that captures an object within the field of view of the user U.
  • the imaging unit 28 is provided in a position where its imaging range overlaps with the field of view of the user U.
  • the imaging unit 28 is attached so that the imaging direction is the direction in which the face of the user U is facing. This allows the imaging unit 28 to capture an object within the field of view of the user U.
  • the imaging unit 28 may be a video camera that captures images at a predetermined frame rate.
  • the number of imaging units 28 is arbitrary, and may be either single or multiple.
  • the control unit 30 is a calculation device and includes a calculation circuit such as a CPU (Central Processing Unit).
  • the control unit 30 includes an imaging control unit 40, a target object extraction unit 42, a first object generation unit 44, a second object generation unit 46, a superimposition position setting unit 48, a display object generation unit 50, and a display control unit 52.
  • the control unit 30 reads out a program (software) from the storage unit 24 and executes it to realize the imaging control unit 40, the target object extraction unit 42, the first object generation unit 44, the second object generation unit 46, the superimposition position setting unit 48, the display object generation unit 50, and the display control unit 52, and executes the processes.
  • the control unit 30 may execute these processes using one CPU, or may be provided with multiple CPUs and execute the processes using the multiple CPUs.
  • at least some of the imaging control unit 40, the target object extraction unit 42, the first object generation unit 44, the second object generation unit 46, the superimposition position setting unit 48, the display object generation unit 50, and the display control unit 52 may be realized by hardware.
  • the imaging control unit 40 controls the imaging unit 28 to cause the imaging unit 28 to capture an image, and acquires the image (image data) captured by the imaging unit 28. That is, the imaging control unit 40 acquires image data of the main image PM captured by the imaging unit 28 and having the field of view of the user U as the imaging range. The imaging control unit 40 causes the imaging unit 28 to capture an image at predetermined intervals. The imaging control unit 40 acquires the image data captured by the imaging unit 28 each time the imaging unit 28 captures an image.
  • the target object extraction unit 42 extracts a target object from the main image PM acquired by the imaging control unit 40.
  • the target object refers to an image of an object M, among the objects M included in the main image PM, that is used as a reference when generating a display object P, which will be described later.
  • the target object extraction unit 42 extracts the object M included in the main image PM from the main image PM, and selects a target object from among the extracted objects M. Any method for extracting the object M may be used, and a known image recognition technique may be used.
  • the target object extraction unit 42 extracts an object MA, which is a chair, as the target object.
  • the target object extraction unit 42 may extract (select) the target object in any manner.
  • the target object extraction unit 42 may extract an object M selected by the user U from among the objects M included in the main image PM as the target object.
  • the display device 10 may display the main image PM and information identifying the object M included in the main image PM (for example, a pointer pointing to the object M) on the display unit 22.
  • the user U inputs the object M to be selected into the input unit 20 while viewing the main image PM.
  • the target object extraction unit 42 extracts the selected object M input into the input unit 20 as the target object.
  • the target object extraction unit 42 may automatically extract (select) the target object regardless of the selection of the user U.
  • the target object extraction unit 42 identifies the type of the extracted object M and selects an object M of the same type as a predetermined type (a type that has been set in advance to be the target object) as the extracted object.
  • the type of object refers to the affiliation of the object when the object is classified according to a predetermined classification criterion, and the classification criterion here may be any.
  • the method of identifying the type of object M may be any.
  • the target object extraction unit 42 may identify the type of object M by inputting the image data of object M into an AI (Artificial Intelligence) model (program) that has already undergone machine learning to learn the correspondence between the type of object and the feature amount of the image data of the object.
  • AI Artificial Intelligence
  • FIG. 4 is a schematic diagram for explaining an example of generating a first object.
  • the first object generating unit 44 generates a first object SA based on a target object extracted by the target object extracting unit 42.
  • the first object SA is an original image of an object (display object P described later) superimposed and displayed as a sub-image PS on the main image PM. More specifically, the first object SA is an image in which the target object is filled, and is preferably a 3D image (three-dimensional stereoscopic image data). That is, for example, when a part of an object is located behind another object as seen from the user U, when the object is set as the target object, the target object is extracted as an image in which the part located behind the other object is missing.
  • the first object generating unit 44 may generate, as the first object SA, an image in which the missing part located behind the other object is filled. Also, for example, when the target object is a 2D image (two-dimensional planar image data), the first object generating unit 44 may generate, as the first object SA, an image in which the two-dimensional image data of the target object is filled with other one-dimensional information. 4, object MA, which is the target object, is an image missing a portion located behind object MB. Therefore, the first object generating unit 44 fills in the missing portion of the target object and also fills in other one-dimensional information to generate a first object SA, which is a 3D image of the entire chair.
  • the first object generating unit 44 may generate the first object SA by any method based on the target object, but an example in this embodiment will be described below.
  • image data of multiple objects (3D image data in this embodiment) is stored in the storage unit 24, and the first object generating unit 44 extracts an object similar in shape to the target object from among the stored objects using an AI model that has been machine-learned.
  • the AI model may be an AI model that has been machine-learned to learn the features of the image data of the objects to be compared and the degree of similarity between the objects.
  • the first object generating unit 44 converts the target object, which is a 2D image, into a 3D image using a known method, inputs the 3D image data of the target object and the image data of each stored object into the AI model, and calculates the degree of similarity.
  • the first object generating unit 44 selects an object whose degree of similarity is equal to or greater than a predetermined value (for example, the highest) from among the objects as a filling object.
  • the first object generating unit 44 generates the first object SA based on the filling object.
  • the first object generating unit 44 identifies the missing part of the target object, extracts the missing part from the compensation object, and combines the target object with the part extracted from the compensation object to generate a first object SA that compensates for the target object.
  • the extracted compensation object itself may be used as the first object SA.
  • the second object generating unit 46 generates a second object SB.
  • the second object SB is an original image of an object (display object S) that is superimposed and displayed as a sub-image PS on the main image PM.
  • the display device 10 generates an image including the first object SA and the second object SB as a display object S, and displays it as a sub-image PS superimposed on the main image PM.
  • the second object SB is disposed so as to be located within a predetermined distance range from the first object SA, and it is more preferable that the second object SB is disposed so as to be superimposed on the first object SA.
  • the second object SB is an avatar of a person other than the user U, and is displayed superimposed on the first object SA, which is a chair.
  • the second object generating unit 46 may generate the second object SB in any manner.
  • image data of the second object SB may be set in advance, and the second object generating unit 46 may read out the preset image data of the second object SB to generate the second object SB.
  • the second object SB may also be a 3D image (three-dimensional stereoscopic image data) like the first object SA.
  • the superimposition position setting unit 48 sets a superimposition position in the main image PM.
  • the superimposition position is a position in the main image PM (in the coordinate system of the main image PM) at which a first object SA (display object S described later) is displayed.
  • the superimposition position setting unit 48 may set the superimposition position to any position, but in this embodiment, it is preferable to set a position different from the position of the target object as the superimposition position. That is, for example, it is preferable that the superimposition position setting unit 48 sets the superimposition position so that an image (display object S) filled in from a chair (object MA) is displayed at a position different from the original position of the chair.
  • the different positions (different positions) here are not limited to no overlapping portions between objects (objects do not completely overlap each other), and may also include portions of objects overlapping each other.
  • the superimposition position setting unit 48 calculates the area of overlap between the second object SB included in the display object S and the other object (object MB in this example) when the display object S is assumed to be displayed at the superimposition position, and sets the position where the area of overlap is equal to or less than a predetermined value as the superimposition position.
  • the other object refers to an object M included in the main image PM other than the target object, and is an object that is superimposed on the target object in the main image PM.
  • the other object also refers to an object that is located in front of the target object with respect to the imaging unit 28 side and hides the target object.
  • the superimposition position setting unit 48 may set the object specified by the input unit 20 as the other object. Alternatively, the superimposition position setting unit 48 may set the other object based on the target object, the first object, and the main image PM. For example, the superimposition position setting unit 48 acquires the target object from the target object extraction unit 42, acquires the first object SA from the first object generation unit 44, and acquires the main image PM from the imaging control unit 40. The superimposition position setting unit 48 aligns the first object SA with the target object in the main image PM, and determines an object that is superimposed on the filling object of the first object SA. The superimposition position setting unit 48 identifies the determined object as another object.
  • the superimposition position setting unit 48 may set the superimposition position so that the avatar (second object SB) superimposed on the chair (first object SA) overlaps less with objects other than the chair (desk object MB).
  • the superimposition position setting unit 48 may calculate, by optimization calculation, a position where the overlapping area between the second object SB and each object M other than the target object is as small as possible, and set that position as the superimposition position. Note that the overlapping area can be calculated based on the size of the second object SB and the size of the other object, the superimposition position, and the position of the other object.
  • FIG. 5 is a schematic diagram showing another example of setting the superimposition position.
  • the superimposition position may be set by the user U.
  • the display device 10 displays the main image PM on the display unit 22, and the user U inputs the superimposition position to the input unit 20 while viewing the main image PM.
  • the target object extraction unit 42 sets the superimposition position input to the input unit 20 as the superimposition position.
  • the display device 10 may display an image (a pointer in this example) indicating a reference position A MA (for example, the center position of the target object) of the object MA, which is the target object, on the display unit 22.
  • a MA for example, the center position of the target object
  • the display device 10 superimposes an image (a pointer in this example) indicating the position A SA , which is the superimposition position, and an image in which the target object is displayed at the position A SA on the main image PM. This allows the user U to appropriately recognize where, for example, the image of a chair, which is the target object, will move.
  • the display object generation unit 50 sets the display mode of the first object SA and generates a display object S. That is, the display object S can be said to be an image that is generated based on the first object SA and has a display mode different from that of the first object SA.
  • the method of generating the display object S based on the first object SA is arbitrary, but in this embodiment, the display object generating unit 50 generates the display object S from the first object SA based on the position of the other object (object M other than the target object) in the main image PM and the superimposition position set by the superimposition position setting unit 48. For example, the display object generating unit 50 calculates an area of the first object SA that overlaps with the other object (object MB in this example) when the first object SA is displayed at the superimposition position based on the superimposition position and the position of the other object. Then, the display object generating unit 50 may set an image in which the superimposed area is missing from the first object SA as the display object S.
  • the display object generating unit 50 may calculate the orientation of the first object SA in the main image PM based on the superimposition position and the direction in which the user U's face is facing (the direction in which the user U is viewing), and generate a 2D image corresponding to the orientation of the first object SA from the first object SA, which is a 3D image, as the display object S.
  • the method of acquiring the direction in which the user U's face is facing may be any method, but for example, the display object generation unit 50 may estimate the direction in which the user U's face is facing from the detection result of a sensor mounted on the display device 10.
  • the sensor here may be any type, but examples include the imaging unit 28, a gyro sensor (not shown), and a LiDAR (not shown).
  • the display object generation unit 50 may estimate the direction in which the user U's face is facing using, for example, SLAM (Simultaneous Localization and Mapping) technology.
  • an image including the first object SA and the second object SB is the display object S.
  • the display object S can be said to be an image generated based on the first object SA and the second object SB, and having a different display form from the first object SA and the second object SB.
  • the display object generation unit 50 may calculate an area of the first object SA and the second object SB that overlaps with the other object (object MB in this example). Then, the display object generation unit 50 may set as the display object S an image in which the overlapping area is missing from the first object SA and the second object SB.
  • the display object generating unit 50 may calculate the orientation of the first object SA and the second object SB in the main image PM based on the superimposition position and the direction in which the user U's face is facing, and generate a 2D image corresponding to the orientation of the first object SA and a 2D image corresponding to the orientation of the second object SB from the first object SA and the second object SB, which are 3D images, and use an image including these 2D images as the display object S.
  • FIG. 6 is a schematic diagram showing an example of an image displayed by the display unit.
  • the display control unit 52 controls the display unit 22 to display an image on the display unit 22.
  • the display control unit 52 displays the display object S generated by the display object generating unit 50 at the superimposed position. That is, as shown in the example of FIG. 6, the display control unit 52 displays the main image PM and the display object S at the superimposed position on the display unit 22 with the display object S as the sub-image PS. That is, in the example of FIG. 6, the main image PM including the objects MA and MB and the display object S including the first object SA which is a chair and the second object SB which is an avatar are displayed superimposed at the position A SA which is the superimposed position.
  • the display control unit 52 displays the image so that the portion of the target object overlapping with the display object S is missing, that is, so that the display object S is located forward of the target object.
  • the portion of the display object S that overlaps with the other object is missing, so that the other object may be displayed in an image so as to be positioned in front of the display object S.
  • the display object generating unit 50 may generate a shadow image SC corresponding to the shadow of the display object, and may superimpose the shadow image SC on the main image PM together with the display object S.
  • the shadow image SC is an image showing the shadow of the display object S when it is assumed that the display object S actually exists in the space of the main image PM. Any method may be used to generate the shadow image SC, but for example, the display object generating unit 50 calculates an estimated light source position based on the main image PM.
  • the estimated light source position is the estimated position of the light source that is shining light into the space of the main image PM.
  • the display object generating unit 50 may calculate the estimated light source position using a known method from the image data of the main image PM (for example, the gradation value or brightness value for each pixel). Then, the display object generating unit 50 calculates the position of the shadow that will be cast when the display object S is placed at the superimposition position from the positional relationship between the estimated light source position and the superimposition position (the display position of the display object S), and displays the shadow image SC at the calculated position of the shadow.
  • a known method from the image data of the main image PM (for example, the gradation value or brightness value for each pixel). Then, the display object generating unit 50 calculates the position of the shadow that will be cast when the display object S is placed at the superimposition position from the positional relationship between the estimated light source position and the superimposition position (the display position of the display object S), and displays the shadow image SC at the calculated position of the shadow.
  • FIG. 7 is a flowchart for explaining the processing flow of the display device according to this embodiment.
  • the display device 10 acquires image data of the main image PM by the imaging control unit 40 (step S10), and extracts a target object from the main image PM by the target object extraction unit 42 (step S12). Then, the display device 10 generates a first object SA based on the target object by the first object generation unit 44 (step S14), generates a second object SB by the second object generation unit 46 (step S16), and sets a superimposition position by the superimposition position setting unit 48 (step S18).
  • step S16 is not limited to be performed after the generation of the first object SA, and may be performed at any timing before the generation of the display object S in step S20 described later.
  • the setting of the superimposition position in step S18 is not limited to be performed after the generation of the second object SB, and may be performed at any timing before the generation of the display object S in step S20 described later.
  • the display device 10 uses the display object generation unit 50 to set the display mode of the first object SA and the second object SB based on the positions of the other objects and the superimposed position, and generates a display object S (step S20), and the display control unit 52 displays the display object S at the superimposed position (step S22).
  • the display mode of the first object SA which is filled with the target object, is adjusted based on the superimposition position and the positions of the other objects to generate a display object S. Then, the display object S generated in this manner is displayed at the superimposition position. Therefore, the display mode of the target object can be adjusted according to the positional relationship with the other objects and displayed as the display object S, so that the discomfort of the appearance due to the positional relationship with the other objects can be reduced, and the discomfort felt by the user can be suppressed. More specifically, in the example of FIG.
  • the avatar SB0 and the object MB (desk) may overlap significantly, resulting in an image that is uncomfortable as if the avatar is embedded in the desk.
  • the display object S (first object SA and second object SB) is displayed at a superimposition position (position ASA) where the overlapping area of the first object SA (chair) or the second object SB (avatar) with the object MB (desk) is small, so that the discomfort of the appearance can be reduced.
  • position ASA superimposition position
  • the sense of incongruity in appearance can be reduced by, for example, displaying the overlapping portion of the display object S as being missing.
  • the overlapping position setting unit 48 calculates a first overlapping area and a second overlapping area, and sets the overlapping position based on the first overlapping area and the second overlapping area.
  • the first overlapping area refers to an area where the display object S (first object SA and second object SB) and the target object overlap when it is assumed that the display object S (first object SA and second object SB) is displayed at the overlapping position.
  • the second overlapping area refers to an area where the display object S (first object SA and second object SB) and another object (object other than the target object) overlap when it is assumed that the display object S (first object SA and second object SB) is displayed at the overlapping position.
  • the first overlapping area can be calculated based on the size of the display object S (first object SA and second object SB) and the size of the target object, the overlapping position, and the position of the target object.
  • the second overlap area can be calculated based on the size of the display object S (first object SA and second object SB) and the size of the other object, as well as the overlap position and the position of the other object.
  • the superimposition position setting unit 48 sets the superimposition position so that the first overlapping area is equal to or larger than a first predetermined area and the second overlapping area is equal to or smaller than a second predetermined area.
  • the first predetermined area and the second predetermined area may be set arbitrarily. More preferably, the superimposition position setting unit 48 sets, as the superimposition position, a position optimized by an optimization calculation so that the first overlapping area is as large as possible and the second overlapping area is as small as possible.
  • the overlapping position is set based on the first overlapping area and the second overlapping area. Therefore, since the overlapping position can be determined according to the overlapping degree of the display object S with both the target object and the other object, the discomfort in appearance can be more suitably suppressed. Furthermore, in the second embodiment, the overlapping position is determined so as to increase the first overlapping area between the display object S and the target object and to decrease the second overlapping area between the display object S and the other object. Therefore, it is possible to hide the target object as much as possible by the display object S while suppressing the discomfort due to the positional relationship between the display object S and the other object, so that the discomfort in appearance can be more suitably suppressed. That is, for example, as shown in FIG.
  • the display device 10 includes a target object extraction unit 42, a first object generation unit 44, a superimposition position setting unit 48, a display object generation unit 50, and a display control unit 52.
  • the target object extraction unit 42 extracts a target object included in the main image PM captured by the imaging unit 28.
  • the first object generation unit 44 generates a first object SA, which is an image filled with the target object, based on the target object.
  • the superimposition position setting unit 48 sets a superimposition position, which is a position at which the first object SA is displayed in the main image PM.
  • the display object generation unit 50 sets a display mode of the first object SA based on the positions of other objects other than the target object included in the main image PM and the superimposition position, and generates a display object S.
  • the display control unit 52 displays the display object S at the superimposition position. According to the present disclosure, it is possible to adjust the display mode of the target object according to the positional relationship with the other objects and display it as a display object S, so that the discomfort in appearance due to the positional relationship with the other objects can be reduced, and the discomfort felt by the user can be suppressed.
  • the superimposition position setting unit 48 sets a position different from the target object as the superimposition position. According to the present disclosure, it is possible to more effectively suppress the sense of incongruity in appearance.
  • the display device 10 further includes a second object generating unit 46 that generates a second object SB, the display object generating unit 50 generates an image including the first object SA and the second object SB as the display object S, and the superimposition position setting unit 48 sets, as the superimposition position, a position where the area of overlap between the second object SB and another object is equal to or smaller than a predetermined value when the display object S is displayed at the superimposition position.
  • the discomfort in appearance can be more suitably suppressed.
  • the superimposition position setting unit 48 sets the superimposition position based on the area where the display object S displayed at the superimposition position overlaps with the target object (first superimposition area) and the area where the display object S displayed at the superimposition position overlaps with another object (second superimposition area). Therefore, the superimposition position can be determined according to the degree of overlap of the display object S with both the target object and the other object, so that the discomfort in appearance can be more appropriately suppressed.
  • the display object generating unit 50 generates a shadow image SC corresponding to the shadow of the display object S, and the display control unit 52 displays the display object S and the shadow image SC.
  • the display object S can be given a shadow similar to that of an actual object, so that the sense of incongruity in appearance can be more appropriately suppressed.
  • the embodiments of the present invention have been described above, the embodiments are not limited to the contents of these embodiments.
  • the components described above include those that a person skilled in the art can easily imagine, those that are substantially the same, and those that are within the so-called equivalent range.
  • the components described above can be combined as appropriate, and the configurations of each embodiment can also be combined.
  • various omissions, substitutions, or modifications of the components can be made without departing from the spirit of the embodiments described above.
  • the display device, display method, and program of this embodiment can be used, for example, to display images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ユーザが抱く違和感を抑制する。表示装置は、撮像部によって撮像されたメイン画像（ＰＭ）に含まれる対象オブジェクトを抽出する対象オブジェクト抽出部と、対象オブジェクトに基づき、対象オブジェクトを補填した画像である第１オブジェクト（ＳＡ）を生成する第１オブジェクト生成部と、メイン画像（ＰＭ）内で第１オブジェクト（ＳＡ）を表示する位置である重畳位置を設定する重畳位置設定部と、メイン画像（ＰＭ）に含まれる対象オブジェクトに重畳する他オブジェクトの位置と、重畳位置とに基づいて、第１オブジェクト（ＳＡ）の表示態様を設定して、表示オブジェクト（Ｓ）を生成する表示オブジェクト生成部と、重畳位置に表示オブジェクトＳを表示する表示部と、を含む。

Description

表示装置、表示方法及びプログラム
　本発明は、表示装置、表示方法及びプログラムに関する。
　アバターなどのオブジェクトを実空間に重畳して表示させるＭＲ（Ｍｉｘｅｄ　Ｒｅａｌｉｔｙ）など、ある画像に他の画像を重畳して表示する技術が知られている。例えば特許文献１には、インタラクティブな仮想環境を制御する際に、仮想環境内のオブジェクトを、動的に他のオブジェクトに結合及び分離可能とする旨が記載されている。
特表２００６－５２８３８１号公報
　このように、画像同士を重畳して表示する際には、表示される画像を視認したユーザが抱く違和感を抑制することが求められている。
　本実施形態は、上記課題を鑑み、ユーザが抱く違和感を抑制可能な表示装置、表示方法及びプログラムを提供することを目的とする。
　本実施形態の一態様にかかる表示装置は、撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出する対象オブジェクト抽出部と、前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成する第１オブジェクト生成部と、前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定する重畳位置設定部と、前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成する表示オブジェクト生成部と、前記重畳位置に前記表示オブジェクトを表示する表示部と、を含む。
　本実施形態の一態様にかかる表示方法は、撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、前記重畳位置に前記表示オブジェクトを表示するステップと、を含む。
　本実施形態の一態様にかかるプログラムは、撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、前記重畳位置に前記表示オブジェクトを表示するステップと、をコンピュータに実行させる。
　本実施形態によれば、ユーザが抱く違和感を抑制できる。
図１は、本実施形態にかかる表示装置の一例を示す図である。 図２は、表示装置が表示する画像の一例を示す図である。 図３は、第１実施形態に係る表示装置の模式的なブロック図である。 図４は、第１オブジェクトの生成例を説明するための模式図である。 図５は、重畳位置の設定の他の例を示す模式図である。 図６は、表示部が表示する画像の一例を示す模式図である。 図７は、本実施形態に係る表示装置の処理フローを説明するフローチャートである。 図８は、第２実施形態において表示部が表示する画像の一例を示す模式図である。
　以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
　（第１実施形態）
　図１は、本実施形態にかかる表示装置の一例を示す図である。第１実施形態にかかる表示装置１０は、ユーザＵに、視覚刺激を出力することで、ユーザＵに情報を提供する装置である。図１に示すように、表示装置１０は、ユーザＵの体に装着される、いわゆるウェアラブルデバイスである。本実施形態の例では、表示装置１０は、ユーザＵの目に装着されて、ユーザＵに視覚刺激を出力する（画像を表示する）。ただし、図１の構成は一例であり、装置の数や、ユーザＵへの装着位置も任意であってよい。例えば、表示装置１０は、ウェアラブルデバイスに限られず、ユーザＵに携帯される装置であってよく、例えばいわゆるスマートフォンやタブレット端末などであってもよい。
　（メイン画像）
　図２は、表示装置が表示する画像の一例を示す図である。図２に示すように、表示装置１０は、表示部２２を通して、ユーザＵにメイン画像ＰＭを提供する。これにより、表示装置１０を装着したユーザＵは、メイン画像ＰＭを視認できる。メイン画像ＰＭとは、本実施形態では、ユーザＵが表示装置１０を装着していないと仮定した場合に、ユーザＵが視認することになる景色の像であり、ユーザＵの視野範囲に入る実在のオブジェクトを含む像であるともいえる。視野範囲とは、ユーザＵの視線を中心とした、眼球を動かさないで見える範囲を指す。本実施形態では、表示装置１０は、後述する撮像部２８によってユーザＵの視野範囲に入る像を撮像させ、撮像部２８によって撮像された画像（ユーザＵの視野範囲に入る像）を、表示部２２にメイン画像ＰＭとして表示させる。この場合、ユーザＵは、表示部２２に表示された景色の画像を、メイン画像ＰＭとして視認することとなる。ただしそれに限られず、例えば、表示装置１０は、表示部２２から外光（周辺の可視光）を透過させることで、ユーザＵにメイン画像ＰＭを提供してもよい。すなわち、表示装置１０は、表示部２２を通して、実際の景色の像をメイン画像ＰＭとして直接視認させてもよい。なお、図２では、メイン画像ＰＭに含まれるオブジェクトＭの例として、椅子であるオブジェクトＭＡと机であるオブジェクトＭＢとを例示しているが、単なる一例である。なお、メイン画像ＰＭに含まれるオブジェクトＭは、表示部２２によりメイン画像ＰＭを表示させる場合には、オブジェクトを表す画像といえ、実際の景色の像をメイン画像ＰＭとして視認させる場合には、オブジェクトそのものの像といえる。
　（サブ画像）
　図２に示すように、表示装置１０は、表示部２２を通して提供されるメイン画像ＰＭに重畳するように、表示部２２にサブ画像ＰＳを表示させる。これにより、ユーザＵは、メイン画像ＰＭにサブ画像ＰＳが重畳された像を視認することとなる。サブ画像ＰＳとは、メイン画像ＰＭに重畳される画像であり、ユーザＵの視野範囲に入る実在の景色以外の画像といえる。すなわち、表示装置１０は、メイン画像ＰＭにサブ画像ＰＳを重畳させることで、ユーザＵにＭＲ又はＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）を提供するといえる。図２の例では、サブ画像ＰＳとして、ユーザＵ以外の人のアバターが表示されている。
　（表示装置）
　図３は、第１実施形態に係る表示装置の模式的なブロック図である。図３に示すように、表示装置１０は、入力部２０と、表示部２２と、記憶部２４と、通信部２６と、撮像部２８と、制御部３０とを備える。
　入力部２０は、ユーザの操作を受け付ける装置であり、例えばコントローラやタッチパネルなどであってよい。表示部２２は、画像を表示するディスプレイである。本実施形態では、表示部２２は、いわゆるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）である。なお、表示部２２以外にも、出力部として、音声を出力する音声出力部（スピーカ）や、ユーザＵに触覚刺激を出力する触覚刺激出力部が備えられていてもよい。触覚刺激出力部は、振動などの物理的に作動することで、ユーザに触覚刺激を出力するが、触覚刺激の種類は、振動などに限られず任意のものであってよい。
　記憶部２４は、制御部３０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２４が保存する制御部３０用のプログラムは、表示装置１０が読み取り可能な記録媒体に記憶されていてもよい。
　通信部２６は、外部の装置などと通信するモジュールであり、例えばアンテナなどを含んでよい。通信部２６による通信方式は、本実施形態では無線通信であるが、通信方式は任意であってよい。
　撮像部２８は、ユーザＵの視野範囲内の対象物を撮像するカメラである。撮像部２８は、撮像範囲が、ユーザＵの視野範囲と重複するような位置に、設けられている。図１の例では、撮像部２８は、撮像方向がユーザＵの顔が向いている方向となるように、取り付けられている。これにより、撮像部２８は、ユーザＵの視野範囲内の対象物を撮像できる。なお、撮像部２８は、所定のフレームレート毎に撮像するビデオカメラであってよい。撮像部２８の数は任意であり、単数であっても複数であってもよい。
　制御部３０は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算回路を含む。制御部３０は、撮像制御部４０と、対象オブジェクト抽出部４２と、第１オブジェクト生成部４４と、第２オブジェクト生成部４６と、重畳位置設定部４８と、表示オブジェクト生成部５０と、表示制御部５２とを含む。制御部３０は、記憶部２４からプログラム（ソフトウェア）を読み出して実行することで、撮像制御部４０と対象オブジェクト抽出部４２と第１オブジェクト生成部４４と第２オブジェクト生成部４６と重畳位置設定部４８と表示オブジェクト生成部５０と表示制御部５２とを実現して、それらの処理を実行する。なお、制御部３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、撮像制御部４０と対象オブジェクト抽出部４２と第１オブジェクト生成部４４と第２オブジェクト生成部４６と重畳位置設定部４８と表示オブジェクト生成部５０と表示制御部５２との少なくとも一部を、ハードウェアで実現してもよい。
　（撮像）
　撮像制御部４０は、撮像部２８を制御して、撮像部２８に画像を撮像させて、撮像部２８が撮像した画像（画像データ）を取得する。すなわち、撮像制御部４０は、撮像部２８によって撮像された、ユーザＵの視野範囲を撮像範囲としたメイン画像ＰＭの画像データを取得する。撮像制御部４０は、所定の期間ごとに撮像部２８に画像を撮像させる。撮像制御部４０は、撮像部２８が画像を撮像するごとに、撮像部２８が撮像した画像データを取得する。
　（対象オブジェクトの抽出）
　対象オブジェクト抽出部４２は、撮像制御部４０が取得したメイン画像ＰＭから、対象オブジェクトを抽出する。対象オブジェクトとは、メイン画像ＰＭに含まれるオブジェクトＭのうちの、後述する表示オブジェクトＰの生成の際の参照とするオブジェクトＭの画像を指す。本実施形態においては、対象オブジェクト抽出部４２は、メイン画像ＰＭから、メイン画像ＰＭに含まれるオブジェクトＭを抽出して、抽出したオブジェクトＭのうちから、対象オブジェクトを選択する。オブジェクトＭの抽出方法は任意であってよく、公知の画像認識技術を用いてよい。図２の例では、対象オブジェクト抽出部４２は、椅子であるオブジェクトＭＡを、対象オブジェクトとして抽出する。
　対象オブジェクト抽出部４２は、対象オブジェクトを任意の方法で抽出（選択）してよい。例えば、対象オブジェクト抽出部４２は、メイン画像ＰＭに含まれるオブジェクトＭのうちから、ユーザＵに選択されたオブジェクトＭを、対象オブジェクトとして抽出してよい。この場合例えば、表示装置１０は、メイン画像ＰＭと、そのメイン画像ＰＭに含まれるオブジェクトＭを特定する情報（例えばオブジェクトＭを指し示すポインタなど）とを、表示部２２に表示させてよい。ユーザＵは、そのメイン画像ＰＭを視認しつつ、入力部２０に、選択するオブジェクトＭを入力する。対象オブジェクト抽出部４２は、入力部２０に入力された、選択されたオブジェクトＭを、対象オブジェクトとして抽出する。また例えば、対象オブジェクト抽出部４２は、ユーザＵの選択によらず、自動で対象オブジェクトを抽出（選択）してよい。この場合例えば、対象オブジェクト抽出部４２は、抽出したオブジェクトＭの種類を特定して、所定の種類（予め対象オブジェクトとする旨が予め設定されていた種類）と同じ種類のオブジェクトＭを、抽出オブジェクトとして選択する。オブジェクトの種類とは、オブジェクトを所定の分類基準で分類した場合の、そのオブジェクトの所属を指し、ここでの分類基準は任意であってよい。また、オブジェクトＭの種類を特定する方法は任意であってよい。例えば、対象オブジェクト抽出部４２は、オブジェクトの種類とオブジェクトの画像データの特徴量との対応関係を機械学習済みのＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル（プログラム）に、オブジェクトＭの画像データを入力することで、オブジェクトＭの種類を特定してよい。
　（第１オブジェクトの生成）
　図４は、第１オブジェクトの生成例を説明するための模式図である。第１オブジェクト生成部４４は、対象オブジェクト抽出部４２によって抽出された対象オブジェクトに基づき、第１オブジェクトＳＡを生成する。第１オブジェクトＳＡは、サブ画像ＰＳとしてメイン画像ＰＭに重畳表示されるオブジェクト（後述の表示オブジェクトＰ）の、元となる画像である。さらに言えば、第１オブジェクトＳＡとは、対象オブジェクトを補填した画像であり、３Ｄ画像（３次元の立体画像データ）であることが好ましい。すなわち例えば、ユーザＵから見て、あるオブジェクトの一部が他のオブジェクトの後ろに位置している場合には、そのオブジェクトを対象オブジェクトとした場合には、対象オブジェクトは、他のオブジェクトの後ろに位置している部分が欠けた画像として抽出される。この場合、第１オブジェクト生成部４４は、他のオブジェクトの後ろに位置して欠けた部分を補填した画像を、第１オブジェクトＳＡとして生成してよい。また例えば、対象オブジェクトが２Ｄ画像（２次元の平面画像データ）である場合、第１オブジェクト生成部４４は、対象オブジェクトの２次元の画像データに、他の１次元の情報を補填した画像を、第１オブジェクトＳＡとして生成してよい。図４の例では、対象オブジェクトであるオブジェクトＭＡは、オブジェクトＭＢの後ろに位置している部分が欠けた画像となっている。そのため、第１オブジェクト生成部４４は、対象オブジェクトに対して、その欠けた部分を補填して、さらに他の１次元の情報も補填して、椅子の全体の３Ｄ画像である第１オブジェクトＳＡを生成する。
　第１オブジェクト生成部４４は、対象オブジェクトに基づいた任意の方法で、第１オブジェクトＳＡを生成してよいが、以下で本実施形態における例を説明する。本実施形態の例では、記憶部２４に、複数のオブジェクトの画像データ（本実施形態では３Ｄ画像データ）が記憶されており、第１オブジェクト生成部４４は、機械学習済みのＡＩモデルにより、記憶されていたオブジェクトのうちから、対象オブジェクトと形状が類似するオブジェクトを抽出する。この場合のＡＩモデルは、対比するオブジェクトの画像データの特徴量とそのオブジェクト同士の類似度合いとを機械学習済みの、ＡＩモデルであってよい。そして、第１オブジェクト生成部４４は、２Ｄ画像である対象オブジェクトを、公知の方法で３Ｄ画像に変換して、対象オブジェクトの３Ｄ画像データと、記憶されている各オブジェクトの画像データとをＡＩモデルに入力して、類似度合いを算出する。第１オブジェクト生成部４４は、各オブジェクトのうちから、類似度合いが所定値以上となる（例えば最も高い）オブジェクトを、補填用オブジェクトとして選択する。第１オブジェクト生成部４４は、その補填用オブジェクトに基づいて、第１オブジェクトＳＡを生成する。具体的には、第１オブジェクト生成部４４は、対象オブジェクトの欠けた部分を特定して、その欠けた部分を補填用オブジェクトから抽出し、対象オブジェクトと、補填オブジェクトから抽出した部分とを結合することで、対象オブジェクトを補填した第１オブジェクトＳＡを生成する。ただしそれに限られず、例えば、抽出した補填用オブジェクトそのものを、第１オブジェクトＳＡとしてもよい。
　（第２オブジェクトの生成）
　第２オブジェクト生成部４６は、第２オブジェクトＳＢを生成する。第２オブジェクトＳＢは、メイン画像ＰＭにサブ画像ＰＳとして重畳表示されるオブジェクト（表示オブジェクトＳ）の、元となる画像である。詳しくは後述するが、表示装置１０は、第１オブジェクトＳＡと第２オブジェクトＳＢとを含む画像を表示オブジェクトＳとして生成して、サブ画像ＰＳとしてメイン画像ＰＭに重畳表示させる。表示オブジェクトＳにおいては、第２オブジェクトＳＢが、第１オブジェクトＳＡに対して所定距離範囲内に位置するように配置されることが好ましく、第１オブジェクトＳＡと重畳するように配置されることがより好ましい。本実施形態の例では、第２オブジェクトＳＢは、ユーザＵ以外の人のアバターであり、椅子である第１オブジェクトＳＡに重畳して表示される。
　第２オブジェクト生成部４６は、任意の方法で第２オブジェクトＳＢを生成してよい。例えば、第２オブジェクトＳＢの画像データが予め設定されており、第２オブジェクト生成部４６は、予め設定された第２オブジェクトＳＢの画像データを読み出して、第２オブジェクトＳＢを生成してよい。なお、第２オブジェクトＳＢも、第１オブジェクトＳＡと同様に、３Ｄ画像（３次元の立体画像データ）であってよい。
　（重畳位置の設定）
　重畳位置設定部４８は、メイン画像ＰＭ内での重畳位置を設定する。重畳位置とは、メイン画像ＰＭ内における（メイン画像ＰＭの座標系における）、第１オブジェクトＳＡ（後述の表示オブジェクトＳ）を表示する位置である。重畳位置設定部４８は、重畳位置を、任意の位置に設定してよいが、本実施形態では、対象オブジェクトの位置とは異なる位置を重畳位置として設定することが好ましい。すなわち例えば、重畳位置設定部４８は、椅子（オブジェクトＭＡ）の元の位置とは別の位置に、その椅子から補填した画像（表示オブジェクトＳ）が表示されるように、重畳位置を設定することが好ましい。なお、ここでの位置が異なる（別の位置）とは、オブジェクト同士で重畳する部分がない（オブジェクト同士が完全に重ならない）ことに限られず、オブジェクトの一部同士が重なることも含んでよい。
　さらに言えば、重畳位置設定部４８は、重畳位置に表示オブジェクトＳを表示したと仮定した場合に、表示オブジェクトＳに含まれる第２オブジェクトＳＢと、他オブジェクト（本例ではオブジェクトＭＢ）とが重畳する面積を算出して、その重畳する面積が所定値以下となる位置を、重畳位置として設定することがより好ましい。他オブジェクトとは、メイン画像ＰＭに含まれる、対象オブジェクト以外のオブジェクトＭを指し、メイン画像ＰＭにおいて対象オブジェクトに対し重畳するオブジェクトである。また、他オブジェクトは、撮像部２８側に対し、対象オブジェクトの手前に位置し、対象オブジェクトを隠すオブジェクトを指す。なお、他オブジェクトに該当するオブジェクトが複数存在する場合には、対象オブジェクトに対し他オブジェクトが重畳する面積が最も大きい他オブジェクトを選択すればよい。重畳位置設定部４８は、入力部２０により指定されたオブジェクトを他オブジェクトとしてもよい。または、重畳位置設定部４８は、対象オブジェクト、第１オブジェクト、メイン画像ＰＭに基づき、他オブジェクトを設定してもよい。例えば、重畳位置設定部４８は、対象オブジェクト抽出部４２から対象オブジェクトを取得し、第１オブジェクト生成部４４から第１オブジェクトＳＡを取得し、撮像制御部４０からメイン画像ＰＭを取得する。重畳位置設定部４８は、メイン画像ＰＭにおける対象オブジェクトに対し、第１オブジェクトＳＡを位置合わせし、第１オブジェクトＳＡの補填用オブジェクトと重畳するオブジェクトを判定する。重畳位置設定部４８は、判定したオブジェクトを他オブジェクトとして特定する。
　すなわち例えば、重畳位置設定部４８は、椅子（第１オブジェクトＳＡ）に重畳するアバター（第２オブジェクトＳＢ）が、その椅子以外のオブジェクト（机のオブジェクトＭＢ）と重畳する度合いが少なくなるように、重畳位置を設定することが好ましいといえる。例えばこの場合、重畳位置設定部４８は、最適化計算により、第２オブジェクトＳＢと、対象オブジェクト以外のそれぞれのオブジェクトＭとの重畳する面積が出来るだけ小さくなる位置を算出して、その位置を重畳位置に設定してよい。なお、重畳する面積は、第２オブジェクトＳＢの大きさ及び他オブジェクトの大きさと、重畳位置及び他オブジェクトの位置とに基づいて、算出できる。
　図５は、重畳位置の設定の他の例を示す模式図である。重畳位置は、ユーザＵにより設定されてもよい。この場合例えば、表示装置１０は、メイン画像ＰＭを表示部２２に表示させて、ユーザＵは、そのメイン画像ＰＭを視認しつつ、入力部２０に重畳位置を入力する。対象オブジェクト抽出部４２は、入力部２０に入力された重畳位置を、重畳位置として設定する。この場合例えば、図５に示すように、表示装置１０は、表示部２２に、対象オブジェクトであるオブジェクトＭＡの基準位置ＡＭＡ（例えば対象オブジェクトの中央位置）を示す画像（本例ではポインタ）を、表示させてよい。そして、ユーザＵにより、位置ＡＳＡが重畳位置として指定されると、表示装置１０は、重畳位置である位置ＡＳＡを示す画像（本例ではポインタ）と、対象オブジェクトを位置ＡＳＡに表示した画像とを、メイン画像ＰＭに対して重畳表示させる。これにより、例えば対象オブジェクトである椅子の画像がどこに移動するかを、ユーザＵに適切に認識させることができる。
　（表示オブジェクトの生成）
　表示オブジェクト生成部５０は、第１オブジェクトＳＡの表示態様を設定して、表示オブジェクトＳを生成する。すなわち、表示オブジェクトＳは、第１オブジェクトＳＡに基づき生成された、第１オブジェクトＳＡとは表示態様が異なる画像といえる。
　第１オブジェクトＳＡに基づいた表示オブジェクトＳの生成方法は任意であるが、本実施形態では、表示オブジェクト生成部５０は、メイン画像ＰＭ内における他オブジェクト（対象オブジェクト以外のオブジェクトＭ）の位置と、重畳位置設定部４８が設定した重畳位置とに基づいて、第１オブジェクトＳＡから表示オブジェクトＳを生成する。例えば、表示オブジェクト生成部５０は、重畳位置及び他オブジェクトの位置に基づいて、重畳位置に第１オブジェクトＳＡを表示したと仮定した場合に、第１オブジェクトＳＡのうちで他オブジェクト（本例ではオブジェクトＭＢ）と重畳する領域を算出する。そして、表示オブジェクト生成部５０は、第１オブジェクトＳＡからその重畳する領域を欠けさせた画像を、表示オブジェクトＳとしてよい。また例えば、表示オブジェクト生成部５０は、重畳位置と、ユーザＵの顔が向いている方向（ユーザＵが視認している方向）とに基づいて、メイン画像ＰＭ内における第１オブジェクトＳＡの向きを算出して、３Ｄ画像である第１オブジェクトＳＡから、第１オブジェクトＳＡの向きに対応する２Ｄ画像を生成して、表示オブジェクトＳとしてよい。なお、ユーザＵの顔が向いている方向の取得方法は任意であってよいが、例えば、表示オブジェクト生成部５０は、表示装置１０に搭載されているセンサの検出結果から、ユーザＵの顔の向いている方向を推定してよい。ここでのセンサは任意のものであってよいが、例えば、撮像部２８や、図示しないジャイロセンサや、図示しないＬｉＤＡＲなどが挙げられる。表示オブジェクト生成部５０は、例えばＳＬＡＭ（Simultaneous　Localization　and　Mapping）技術を用いて、ユーザＵの顔が向いている方向を推定してよい。
　本実施形態では、上述のように、第１オブジェクトＳＡと第２オブジェクトＳＢとを含む画像を、表示オブジェクトＳとする。すなわち、表示オブジェクトＳは、第１オブジェクトＳＡ及び第２オブジェクトＳＢに基づき生成された、第１オブジェクトＳＡ及び第２オブジェクトＳＢとは表示態様が異なる画像といえる。例えば、表示オブジェクト生成部５０は、重畳位置及び他オブジェクトの位置に基づいて、重畳位置に第１オブジェクトＳＡ及び第２オブジェクトＳＢを表示したと仮定した場合に、第１オブジェクトＳＡ及び第２オブジェクトＳＢのうちで他オブジェクト（本例ではオブジェクトＭＢ）と重畳する領域を算出してよい。そして、表示オブジェクト生成部５０は、第１オブジェクトＳＡ及び第２オブジェクトＳＢからその重畳する領域を欠けさせた画像を、表示オブジェクトＳとしてよい。また例えば、表示オブジェクト生成部５０は、重畳位置と、ユーザＵの顔が向いている方向とに基づいて、メイン画像ＰＭ内における第１オブジェクトＳＡ及び第２オブジェクトＳＢの向きを算出して、３Ｄ画像である第１オブジェクトＳＡ及び第２オブジェクトＳＢから、第１オブジェクトＳＡの向きに対応する２Ｄ画像と第２オブジェクトＳＢの向きに対応する２Ｄ画像とを生成して、それらの２Ｄ画像を含む画像を、表示オブジェクトＳとしてよい。
　（表示オブジェクトの表示）
　図６は、表示部が表示する画像の一例を示す模式図である。表示制御部５２は、表示部２２を制御して、表示部２２に画像を表示させる。表示制御部５２は、重畳位置に、表示オブジェクト生成部５０が生成した表示オブジェクトＳを表示させる。すなわち、図６の例に示すように、表示制御部５２は、表示オブジェクトＳをサブ画像ＰＳとして、メイン画像ＰＭと、重畳位置の表示オブジェクトＳとを、表示部２２に表示させる。すなわち図６の例では、オブジェクトＭＡ、ＭＢを含むメイン画像ＰＭと、重畳位置である位置ＡＳＡに、椅子である第１オブジェクトＳＡとアバターである第２オブジェクトＳＢとを含む表示オブジェクトＳとが重畳して表示される。なお、表示制御部５２は、表示オブジェクトＳと対象オブジェクトとが重なる場合には、対象オブジェクトのうちで表示オブジェクトＳと重なる箇所を欠けさせるように、すなわち表示オブジェクトＳが対象オブジェクトよりも前方に位置するように、画像を表示させる。一方、上述のように、表示オブジェクトＳは、他オブジェクトと重畳する部分は欠けさせることが好ましいため、他オブジェクトは、表示オブジェクトＳよりも前方に位置するように画像表示されてよい。
　なお、図６に示すように、表示オブジェクト生成部５０は、表示オブジェクトの影に対応する影画像ＳＣを生成して、表示オブジェクトＳと共に、影画像ＳＣも、メイン画像ＰＭに重畳表示させてもよい。影画像ＳＣとは、表示オブジェクトＳがメイン画像ＰＭ内の空間に実際に存在すると仮定した場合の、表示オブジェクトＳの影を示す画像である。影画像ＳＣの生成方法は任意であってよいが、例えば、表示オブジェクト生成部５０は、メイン画像ＰＭに基づいて、推定光源位置を算出する。推定光源位置とは、メイン画像ＰＭ内の空間に光を照らしている光源の推定位置である。表示オブジェクト生成部５０は、メイン画像ＰＭの画像データ（例えば画素毎の階調値や輝度値）から、公知の方法で推定光源位置を算出してよい。そして、表示オブジェクト生成部５０は、推定光源位置と、重畳位置（表示オブジェクトＳの表示位置）との位置関係から、重畳位置に表示オブジェクトＳを配置した場合にできる影の位置を算出して、算出した影の位置に影画像ＳＣを表示させる。
　（処理フロー）
　図７は、本実施形態に係る表示装置の処理フローを説明するフローチャートである。図７に示すように、表示装置１０は、撮像制御部４０により、メイン画像ＰＭの画像データを取得し（ステップＳ１０）、対象オブジェクト抽出部４２により、メイン画像ＰＭから対象オブジェクトを抽出する（ステップＳ１２）。そして、表示装置１０は、第１オブジェクト生成部４４により、対象オブジェクトに基づき第１オブジェクトＳＡを生成し（ステップＳ１４）、第２オブジェクト生成部４６により、第２オブジェクトＳＢを生成し（ステップＳ１６）、重畳位置設定部４８により、重畳位置を設定する（ステップＳ１８）。なお、ステップＳ１６の第２オブジェクトＳＢの生成は、第１オブジェクトＳＡの生成後に行うことに限られず、後述のステップＳ２０の表示オブジェクトＳの生成前の任意のタイミングで行ってよい。また、ステップＳ１８の重畳位置の設定も、第２オブジェクトＳＢの生成後に行うことに限られず、後述のステップＳ２０の表示オブジェクトＳの生成前の任意のタイミングで行ってよい。
　次に、表示装置１０は、表示オブジェクト生成部５０により、他オブジェクトの位置と重畳位置とに基づいて、第１オブジェクトＳＡ及び第２オブジェクトＳＢの表示態様を設定して、表示オブジェクトＳを生成し（ステップＳ２０）、表示制御部５２により、表示オブジェクトＳを重畳位置に表示させる（ステップＳ２２）。
　以上説明したように、本実施形態においては、対象オブジェクトを補填した第１オブジェクトＳＡを、重畳位置及び他オブジェクトの位置に基づいて、表示態様を調整して、表示オブジェクトＳを生成する。そして、そのようにして生成した表示オブジェクトＳを、重畳位置に表示させる。そのため、対象オブジェクトを、他オブジェクトとの位置関係に応じた表示態様に調整して、表示オブジェクトＳとして表示させることが可能となるため、他オブジェクトとの位置関係による見え方の違和感を低減することができ、ユーザが抱く違和感を抑制できる。より詳しくは、図６の例では、元のオブジェクトＭＡ（椅子）の位置ＡＭＡにアバターＳＢ０を含むオブジェクトを重畳表示させると、アバターＳＢ０とオブジェクトＭＢ（机）とが大きく重なってしまい、机にアバターがめり込むような、違和感のある画像となる場合がある。それに対して、図６の例では、第１オブジェクトＳＡ（椅子）や第２オブジェクトＳＢ（アバター）と、オブジェクトＭＢ（机）との重畳する面積が少なくなるような重畳位置（位置ＡＳＡ）に、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）を表示するため、見え方の違和感を低減することができる。さらに言えば、オブジェクトＭＢと表示オブジェクトＳが重なる場合には、例えば表示オブジェクトＳの重なる部分を欠けさせて表示することでも、見え方の違和感を低減することができる。
　（第２実施形態）
　次に、第２実施形態について説明する。第２実施形態においては、重畳位置の設定方法が、第１実施形態とは異なる。第２実施形態において第１実施形態と構成が共通する箇所は、説明を省略する。
　図８は、第２実施形態において表示部が表示する画像の一例を示す模式図である。第２実施形態においては、重畳位置設定部４８は、第１重畳面積と第２重畳面積とを算出して、第１重畳面積と第２重畳面積とに基づいて、重畳位置を設定する。第１重畳面積とは、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）を重畳位置に表示したと仮定した場合に、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）と対象オブジェクトとが重畳する面積を指す。また、第２重畳面積とは、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）を重畳位置に表示したと仮定した場合に、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）と他オブジェクト（対象オブジェクト以外のオブジェクト）とが重畳する面積を指す。なお、第１重畳面積は、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）の大きさ及び対象オブジェクトの大きさと、重畳位置及び対象オブジェクトの位置とに基づいて、算出できる。同様に、第２重畳面積は、表示オブジェクトＳ（第１オブジェクトＳＡ及び第２オブジェクトＳＢ）の大きさ及び他オブジェクトの大きさと、重畳位置及び他オブジェクトの位置とに基づいて、算出できる。
　より詳しくは、重畳位置設定部４８は、第１重畳面積が第１所定面積以上となり、かつ、第２重畳面積が第２所定面積以下となるように、重畳位置を設定することが好ましい。第１所定面積及び第２所定面積は任意に設定されてよい。さらに好ましくは、重畳位置設定部４８は、最適化計算により、第１重畳面積ができるだけ大きくなり、かつ第２重畳面積ができるだけ小さくなるように最適化された位置を、重畳位置として設定する。
　このように、第２実施形態においては、第１重畳面積と第２重畳面積とに基づいて、重畳位置を設定している。そのため、対象オブジェクト及び他オブジェクトの両方に対する、表示オブジェクトＳの重畳度合いに応じて、重畳位置を決定できるため、見え方の違和感をより好適に抑制できる。さらに言えば、第２実施形態においては、表示オブジェクトＳと対象オブジェクトとの第１重畳面積を大きくし、かつ、表示オブジェクトＳと他オブジェクトとの第２重畳面積を小さくするように、重畳位置を決定する。そのため、表示オブジェクトＳと他オブジェクトとの位置関係による違和感を抑えつつ、表示オブジェクトＳにより対象オブジェクトをできるだけ隠すことが可能となるため、見え方の違和感をより好適に抑制できる。すなわち例えば、図６に示すように、表示オブジェクトＳとオブジェクトＭＡ（対象オブジェクト）との第１重畳面積が比較的小さい場合には、同じ椅子を示す表示オブジェクトＳとオブジェクトＭＡとが並んで表示されてしまうため、ユーザＵに違和感を生じさせるおそれがある。それに対して、図８に示すように、表示オブジェクトＳとオブジェクトＭＡ（対象オブジェクト）との第１重畳面積を出来るだけ大きくすることで、ユーザＵの違和感を抑制できる。
　（効果）
　以上説明したように、本開示に係る表示装置１０は、対象オブジェクト抽出部４２と、第１オブジェクト生成部４４と、重畳位置設定部４８と、表示オブジェクト生成部５０と、表示制御部５２とを含む。対象オブジェクト抽出部４２は、撮像部２８によって撮像されたメイン画像ＰＭに含まれる対象オブジェクトを抽出する。第１オブジェクト生成部４４は、対象オブジェクトに基づき、対象オブジェクトを補填した画像である第１オブジェクトＳＡを生成する。重畳位置設定部４８は、メイン画像ＰＭ内で第１オブジェクトＳＡを表示する位置である重畳位置を設定する。表示オブジェクト生成部５０は、メイン画像ＰＭに含まれる対象オブジェクト以外の他オブジェクトの位置と、重畳位置とに基づいて、第１オブジェクトＳＡの表示態様を設定して、表示オブジェクトＳを生成する。表示制御部５２は、重畳位置に表示オブジェクトＳを表示させる。本開示によると、対象オブジェクトを、他オブジェクトとの位置関係に応じた表示態様に調整して、表示オブジェクトＳとして表示させることが可能となるため、他オブジェクトとの位置関係による見え方の違和感を低減することができ、ユーザが抱く違和感を抑制できる。
　重畳位置設定部４８は、対象オブジェクトとは異なる位置を、重畳位置として設定する。本開示によると、見え方の違和感をより好適に抑制できる。
　本開示に係る表示装置１０は、第２オブジェクトＳＢを生成する第２オブジェクト生成部４６を更に含み、表示オブジェクト生成部５０は、第１オブジェクトＳＡと第２オブジェクトＳＢとを含む画像を、表示オブジェクトＳとして生成し、重畳位置設定部４８は、重畳位置に表示オブジェクトＳを表示した場合に、第２オブジェクトＳＢと他オブジェクトとが重畳する面積が所定値以下となる位置を、重畳位置として設定する。本開示によると、見え方の違和感をより好適に抑制できる。
　重畳位置設定部４８は、重畳位置に表示する表示オブジェクトＳと対象オブジェクトとが重畳する面積（第１重畳面積）と、重畳位置に表示する表示オブジェクトＳと他オブジェクトとが重畳する面積（第２重畳面積）とに基づいて、重畳位置を設定する。そのため、対象オブジェクト及び他オブジェクトの両方に対する、表示オブジェクトＳの重畳度合いに応じて、重畳位置を決定できるため、見え方の違和感をより好適に抑制できる。
　表示オブジェクト生成部５０は、表示オブジェクトＳの影に対応する影画像ＳＣを生成し、表示制御部５２は、表示オブジェクトＳと影画像ＳＣとを表示させる。影画像ＳＣを表示することで、表示オブジェクトＳに実在物と同様の影をつけることができるため、見え方の違和感をより好適に抑制できる。
　以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態の表示装置、表示方法及びプログラムは、例えば画像表示に利用することができる。
　１０　表示装置
　２２　表示部
　２８　撮像部
　４０　撮像制御部
　４２　対象オブジェクト抽出部
　４４　第１オブジェクト生成部
　４６　第２オブジェクト生成部
　４８　重畳位置設定部
　５０　表示オブジェクト生成部
　５２　表示制御部
　ＰＭ　メイン画像
　ＰＳ　サブ画像
　Ｓ　表示オブジェクト
　ＳＡ　第１オブジェクト
　ＳＢ　第２オブジェクト

Claims (7)

  1. 　撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出する対象オブジェクト抽出部と、
    　前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成する第１オブジェクト生成部と、
    　前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定する重畳位置設定部と、
    　前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成する表示オブジェクト生成部と、
    　前記重畳位置に前記表示オブジェクトを表示させる表示制御部と、
    　を含む、
    　表示装置。
  2. 　前記重畳位置設定部は、前記対象オブジェクトとは異なる位置を、前記重畳位置として設定する、請求項１に記載の表示装置。
  3. 　第２オブジェクトを生成する第２オブジェクト生成部を更に含み、
    　前記表示オブジェクト生成部は、前記第１オブジェクトと前記第２オブジェクトとを含む画像を、前記表示オブジェクトとして生成し、
    　前記重畳位置設定部は、前記重畳位置に前記表示オブジェクトを表示した場合に、前記第２オブジェクトと前記他オブジェクトとが重畳する面積が所定値以下となる位置を、前記重畳位置として設定する、請求項１又は請求項２に記載の表示装置。
  4. 　前記重畳位置設定部は、前記重畳位置に表示する前記表示オブジェクトと前記対象オブジェクトとが重畳する面積と、前記重畳位置に表示する前記表示オブジェクトと前記他オブジェクトとが重畳する面積とに基づいて、前記重畳位置を設定する、請求項１又は請求項２に記載の表示装置。
  5. 　前記表示オブジェクト生成部は、前記表示オブジェクトの影に対応する影画像を生成し、
    　前記表示制御部は、前記表示オブジェクトと前記影画像とを表示させる、請求項１又は請求項２に記載の表示装置。
  6. 　撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、
    　前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、
    　前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、
    　前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、
    　前記重畳位置に前記表示オブジェクトを表示するステップと、
    　を含む、
    　表示方法。
  7. 　撮像部によって撮像されたメイン画像に含まれる対象オブジェクトを抽出するステップと、
    　前記対象オブジェクトに基づき、前記対象オブジェクトを補填した画像である第１オブジェクトを生成するステップと、
    　前記メイン画像内で前記第１オブジェクトを表示する位置である重畳位置を設定するステップと、
    　前記メイン画像に含まれる前記対象オブジェクトに重畳する他オブジェクトの位置と、前記重畳位置とに基づいて、前記第１オブジェクトの表示態様を設定して、表示オブジェクトを生成するステップと、
    　前記重畳位置に前記表示オブジェクトを表示するステップと、
    　をコンピュータに実行させる、
    　プログラム。
PCT/JP2023/035168 2022-09-27 2023-09-27 表示装置、表示方法及びプログラム WO2024071208A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-153256 2022-09-27
JP2022153256A JP2024047648A (ja) 2022-09-27 2022-09-27 表示装置、表示方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024071208A1 true WO2024071208A1 (ja) 2024-04-04

Family

ID=90477977

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035168 WO2024071208A1 (ja) 2022-09-27 2023-09-27 表示装置、表示方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2024047648A (ja)
WO (1) WO2024071208A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022030844A (ja) * 2020-08-07 2022-02-18 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法
WO2022044124A1 (ja) * 2020-08-25 2022-03-03 マクセル株式会社 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022030844A (ja) * 2020-08-07 2022-02-18 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法
WO2022044124A1 (ja) * 2020-08-25 2022-03-03 マクセル株式会社 ３次元仮想現実表示装置、ヘッドマウントディスプレイ、および３次元仮想現実表示方法

Also Published As

Publication number Publication date
JP2024047648A (ja) 2024-04-08

Similar Documents

Publication Publication Date Title
US10629107B2 (en) Information processing apparatus and image generation method
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3398004B1 (en) Configuration for rendering virtual reality with an adaptive focal plane
US10969861B2 (en) Image processing device, image processing method, and image system
JP6474278B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
US11423604B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
JP2021105749A (ja) 情報処理装置、情報処理方法およびプログラム
WO2021124920A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP6687751B2 (ja) 画像表示システム、画像表示装置、その制御方法、及びプログラム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US20240046507A1 (en) Low bandwidth transmission of event data
WO2019048819A1 (en) METHOD FOR MODIFYING AN IMAGE ON A COMPUTER DEVICE
US20200241300A1 (en) Stabilized and tracked enhanced reality images
JP6858007B2 (ja) 画像処理システム、画像処理方法
GB2525304B (en) Interactive information display
WO2024071208A1 (ja) 表示装置、表示方法及びプログラム
WO2022004130A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
KR20180000417A (ko) 투과형 헤드 마운티드 디스플레이 장치 및 상기 장치에서의 화면 심도 제어 방법
US20240031552A1 (en) Head-mounted display and image displaying method
US20230412792A1 (en) Rendering format selection based on virtual distance
US20240104862A1 (en) Spatially aware playback for extended reality content
KR20180092187A (ko) 증강 현실 제공 시스템
CN117170602A (zh) 显示虚拟对象的电子设备
JP2021086287A (ja) 情報処理システム、情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872430

Country of ref document: EP

Kind code of ref document: A1