WO2019131160A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2019131160A1
WO2019131160A1 PCT/JP2018/045816 JP2018045816W WO2019131160A1 WO 2019131160 A1 WO2019131160 A1 WO 2019131160A1 JP 2018045816 W JP2018045816 W JP 2018045816W WO 2019131160 A1 WO2019131160 A1 WO 2019131160A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
eye
luminance correction
display area
Prior art date
Application number
PCT/JP2018/045816
Other languages
English (en)
French (fr)
Inventor
佳世子 田中
相木　一磨
洋史 湯浅
中野　聡
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18895427.5A priority Critical patent/EP3734969A4/en
Priority to CN201880069134.5A priority patent/CN111264057B/zh
Priority to US16/758,674 priority patent/US11039124B2/en
Publication of WO2019131160A1 publication Critical patent/WO2019131160A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, and a recording medium, and in particular, an information processing apparatus and an information processing method capable of presenting an object which tends to be a fused state naturally connected regardless of distance. , And a recording medium.
  • HMD Head Mounted Display
  • respective displays for the left eye and the right eye there is an HMD (Head Mounted Display) provided with respective displays for the left eye and the right eye.
  • HMD Head Mounted Display
  • the parallax of the eyes enables the user to stereoscopically view the object included in the image.
  • Patent Document 1 discloses a technique in which an optical system for the left eye and an optical system for the right eye, which are disposed in front of the user's eyes, are respectively inclined outward for the purpose of securing a wide viewing angle. .
  • the range of the luminance correction is a constant range regardless of the presentation distance, the fusion image and the image quality may be affected.
  • the present technology has been made in view of such a situation, and is intended to be able to present an object that tends to be in a fused state that is naturally connected regardless of the distance.
  • An information processing apparatus includes an acquisition unit that acquires position information of an object in a depth direction, which causes a user to perceive by outputting an image for the left eye and an image for the right eye;
  • the first display area which is an area overlapping the display area of the right-eye image, which is included in the display area of the image, and the left-eye image which is included in the display area of the right-eye image
  • a control unit configured to set a luminance correction area to be subjected to luminance correction based on the position information in at least one display area of the second display area that is an area overlapping the display area.
  • position information in the depth direction of an object is acquired by causing a user to perceive by outputting an image for the left eye and an image for the right eye, and is included in the display area of the image for the left eye
  • a luminance correction area to be subjected to luminance correction is set based on the position information in at least one of the display areas.
  • a phenomenon in which a part of the image on the monocular vision area side looks transparent or a phenomenon called Luning in which a dark band appears can occur due to the visual field conflict.
  • a method of displaying an auxiliary image which is a linear image near the boundary is known.
  • a technique for suppressing Luning by displaying an auxiliary image is adopted, for example, in a military aircraft HMD.
  • FIG. 1 is a diagram illustrating an exemplary configuration of an information processing system according to an embodiment of the present technology.
  • the information processing system of FIG. 1 is configured by connecting the HMD 1 and the content distribution server 2 via the network 3 such as the Internet.
  • the HMD 1 is a glasses-type wearable terminal provided with a transmissive display device.
  • the HMD 1 communicates with the content distribution server 2 via the network 3 and receives the content transmitted from the content distribution server 2.
  • the HMD 1 reproduces content and displays an image including various objects on a display device. The user sees the object superimposed on the landscape ahead of him.
  • the projection method of the image including the object may be a virtual image projection method or a retinal projection method in which an image is formed directly on the retina of the user's eye.
  • the content reproduced by the HMD 1 is not limited to the content transmitted from the content distribution server 2.
  • the content stored in the memory mounted on the HMD 1 is reproduced on the HMD 1.
  • the content stored in a portable terminal such as a smartphone or a tablet terminal carried by the user, or the content stored in a PC may be acquired by the HMD 1 and reproduced.
  • FIG. 2 is a diagram showing an example of how an object looks.
  • the range of the horizontally long rectangle shown in FIG. 2 shows the range which can overlap and display various information by HMD1 among the ranges of the scenery which the user is actually seeing. In practice, the user is looking at a wider landscape than the range shown in FIG.
  • an object O which is an image of a motorcycle, is presented superimposed on the scene in front of the user.
  • the object O may be a two-dimensional image, or may be a three-dimensional image capable of stereoscopic vision.
  • FIG. 3 is a view showing a display example of content for realizing the appearance of the landscape as shown in FIG.
  • a of FIG. 3 shows the scenery seen in front of the user.
  • the user is looking at the landscape in which the buildings are lined up on either side of the road.
  • An image including an object O as shown in FIG. 3B is displayed superimposed on such a landscape, and as shown in FIG. 3C, the object O is present in front of the landscape as in FIG. Is realized.
  • a portion other than the portion where the object O is displayed is a portion with high transparency (a portion where the landscape looks completely transparent compared to the portion with the image on the screen appearance) ).
  • the HMD 1 presents such an object by setting the presentation distance to various distances.
  • the presentation distance is a distance in the depth direction that the user perceives from the position of the eye to the position of the object.
  • FIG. 4 is a diagram showing another example of how an object looks.
  • a of FIG. 4 shows how the object O looks when the presentation distance is short.
  • the presentation distance of the object O of A of FIG. 4 is 30 cm.
  • the object O is displayed so as to occupy a wide range.
  • B of FIG. 4 shows the appearance of the object O when the presentation distance is, for example, 2 m
  • C of FIG. 4 shows the appearance of the object O when the presentation distance is, for example, 10 m.
  • objects O of different sizes are displayed according to the presented distance.
  • the presentation of such an object is performed by delivering the image for the left eye, which is an image for the left eye, to the left eye of the user, and delivering the image for the right eye, which is an image for the right eye, to the right eye of the user.
  • the HMD 1 is provided with a display unit for displaying a left-eye image and a display unit for displaying a right-eye image.
  • FIG. 5 is a view showing an example of an image for the left eye and an image for the right eye.
  • a scene in front of the user is shown in the background of the object.
  • the different ranges of the landscapes indicate that the left-eye image and the right-eye image are images that assume different viewing angles according to the parallax.
  • the range of the landscape included in the left-eye image and the range of the landscape included in the right-eye image are partially overlapping ranges.
  • the position of the object O L in the image for the left eye and the position of the object O R in the image for the right eye are also different positions according to the parallax.
  • FIG. 6 is a plan view schematically showing the display method of the HMD 1.
  • the left-eye optical system 11L for guiding the front landscape and the left-eye image to the left eye, and the right-eye optical system 11R for guiding the front landscape and the right-eye image to the right eye It is provided at a predetermined angle so as to face outward with respect to a vertical line passing through the centers of the two eyes.
  • the left-eye optical system 11L and the right-eye optical system 11R are respectively provided with display units for displaying the left-eye image and the right-eye image.
  • An area in which the area of the image for the left eye and the area of the image for the right eye overlap is a binocular vision area in which the display content is led to both eyes. Further, of the region for the left eye image and the region for the right eye image, a region other than the binocular vision region is a monocular vision region in which the display content is led to one eye.
  • a binocular vision area in which the image for the right eye and the display area overlap is formed on the right of the entire display area, and in the image for the right eye, an area where the image for left eye and the display area overlaps
  • the binocular vision area, which is the second display area is formed on the left side of the entire display area.
  • the parallax is set to the image for the left eye and the image for the right eye, and the same image is displayed on the left and right by displaying the image for the left eye and the image for the right eye so as to overlap in a partial region.
  • a wider viewing angle can be secured compared to the case.
  • the HMD 1 can present various images other than the image of the motorcycle to the user as an object. Also, the HMD 1 can present a plurality of objects to the user simultaneously by displaying an image including the plurality of objects.
  • FIG. 7 is a diagram showing an example of the luminance correction pattern.
  • an area having a predetermined width from the right end of the left eye image is set as the left eye side luminance correction area.
  • the image for the left eye is subjected to luminance correction processing in accordance with the gradation-like luminance correction pattern such that the luminance gradually decreases toward the right end.
  • processing is performed such that the darker the part is, the lower the luminance of the image of that part (the higher the transparency).
  • an area having a predetermined width from the left end of the right-eye image is set as the right-eye side luminance correction area.
  • the image for the right eye is subjected to luminance correction processing in accordance with the gradation-like luminance correction pattern so that the luminance gradually decreases toward the left end.
  • the width of the left eye side luminance correction area and the width of the right eye side luminance correction area are the same.
  • FIG. 8 is a diagram showing an example of the luminance correction process.
  • the graph shown in the upper part of FIG. 8 is a graph showing changes in luminance when luminance correction is performed using the luminance correction pattern of FIG. 7.
  • the vertical axis indicates the luminance correction value
  • the horizontal axis indicates the horizontal position on the display unit (on the image).
  • the luminance correction pattern in which the luminance decreases linearly as the end of the image is used, but the luminance correction pattern in which the luminance gradually decreases and the luminance correction in which the luminance decreases in a curved shape A pattern may be used.
  • the luminance gradually decreases toward the right end.
  • the object is an image of an illustration representing a human face.
  • the portion of the luminance correction area of the object O R will gradually decrease state brightness toward the left.
  • the image for the left eye after the luminance correction is displayed on the display unit provided in the left-eye optical system 11L, and the right-eye image is displayed on the display unit provided in the right-eye optical system 11R.
  • an object O whose brightness is corrected at both ends of the binocular vision area is presented.
  • the lower part of FIG. 8 shows the state of the object O recognized by the user.
  • the position of the left eye side luminance correction area is the boundary between the right end of the left eye image and the right eye image And the position in the binocular vision region of the left-eye image (the position inside the binocular vision region).
  • the position of the right eye side luminance correction area is a position within the binocular vision area of the right eye image with reference to the boundary between the left end of the right eye image and the left eye image.
  • the fusion image is the function of fusing the images seen on the left and right retinas and recognizing them as one image.
  • the presentation distance is set to various distances to present objects.
  • the luminance correction pattern used for luminance correction of the image for the left eye and the image for the right eye is switched according to the presentation distance of the object.
  • FIG. 9 is a diagram illustrating an example of a change in luminance correction pattern according to the presentation distance of an object.
  • a broken line L1 shown in the lower part of FIG. 9 indicates the position of the user's eye as a reference of the presentation distance.
  • the broken line L2 indicates the position when 35 cm is assumed as the presentation distance of the object, and the broken line L3 indicates the position when 5 m is assumed as the presentation distance of the object.
  • the range between the straight lines # 1 and # 2 corresponds to the range of light reaching the left eye of the user (range of the image for the left eye), and the range between the straight lines # 11 and # 12 is the right of the user It corresponds to the range of light reaching the eye (range of the image for the right eye).
  • the left eye side luminance correction area is set at the right end of the left eye image, and the right eye luminance correction area is set at the left end of the right eye image.
  • the left eye side luminance correction area set at the right end of the left eye image is set as an area having a wider width (angle) as the presentation distance of the object is longer.
  • the right eye side luminance correction area set at the left end of the image for the right eye is set as an area having a wider width as the presentation distance of the object is longer.
  • the width of the luminance correction area changes linearly in the range of the presentation distance of 35 cm to 5 m.
  • the luminance correction pattern P1 shown on the right side of FIG. 9 shows the luminance correction pattern when the presentation distance is 35 cm.
  • the luminance correction pattern P2 indicates a luminance correction pattern when the presentation distance is 5 m.
  • the luminance correction is performed in a wider range than in the case where the presentation distance is 35 cm.
  • the HMD 1 can appropriately fuse images even when the presentation distance of the object is short.
  • FIG. 10 is a view showing another example of the change of the brightness correction pattern according to the presentation distance of the object.
  • the width of the luminance correction area is assumed to change stepwise according to the presentation distance of the object.
  • the luminance correction pattern P11 used when the presentation distance of the object is 35 cm is, for example, a luminance correction pattern in which an area narrower than the luminance correction pattern P1 in FIG. 9 is a luminance correction area.
  • the luminance correction pattern P12 used when the presentation distance of the object is 5 m is, for example, a luminance correction pattern in which an area having the same width as the luminance correction pattern P2 of FIG. 9 is a luminance correction area.
  • the width of the luminance correction area may be switched in two steps of less than 1 m and more where fusion is generally difficult.
  • the presentation distance at which the change in the width of the luminance correction area becomes discontinuous may be another distance other than 1 m.
  • the width of the luminance correction area may be set to have three or more steps of change.
  • FIG. 11 is a diagram illustrating an example of another change of the luminance correction pattern according to the presentation distance of the object.
  • the width of the luminance correction area changes stepwise at each distance of the object presentation distance, the threshold TH1 indicated by the broken line L11, the threshold TH2 indicated by the broken line L12, and the threshold TH3 indicated by the broken line L13. It is supposed to be.
  • the HMD 1 can change the width of the luminance correction area in stages at various presentation distances.
  • the width of the luminance correction area may be switched stepwise at the distances of 35 cm, 50 cm, 75 cm, 1 m, and 2 m for the presentation distance of the object.
  • the width of the luminance correction area may be switched using a combination of predetermined presentation distances such as 35 cm, 50 cm, 1 m, 2 m distances, 35 cm, 50 cm, 2 m distances, or the like.
  • the convergence angle of the user's eyes does not change significantly, and thus the width of the luminance correction area may be set as a constant width.
  • the convergence angle is an angle formed by a straight line connecting the left eye and the object and a straight line connecting the right eye and the object.
  • the convergence angle of the user's eyes may be monitored, and the width of the luminance correction area may be switched according to the monitoring value.
  • the width of the luminance correction area can be switched between when the convergence angle is 5 degrees or more and less than 5 degrees.
  • the width of the luminance correction area may be switched according to the setting of the user.
  • processing is performed as an initial setting in which the object is gradually approached and presented, and the user sets a distance at which fusion becomes difficult.
  • the information recorded at the time of initial setting is referred to, and the width of the luminance correction area is switched stepwise before and after the presentation distance set by the user.
  • FIG. 12 is a block diagram showing a configuration example of the HMD 1.
  • the HMD 1 includes a sensor 51, a camera 52, a user information acquisition unit 53, a peripheral information acquisition unit 54, an output control unit 55, a display unit 56L for the left eye, a display unit 56R for the right eye, and a communication unit 57. , And a power supply unit 58.
  • the sensor 51 and the camera 52 may not be provided in the HMD 1 but may be provided in an external device such as a portable terminal held by the user.
  • the sensor 51 is configured of an acceleration sensor, a gyro sensor, a positioning sensor, and the like.
  • the sensor 51 is also provided with a gaze detection device 51A that detects the direction of the user's gaze.
  • the sensor 51 outputs information representing various measurement results to the user information acquisition unit 53 and the peripheral information acquisition unit 54.
  • the camera 52 captures a scene in front of the user.
  • the camera 52 supplies an image obtained by shooting to the user information acquisition unit 53 and the peripheral information acquisition unit 54.
  • the user information acquisition unit 53 Based on the information supplied from the sensor 51 and the camera 52, the user information acquisition unit 53 identifies the state of the user such as the position of the user and the action taken by the user.
  • the user information acquisition unit 53 identifies which subject the user is looking at based on the information supplied from the gaze detection device 51A. An object presented by displaying the left-eye image and the right-eye image, an object appearing in an image taken by the camera 52, and the like are identified as objects the user is looking at.
  • the user information acquisition unit 53 outputs, to the output control unit 55, user information including information representing the state of the user and information representing the subject viewed by the user.
  • the peripheral information acquisition unit 54 identifies the situation around the user based on the information supplied from the sensor 51 and the camera 52. For example, by analyzing the image captured by the camera 52, the location of a building, a road, a signboard, etc. are identified.
  • the peripheral information acquisition unit 54 outputs, to the output control unit 55, peripheral information representing the situation around the user.
  • the output control unit 55 determines an object to be presented to the user based on the content supplied from the communication unit 57.
  • the output control unit 55 also determines the presentation position of the object based on the user information supplied from the user information acquisition unit 53 and the peripheral information supplied from the peripheral information acquisition unit 54.
  • the output control unit 55 generates an image for the left eye and an image for the right eye including the object based on the content supplied from the communication unit 57. In addition, the output control unit 55 performs luminance correction of the image for the left eye and the image for the right eye, using the luminance correction pattern set based on the presentation distance of the object.
  • the output control unit 55 outputs the left-eye image obtained by performing the luminance correction to the left-eye display unit 56L, and outputs the right-eye image to the right-eye display unit 56R.
  • the left-eye display unit 56L is a display provided to the left-eye optical system 11L.
  • the left-eye display unit 56L displays the left-eye image supplied from the output control unit 55.
  • the right-eye display unit 56R is a display provided to the right-eye optical system 11R.
  • the right-eye display unit 56R displays the right-eye image supplied from the output control unit 55.
  • the communication unit 57 is an interface of a network.
  • the communication unit 57 communicates with the content distribution server 2 via the network 3 and receives the content transmitted from the content distribution server 2.
  • the content received by the communication unit 57 is supplied to the output control unit 55.
  • the power supply unit 58 includes a battery and a power supply circuit.
  • the power supply unit 58 supplies power necessary for driving to each unit.
  • FIG. 13 is a block diagram showing an example of a functional configuration of the output control unit 55 of FIG.
  • the functional units illustrated in FIG. 13 is realized by execution of a predetermined program by a CPU (Central Processing Unit) provided in the output control unit 55.
  • the output control unit 55 is also provided with a configuration such as a ROM (Read Only Memory) in which a program executed by the CPU is recorded, a RAM (Random Access Memory) used for the execution of the program, and a GPU (Graphics Processing Unit).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • GPU Graphics Processing Unit
  • the output control unit 55 includes a display image acquisition unit 81, a display position determination unit 82, an image generation unit 83, a control unit 84, a luminance correction unit 85, and a distortion correction unit 86.
  • the user information output from the user information acquisition unit 53 and the peripheral information output from the peripheral information acquisition unit 54 are input to the display image acquisition unit 81 and the display position determination unit 82, respectively.
  • the display image acquisition unit 81 determines an object to be presented to the user based on the state of the user represented by the user information and the peripheral situation represented by the peripheral information. An object to be presented to the user is selected from objects included in the content supplied from the communication unit 57.
  • the display image acquisition unit 81 outputs information of an object to be presented to the user to the image generation unit 83 and the control unit 84.
  • the information output from the display image acquisition unit 81 includes image data of an object.
  • the display position determination unit 82 determines the display position of the object based on the user information and the peripheral information.
  • the position of the signboard is determined as the display position of the object.
  • the display position determination unit 82 outputs information representing the display position of the object to the image generation unit 83 and the control unit 84.
  • the image generation unit 83 generates an image for the left eye and an image for the right eye including an object of a size and a shape according to the display position determined by the display position determination unit 82 based on the information supplied from the display image acquisition unit 81 Generate Parallax is appropriately set for the object included in the left-eye image and the object included in the right-eye image.
  • the image generation unit 83 outputs the left-eye image and the right-eye image to the luminance correction unit 85.
  • the control unit 84 specifies the presentation distance of the object based on the display position determined by the display position determination unit 82.
  • the display position of the object is represented by the presentation distance of the object and the position on the image of the object.
  • control unit 84 sets a brightness correction area having a width corresponding to the presentation distance of the object in each of the left eye image and the right eye image.
  • the control unit 84 functions as a control unit that sets the luminance correction area to be subjected to the luminance correction based on the presentation distance of the object.
  • the control unit 84 outputs, to the brightness correction unit 85, information representing a brightness correction pattern for performing the brightness correction in the portion of the brightness correction area.
  • the luminance correction unit 85 performs luminance correction on the left-eye image and the right-eye image generated by the image generation unit 83 in accordance with the luminance correction pattern set by the control unit 84.
  • the luminance correction unit 85 outputs the image for the left eye and the image for the right eye after luminance correction obtained by performing the luminance correction to the distortion correction unit 86.
  • the distortion correction unit 86 performs distortion correction on the luminance-corrected image for the left eye and the image for the right eye supplied from the luminance correction unit 85.
  • Distortion correction by the distortion correction unit 86 is processing such as projection transformation according to the characteristics of the optical system.
  • the distortion correction unit 86 outputs the left-eye image after distortion correction to the left-eye display unit 56L, and outputs the right-eye image to the right-eye display unit 56R.
  • FIG. 14 is a diagram showing an example of processing for the image for the left eye and the image for the right eye.
  • luminance correction for the left-eye image and the right-eye image is performed before distortion correction. If luminance correction is performed after distortion correction, setting of the luminance correction area becomes complicated. By performing luminance correction before distortion correction, it is possible to reduce the amount of calculation required to set the luminance correction area.
  • luminance correction before distortion correction, it is possible to perform luminance correction to the equal-width range from the image edge, which makes it possible to generate an image that is easy to fuse. . If the distortion to be corrected is slight, brightness correction may be performed after the distortion correction.
  • step S ⁇ b> 1 based on the information supplied from the sensor 51 and the camera 52, the peripheral information acquisition unit 54 acquires peripheral information that indicates the situation around the user.
  • step S2 the user information acquisition unit 53 acquires user information representing the state of the user based on the information supplied from the sensor 51 and the camera 52.
  • step S3 the display image acquisition unit 81 and the display position determination unit 82 of the output control unit 55 each specify the situation around the user based on the surrounding information.
  • the display image acquisition unit 81 and the display position determination unit 82 each specify the state of the user based on the user information.
  • step S4 the display image acquisition unit 81 determines an object to be presented to the user based on the state of the user and the surrounding situation.
  • step S5 the display position determination unit 82 determines the display position of the object based on the state of the user and the peripheral situation.
  • step S6 the control unit 84 specifies the presentation distance of the object based on the display position determined in step S5, and determines the luminance correction pattern according to the presentation distance. At the time of determination of the luminance correction pattern, the shape of the object, etc. is also considered as appropriate. The process of determining the luminance correction pattern based on an element other than the presentation distance will be described later.
  • step S7 the image generation unit 83 generates an image for the left eye and an image for the right eye including an object of a predetermined size and shape.
  • step S8 the luminance correction unit 85 performs luminance correction on the left-eye image and the right-eye image according to the luminance correction pattern.
  • step S9 the distortion correction unit 86 performs distortion correction on the luminance-corrected image for the left eye and the image for the right eye.
  • step S10 the left-eye display unit 56L displays the left-eye image
  • the right-eye display unit 56R displays the right-eye image.
  • the left-eye image and the right-eye image displayed here are images after distortion correction.
  • the HMD 1 can appropriately fuse the object to the user's eyes by changing the width of the area to be subjected to the luminance correction according to the presentation distance of the object.
  • ⁇ Modification> An example of luminance correction based on the shape of the object
  • the width of the luminance correction area may be switched according to the aspect ratio (ratio of vertical length and horizontal length) of the object.
  • a narrower luminance correction area is set than when vertically longer than 1: 2.
  • the width of the luminance correction area may be switched based on the aspect ratio of 2: 3.
  • the width of the brightness correction area may be switched in accordance with the object size.
  • a narrower luminance correction area is set than in the case where the object fits in the binocular vision area.
  • the brightness correction area according to the area ratio of the object is set, such as setting a narrow brightness correction area.
  • the width of the correction area may be switched.
  • the width of the brightness correction area may be switched using a combination of the shape and the area ratio of the object.
  • the brightness correction area narrower than in the case where those conditions are not satisfied Is set.
  • the setting of the luminance correction area is performed based on at least one of the presentation distance of the object, the aspect ratio of the object, and the ratio of the area of the object to the area of the entire image.
  • the ease of fusion image changes depending on the display of the part straddling the monocular vision area and the binocular vision area.
  • the width of the luminance correction area in accordance with the shape of the object or the proportion of the object in the image, it is possible to present an object that is easier to be fused.
  • the width of the luminance correction area may be determined based on the shape and size of the closest object.
  • FIG. 16 is a view showing a display example of an image for the left eye and an image for the right eye according to the non-line-of-sight system.
  • the display method of the image for the left eye and the image for the right eye described with reference to FIG. As shown in the middle part of FIG. 16, when the binocular vision regions are overlapped and arranged, in the non-line-of-sight method, the image for the left eye is arranged on the left side of the image for the right eye and is guided to the left eye of the user. Also, the right-eye image is disposed on the right side of the left-eye image, and is guided to the user's right eye.
  • the binocular vision area is formed to be closer to the right end in the image for the left eye, and formed to be closer to the left end in the image for the right eye.
  • the luminance correction area is set at the right end of the left eye image, and luminance correction of the left eye image is performed, and the luminance correction area is set at the left end of the right eye image And the brightness correction of the image for the right eye is performed.
  • FIG. 17 is a view showing a display example of the image for the left eye and the image for the right eye by the line-of-sight crossing method.
  • the image for the left eye is arranged on the right side of the image for the right eye and is guided to the left eye of the user.
  • the right-eye image is disposed on the left side of the left-eye image, and is guided to the user's right eye.
  • the binocular vision area is formed close to the left end in the image for the left eye, and is formed close to the right end in the image for the right eye.
  • a luminance correction area is set at the left end of the left eye image, luminance correction of the left eye image is performed, and a luminance correction area is set at the right end of the right eye image. Brightness correction is performed.
  • the width of the luminance correction area is as described above. Is set according to the presentation distance of the object.
  • the brightness correction area with a narrow width is set as the object presentation distance is longer.
  • the width of the luminance correction area is set to change linearly or stepwise according to the presentation distance of the object.
  • the width of the luminance correction area may be set using not only the presentation distance of the object but also at least one of the shape and the size of the object.
  • FIG. 18 is a view showing another display example of the image for the left eye and the image for the right eye.
  • the object is placed to the right and part of the right side of the object is not included in the display area.
  • the right part of the object not included in the left-eye image is to be presented using the right-eye image.
  • the object is arranged so as to fit in the display area.
  • the luminance correction is performed on only the area inside the right side boundary displayed across the objects among the left and right boundaries of the binocular vision area. That is, while the luminance correction area is set at the right end of the left-eye image and luminance correction is performed on the left-eye image, luminance correction on the right-eye image is not performed.
  • the object does not cover the end of the display area (the right end of the left-eye image and the left end of the right-eye image), it is possible not to perform luminance correction for that area.
  • the brightness correction process is performed on at least one of the left eye image and the right eye image.
  • FIG. 19 is a view showing another display example of the image for the left eye and the image for the right eye.
  • the user's dominant eye is the right eye.
  • selection of a dominant eye is performed, and information representing the user's dominant eye is recorded in the HMD 1.
  • the object for the image for the left eye is placed at the right end, and the object for the image for the right eye is placed at the left end.
  • a luminance correction area is set at the right end of the left eye image, a luminance correction area is set at the left end of the right eye image, and luminance correction is performed on each of the left eye image and the right eye image .
  • the luminance correction area narrower than the luminance correction area set in the left-eye image Is set.
  • FIG. 20 is a diagram showing a display example of the auxiliary image in the non-gaze mode.
  • an auxiliary image is displayed superimposed on the main image including the object.
  • thin vertical lines are displayed as an auxiliary image.
  • the width of the binocular vision area differs depending on the gaze distance of the user.
  • the widths of the binocular vision area and the monocular vision area change in accordance with the distance at which the user gazes, and accordingly, the display position of the auxiliary image is also adjusted.
  • the convergence angle is calculated based on the gaze direction of both eyes, and the gaze distance of the user is specified based on the calculated convergence angle.
  • FIG. 20 shows the display position of the auxiliary image when the gaze distance of the user is far, such as 5 m.
  • auxiliary images are displayed at intervals as shown in FIG.
  • broken lines are shown above and below the auxiliary image, but the broken lines are lines indicating the range of the display area of the image for the left eye and the image for the right eye. Does not represent an image.
  • FIG. 21 is a diagram showing a display example of the auxiliary image when the gaze distance of the user is short.
  • the width of the binocular vision area becomes narrower than in the case of FIG.
  • the display position of the auxiliary image is also changed.
  • the closer the object the user gazes to the wider the binocular vision area.
  • auxiliary image is shown as a black solid line in FIGS. 20 and 21, black can not be displayed in the transmissive HMD.
  • the display of the auxiliary image is actually realized by changing at least one of the luminance, the chromaticity, and the saturation of the solid line portion indicating the auxiliary image.
  • the display of the auxiliary image is realized by reducing the brightness of the boundary between the binocular vision area and the monocular vision area, which is a part of the original image (the image of the object) to display the auxiliary image.
  • Ru This makes it possible to display an auxiliary image of luminance having a correlation with the luminance of the original image, and to realize sufficient contrast for suppressing adverse effects due to visual field conflict.
  • the above-described brightness adjustment is also performed.
  • FIG. 22 is a block diagram showing an example of a functional configuration of the output control unit 55. As shown in FIG. 22
  • the configuration of the output control unit 55 shown in FIG. 22 is the same as the configuration described with reference to FIG. 13 except that the auxiliary image generation unit 83A is provided in the image generation unit 83. Duplicate descriptions will be omitted as appropriate.
  • the user information including the information of the gaze direction of the user detected by the gaze detection device 51A is input to the image generation unit 83 via the display position determination unit 82, for example.
  • the image generation unit 83 generates an image for the left eye and an image for the right eye including an object having a size and a shape according to the display position determined by the display position determination unit 82 based on the image supplied from the display image acquisition unit 81 Generate the main image of.
  • the image generation unit 83 combines the auxiliary image generated by the auxiliary image generation unit 83A with the main image of each of the left-eye image and the right-eye image.
  • the image generation unit 83 outputs the image for the left eye including the auxiliary image and the image for the right eye to the luminance correction unit 85.
  • the auxiliary image generation unit 83A generates an auxiliary image to be synthesized on the boundary between the binocular vision area and the monocular vision area of each of the left eye image and the right eye image.
  • the auxiliary image generated by the auxiliary image generation unit 83A is combined with the main image of each of the left-eye image and the right-eye image.
  • step S51 the gaze detection device 51A recognizes the gaze of the user looking at the object.
  • step S52 the auxiliary image generation unit 83A detects the convergence angle of both eyes based on the direction of the line of sight of the user, and specifies the gaze distance.
  • step S53 the auxiliary image generation unit 83A determines the display position of the auxiliary image based on the gaze distance of the user. The above processing is repeated while the display of the object is performed.
  • FIG. 24 is the same as the process described with reference to FIG. 15 except that the synthesis of the auxiliary image is performed.
  • step S68 the image generation unit 83 assists each of the main image for the left eye image and the right eye image. Synthesize an image.
  • step S69 the luminance correction unit 85 performs luminance correction on the image for the left eye and the image for the right eye on which the auxiliary image is synthesized according to the luminance correction pattern.
  • step S70 the distortion correction unit 86 performs distortion correction on the image for the left eye and the image for the right eye after the luminance correction.
  • step S71 the left-eye display unit 56L displays the left-eye image
  • the right-eye display unit 56R displays the right-eye image.
  • the user can view the object in a form in which the harmful effect of the visual field struggle is suppressed.
  • the display position of the auxiliary image is adjusted by specifying the gaze distance of the user in the above
  • the display position of the auxiliary image may be adjusted according to the presentation distance of the object. In this case, processing is performed on the premise that the presentation distance of the object and the gaze distance of the user match.
  • the display position of the auxiliary image is adjusted according to the presentation distance of the main object such as the largest object or the object closest to the center of the image. In this case, the sight line detection device 51A is unnecessary.
  • FIG. 25 and FIG. 26 are diagrams showing display examples of the auxiliary image.
  • FIG. 25 shows a display example of the auxiliary image when the presentation distance of the main object is far
  • FIG. 26 shows a display example of the auxiliary image when the presentation distance of the main object is short.
  • the gaze-crossing method the closer the object the user gazes to, the wider the binocular vision area.
  • the width of the binocular vision area changes in accordance with the presentation distance of the main object, and the display position of the auxiliary image is adjusted accordingly.
  • the display of the auxiliary image shown in FIGS. 25 and 26 is the same as the display described with reference to FIGS. 20 and 21, respectively.
  • the process of FIG. 27 is the same process as the process described with reference to FIG. 24 except that the process of determining the display position of the auxiliary image according to the presentation distance of the object is performed.
  • steps S81 to S86 processes similar to the processes of steps S61 to S66 in FIG. 24 are performed.
  • step S87 the image generation unit 83 determines the display position of the auxiliary image in accordance with the presentation distance of the main object.
  • step S88 the image generation unit 83 generates an image for the left eye and an image for the right eye including an object of a predetermined size and shape.
  • the left-eye image and the right-eye image each include at least a main object.
  • step S89 the image generation unit 83 combines the auxiliary image with the main image of each of the left-eye image and the right-eye image.
  • the synthesis position of the auxiliary image is a boundary between the binocular vision area and the monocular vision area set according to the presentation distance of the main object.
  • step S90 The processes after step S90 are the same as the processes after step S69 in FIG. That is, in step S90, the luminance correction unit 85 performs luminance correction on the image for the left eye and the image for the right eye on which the auxiliary image is synthesized according to the luminance correction pattern.
  • step S91 the distortion correction unit 86 performs distortion correction on the luminance-corrected image for the left eye and the image for the right eye.
  • step S92 the left-eye display unit 56L displays the left-eye image
  • the right-eye display unit 56R displays the right-eye image.
  • FIG. 28 is a diagram showing an example of an image for the left eye and an image for the right eye in which the brightness adjustment is performed together with the combination of the auxiliary image by the above-described processing.
  • the left-eye image As shown in the middle of FIG. 28, of the left-eye image, part of the left eye side luminance correction region of the object O L it will gradually decrease state brightness toward the right end.
  • the auxiliary image is superimposed and displayed on the position on the object O L straddling the boundary between the binocular vision area and the monocular vision area.
  • part of the right eye luminance correction region of the object O R will gradually decrease state brightness toward the left. Also, cross a boundary binocular vision area and monocular vision area, the position on the object O R is displayed over the auxiliary image.
  • the luminance correction pattern in the case of combining the synthesis of the auxiliary image and the luminance correction is the end portion of the display (the right end of the left eye display 56L and the left end of the right eye display 56R).
  • the correction amount is reduced as compared with the correction amount in the case of not combining the auxiliary image described with reference to FIG.
  • FIG. 29 is a view showing another display example of the auxiliary image.
  • the auxiliary image is an image of a broken line.
  • a solid line image but an image of another line type such as a broken line as an auxiliary image.
  • FIG. 30 is a view showing another display example of the auxiliary image.
  • the auxiliary image is an arrow-shaped image or a star-shaped image.
  • images such as icons and marks of various shapes as auxiliary images.
  • the type and shape of the auxiliary image are appropriately selected according to the type of object.
  • the size of the object is a size that straddles both the left and right boundaries of the binocular vision area, but in the case where the size straddles only one of the left and right boundaries, The auxiliary image is displayed in the same manner in the boundary portion where the objects straddle.
  • FIG. 31 is a view showing another display example of the auxiliary image.
  • the objects are arranged to straddle the left end of the binocular vision area.
  • the auxiliary image is combined with the image for the left eye only.
  • the synthesis position of the auxiliary image is the position of the boundary between the binocular vision area and the monocular vision area.
  • the synthesis of the auxiliary image is performed only on the image in which the object straddles the boundary between the binocular vision area and the monocular vision area.
  • the luminance of the line displayed as the auxiliary image may be adjusted by the user according to the preference. Also, the user may be able to select display / non-display of the auxiliary image.
  • FIG. 32 is a block diagram showing a configuration example of the content distribution server 2.
  • the CPU 1001, the ROM 1002, and the RAM 1003 are mutually connected by a bus 1004.
  • An input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard, a mouse and the like, and an output unit 1007 including a display, a speaker and the like.
  • a storage unit 1008 such as a hard disk and a non-volatile memory
  • a communication unit 1009 such as a network interface
  • a drive 1010 for driving the removable medium 1011.
  • the output control unit 55 having the configuration shown in FIG. 13 or 22 is implemented by, for example, the CPU 1001 loading a program stored in the storage unit 1008 into the RAM 1003 and executing it. To be realized.
  • the output control unit 55 realized in the content distribution server 2 controls the communication unit 1009 to communicate with the HMD 1.
  • the output control unit 55 generates an image for the left eye and an image for the right eye based on the user information and the peripheral information transmitted from the HMD 1 and transmits the image to the HMD 1 for display.
  • the image for the left eye and the image for the right eye transmitted from the content distribution server 2 are received by the communication unit 57, supplied to the display unit 56L for the left eye and the display unit 56R for the right eye and displayed respectively. Ru.
  • the HMD 1 is an AR head mounted display having a transmissive display device, but may be a VR head mounted display having a non-transmissive display device. Display devices for the left eye and for the right eye provided on the VR head mounted display are also provided with left and right offsets set in order to widen the viewing angle.
  • the program to be installed is provided by being recorded on a removable medium 1011 shown in FIG. 32 made of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.) or a semiconductor memory. Also, it may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • a system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can have a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
  • each step described in the above-described flowchart can be executed by one device or in a shared manner by a plurality of devices.
  • the plurality of processes included in one step can be executed by being shared by a plurality of devices in addition to being executed by one device.
  • the present technology can also be configured as follows.
  • a control unit configured to set a luminance correction area to be subjected to luminance correction based on the position information in at least one of the second display area and the second display area overlapping with the display area of the display image.
  • the information processing apparatus further including: a luminance correction unit that performs luminance correction on the luminance correction area.
  • a luminance correction unit that performs luminance correction on the luminance correction area.
  • the brightness correction unit performs the brightness correction so as to lower the brightness of the brightness correction area.
  • the brightness correction unit performs the brightness correction so that the brightness decreases as the brightness correction area approaches the end of the set display area.
  • the control unit sets the wider luminance correction area as the position in the depth direction of the object is separated.
  • the control unit sets the brightness correction area using at least one of the shape and the size of the object together with the position information, the information processing according to any one of (1) to (9). apparatus.
  • the information processing apparatus according to any one of (2) to (4), further including a distortion correction unit that performs distortion correction on the image for the left eye and the image for the right eye for which luminance correction has been performed.
  • the control unit sets the brightness correction area inside the first display area which is a binocular vision area and the second display area. The information processing according to any one of (1) to (11) apparatus.
  • the control unit sets the binocular vision area having a width corresponding to the position of the object,
  • an image generation unit configured to generate a predetermined image representing a boundary between the binocular vision area and a monocular vision area that is an area outside the binocular vision area.
  • the control unit sets the binocular vision area having a width according to a convergence angle of the user's eyes looking at the object.
  • the control unit sets the binocular vision area having a width corresponding to the position in the depth direction of the object, which is represented by the position information.
  • the information processing apparatus Acquisition of position information in the depth direction of an object that the user perceives by outputting an image for the left eye and an image for the right eye,
  • the left eye included in the display area of the image for the right eye which is included in the display area of the image for the left eye, which is the area overlapping the display area of the image for the right eye, and the display area of the image for the right eye
  • a luminance correction area to be subjected to luminance correction is set based on the position information in at least one of a second display area which is an area overlapping the display area of the image for display.
  • 1 HMD 51 sensor, 51A gaze detection device, 52 camera, 53 user information acquisition unit, 54 peripheral information acquisition unit, 55 output control unit, 56L display unit for left eye, 56R display unit for right eye, 57 communication unit, 58 Power supply unit, 81 display image acquisition unit, 82 display position determination unit, 83 image generation unit, 83A auxiliary image generation unit, 84 control unit, 85 luminance correction unit, 86 distortion correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技術は、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。 本技術の一側面の情報処理装置は、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、左眼用の画像の表示領域に含まれる、右眼用の画像の表示領域と重なる領域である第１の表示領域と、右眼用の画像の表示領域に含まれる、左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を位置情報に基づいて設定する。本技術は、例えば透過型のHMDに適用することができる。

Description

情報処理装置、情報処理方法、および記録媒体
　本技術は、情報処理装置、情報処理方法、および記録媒体に関し、特に、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにした情報処理装置、情報処理方法、および記録媒体に関する。
　左眼用と右眼用のそれぞれのディスプレイが設けられたHMD(Head Mounted Display)がある。左眼用のディスプレイに表示する画像と右眼用のディスプレイに表示する画像にオフセットが設定されている場合、ユーザは、両眼の視差により、画像に含まれるオブジェクトの立体視が可能になる。
　特許文献１には、広い視野角を確保することを目的として、ユーザの眼の前に配置される左眼用の光学系と右眼用の光学系をそれぞれ外側に傾ける技術が開示されている。
　オブジェクトを無理なく融像させるために、光学系を構成するデバイスの配置や画像処理に工夫が必要となる。例えば、左眼用の画像と右眼用の画像のそれぞれの端の一定の範囲に輝度補正を施すことにより、オブジェクトを自然な形で融像させる技術がある。
特開２０１３－２５１０１号公報
　オブジェクトの距離を変えて提示する場合において、輝度補正の範囲を提示距離に関わらず一定の範囲とすると、融像や画質に影響を与えてしまうことがある。
　本技術はこのような状況に鑑みてなされたものであり、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにするものである。
　本技術の一側面の情報処理装置は、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部とを備える。
　本技術の一側面においては、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報が取得され、左眼用の画像の表示領域に含まれる、右眼用の画像の表示領域と重なる領域である第１の表示領域と、右眼用の画像の表示領域に含まれる、左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域が位置情報に基づいて設定される。
　本技術によれば、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの構成例を示す図である。 オブジェクトの見え方の例を示す図である。 コンテンツの表示例を示す図である。 オブジェクトの見え方の他の例を示す図である。 左眼用画像と右眼用画像の例を示す図である。 HMDの表示方式を模式的に示す平面図である。 輝度補正パターンの例を示す図である。 輝度補正処理の例を示す図である。 オブジェクトの提示距離に応じた輝度補正パターンの変化の例を示す図である。 オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。 オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。 HMDの構成例を示すブロック図である。 出力制御部の機能構成例を示すブロック図である。 左眼用画像と右眼用画像を対象とした処理の例を示す図である。 HMDの表示処理について説明するフローチャートである。 視線非交差方式による左眼用画像と右眼用画像の表示例を示す図である。 視線交差方式による左眼用画像と右眼用画像の表示例を示す図である。 左眼用画像と右眼用画像の他の表示例を示す図である。 左眼用画像と右眼用画像の他の表示例を示す図である。 視線非交差方式における補助画像の表示例を示す図である。 注視距離が近い場合の補助画像の表示例を示す図である。 出力制御部の機能構成例を示すブロック図である。 HMDの視線認識処理について説明するフローチャートである。 HMDの表示処理について説明するフローチャートである。 補助画像の表示例を示す図である。 補助画像の表示例を示す図である。 HMDの表示処理について説明するフローチャートである。 左眼用画像と右眼用画像の例を示す図である。 補助画像の他の表示例を示す図である。 補助画像の他の表示例を示す図である。 補助画像の他の表示例を示す図である。 コンテンツ配信サーバの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態　輝度補正（シェーディング）について
　２．第２の実施の形態　補助画像の表示について
　両眼視領域と単眼視領域の境界近傍において、単眼視領域側の映像の一部が透明に見える現象や、暗い帯状が見えるLuningと呼ばれる現象が視野闘争によって生じることがある。これらの現象を抑制するために、境界近傍に線状の画像である補助画像を表示する手法が知られている。補助画像を表示することによってLuningを抑制する技術は、例えば軍用航空機のHMDなどで採用されている。
＜＜第１の実施の形態　輝度補正（シェーディング）について＞＞
　図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
　図１の情報処理システムは、HMD１とコンテンツ配信サーバ２が、インターネットなどのネットワーク３を介して接続されることによって構成される。
　図１に示すように、HMD１は、透過型の表示デバイスを備えた眼鏡型のウエアラブル端末である。HMD１は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたコンテンツを受信する。HMD１は、コンテンツを再生し、各種のオブジェクトを含む画像を表示デバイスに表示する。ユーザは、自分の前方の風景に重ねてオブジェクトを見ることになる。
　オブジェクトを含む画像の投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。
　HMD１が再生するコンテンツは、コンテンツ配信サーバ２から送信されてきたコンテンツに限られるものではない。例えば、HMD１に搭載されたメモリに記憶されたコンテンツがHMD１において再生される。また、ユーザが携帯しているスマートホンやタブレット端末などの携帯端末に記憶されているコンテンツ、あるいはPCに記憶されているコンテンツがHMD１により取得され、再生されるようにしてもよい。
＜コンテンツの投影方式について＞
　図２は、オブジェクトの見え方の例を示す図である。
　図２に示す横長長方形の範囲は、ユーザが実際に見ている風景の範囲のうち、HMD１によって各種の情報を重ねて表示可能な範囲を示している。実際には、ユーザは、図２に示す範囲よりもさらに広い風景を見ていることになる。
　図２の例においては、バイクの画像であるオブジェクトＯが、ユーザの前方の風景に重ねて提示されている。オブジェクトＯは、二次元の画像であってもよいし、立体視が可能な３次元の画像であってもよい。
　図３は、図２に示すような風景の見え方を実現するためのコンテンツの表示例を示す図である。
　図３のＡは、ユーザの前方に見える風景を示している。図３のＡの例においては、道を挟んで左右に建物が並ぶ風景をユーザは見ていることになる。
　このような風景に重ねて、図３のＢに示すようなオブジェクトＯを含む画像が表示され、図３のＣに示すように、図２と同じ、風景の手前にオブジェクトＯが存在する見え方が実現される。図３のＢに示す画像のうち、オブジェクトＯが表示されている部分以外の部分は、透過度が高い部分（画面の見た目上、画像のある部分と比べて完全に風景が透過して見える部分）である。
　HMD１は、このようなオブジェクトを、提示距離を様々な距離に設定して提示する。提示距離は、目の位置からオブジェクトの位置までの、ユーザに知覚させる奥行き方向の距離である。
　図４は、オブジェクトの見え方の他の例を示す図である。
　図４のＡは、提示距離が近い場合のオブジェクトＯの見え方を示す。例えば、図４のＡのオブジェクトＯの提示距離は３０ｃｍである。提示距離が近い場合、図４のＡに示すように、広い範囲を占めるような形でオブジェクトＯが表示される。
　図４のＢは、提示距離が例えば２ｍである場合のオブジェクトＯの見え方を示し、図４のＣは、提示距離が例えば１０ｍである場合のオブジェクトＯの見え方を示す。図４のＢおよび図４のＣに示すように、提示距離に応じて、異なる大きさのオブジェクトＯが表示される。
　このようなオブジェクトの提示は、左眼用の画像である左眼用画像をユーザの左眼に届け、右眼用の画像である右眼用画像をユーザの右眼に届けることによって行われる。HMD１には、左眼用画像を表示するための表示部と右眼用画像を表示するための表示部が設けられる。
　図５は、左眼用画像と右眼用画像の例を示す図である。
　図５の例においては、説明の便宜上、オブジェクトの背景にユーザの前方の風景が示されている。それぞれの風景の範囲が異なることは、左眼用画像と右眼用画像が、視差に応じた、異なる視野角を想定した画像であることを示している。左眼用画像に含まれる風景の範囲と、右眼用画像に含まれる風景の範囲は、一部において重複する範囲となる。
　左眼用画像におけるオブジェクトＯLの位置と、右眼用画像におけるオブジェクトＯRの位置も、視差に応じて異なる位置となる。
　図６は、HMD１の表示方式を模式的に示す平面図である。
　図６に示すように、前方の風景と左眼用画像を左眼に導く左眼用光学系１１Ｌと、前方の風景と右眼用画像を右眼に導く右眼用光学系１１Ｒは、ユーザの両眼の中心を通る垂直線に対して外側を向くように、所定の角度をつけた状態で設けられる。後述するように、左眼用光学系１１Ｌと右眼用光学系１１Ｒには、それぞれ、左眼用画像と右眼用画像を表示するための表示部が設けられる。
　直線＃１と＃２で示すように、破線の枠Ｆ１で囲んで示す左眼用画像がユーザの左眼に導かれる。また、直線＃１１と＃１２で示すように、一点鎖線の枠Ｆ２で囲んで示す右眼用画像がユーザの右眼に導かれる。
　左眼用画像の領域と右眼用画像の領域が重なる領域が、表示内容が両眼に導かれる両眼視領域となる。また、左眼用画像の領域と右眼用画像の領域のうちの、両眼視領域以外の領域が、表示内容が片方の眼に導かれる単眼視領域となる。左眼用画像において、右眼用画像と表示領域が重なる領域である両眼視領域は表示領域全体のうちの右側に形成され、右眼用画像において、左眼用画像と表示領域が重なる領域である両眼視領域は表示領域全体のうちの左側に形成される。
　このように、左眼用画像と右眼用画像に視差を設定し、一部の領域において重なるように左眼用画像と右眼用画像を表示することによって、左右で同様の画像を表示する場合と比べて広い視野角を確保することができる。
　ここでは、バイクの画像を提示する場合について説明したが、HMD１は、バイクの画像以外の各種の画像をオブジェクトとしてユーザに提示することができる。また、HMD１は、複数のオブジェクトを含む画像を表示することによって、複数のオブジェクトを同時にユーザに提示することができる。
＜輝度補正について＞
　HMD１においては、左眼用画像に含まれるオブジェクトと右眼用画像に含まれるオブジェクトが自然な形でつながって認知されるようにするために、それぞれの画像に対していわゆるシェーディングと呼ばれる輝度補正処理が施される。
　図７は、輝度補正パターンの例を示す図である。
　図７に示すように、左眼用画像の右端から所定の幅の領域が左眼側輝度補正領域として設定される。左眼用画像に対しては、右端に近づくにつれて輝度が徐々に下がるように、グラデーション状の輝度補正パターンに従って輝度補正処理が施される。図７においては、色が濃い部分ほど、その部分の画像の輝度が低くなる（透過度が高くなる）ような処理が施されることを表している。
　同様に、右眼用画像の左端から所定の幅の領域が右眼側輝度補正領域として設定される。右眼用画像に対しては、左端に近づくにつれて輝度が徐々に下がるように、グラデーション状の輝度補正パターンに従って輝度補正処理が施される。図７の例においては、左眼側輝度補正領域の幅と右眼側輝度補正領域の幅は同じ幅とされている。
　図８は、輝度補正処理の例を示す図である。
　図８の上段に示すグラフは、図７の輝度補正パターンを用いて輝度補正を行った場合の輝度の変化を示すグラフである。縦軸は、輝度の補正値を示し、横軸は、表示部上（画像上）の水平方向の位置を示す。
　図８の例においては、画像の端に近づくにつれて輝度が直線状に下がるような輝度補正パターンが用いられるものとしているが、輝度が段階的に下がる輝度補正パターンや輝度が曲線状に下がる輝度補正パターンが用いられるようにしてもよい。
　このような輝度補正パターンを用いた輝度補正が行われることによって、図８の中段に示すような、輝度補正後の左眼用画像と右眼用画像が生成される。
　輝度補正後の左眼用画像に示すように、オブジェクトＯLの輝度補正領域内の部分は、右端に近づくにつれて輝度が徐々に下がる状態になる。図８の例においては、オブジェクトが、人の顔を表すイラストの画像とされている。また、輝度補正後の右眼用画像に示すように、オブジェクトＯRの輝度補正領域の部分は、左端に近づくにつれて輝度が徐々に下がる状態になる。
　輝度補正後の左眼用画像が左眼用光学系１１Ｌに設けられた表示部に表示され、右眼用画像が右眼用光学系１１Ｒに設けられた表示部に表示されることにより、図８の下段に示すような、両眼視領域の両端において輝度が補正されたオブジェクトＯが提示される。
　図８の下段は、ユーザが認知するオブジェクトＯの状態を示している。左眼用画像の両眼視領域と右眼用画像の両眼視領域を重ねて示した場合、左眼側輝度補正領域の位置は、左眼用画像の右端と右眼用画像との境界を基準として、左眼用画像の両眼視領域内の位置（両眼視領域の内側の位置）となる。また、右眼側輝度補正領域の位置は、右眼用画像の左端と左眼用画像との境界を基準として、右眼用画像の両眼視領域内の位置となる。
　輝度補正を行うことによって境界部分の輝度差を抑えた左眼用画像と右眼用画像を表示することにより、２つの画像上のオブジェクトをユーザの眼に適切に融像させることができ、オブジェクトを自然な形で認知させることが可能になる。ここで、融像は、左右の網膜に映った像を融合し、１つの像として認識する働きのことである。
　上述したように、HMD１においては、提示距離を様々な距離に設定してオブジェクトの提示が行われる。左眼用画像と右眼用画像の輝度補正に用いられる輝度補正パターンが、オブジェクトの提示距離に応じて切り替えられる。
・輝度補正領域の幅を線形的に変化させる例
　図９は、オブジェクトの提示距離に応じた輝度補正パターンの変化の例を示す図である。
　図９の下方に示す破線Ｌ１が、提示距離の基準となるユーザの眼の位置を示す。破線Ｌ２は、オブジェクトの提示距離として３５ｃｍを想定した場合の位置を示し、破線Ｌ３は、オブジェクトの提示距離として５ｍを想定した場合の位置を示す。
　上述したように、直線＃１と＃２の間の範囲がユーザの左眼に届く光の範囲（左目用画像の範囲）に相当し、直線＃１１と＃１２の間の範囲がユーザの右眼に届く光の範囲（右目用画像の範囲）に相当する。左眼用画像の右端には左眼側輝度補正領域が設定され、右眼用画像の左端には右眼用輝度補正領域が設定される。
　斜線を付して示すように、左眼用画像の右端に設定された左眼側輝度補正領域は、オブジェクトの提示距離が長いほど、広い幅（角度）の領域として設定される。また、右眼用画像の左端に設定された右眼側輝度補正領域は、オブジェクトの提示距離が長いほど、広い幅の領域として設定される。図９の例においては、提示距離が３５ｃｍから５ｍまでの範囲において、輝度補正領域の幅が線形的（リニア）に変化する。
　図９の右側に示す輝度補正パターンＰ１は、提示距離が３５ｃｍである場合の輝度補正パターンを示す。輝度補正パターンＰ２は、提示距離が５ｍである場合の輝度補正パターンを示す。輝度補正パターンＰ１と輝度補正パターンＰ２から分かるように、オブジェクトの提示距離が５ｍである場合、提示距離が３５ｃｍである場合より広い範囲において輝度補正が行われることになる。
　オブジェクトの提示距離に関わらず輝度補正領域の幅を一定とした場合、提示距離が近いときには、両眼視領域に対して輝度補正領域が広すぎることによって左右の画像差が大きくなり、それにより融像が阻害されることがある。オブジェクトの提示距離に応じて輝度補正領域の幅を変化させることにより、HMD１は、オブジェクトの提示距離が近い場合であっても適切に融像させることが可能になる。
・輝度補正領域の幅を段階的に変化させる例
　図１０は、オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
　図１０の例においては、輝度補正領域の幅が、オブジェクトの提示距離に応じて段階的に変化するものとされている。
　例えば、オブジェクトの提示距離が３５ｃｍ以上、１ｍ未満の範囲においては、輝度補正領域の幅が線形的（リニア）に変化する。オブジェクトの提示距離が３５ｃｍである場合に用いられる輝度補正パターンＰ１１は、例えば図９の輝度補正パターンＰ１より細幅の領域を輝度補正領域とする輝度補正パターンである。
　オブジェクトの提示距離が１ｍである場合、提示距離が３５ｃｍ以上、１ｍ未満の範囲における輝度補正領域の幅の変化と不連続となる幅の領域が輝度補正領域として設定される。提示距離が１ｍから５ｍまでの範囲においては、輝度補正領域の幅が線形的に変化する。オブジェクトの提示距離が５ｍである場合に用いられる輝度補正パターンＰ１２は、例えば図９の輝度補正パターンＰ２と同じ幅の領域を輝度補正領域とする輝度補正パターンである。
　このように、融像が一般的に難しくなる１ｍ未満とそれ以上の２段階で輝度補正領域の幅を切り替えるようにすることも可能である。輝度補正領域の幅の変化が不連続となる提示距離は１ｍ以外の他の距離であってもよい。また、輝度補正領域の幅が、３段階以上の変化を持たせて設定されるようにしてもよい。
　図１１は、オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
　図１１の例においては、オブジェクトの提示距離が、破線Ｌ１１で示す閾値ＴＨ１、破線Ｌ１２で示す閾値ＴＨ２、破線Ｌ１３で示す閾値ＴＨ３のそれぞれの距離において、輝度補正領域の幅が段階的に変化するものとされている。
　このように、HMD１は、各種の提示距離において輝度補正領域の幅を段階的に変化させることが可能である。例えば、オブジェクトの提示距離が３５ｃｍ、５０ｃｍ、７５ｃｍ、１ｍ、２ｍの各距離で輝度補正領域の幅が段階的に切り替えられるようにしてもよい。さらに、３５ｃｍ、５０ｃｍ、１ｍ、２ｍの各距離、３５ｃｍ、５０ｃｍ、２ｍの各距離などの、所定の提示距離の組み合わせを用いて輝度補正領域の幅が切り替えられるようにしてもよい。
　オブジェクトの提示距離が２ｍ以上である場合、ユーザの眼の輻輳角が大きく変化しないため、輝度補正領域の幅が一定の幅として設定されるようにしてもよい。輻輳角は、左眼とオブジェクトを結ぶ直線と、右眼とオブジェクトを結ぶ直線とにより形成される角度である。
　また、ユーザの眼の輻輳角をモニタリングし、モニタリング値に応じて輝度補正領域の幅が切り替えられるようにしてもよい。例えば、輻輳角が５度以上である場合と５度未満である場合とで輝度補正領域の幅が切り替えられるようにすることが可能である。
　さらに、輝度補正領域の幅がユーザの設定に応じて切り替えられるようにしてもよい。この場合、例えば、オブジェクトを徐々に近付けて提示し、融像が難しくなる距離をユーザに設定させる処理が初期設定として行われる。オブジェクトを実際に提示する場合、初期設定時に記録された情報が参照され、ユーザが設定した提示距離の前後で輝度補正領域の幅が段階的に切り替えられる。
　このように、各種の方法で輝度補正領域が設定されるようにすることが可能である。
＜HMDの構成＞
　図１２は、HMD１の構成例を示すブロック図である。
　図１２に示すように、HMD１は、センサ５１、カメラ５２、ユーザ情報取得部５３、周辺情報取得部５４、出力制御部５５、左眼用表示部５６Ｌ、右眼用表示部５６Ｒ、通信部５７、および電源部５８から構成される。センサ５１とカメラ５２については、HMD１に設けられるのではなく、ユーザが持つ携帯端末などの外部の装置に設けられるようにしてもよい。
　センサ５１は、加速度センサ、ジャイロセンサ、測位センサなどにより構成される。センサ５１には、ユーザの視線の方向を検出する視線検出デバイス５１Ａも設けられる。センサ５１は、各種の測定結果を表す情報をユーザ情報取得部５３と周辺情報取得部５４に出力する。
　カメラ５２は、ユーザの前方の風景を撮影する。カメラ５２は、撮影することによって得られた画像をユーザ情報取得部５３と周辺情報取得部５４に供給する。
　ユーザ情報取得部５３は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの位置、ユーザがとっている行動などのユーザの状態を特定する。
　また、ユーザ情報取得部５３は、視線検出デバイス５１Ａから供給された情報に基づいて、ユーザがどの被写体を見ているのかを特定する。左眼用画像と右眼用画像を表示することによって提示したオブジェクト、カメラ５２により撮影された画像に写っている被写体などが、ユーザが見ている被写体として特定される。ユーザ情報取得部５３は、ユーザの状態を表す情報と、ユーザが見ている被写体を表す情報を含むユーザ情報を出力制御部５５に出力する。
　周辺情報取得部５４は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの周辺の状況を特定する。例えば、カメラ５２により撮影された画像を解析することによって、建物、道路、看板の位置などが特定される。周辺情報取得部５４は、ユーザの周辺の状況を表す周辺情報を出力制御部５５に出力する。
　出力制御部５５は、通信部５７から供給されたコンテンツに基づいて、ユーザに提示するオブジェクトを決定する。また、出力制御部５５は、ユーザ情報取得部５３から供給されたユーザ情報と、周辺情報取得部５４から供給された周辺情報に基づいて、オブジェクトの提示位置を決定する。
　ゲームなどの所定のアプリケーションの実行中において、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置をオブジェクトの提示位置として決定するような処理が行われる。
　出力制御部５５は、通信部５７から供給されたコンテンツに基づいて、オブジェクトを含む左眼用画像と右眼用画像を生成する。また、出力制御部５５は、オブジェクトの提示距離に基づいて設定した輝度補正パターンを用いて、左眼用画像と右眼用画像の輝度補正を行う。
　出力制御部５５は、輝度補正を行うことによって得られた左眼用画像を左眼用表示部５６Ｌに出力し、右眼用画像を右眼用表示部５６Ｒに出力する。
　左眼用表示部５６Ｌは、左眼用光学系１１Ｌに設けられるディスプレイである。左眼用表示部５６Ｌは、出力制御部５５から供給された左眼用画像を表示する。
　右眼用表示部５６Ｒは、右眼用光学系１１Ｒに設けられるディスプレイである。右眼用表示部５６Ｒは、出力制御部５５から供給された右眼用画像を表示する。
　通信部５７は、ネットワークのインタフェースである。通信部５７は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたコンテンツを受信する。通信部５７において受信されたコンテンツは、出力制御部５５に供給される。
　電源部５８は、バッテリと電源回路から構成される。電源部５８は、駆動に必要な電源を各部に供給する。
　図１３は、図１２の出力制御部５５の機能構成例を示すブロック図である。
　図１３に示す機能部のうちの少なくとも一部は、例えば、出力制御部５５に設けられるCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。出力制御部５５には、CPUが実行するプログラムなどが記録されるROM(Read Only Memory)、プログラムの実行に用いられるRAM(Random Access Memory)、および、GPU(Graphics Processing Unit)などの構成も設けられる。
　図１３に示すように、出力制御部５５は、表示画像取得部８１、表示位置決定部８２、画像生成部８３、制御部８４、輝度補正部８５、および歪み補正部８６から構成される。ユーザ情報取得部５３から出力されたユーザ情報と周辺情報取得部５４から出力された周辺情報は、それぞれ、表示画像取得部８１と表示位置決定部８２に入力される。
　表示画像取得部８１は、ユーザ情報により表されるユーザの状態と周辺情報により表される周辺の状況に基づいて、ユーザに提示するオブジェクトを決定する。ユーザに提示するオブジェクトは、通信部５７から供給されたコンテンツに含まれるオブジェクトから選択される。
　上述したように、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置に提示するオブジェクトが決定される。表示画像取得部８１は、ユーザに提示するオブジェクトの情報を画像生成部８３と制御部８４に出力する。表示画像取得部８１から出力される情報にはオブジェクトの画像データが含まれる。
　表示位置決定部８２は、ユーザ情報と周辺情報に基づいて、オブジェクトの表示位置を決定する。
　上述したように、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置がオブジェクトの表示位置として決定される。表示位置決定部８２は、オブジェクトの表示位置を表す情報を画像生成部８３と制御部８４に出力する。
　画像生成部８３は、表示画像取得部８１から供給された情報に基づいて、表示位置決定部８２により決定された表示位置に応じた大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。左眼用画像に含まれるオブジェクトと右眼用画像に含まれるオブジェクトには、適宜、視差が設定される。画像生成部８３は、左眼用画像と右眼用画像を輝度補正部８５に出力する。
　制御部８４は、表示位置決定部８２により決定された表示位置に基づいて、オブジェクトの提示距離を特定する。オブジェクトの表示位置は、オブジェクトの提示距離と、オブジェクトの画像上の位置により表される。
　また、制御部８４は、オブジェクトの提示距離に応じた幅の輝度補正領域を左眼用画像と右眼用画像のそれぞれに設定する。制御部８４は、輝度補正の対象となる輝度補正領域を、オブジェクトの提示距離に基づいて設定する制御部として機能する。
　制御部８４は、輝度補正領域の部分において輝度補正を行うための輝度補正パターンを表す情報を輝度補正部８５に出力する。
　輝度補正部８５は、画像生成部８３により生成された左眼用画像と右眼用画像に対して、制御部８４により設定された輝度補正パターンに従って輝度補正を施す。輝度補正部８５は、輝度補正を行うことによって得られた輝度補正後の左眼用画像と右眼用画像を歪み補正部８６に出力する。
　歪み補正部８６は、輝度補正部８５から供給された輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。歪み補正部８６による歪み補正は、光学系の特性に応じた射影変換などの処理である。歪み補正部８６は、歪み補正後の左眼用画像を左眼用表示部５６Ｌに出力し、右眼用画像を右眼用表示部５６Ｒに出力する。
　図１４は、左眼用画像と右眼用画像を対象とした処理の例を示す図である。
　図１４に示すように、左眼用画像と右眼用画像に対する輝度補正は、歪み補正の前に行われる。歪み補正の後に輝度補正を行うとした場合、輝度補正領域の設定が複雑になる。歪み補正の前に輝度補正が行われるようにすることにより、輝度補正領域の設定に要する計算量を抑えることができる。
　また、歪み補正の前に輝度補正が行われるようにすることにより、画像端から等幅の範囲に輝度補正を施すことができ、これにより、融像しやすい画像を生成することが可能になる。補正すべき歪みが軽微である場合、歪み補正の後に輝度補正が行われるようにしてもよい。
＜HMDの動作＞
　ここで、図１５のフローチャートを参照して、以上のような構成を有するHMD１の表示処理について説明する。
　ステップＳ１において、周辺情報取得部５４は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの周辺の状況を表す周辺情報を取得する。
　ステップＳ２において、ユーザ情報取得部５３は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの状態を表すユーザ情報を取得する。
　ステップＳ３において、出力制御部５５の表示画像取得部８１と表示位置決定部８２は、それぞれ、ユーザの周辺の状況を周辺情報に基づいて特定する。また、表示画像取得部８１と表示位置決定部８２は、それぞれ、ユーザの状態をユーザ情報に基づいて特定する。
　ステップＳ４において、表示画像取得部８１は、ユーザの状態と周辺の状況に基づいて、ユーザに提示するオブジェクトを決定する。
　ステップＳ５において、表示位置決定部８２は、ユーザの状態と周辺の状況に基づいて、オブジェクトの表示位置を決定する。
　ステップＳ６において、制御部８４は、ステップＳ５で決定された表示位置に基づいてオブジェクトの提示距離を特定し、提示距離に応じた輝度補正パターンを決定する。輝度補正パターンの決定に際しては、適宜、オブジェクトの形状なども考慮される。提示距離以外の要素に基づいて輝度補正パターンを決定する処理については後述する。
　ステップＳ７において、画像生成部８３は、所定の大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。
　ステップＳ８において、輝度補正部８５は、輝度補正パターンに従って、左眼用画像と右眼用画像に対して輝度補正を施す。
　ステップＳ９において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
　ステップＳ１０において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。ここで表示される左眼用画像と右眼用画像は歪み補正後の画像である。左眼用画像と右眼用画像が表示されることによってオブジェクトの提示が行われた後、ステップＳ１に戻り、それ以降の処理が行われる。
　HMD１の電源がオンとなり、コンテンツのオブジェクトを提示する所定のアプリケーションが実行されている間、ステップＳ１乃至Ｓ１０の処理が繰り返される。
　以上のように、輝度補正の対象となる領域の幅をオブジェクトの提示距離に応じて変化させることにより、HMD１は、オブジェクトをユーザの眼に適切に融像させることができる。
＜変形例＞
・オブジェクトの形状に基づく輝度補正の例
　オブジェクトのアスペクト比（縦の長さと横の長さの比）に応じて輝度補正領域の幅が切り替えられるようにしてもよい。
　例えば、オブジェクトを囲む矩形領域のアスペクト比が１：２より横長である場合、１：２より縦長である場合より細幅の輝度補正領域が設定される。２：３のアスペクト比を基準として、輝度補正領域の幅が切り替えられるようにしてもよい。
・オブジェクトの大きさに基づく輝度補正の例
　オブジェクトの大きさに応じて、輝度補正領域の幅が切り替えられるようにしてもよい。
　例えば、オブジェクトの提示距離が近く、オブジェクトが両眼視領域に収まらない場合、両眼視領域に収まる場合より細幅の輝度補正領域が設定される。
　表示領域全体の面積に対するオブジェクトの面積の比が４割以上である場合には、４割未満である場合より細幅の輝度補正領域を設定するといったように、オブジェクトの面積の比に応じて輝度補正領域の幅が切り替えられるようにしてもよい。
・オブジェクトの形状と大きさに基づく輝度補正の例
　オブジェクトの形状と面積の比を組み合わせて用いて輝度補正領域の幅が切り替えられるようにしてもよい。
　例えば、オブジェクトのアスペクト比が１：２より横長であり、かつ、画像全体の面積に対するオブジェクトの面積の比が４割以上である場合に、それらの条件を満たさない場合より細幅の輝度補正領域が設定される。
　このように、輝度補正領域の設定は、オブジェクトの提示距離、オブジェクトのアスペクト比、および、画像全体の面積に対するオブジェクトの面積の比のうちの少なくともいずれかに基づいて行われる。
　単眼視領域と両眼視領域を跨ぐ部分の表示によって融像のしやすさが変化する。このように、オブジェクトの形状や画像に占める割合に応じて輝度補正領域の幅を変えることにより、より融像のしやすいオブジェクトを提示することが可能になる。
　提示距離が異なる複数のオブジェクトを提示する場合、最も近いオブジェクトの形状や大きさに基づいて、輝度補正領域の幅が決定されるようにしてもよい。
・視線非交差方式／視線交差方式による例
　図１６は、視線非交差方式による左眼用画像と右眼用画像の表示例を示す図である。
　なお、図６等を参照して説明した左眼用画像と右眼用画像の表示方式が視線非交差方式である。図１６の中段に示すように両眼視領域を重ねて配置した場合、視線非交差方式においては、左眼用画像は右眼用画像の左側に配置され、ユーザの左眼に導かれる。また、右眼用画像は左眼用画像の右側に配置され、ユーザの右眼に導かれる。両眼視領域は、左眼用画像においては右端に寄せて形成され、右眼用画像においては左端に寄せて形成される。
　視線非交差方式の場合、上述したように、左眼用画像の右端に輝度補正領域が設定され、左眼用画像の輝度補正が行われるとともに、右眼用画像の左端に輝度補正領域が設定され、右眼用画像の輝度補正が行われる。
　図１７は、視線交差方式による左眼用画像と右眼用画像の表示例を示す図である。
　図１７の中段に示すように両眼視領域を重ねて配置した場合、視線交差方式においては、左眼用画像は右眼用画像の右側に配置され、ユーザの左眼に導かれる。また、右眼用画像は左眼用画像の左側に配置され、ユーザの右眼に導かれる。両眼視領域は、左眼用画像においては左端に寄せて形成され、右眼用画像においては右端に寄せて形成される。
　視線交差方式の場合、左眼用画像の左端に輝度補正領域が設定され、左眼用画像の輝度補正が行われるとともに、右眼用画像の右端に輝度補正領域が設定され、右眼用画像の輝度補正が行われる。
　このように、オブジェクトの提示方式が視線交差方式であり、左眼用画像の左端と右眼用画像の右端にそれぞれ輝度補正領域が設定される場合も、輝度補正領域の幅が、上述したようにオブジェクトの提示距離に応じて設定される。
　なお、視線交差方式の場合、視線非交差方式の場合とは反対に、オブジェクトの提示距離が遠いほど、狭い幅の輝度補正領域が設定される。視線交差方式の場合も、オブジェクトの提示距離に応じて線形的に変化するように、または段階的に変化するように、輝度補正領域の幅が設定される。オブジェクトの提示距離だけでなく、オブジェクトの形状と大きさのうちの少なくともいずれかを用いて輝度補正領域の幅が設定されるようにしてもよい。
　これによっても、より融像のしやすいオブジェクトを提示することが可能になる。
・輝度補正領域の設定の他の例
　オブジェクトが単眼視領域のみに収まる場合、輝度補正処理が行われないようにしてもよい。これにより、GPUの負荷を低減することが可能になる。
　図１８は、左眼用画像と右眼用画像の他の表示例を示す図である。
　図１８の左眼用画像においては、オブジェクトが右方に寄せて配置され、オブジェクトの右側の一部が表示領域に収まっていない。左眼用画像に収まっていないオブジェクトの右側の部分は、右眼用画像を用いて提示されることになる。
　一方、右眼用画像においては、オブジェクトが表示領域に収まるように配置されている。
　この場合、図１８の下段に示すように、両眼視領域の左右の境界のうち、オブジェクトが跨がって表示される右側の境界の内側の領域のみを対象として輝度補正が施される。すなわち、左眼用画像の右端に輝度補正領域が設定され、左眼用画像を対象とした輝度補正が行われるのに対して、右眼用画像を対象とした輝度補正は行われない。
　このように、オブジェクトが表示領域の端（左眼用画像の右端、右眼用画像の左端）にかからない場合、その領域を対象とした輝度補正が行われないようにすることが可能である。輝度補正処理は、左眼用画像と右眼用画像のうちの少なくともいずれかに対して行われることになる。
　図１９は、左眼用画像と右眼用画像の他の表示例を示す図である。
　図１９の例においては、ユーザの利き眼が右眼であるものとする。この場合、例えば初期設定時に利き目の選択が行われ、ユーザの利き目を表す情報がHMD１に記録される。
　なお、図１９の例においては、左眼用画像のオブジェクトは右端にかかり、右眼用画像のオブジェクトは左端にかかるものとされている。左眼用画像の右端に輝度補正領域が設定されるとともに、右眼用画像の左端に輝度補正領域が設定され、左眼用画像と右眼用画像のそれぞれに対して輝度補正が施される。
　ユーザの利き目が右眼である場合、図１９に示すように、利き目側である右眼用画像に対しては、左眼用画像に設定される輝度補正領域より幅の狭い輝度補正領域が設定される。
　一般的に、人の脳内では利き眼側の情報の方が優先されやすい。このように利き眼側の画像の輝度補正領域の幅を狭くすることによっても、近距離でも融像しやすくなるといった効果が期待できる。
＜＜第２の実施の形態　補助画像の表示について＞＞
　以下、HMD１における補助画像の表示について説明する。
＜補助画像の表示位置を注視距離に応じて変化させる例＞
　図２０は、視線非交差方式における補助画像の表示例を示す図である。
　図２０の上段に示すように、左眼用画像と右眼用画像のそれぞれの両眼視領域と単眼視領域の境界には、オブジェクトを含む主画像に重ねて、補助画像が表示される。図２０の例においては、垂直方向の細線が補助画像として表示されている。
　両眼視領域の幅は、ユーザの注視距離によって異なる。HMD１においては、ユーザが注視する距離に応じて両眼視領域と単眼視領域の幅が変化し、これに伴って、補助画像の表示位置も調整される。
　ユーザがどこに注視しているかは、例えば、左眼用光学系１１Ｌと右眼用光学系１１Ｒの近傍に設けられた視線検出デバイス５１Ａにより検出された視線方向に基づいて特定される。両眼の視線方向に基づいて輻輳角が算出され、算出された輻輳角に基づいてユーザの注視距離が特定される。
　図２０は、ユーザの注視距離が、５ｍといったように遠い場合の補助画像の表示位置を示している。例えば、複数のオブジェクトを含む主画像が表示され、５ｍの位置にあるオブジェクトをユーザが注視している場合、図２０に示すような間隔で補助画像が表示される。
　なお、図２０の中段においては補助画像の上下に破線が示されているが、この破線は左眼用画像と右眼用画像の表示領域の範囲を示す線であって、主画像に合成される画像を表すものではない。
　図２１は、ユーザの注視距離が近い場合の補助画像の表示例を示す図である。
　複数のオブジェクトのうち、３５ｃｍといったように近い位置にあるオブジェクトをユーザが注視している場合、図２１に示すように、両眼視領域の幅が図２０の場合より狭くなり、これに伴って補助画像の表示位置も変更される。なお、視線交差方式の場合、ユーザが注視するオブジェクトが近いほど、両眼視領域の幅が広くなる。
　ユーザが注視している距離に応じて補助画像の表示位置を変えることにより、オブジェクトの提示距離が上述したように切り替わる場合であっても、視野闘争による弊害を抑制することができる。
　なお、図２０、図２１においては、補助画像が黒色の実線として表されているが、透過型のHMDにおいては黒色を表示することができない。補助画像の表示は、実際には、補助画像を示す実線部分の輝度、色度、および彩度のうちの少なくともいずれかを変更することによって実現される。
　例えば、元の画像（オブジェクトの画像）のうち、補助画像を表示させる部分である、両眼視領域と単眼視領域の境界の輝度を５０％に減少させることにより、補助画像の表示が実現される。これにより、元の画像の輝度と相関のある輝度の補助画像を表示することになり、視野闘争による弊害を抑制するための十分なコントラストを実現することができる。
　HMD１においては、このような補助画像の表示とともに、上述した輝度調整も行われる。
＜HMDの構成＞
　図２２は、出力制御部５５の機能構成例を示すブロック図である。
　図２２に示す出力制御部５５の構成は、補助画像生成部８３Ａが画像生成部８３に設けられている点を除いて、図１３を参照して説明した構成と同じである。重複する説明については適宜省略する。視線検出デバイス５１Ａにより検出されたユーザの視線方向の情報を含むユーザ情報は、例えば表示位置決定部８２を介して画像生成部８３に入力される。
　画像生成部８３は、表示画像取得部８１から供給された画像に基づいて、表示位置決定部８２により決定された表示位置に応じた大きさと形状のオブジェクトを含む左眼用画像と右眼用画像の主画像を生成する。
　また、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に、補助画像生成部８３Ａにより生成された補助画像を合成する。画像生成部８３は、補助画像を含む左眼用画像と右眼用画像を輝度補正部８５に出力する。
　補助画像生成部８３Ａは、左眼用画像と右眼用画像のそれぞれの両眼視領域と単眼視領域の境界に合成するための補助画像を生成する。補助画像生成部８３Ａにより生成された補助画像が、左眼用画像と右眼用画像のそれぞれの主画像に合成される。
＜HMDの動作＞
　ここで、以上のような補助画像が合成された左眼用画像と右眼用画像を表示することによってオブジェクトを提示するHMD１の処理について説明する。
　はじめに、図２３のフローチャートを参照して、HMD１の視線認識処理について説明する。図２３の処理は、例えば、図２４を参照して後述する処理と並行して行われる。
　ステップＳ５１において、視線検出デバイス５１Ａは、オブジェクトを見ているユーザの視線を認識する。
　ステップＳ５２において、補助画像生成部８３Ａは、ユーザの視線の方向に基づいて両眼の輻輳角を検出し、注視距離を特定する。
　ステップＳ５３において、補助画像生成部８３Ａは、補助画像の表示位置をユーザの注視距離に基づいて決定する。以上のような処理が、オブジェクトの表示が行われている間繰り返される。
　次に、図２４のフローチャートを参照して、HMD１の表示処理について説明する。
　図２４の処理は、補助画像の合成が行われる点を除いて、図１５を参照して説明した処理と同様の処理である。
　ステップＳ６１乃至Ｓ６７において図１５のステップＳ１乃至Ｓ７の処理と同様の処理が行われた後、ステップＳ６８において、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に補助画像を合成する。
　ステップＳ６９において、輝度補正部８５は、輝度補正パターンに従って、補助画像が合成された左眼用画像と右眼用画像に対して輝度補正を施す。
　ステップＳ７０において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
　ステップＳ７１において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。これにより、両眼視領域と単眼視領域の境界に補助画像が合成された左眼用画像と右眼用画像が表示され、オブジェクトが提示される。
　ユーザは、視野闘争による弊害が抑制された形でオブジェクトを見ることができる。
＜補助画像の表示位置をオブジェクトの距離に応じて変化させる例＞
　以上においては、ユーザの注視距離を特定して補助画像の表示位置を調整するものとしたが、オブジェクトの提示距離に応じて、補助画像の表示位置が調整されるようにしてもよい。この場合、オブジェクトの提示距離とユーザの注視距離が一致するとの前提で処理が行われることになる。
　複数のオブジェクトが提示される場合、最も大きいオブジェクトや画像の中心に最も近いオブジェクトなどの、主となるオブジェクトの提示距離に応じて補助画像の表示位置が調整される。この場合、視線検出デバイス５１Ａは不要となる。
　図２５および図２６は、補助画像の表示例を示す図である。
　図２５は、主となるオブジェクトの提示距離が遠い場合の補助画像の表示例を示し、図２６は、主となるオブジェクトの提示距離が近い場合の補助画像の表示例を示している。視線交差方式の場合、ユーザが注視するオブジェクトが近いほど、両眼視領域の幅が広くなる。
　図２５および図２６に示すように、主となるオブジェクトの提示距離に応じて両眼視領域の幅が変化し、これに伴って補助画像の表示位置が調整される。なお、図２5、図２６に示す補助画像の表示は、図２０、図２１を参照して説明した表示とそれぞれ同じである。
＜HMDの動作＞
　図２７のフローチャートを参照して、主となるオブジェクトの提示距離に応じて補助画像の表示位置を調整するHMD１の処理について説明する。
　図２７の処理は、補助画像の表示位置をオブジェクトの提示距離に応じて決定する処理が行われる点を除いて、図２４を参照して説明した処理と同様の処理である。ステップＳ８１乃至Ｓ８６において、図２４のステップＳ６１乃至Ｓ６６の処理と同様の処理が行われる。
　ステップＳ８７において、画像生成部８３は、補助画像の表示位置を主となるオブジェクトの提示距離に応じて決定する。
　ステップＳ８８において、画像生成部８３は、所定の大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。左眼用画像と右眼用画像には、それぞれ、主となるオブジェクトが少なくとも含まれている。
　ステップＳ８９において、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に補助画像を合成する。補助画像の合成位置は、主となるオブジェクトの提示距離に応じて設定された両眼視領域と、単眼視領域の境界となる。
　ステップＳ９０以降の処理は、図２４のステップＳ６９以降の処理と同様である。すなわち、ステップＳ９０において、輝度補正部８５は、輝度補正パターンに従って、補助画像が合成された左眼用画像と右眼用画像に対して輝度補正を施す。
　ステップＳ９１において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
　ステップＳ９２において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。これにより、両眼視領域と単眼視領域の境界に補助画像が合成された左眼用画像と右眼用画像が表示され、オブジェクトが提示される。
　図２８は、以上の処理により、補助画像の合成とともに輝度調整が行われた左眼用画像と右眼用画像の例を示す図である。
　図２８の中段に示すように、左眼用画像のうち、オブジェクトＯLの左眼側輝度補正領域の部分は、右端に近づくにつれて輝度が徐々に下がる状態になる。また、両眼視領域と単眼視領域の境界を跨ぐ、オブジェクトＯL上の位置には補助画像が重ねて表示される。
　一方、右眼用画像のうち、オブジェクトＯRの右眼側輝度補正領域の部分は、左端に近づくにつれて輝度が徐々に下がる状態になる。また、両眼視領域と単眼視領域の境界を跨ぐ、オブジェクトＯR上の位置には補助画像が重ねて表示される。
　このように、補助画像が合成されるとともに輝度補正が行われた左眼用画像と右眼用画像を表示することにより、視野闘争をより効果的に低減させることが可能となる。
　また、補助画像の合成と組み合わせることにより、輝度補正によって輝度を下げるときの補正量を減らすことができ、境界部分の明るさの変化が少ない画像を提示することが可能になる。
　図２８の上段に示すように、補助画像の合成と輝度補正とを組み合わせる場合の輝度補正パターンは、表示部の端の部分（左眼用表示部５６Ｌの右端、右眼用表示部５６Ｒの左端）において、図８を参照して説明した、補助画像の合成を行わない場合の補正量と比べて補正量を抑えたパターンになっている。
　補助画像の合成と組み合わせた場合には、このように補正量を抑えた輝度補正パターンを用いたとしても、十分な効果を得ることが可能になる。
＜変形例＞
　図２９は、補助画像の他の表示例を示す図である。
　図２９の例においては、補助画像が破線の画像とされている。このように、実線の画像ではなく、破線などの他の線種の画像を補助画像として用いることが可能である。
　図３０は、補助画像の他の表示例を示す図である。
　図３０の例においては、補助画像が、矢印形状の画像や星形状の画像とされている。このように、各種の形状のアイコンやマークなどの画像を補助画像として用いることも可能である。補助画像の種類や形状は、オブジェクトの種類に応じて適宜選択される。
　以上においては、オブジェクトの大きさが両眼視領域の左右の両方の境界に跨がる大きさである場合について説明したが、左右のいずれかの境界にのみ跨がる大きさである場合、オブジェクトが跨がる境界部分には同様にして補助画像が表示される。
　図３１は、補助画像の他の表示例を示す図である。
　図３１の例においては、両眼視領域の左端に跨がるようにオブジェクトが配置されている。この場合、図３１の左上に示すように、左眼用画像にのみ補助画像が合成される。補助画像の合成位置は、両眼視領域と単眼視領域の境界の位置である。
　このように、補助画像の合成は、両眼視領域と単眼視領域の境界にオブジェクトが跨っている画像に対してのみ行われる。
　補助画像として表示される線の輝度をユーザが好みに応じて調整することができるようにしてもよい。また、補助画像の表示／非表示をユーザが選択することができるようにしてもよい。
＜＜その他の例＞＞
　左眼用画像と右眼用画像の生成がHMD１により行われるものとしたが、コンテンツ配信サーバ２において行われるようにしてもよい。
　図３２は、コンテンツ配信サーバ２の構成例を示すブロック図である。
　CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。
　また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　図３２に示す構成を有するコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムをRAM１００３にロードして実行することにより、図１３または図２２に示す構成を有する出力制御部５５が実現される。
　コンテンツ配信サーバ２において実現される出力制御部５５は、通信部１００９を制御し、HMD１と通信を行う。出力制御部５５は、HMD１から送信されてきたユーザ情報と周辺情報に基づいて左眼用画像と右眼用画像を生成し、HMD１に送信して表示させる。
　HMD１においては、コンテンツ配信サーバ２から送信されてきた左眼用画像と右眼用画像が通信部５７により受信され、それぞれ左眼用表示部５６Ｌと右眼用表示部５６Ｒに供給されて表示される。
　このように、オブジェクトの提示がコンテンツ配信サーバ２による制御に従って行われるようにすることが可能である。
　また、以上においては、HMD１が透過型の表示デバイスを有するARヘッドマウントディスプレイであるものとしたが、非透過型の表示デバイスを有するVRヘッドマウントディスプレイであってもよい。VRヘッドマウントディスプレイに設けられる左眼用と右眼用のそれぞれの表示デバイスも、視野角の拡大のために左右にオフセットが設定された状態で設けられる。
＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図３２に示されるリムーバブルメディア１０１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、
　前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部と
　を備える情報処理装置。
（２）
　前記輝度補正領域を対象として輝度補正を行う輝度補正部をさらに備える
　前記（１）に記載の情報処理装置。
（３）
　前記輝度補正部は、前記輝度補正領域の輝度を下げるように輝度補正を行う
　前記（２）に記載の情報処理装置。
（４）
　前記輝度補正部は、前記輝度補正領域が設定された表示領域の端に近づくにつれて輝度が下がるように輝度補正を行う
　前記（２）または（３）に記載の情報処理装置。
（５）
　前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の広い前記輝度補正領域を設定する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記制御部は、前記第１の表示領域の右端と前記第２の表示領域の左端に前記輝度補正領域を設定する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の狭い前記輝度補正領域を設定する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（８）
　前記制御部は、前記第１の表示領域の左端と前記第２の表示領域の右端に前記輝度補正領域を設定する
　前記（１）乃至（４）、（７）のいずれかに記載の情報処理装置。
（９）
　前記制御部は、前記輝度補正領域の幅を、線形的に、または、段階的に変化させる
　前記（５）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記制御部は、前記位置情報とともに、前記オブジェクトの形状と大きさのうちの少なくともいずれかを用いて、前記輝度補正領域を設定する
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　輝度補正が行われた前記左眼用の画像と前記右眼用の画像の歪み補正を行う歪み補正部をさらに備える
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（１２）
　前記制御部は、両眼視領域となる前記第１の表示領域と前記第２の表示領域の内側に前記輝度補正領域を設定する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記制御部は、前記オブジェクトの位置に応じた幅の前記両眼視領域を設定し、
　前記両眼視領域と、前記両眼視領域の外側の領域である単眼視領域との境界を表す所定の画像を生成する画像生成部をさらに備える
　前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、前記オブジェクトを見ている前記ユーザの両眼の輻輳角に応じた幅の前記両眼視領域を設定する
　前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記位置情報により表される、前記オブジェクトの奥行き方向の位置に応じた幅の前記両眼視領域を設定する
　前記（１３）に記載の情報処理装置。
（１６）
　前記画像生成部は、前記オブジェクトに応じて異なる画像を前記所定の画像として生成する
　前記（１３）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記画像生成部は、前記オブジェクトの輝度を変化させた画像を前記所定の画像として生成する
　前記（１３）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記画像生成部は、前記オブジェクトの色度と彩度のうちの少なくともいずれかを変化させた画像を前記所定の画像として生成する
　前記（１３）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
　前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
　情報処理方法。
（２０）
　コンピュータに、
　左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
　前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
　処理を実行させるためのプログラムが記録された記録媒体。
　１　HMD，　５１　センサ，　５１Ａ　視線検出デバイス，　５２　カメラ，　５３　ユーザ情報取得部，　５４　周辺情報取得部，　５５　出力制御部，　５６Ｌ　左眼用表示部，　５６Ｒ　右眼用表示部，　５７　通信部，　５８　電源部，　８１　表示画像取得部，　８２　表示位置決定部，　８３　画像生成部，　８３Ａ　補助画像生成部，　８４　制御部，　８５　輝度補正部，　８６　歪み補正部

Claims (20)

  1. 　左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、
    　前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部と
    　を備える情報処理装置。
  2. 　前記輝度補正領域を対象として輝度補正を行う輝度補正部をさらに備える
    　請求項１に記載の情報処理装置。
  3. 　前記輝度補正部は、前記輝度補正領域の輝度を下げるように輝度補正を行う
    　請求項２に記載の情報処理装置。
  4. 　前記輝度補正部は、前記輝度補正領域が設定された表示領域の端に近づくにつれて輝度が下がるように輝度補正を行う
    　請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の広い前記輝度補正領域を設定する
    　請求項１に記載の情報処理装置。
  6. 　前記制御部は、前記第１の表示領域の右端と前記第２の表示領域の左端に前記輝度補正領域を設定する
    　請求項１に記載の情報処理装置。
  7. 　前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の狭い前記輝度補正領域を設定する
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記第１の表示領域の左端と前記第２の表示領域の右端に前記輝度補正領域を設定する
    　請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記輝度補正領域の幅を、線形的に、または、段階的に変化させる
    　請求項５に記載の情報処理装置。
  10. 　前記制御部は、前記位置情報とともに、前記オブジェクトの形状と大きさのうちの少なくともいずれかを用いて、前記輝度補正領域を設定する
    　請求項１に記載の情報処理装置。
  11. 　輝度補正が行われた前記左眼用の画像と前記右眼用の画像の歪み補正を行う歪み補正部をさらに備える
    　請求項２に記載の情報処理装置。
  12. 　前記制御部は、両眼視領域となる前記第１の表示領域と前記第２の表示領域の内側に前記輝度補正領域を設定する
    　請求項１に記載の情報処理装置。
  13. 　前記制御部は、前記オブジェクトの位置に応じた幅の前記両眼視領域を設定し、
    　前記両眼視領域と、前記両眼視領域の外側の領域である単眼視領域との境界を表す所定の画像を生成する画像生成部をさらに備える
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記オブジェクトを見ている前記ユーザの両眼の輻輳角に応じた幅の前記両眼視領域を設定する
    　請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記位置情報により表される、前記オブジェクトの奥行き方向の位置に応じた幅の前記両眼視領域を設定する
    　請求項１３に記載の情報処理装置。
  16. 　前記画像生成部は、前記オブジェクトに応じて異なる画像を前記所定の画像として生成する
    　請求項１３に記載の情報処理装置。
  17. 　前記画像生成部は、前記オブジェクトの輝度を変化させた画像を前記所定の画像として生成する
    　請求項１３に記載の情報処理装置。
  18. 　前記画像生成部は、前記オブジェクトの色度と彩度のうちの少なくともいずれかを変化させた画像を前記所定の画像として生成する
    　請求項１３に記載の情報処理装置。
  19. 　情報処理装置が、
    　左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
    　前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
    　情報処理方法。
  20. 　コンピュータに、
    　左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
    　前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
    　処理を実行させるためのプログラムが記録された記録媒体。
PCT/JP2018/045816 2017-12-27 2018-12-13 情報処理装置、情報処理方法、および記録媒体 WO2019131160A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP18895427.5A EP3734969A4 (en) 2017-12-27 2018-12-13 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND RECORDING MEDIA
CN201880069134.5A CN111264057B (zh) 2017-12-27 2018-12-13 信息处理装置、信息处理方法和记录介质
US16/758,674 US11039124B2 (en) 2017-12-27 2018-12-13 Information processing apparatus, information processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-250651 2017-12-27
JP2017250651A JP2019118004A (ja) 2017-12-27 2017-12-27 情報処理装置、情報処理方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2019131160A1 true WO2019131160A1 (ja) 2019-07-04

Family

ID=67067109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045816 WO2019131160A1 (ja) 2017-12-27 2018-12-13 情報処理装置、情報処理方法、および記録媒体

Country Status (5)

Country Link
US (1) US11039124B2 (ja)
EP (1) EP3734969A4 (ja)
JP (1) JP2019118004A (ja)
CN (1) CN111264057B (ja)
WO (1) WO2019131160A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020607A1 (ko) * 2019-07-29 2021-02-04 엘지전자 주식회사 증강 현실을 이용한 전자 기기
KR20220091160A (ko) 2020-12-23 2022-06-30 삼성전자주식회사 증강 현실 디바이스 및 그 동작 방법
CN115190284B (zh) * 2022-07-06 2024-02-27 敏捷医疗科技(苏州)有限公司 一种图像处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH0795621A (ja) * 1993-09-21 1995-04-07 Canon Inc 画像記録再生装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2013025101A (ja) 2011-07-21 2013-02-04 Olympus Corp 画像表示装置
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
JP2016130771A (ja) * 2015-01-13 2016-07-21 パイオニア株式会社 表示装置、制御方法、プログラム及び記憶媒体
WO2017115505A1 (ja) * 2015-12-28 2017-07-06 ソニー株式会社 表示装置
JP2017212720A (ja) * 2016-05-18 2017-11-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2017215688A (ja) * 2016-05-30 2017-12-07 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233458A (en) 1991-07-01 1993-08-03 Kaiser Aerospace And Electronics Corporation Method and apparatus to reduce binocular rivalry in a partial overlap binocular display
JP2006030600A (ja) * 2004-07-16 2006-02-02 Nec Viewtechnology Ltd 多画面表示システム、多画面表示方法、輝度補正方法及びプログラム
JP2006246551A (ja) 2005-02-28 2006-09-14 Nsk Ltd 超音波モータ制御装置、および超音波モータ制御方法
JP4102410B2 (ja) * 2006-04-10 2008-06-18 オリンパス株式会社 立体映像ディスプレイ装置
JP5127317B2 (ja) * 2007-06-25 2013-01-23 三洋電機株式会社 カメラ
CN103081485A (zh) * 2010-08-30 2013-05-01 夏普株式会社 立体图像生成方法、立体图像生成装置和具备该装置的显示装置
TWI533663B (zh) * 2012-01-17 2016-05-11 晨星半導體股份有限公司 立體影像處理裝置及立體影像處理方法
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
CN106780330B (zh) * 2016-12-08 2018-05-11 中国人民解放军国防科学技术大学 一种基于彩色与黑白双摄像头的超分辨率重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316541A (ja) * 1992-05-07 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 両眼立体視装置
JPH0795621A (ja) * 1993-09-21 1995-04-07 Canon Inc 画像記録再生装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2013025101A (ja) 2011-07-21 2013-02-04 Olympus Corp 画像表示装置
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
JP2016130771A (ja) * 2015-01-13 2016-07-21 パイオニア株式会社 表示装置、制御方法、プログラム及び記憶媒体
WO2017115505A1 (ja) * 2015-12-28 2017-07-06 ソニー株式会社 表示装置
JP2017212720A (ja) * 2016-05-18 2017-11-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2017215688A (ja) * 2016-05-30 2017-12-07 キヤノン株式会社 画像処理装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3734969A4

Also Published As

Publication number Publication date
EP3734969A1 (en) 2020-11-04
US11039124B2 (en) 2021-06-15
CN111264057A (zh) 2020-06-09
CN111264057B (zh) 2021-08-13
JP2019118004A (ja) 2019-07-18
US20200359008A1 (en) 2020-11-12
EP3734969A4 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
EP3035681B1 (en) Image processing method and apparatus
JP5515301B2 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US9280951B2 (en) Stereoscopic image display device, image processing device, and stereoscopic image processing method
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
US9451242B2 (en) Apparatus for adjusting displayed picture, display apparatus and display method
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
JP2011210027A (ja) 画像処理装置および方法並びにプログラム
US20190020869A1 (en) Non-planar computational displays
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
WO2020115815A1 (ja) ヘッドマウントディスプレイ装置
JP2018157331A (ja) プログラム、記録媒体、画像生成装置、画像生成方法
US11543655B1 (en) Rendering for multi-focus display systems
JP2010226391A (ja) 画像処理装置、プログラムおよび画像処理方法
JP5663854B2 (ja) 表示装置、表示方法、および、プログラム
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법
US20230118559A1 (en) Information processing apparatus and information processing method
US20230245280A1 (en) Image processing apparatus, image processing method, and storage medium
KR20180108314A (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
US20230396752A1 (en) Electronic Device that Displays Virtual Objects
JP2011082649A (ja) 画像生成装置、画像生成方法、および、プログラム
JP2010226392A (ja) 撮像装置、観賞用眼鏡および画像出力方法
JP2018186319A (ja) 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18895427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018895427

Country of ref document: EP

Effective date: 20200727