WO2019239852A1 - 情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ - Google Patents

情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2019239852A1
WO2019239852A1 PCT/JP2019/020675 JP2019020675W WO2019239852A1 WO 2019239852 A1 WO2019239852 A1 WO 2019239852A1 JP 2019020675 W JP2019020675 W JP 2019020675W WO 2019239852 A1 WO2019239852 A1 WO 2019239852A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
display unit
deformation
image
Prior art date
Application number
PCT/JP2019/020675
Other languages
English (en)
French (fr)
Inventor
浩一 川崎
敦 石原
満 西部
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019239852A1 publication Critical patent/WO2019239852A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Definitions

  • the present technology relates to an information processing apparatus, an information processing method, a program, and a head mounted display that control a display device whose posture changes.
  • OLED organic light emitting diode
  • LCD liquid crystal display
  • DMD digital microdevice
  • an image display method using these display devices there are mainly a sequential scanning method and a global light emission method.
  • the sequential scanning method sequentially reads out the scanning lines in which the image data is read one pixel at a time in the horizontal direction while shifting it in the vertical direction. In this method, an image for one screen is displayed.
  • the progressive scanning method is adopted in many display devices (see Patent Document 1). In recent years, a progressive scanning method display device may be used by being worn or carried by a user. Used (see Patent Document 2).
  • the sequential scanning method has a problem in that an image is not properly displayed when the orientation of the display device is quickly changed by the movement of the user wearing the display device.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, a program, and a head-mounted display capable of appropriately displaying an image even when the orientation of the display device is quickly changed. is there.
  • an information processing apparatus includes an acquisition unit, a deformation prediction unit, an information generation unit, and an output unit.
  • the acquisition unit acquires first information related to an object that is an image to be displayed in a certain area in the space by a display unit using a sequential scanning method.
  • the deformation prediction unit acquires information related to the posture of the display unit, and predicts deformation applied to the image displayed by the display unit in accordance with a change in the posture of the display unit.
  • the information generation unit uses the first information to generate second information related to an inversely deformed object that is an image that becomes the object after the deformation predicted by the deformation prediction unit is applied.
  • the output unit outputs the second information to the display unit.
  • the deformation of the image accompanying the change in the posture of the display unit is predicted.
  • the information on the inversely deformed object is generated so that the displayed image looks like a predetermined object, so that the image can be properly displayed on the display unit.
  • the information generation unit may perform a correction process for converting the object into the inversely deformed object.
  • the deformation prediction unit may predict a deformation along the main scanning direction applied to the image displayed by the display unit.
  • the information generation unit applies expansion deformation along the main scanning direction to the object, and the deformation prediction unit predicts expansion deformation.
  • shrinkage deformation along the main scanning direction may be applied to the object.
  • the information generation unit may perform the correction process after drawing. With this configuration, it is possible to predict a change in the image accompanying a change in the orientation of the display unit that changes during drawing, and an accurate prediction is possible, so that the image can be displayed more appropriately.
  • the information generation unit may perform the correction process before drawing. With this configuration, the second information related to the inversely deformed object that has been subjected to the correction process with high accuracy is generated, and the image can be displayed more appropriately.
  • the information processing apparatus further includes a detection unit configured to be able to detect a change in posture of the display unit, and the deformation prediction unit acquires a change in posture of the display unit detected by the detection unit. Also good.
  • the detection unit may include an IMU provided in the display unit.
  • An information processing method is as follows: First information about an object, which is an image to be displayed in a certain area in the space, is acquired by a display unit of a progressive scanning method, Obtaining information related to the orientation of the display unit, predicting deformation to be added to the image displayed by the display unit with a change in the orientation of the display unit, Using the first information, generate second information related to an inversely deformed object, which is an image that becomes the object after the deformation predicted by the deformation predicting unit is added, The second information is output to the display unit.
  • a program according to an embodiment of the present technology is stored in an information processing device.
  • First information about an object which is an image to be displayed in a certain area in the space, is acquired by a display unit of a progressive scanning method, Obtaining information related to the orientation of the display unit, predicting deformation to be added to the image displayed by the display unit with a change in the orientation of the display unit, Using the first information, generate second information related to an inversely deformed object, which is an image that becomes the object after the deformation predicted by the deformation predicting unit is added, The second information is output to the display unit.
  • the head mounted display which concerns on one form of this technique comprises a mounting part, a display part, and a control part.
  • the mounting portion is configured to be mountable on the user's head.
  • the display unit is provided in the mounting unit and displays an image in a certain area in the space by a sequential scanning method.
  • the control unit controls the display unit.
  • the control unit acquires first information related to an object that is an image to be displayed in the area by the display unit, acquires information related to the attitude of the display unit, and changes in the attitude of the display unit
  • a deformation prediction unit that predicts deformation applied to an image displayed by the display unit, and a reverse deformation object that is an image that becomes the object after the deformation predicted by the deformation prediction unit is added using the first information.
  • an output unit that outputs the second information to the display unit.
  • an information processing apparatus an information processing method, a program, and a head mounted display capable of appropriately displaying an image even when the orientation of the display device is quickly changed.
  • the information processing apparatus 1 can appropriately display an image in the displayable area even when the orientation of the display device is quickly changed.
  • the AR display glasses-type device has a progressive scanning display unit 15 (see FIG. 4).
  • the AR display spectacle type device is a spectacle type device that can be worn on the user's head and can display an AR (Augmented Reality) image on the display unit 15 for the user.
  • an AR (Augmented Reality) image on the display unit 15 for the user.
  • FIG. 1 is a simplified diagram for explaining the deformation of the image of the displayable region R when the direction of the AR display glasses-type device is quickly changed.
  • FIG. 1 shows a field of view V of a user wearing an AR display glasses-type device, and a displayable region R in which the display unit 15 of the progressive-scan AR display glasses-type device can display an image.
  • the displayable region R can be set at an arbitrary position in the real space. In the present embodiment, the displayable region R is set so as to remain at a specific position in the real space.
  • FIG. 1A shows an image displayed in the displayable region R in a state where the user wearing the AR display spectacle-type device is stationary and facing the front.
  • the displayable region R is set in the front direction of the user's visual field V and at an upper right position of the landscape tree T.
  • An object A is displayed in the displayable area R.
  • the user can recognize the object A displayed in the displayable area R at a specific position in the real space (position obliquely on the right of the tree T) and the landscape that can be seen through in the displayable area R. it can.
  • the display unit 15 is a display having raster data including a plurality of pixels.
  • the display unit 15 can display the object A in the displayable region R by sequentially emitting light by a plurality of image display elements arranged in a matrix. Specifically, as shown in FIG. 1A, first, the image display element is caused to emit light in the right direction (sub-scanning direction X) from the upper left scanning start position S of the displayable region R, and the horizontal scanning line L1 is set. Scanning is performed at a predetermined scanning speed. Next, the horizontal scanning lines L2 to L5 are scanned sequentially from the top to the bottom in FIG.
  • FIG. 1B shows an image displayed in the displayable region R when the user wearing the AR display glasses-type device quickly looks up.
  • the direction of the AR display glasses-type device is tilted in the elevation direction, and the user's visual field V moves upward.
  • the upward arrow indicates the moving direction of the visual field V of the user.
  • the scanning distance in the main scanning direction Y is shortened, and the intervals between the horizontal scanning lines L1 to L5 are close.
  • the object A displayed in the displayable region R appears to contract in the vertical direction along the main scanning direction of the display unit 15.
  • FIG. 1C shows an image displayed in the displayable area R when the user wearing the AR display glasses-type device quickly looks down.
  • the direction of the AR display glasses-type device is tilted in the depression direction, and the user's visual field V moves downward.
  • the downward arrow indicates the moving direction of the visual field V of the user.
  • the scanning distance in the main scanning direction Y becomes long, and the intervals between the horizontal scanning lines L1 to L5 become sparse.
  • the object A displayed in the displayable region R appears to extend in the vertical direction along the main scanning direction of the display unit 15.
  • the object A when the direction of the AR display glasses-type device is tilted in the elevation angle direction (see FIG. 1B), the object A appears to contract along the main scanning direction, and the direction of the AR display glasses-type device is the depression angle.
  • the object A When tilted in the direction (see FIG. 1C), the object A appears to expand along the main scanning direction. For this reason, the image is not displayed properly. Therefore, in the present technology, a deformation that is added to an image with a change in the direction of the AR display glasses-type device (the posture of the display unit 15) is predicted.
  • the deformation applied to the image can be predicted from the change in the posture angle of the display unit 15.
  • the shape of the object A is inversely converted in consideration of the predicted deformation of the image so that the image can be seen as the object A even after the image is deformed in accordance with the change in the posture of the display unit 15.
  • the information regarding the inversely deformed object can be obtained by performing a correction process for converting the object A into the inversely deformed object B.
  • the correction process by the information processing apparatus 1 according to the present embodiment will be described.
  • FIG. 2 is a diagram illustrating an example of correction processing by the information processing apparatus 1 according to the present embodiment when shrinkage deformation of an image is predicted.
  • FIG. 2A shows an example in which the object A is converted to the inversely deformed object B based on the prediction that the image contracts and deforms.
  • the inversely deformed object B is obtained by applying a deformation opposite to the predicted contraction deformation, that is, an expansion deformation, to the object A.
  • FIG. 2B shows an image when the reverse deformation object B is displayed on the display unit 15. Since the inversely deformed object B obtained by expanding the object A contracts and deforms as predicted when displayed, the inversely deformed object B displayed in the displayable area R looks like the object A.
  • FIG. 3 is a diagram illustrating an example of correction processing performed by the information processing apparatus 1 according to the present embodiment when an image expansion / deformation is predicted.
  • FIG. 3A shows an example in which the object A is converted to the inversely deformed object B based on the prediction that the image is expanded and deformed.
  • the inversely deformed object B is obtained by applying a deformation opposite to the predicted expansion deformation, that is, a contraction deformation, to the object A.
  • FIG. 3B shows an image when the reverse deformation object B is displayed on the display unit 15. Since the inversely deformed object B contracted from the object A expands and deforms as predicted when displayed, the inversely deformed object B displayed in the displayable area R looks like the object A.
  • the information processing apparatus 1 applies the deformation opposite to the predicted image deformation to the object A even if the posture of the display unit 15 is quickly changed, and reversely deforms the object A.
  • the inversely deformed object B displayed by the display unit 15 looks like the object A that is an image to be displayed. Thereby, an image can be displayed appropriately.
  • FIG. 4 is a block diagram illustrating a configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a control unit 10, a display unit 15, a detection unit 16, and a memory 17.
  • the control unit 10 is connected to the display unit 15, the detection unit 16, and the memory 17.
  • the display unit 15, the detection unit 16, and the memory 17 may be an external configuration of the information processing apparatus 1.
  • the display unit 15 can display an image by a sequential scanning method based on information about an image output from the control unit 10.
  • the display unit 15 can be configured as, for example, a laser scanning display such as an organic light emitting diode (OLED) display, a liquid crystal display (LCD), or a virtual retina display (VRD).
  • OLED organic light emitting diode
  • LCD liquid crystal display
  • VRD virtual retina display
  • the display unit 15 is typically used as a display device of an AR display glasses-type device, and is disposed at a position facing the user's eye wearing the AR display glasses-type device. For this reason, the attitude
  • the detection unit 16 is provided in the display unit 15.
  • the detection unit 16 includes an angular velocity sensor, and may have a configuration in which another motion sensor such as an acceleration sensor is combined with this, a configuration in which a geomagnetic sensor is combined, or the like.
  • the detection unit 16 may be configured by a sensor unit in which each of the angular velocity sensor and the acceleration sensor is arranged in the three-axis direction, or a sensor to be used may be different depending on each axis.
  • the detection unit 16 according to the present embodiment can be configured as an IMU (Inertial Measurement Unit), for example.
  • the IMU has a configuration capable of detecting changes in angular velocity and acceleration of the display unit 15 around three axes orthogonal to each other.
  • the detection unit 16 of the present embodiment is configured to be able to detect a change in the posture of the display unit 15.
  • the detection unit 16 can detect, for example, a change in angular velocity of the display unit 15 according to a change in the orientation of the user's head, and detect a change in at least the vertical angle (elevation angle) with respect to the horizontal plane of the display unit 15. Make it possible. Further, the detection unit 16 of the present embodiment may be configured to be able to detect a change in the position of the display unit 15.
  • the memory 17 stores information related to the object A. Further, the memory 17 may store various data for controlling the information processing apparatus 1.
  • the control unit 10 includes an acquisition unit 11, a deformation prediction unit 12, an information generation unit 13, and an output unit 14.
  • the acquisition unit 11, the deformation prediction unit 12, the information generation unit 13, and the output unit 14 will be described later.
  • FIG. 5 is a flowchart showing an information processing method by the information processing apparatus 1 according to the present embodiment.
  • the operation (steps S11 to S15) of the information processing method according to the present embodiment will be described with reference to FIG.
  • step S ⁇ b> 11 the acquisition unit 11 acquires first information related to the object A that is an image to be displayed in a certain area in the space from the memory 17.
  • the space is typically a real space surrounding the AR display spectacle type device.
  • the first information may include information regarding a specific coordinate position where the object A is set in the space coordinates.
  • step S 12 Acquisition of information regarding the orientation of the display unit
  • the detection unit 16 detects a change in the posture of the display unit 15.
  • the detection unit 16 may detect a change in the position of the display unit 15.
  • the deformation prediction unit 12 acquires information related to the posture of the display unit 15 from the detection unit 16.
  • the deformation prediction unit 12 may acquire information regarding a change in the position of the display unit 15.
  • step S 13 Prediction of deformation applied to displayed image
  • the deformation prediction unit 12 first determines whether the display unit 15 has a change in the orientation of the head of the user wearing the AR display glasses-type device based on the information about the posture of the display unit 15 acquired in step S ⁇ b> 12. The change in posture angle is calculated. Further, the amount of movement of the position of the display unit 15 may be calculated. Then, the deformation prediction unit 12 predicts the deformation applied to the image displayed by the display unit 15 as the posture of the display unit 15 changes. Further, the deformation prediction unit 12 may predict the deformation applied to the image displayed by the display unit 15 in accordance with the change in the posture and the position of the display unit 15.
  • step S14 (S14: Generation of second information regarding inversely deformed object)
  • the information generation unit 13 acquires the first information acquired in step S11 and information regarding the deformation of the image predicted in step S13.
  • second information related to the inversely deformed object B that becomes the object A after the deformation predicted by the deformation predicting unit 12 is added.
  • the information generation unit 13 generates the second information by performing a correction process for converting the object A into the inversely deformed object B. In this correction processing, the object A is deformed in a direction opposite to the predicted deformation direction along the main scanning direction.
  • step S15 First, the information generation unit 13 outputs the second information related to the inversely deformed object B generated in step S14 to the display unit 15. As a result, the display unit 15 displays the inversely deformed object B based on the second information. At this time, by applying the deformation of the image predicted in step S13 to the reverse deformation object B, the reverse deformation object B displayed by the display unit 15 looks like the object A, and the image can be displayed appropriately.
  • FIG. 6 is a perspective view showing an outline of the AR display glasses-type device 100 using the information processing apparatus 1 of the present embodiment.
  • the AR display glasses device 100 includes an information processing unit 110 and a mounting unit 200.
  • a display unit 120, a sensor 130, and an imaging unit 140 are disposed on the mounting unit 200.
  • the information processing unit 110 is configured to be able to realize the functions of the information processing apparatus 1 according to the present embodiment illustrated in FIG.
  • the information processing unit 110, the display unit 120, the sensor 130, and the imaging unit 140 arranged in the mounting unit 200 are connected by wire or wirelessly. Further, the information processing unit 110 may be integrated with the mounting unit 200.
  • the mounting portion 200 includes a frame structure including left and right rim portions 201, a bridge portion 202 disposed between the rim portions, and a temple portion 203 extending rearward from each rim portion. .
  • the AR display glasses-type device 100 can be mounted on the user's head.
  • the display unit 120 can transmit visible light and has a so-called optical see-through configuration.
  • the display unit 120 includes a display plate 121 and an optical unit 122.
  • the display board 121 includes display boards 121R and 121L arranged in front of the user's right eye and left eye, respectively.
  • the display boards 121R and 121L are configured to be able to display images presented to the left and right eyes of the user.
  • the display plates 121R and 121L are configured by translucent light guide plates capable of emitting images projected from the optical units 122R and 122L to the right and left eyes of the user.
  • Each of the display boards 121R and 121L may be configured with a common member or may be configured with another member.
  • the optical units 122R and 122L are configured to be able to generate an image of the displayable region R displayed at a certain position in a landscape (real space) that can be seen through the display plates 121R and 121L, respectively.
  • the optical units 122R and 122L are respectively fixed to the right edge and the left edge of the temple portion 203, and project the right eye image and the left eye image onto the display plates 121R and 121L, respectively.
  • the structure of the optical units 122R and 122L is not particularly limited as long as it can project images onto the display plates 121R and 121L.
  • the first and second optical units 122R and 122L project a display panel unit including image display elements, a panel controller that drives the display panel unit, and an image formed by the image display elements onto the display plates 121R and 121L.
  • Each has an optical prism and a cabinet for accommodating these.
  • a self-luminous panel such as an LED or an organic EL element may be used as the image display element, or a liquid crystal panel may be used.
  • the sensor 130 has a configuration capable of detecting a change in the posture of the display unit 120.
  • the sensor 130 may have a configuration capable of detecting a change in the position of the display unit 120.
  • the sensor 130 is typically composed of an IMU (Inertial Measurement Unit).
  • IMU Inertial Measurement Unit
  • the change in the attitude angle of the display unit 120 (direction of change and the amount of the change) and the change in the position of the display unit 120 (the amount of movement, etc.) can be obtained by using, for example, angular velocity or acceleration data measured by the sensor 130. It is obtained by integrating. Calculation of a change in posture angle or a change in position may be performed by the sensor 130 or may be performed by the information processing unit 110.
  • the senor 130 is disposed in the temple portion 203 of the mounting portion 200 (FIG. 6), but the position of the sensor 130 is not particularly limited.
  • the sensor 130 may be disposed in either one of the optical units 122R and 122L or a part of the mounting unit 200.
  • the imaging unit 140 is typically a camera, and is used to set the position of the displayable region R by an existing self-position estimation technique such as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • FIG. 7 is a block diagram of each configuration of the AR display glasses device 100 using the information processing apparatus 1 according to the present embodiment.
  • the AR display spectacle-type device 100 includes an information processing unit 110, a display unit 120, a sensor 130, and an imaging unit 140.
  • the information processing unit 110, the display unit 120, and the imaging unit 140 are connected via a bus.
  • the sensor 130 is connected to the information processing unit 110.
  • the information processing unit 110 includes a CPU 111 and an image control unit 112.
  • the CPU 111 can execute SLAM processing or the like in order to set the position of the displayable region R in the real space. Therefore, the CPU 111 stores program codes for executing SLAM processing, the position of the displayable area R, information on the image (object) to be displayed, and other necessary data such as a ROM (Read (Only Memory)
  • ROM Read (Only Memory)
  • RAM Random Access Memory
  • the image control unit 112 has a function of controlling the image displayed by the display unit 120. That is, the image control unit 112 has the function of the control unit 10 of this embodiment shown in FIG. For this reason, the image control unit 112 typically includes a correction circuit for exhibiting the function of the control unit 10 and a GPU for rendering an image based on information about the image.
  • FIG. 8 is a flowchart for explaining the operation of each component of the AR display glasses-type device 100 using the information processing apparatus 1 of the present embodiment.
  • step S ⁇ b> 101 the CPU 111 executes SLAM processing that simultaneously performs self-position estimation and environment map creation based on information acquired from the imaging unit 140.
  • the CPU 111 only needs to be able to acquire information related to the position of the display unit 120 in the real space, and can perform processing using an existing self-position estimation technique as well as SLAM processing.
  • step S102 the CPU 111 first sets the displayable region R to be arranged at a specific position in the real space using the result of the SLAM process. Then, the CPU 111 generates first information related to the object A that is an image to be displayed in the displayable region R set at a specific position in the space.
  • the first information includes information regarding a specific position in the space of the object A.
  • step S103 the sensor 130 detects a change in the posture of the display unit 120.
  • the sensor 130 transmits information related to the orientation of the display unit 120 detected at the timing when the correction process is started in step S105 described later to the image control unit 112.
  • step S104 first, the image control unit 112 acquires information regarding the orientation of the display unit 120 detected in step 104. Next, the image control unit 112 predicts deformation to be added to the image displayed by the display unit 120 in accordance with the change in the posture based on the acquired information regarding the posture of the display unit 120.
  • step S105 first, the image control unit 112 acquires the first information generated in step S102 from the CPU 111. Further, the image control unit 112 acquires information regarding the deformation of the image predicted in step S104. Then, the image control unit 112 performs correction processing for converting the object A into the inversely deformed object B based on the prediction so that the image displayed by the display unit 120 can be seen as the object A, and the inversely deformed object B 2nd information about is generated.
  • the second information may be generated by performing a correction process using a dedicated correction circuit after drawing the object A based on the first information by the GPU. As a result, it is possible to predict the deformation of the image accompanying the change in posture during drawing.
  • the second information may be generated by performing a correction process on the first information and then drawing using the GPU.
  • the inversely deformable object B with the expansion / contraction amount changed depending on the depth can be drawn on the image to which the three-dimensional perspective is given. Therefore, the correction process can be performed with high accuracy, and the image can be displayed more appropriately.
  • the second information may be generated by performing a correction process before drawing and further performing a correction process after drawing. Thereby, the accuracy of prediction and the accuracy of correction processing are improved, and the image can be displayed more appropriately.
  • step S106 the image control unit 112 outputs the second information generated in step S105 to the display unit 120.
  • the inversely deformed object B displayed on the display unit 120 looks like the object A, and the image can be displayed appropriately.
  • FIG. 9 shows an example of a specific correction process by the AR display glasses device 100 using the information processing apparatus 1 according to the present embodiment.
  • FIG. 9 is an enlarged view of a part of the object A.
  • the pixels p constituting the object A are shown.
  • FIG. 9 shows an example of correction processing when the display unit 120 that scans the horizontal scanning line from the top to the bottom predicts that the image is expanded and deformed downward when the user turns downward. Based on the prediction, the image control unit 112 performs correction so that the pixel p constituting the object A is moved upward in order to shrink and deform the object A upward and convert the object A to the inversely deformed object B. Process.
  • FIG. 9 is an enlarged view of a part of the object A.
  • the pixels p constituting the object A are shown.
  • FIG. 9 shows an example of correction processing when the display unit 120 that scans the horizontal scanning line from the top to the bottom predicts that the image is expanded and deformed downward when the user turns downward. Based on the prediction, the image control
  • the arrow indicates the moving direction of the pixel p, and the length of the arrow indicates the moving amount of the pixel p.
  • the movement amount of the pixel p increases as it moves downward along the main scanning direction.
  • the movement amount of the pixel p at the time of the correction process is calculated based on information regarding the orientation of the display unit 120 detected by the sensor 130.
  • FIG. 9A is an example in which the movement amount of the pixel p is calculated based on the velocity and angular velocity detected by the sensor 130.
  • the movement amount of the pixel p is increased in an arithmetic series downward along the main scanning direction.
  • 9B is an example in which the movement amount of the pixel p is calculated based on the velocity, angular velocity, and acceleration detected by the sensor 130.
  • the moving amount of the pixel p is increased geometrically in the downward direction along the main scanning direction.
  • correction process by the AR display glasses-type device 100 using the information processing apparatus 1 according to the present embodiment is not limited to the above process, and may include an additional process.
  • additional processing will be described below.
  • FIG. 10 is a diagram for describing an example of additional image control processing by the information processing apparatus 1 according to the present embodiment.
  • a problem when the object A is drawn in the drawing range G will be described with reference to FIG.
  • FIG. 10A an object A is drawn in the drawing range G when the AR display glasses-type device 100 is stationary as an image to be displayed.
  • an inversely deformed object B obtained by expanding and deforming the object A is drawn as shown in the central view of FIG.
  • the inversely deformed object B is large, it is out of the drawing range G.
  • FIGS. 10B and 10C show an example of additional image control processing by the information processing apparatus 1 according to the present embodiment for solving this problem.
  • the drawing range G at rest is expanded in accordance with the change in the direction of the AR display glasses device 100, and the entire inversely deformed object B is drawn (right diagram).
  • the entire reverse deformation object B can be displayed on the display unit 120 (left figure).
  • the drawing range G at rest is left as it is, and the reverse deformation object B2 from which the portion B1 outside the drawing range G is cut is displayed, while the portion B1 is repeatedly displayed separately. Thereby, the whole reverse deformation object B appears to be displayed.
  • the above-described problem may be solved by performing an additional image control process.
  • the main scanning direction of the display unit 120 is from the top to the bottom.
  • the display unit 120 may be from the bottom to the top, from left to right, or from right to left.
  • the main scanning direction of the display unit 120 is not limited.
  • the present technology may be applied to a non-transmissive display device that displays a virtual space image (so-called VR image) displayed in association with the position in the real space in the displayable region R. That is, the present technology is not limited to displaying a virtual image (AR image) in a part of the displayable region R. A virtual image may be displayed on the entire displayable area R.
  • a virtual space image so-called VR image
  • AR image virtual image
  • the present technology may be applied to a video see-through head mounted display that displays an image in which a virtual image is superimposed on a real space (landscape) acquired by a camera or the like in the displayable region R.
  • the present technology may be applied to a movable projector having a configuration that can rotate around at least one axis. That is, the present technology is not limited to displaying an image by projecting the image light from the image display element onto the display plate 121 as in the above embodiment. An image may be displayed by projecting image light from the image display element onto a three-dimensional space around the user.
  • the present technology may be applied not only to a head-mounted display device such as the AR display glasses-type device 100 but also to a hand-held display device.
  • the information processing apparatus 1 of the present embodiment may be applied to a portable terminal including a transmissive or non-transmissive display as a handheld display device, or a digital binocular.
  • the configuration in which the sensor 130 is provided in the display unit 120 is not essential.
  • the sensor 130 may be provided in addition to the display unit 120 as a camera that can capture the user's visual field V. That is, the sensor 130 may be configured to be able to detect information related to the orientation of the display unit 120 from the captured image.
  • An acquisition unit that acquires first information about an object that is an image to be displayed in a certain area in the space by a display unit of a sequential scanning method;
  • a deformation prediction unit that acquires information related to the posture of the display unit and predicts deformation applied to an image displayed by the display unit in accordance with a change in the posture of the display unit;
  • An information generating unit that generates second information related to an inversely deformed object that is an image that becomes the object after the deformation predicted by the deformation predicting unit is added using the first information;
  • An output unit for outputting the second information to the display unit;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), The information generation unit performs a correction process for converting the object into the inversely deformed object.
  • the information processing apparatus predicts deformation along a main scanning direction applied to an image displayed by the display unit.
  • the information processing apparatus In the correction process, the information generation unit When the deformation prediction unit predicts contraction deformation, the object is subjected to extension deformation along the main scanning direction, An information processing apparatus that applies contraction deformation along the main scanning direction to the object when the deformation prediction unit predicts expansion deformation.
  • the information processing apparatus according to any one of (2) to (4), The information generation unit performs the correction process after drawing.
  • the information processing apparatus according to any one of (2) to (5), The information generation unit performs the correction process before drawing.
  • the information processing apparatus includes an IMU provided in the display unit.
  • First information about an object which is an image to be displayed in a certain area in the space, is acquired by a display unit of a progressive scanning method, Obtaining information related to the orientation of the display unit, predicting deformation to be added to the image displayed by the display unit with a change in the orientation of the display unit, Using the first information, generate second information related to an inversely deformed object, which is an image that becomes the object after the deformation predicted by the deformation predicting unit is added, An information processing method for outputting the second information to the display unit.
  • First information about an object which is an image to be displayed in a certain area in the space, is acquired by a display unit of a progressive scanning method, Obtaining information related to the orientation of the display unit, predicting deformation to be added to the image displayed by the display unit with a change in the orientation of the display unit, Using the first information, generate second information related to an inversely deformed object, which is an image that becomes the object after the deformation predicted by the deformation predicting unit is added, The program which performs outputting the said 2nd information to the said display part.
  • a mounting portion configured to be mounted on the user's head;
  • a display unit that is provided in the mounting unit and displays an image in a certain area in the space by a sequential scanning method;
  • a control unit for controlling the display unit, The control unit An acquisition unit that acquires first information related to an object that is an image to be displayed in the region by the display unit;
  • a deformation prediction unit that acquires information related to the posture of the display unit and predicts deformation applied to an image displayed by the display unit in accordance with a change in the posture of the display unit;
  • An information generation unit that generates second information related to an inversely deformed object that is an image that becomes the object after the deformation predicted by the deformation predicting unit is added using the first information, and the second information is displayed on the display
  • An output unit that outputs to the head unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示デバイスの向きが素早く変化しても、画像を適正に表示可能な情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイを提供する。　情報処理装置（１）は、取得部（１１）と、変形予測部（１２）と、情報生成部（１３）と、出力部（１４）とを具備する。上記取得部は、順次走査方式の表示部（１５）によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得する。上記変形予測部は、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測する。上記情報生成部は、上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する。上記出力部は、上記第２情報を上記表示部に出力する。

Description

情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ
　本技術は、姿勢が変化する表示デバイスを制御する情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイに関する。
　従来、画像を表示させる表示デバイスとして、ＯＬＥＤ（有機発光ダイオード）ディスプレイ、ＬＣＤ（液晶表示ディスプレイ）、ＤＭＤ（デジタルマイクロデバイス）等がある。これらの表示デバイスによる画像表示方式として、主に順次走査方式とグローバル発光方式がある。グローバル発光方式が１画面分の画像データを一度に読み出す方式であるのに対して、順次走査方式は、画像データを水平方向に１画素ずつ読み出した走査線を、垂直方向にずらして順次読み出すことで１画面分の画像を表示する方式である。順次走査方式は、多くの表示デバイスに採用されており（特許文献１参照）、近年では、順次走査方式の表示デバイスは、ユーザに装着や携帯されて使用される場合があり、モバイル機器等に用いられる（特許文献２参照）。
特表２０１５－５０４６２８号公報 特開２００６－３３７７７１号公報
　しかしながら、順次走査方式では、表示デバイスを装着されたユーザの動きによって表示デバイスの向きが素早く変化した際に、画像が適正に表示されないという問題があった。
　以上のような事情に鑑み、本技術の目的は、表示デバイスの向きが素早く変化しても、画像を適正に表示可能な情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、変形予測部と、情報生成部と、出力部とを具備する。
　上記取得部は、順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得する。
　上記変形予測部は、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測する。
　上記情報生成部は、上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する。
　上記出力部は、上記第２情報を上記表示部に出力する。
　この構成では、表示部の姿勢の変化に伴う画像の変形を予測する。この予測した画像の変形を考慮して、表示された画像が所定のオブジェクトに見えるように、逆変形オブジェクトに関する情報を生成することで、表示部で画像が適正に表示可能となる。
　上記情報生成部は、上記オブジェクトを上記逆変形オブジェクトに変換するための補正処理を行ってもよい。
　上記変形予測部は、上記表示部により表示される画像に加わる主走査方向に沿った変形を予測してもよい。
　上記情報生成部は、上記補正処理において、上記変形予測部が収縮変形を予測する場合に、上記オブジェクトに上記主走査方向に沿った伸長変形を加え、上記変形予測部が伸長変形を予測する場合に、上記オブジェクトに上記主走査方向に沿った収縮変形を加えてもよい。
　上記情報生成部は、描画後に上記補正処理を行ってもよい。
　この構成により、描画中に変化する表示部の姿勢の変化に伴う画像の変化分も予測でき、正確な予測が可能となることで、画像がより適正に表示可能となる。
　上記情報生成部は、描画前に上記補正処理を行ってもよい。
　この構成により、精度よく補正処理がなされた逆変形オブジェクトに関する第２情報が生成され、画像がより適正に表示可能となる。
　上記情報処理装置は、上記表示部の姿勢の変化を検出可能に構成された検出部を更に具備し、上記変形予測部は、上記検出部が検出した上記表示部の姿勢の変化を取得してもよい。
　上記検出部は、上記表示部に設けられたＩＭＵを含んでもよい。
　本技術の一形態に係る情報処理方法は、
　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測し、
　上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成し、
　上記第２情報を上記表示部に出力する。
　本技術の一形態に係るプログラムは、情報処理装置に、
　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測し、
　上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成し、
　上記第２情報を上記表示部に出力する
　ことを実行させる。
　本技術の一形態に係るヘッドマウントディスプレイは、装着部と、表示部と、制御部と、を具備する。
　上記装着部は、ユーザの頭部に装着可能に構成される。
　上記表示部は、上記装着部に設けられ、順次走査方式で空間中の一定の領域に画像を表示する。
　上記制御部は、上記表示部を制御する。
　上記制御部は、上記表示部によって上記領域に表示したい画像であるオブジェクトに関する第１情報を取得する取得部と、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測する変形予測部と、上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する情報生成部と、上記第２情報を上記表示部に出力する出力部と、を有する。
　以上のように、本技術によれば、表示デバイスの向きが素早く変化しても、画像を適正に表示可能な情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイを提供することができる。
ＡＲ表示眼鏡型デバイスの向きが素早く変化したときの表示可能領域の画像の変形を説明するための簡略図である。 画像の収縮変形を予測したときの本実施形態の情報処理装置による補正処理の一例を示す図である。 画像の伸長変形を予測したときの上記情報処理装置による補正処理の一例を示す図である。 上記実施形態に係る情報処理装置の構成を示すブロック図である。 上記情報処理装置による情報処理方法を示すフローチャートである。 上記情報処理装置を用いたＡＲ表示眼鏡型デバイスの概略を示した斜視図である。 上記情報処理装置を用いたＡＲ表示眼鏡型デバイスの各構成のブロック図である。 上記情報処理装置を用いたＡＲ表示眼鏡型デバイスの各構成の動作を説明したフローチャートである。 上記情報処理装置を用いたＡＲ表示眼鏡型デバイスによる具体的な補正処理の一例を示す図である。 上記情報処理装置による追加の画像制御処理の一例を説明するための図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜情報処理装置＞
　［概要］
　本技術の一実施形態に係る情報処理装置１は、表示デバイスの姿勢が素早く変化しても、表示可領域に画像が適正に表示可能となる。
　一例として、本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイスの概要について、以下に説明する。ＡＲ表示眼鏡型デバイスは、順次走査方式の表示部１５（図４参照）を有する。
　なお、ＡＲ表示眼鏡型デバイスとは、ユーザの頭部に装着可能に構成され、ユーザに対して表示部１５によってＡＲ（Augmented Reality）画像を表示可能な眼鏡型デバイスである。
　まず、一般的なＡＲ表示眼鏡型デバイスの技術的課題について以下に説明する。
　図１は、ＡＲ表示眼鏡型デバイスの向きが素早く変化したときの表示可能領域Ｒの画像の変形を説明するための簡略図である。図１には、ＡＲ表示眼鏡型デバイスを装着したユーザの視野Ｖと、順次走査方式のＡＲ表示眼鏡型デバイスの表示部１５が画像を表示可能な表示可能領域Ｒと、が示されている。
　表示可能領域Ｒは、実空間中の任意の位置に設定可能である。本実施形態では、表示可能領域Ｒが、実空間における特定の位置に留まるように設定される。
　図１（ａ）は、ＡＲ表示眼鏡型デバイスを装着したユーザが正面を向いて静止した状態において、表示可能領域Ｒに表示される画像を示す。
　図１（ａ）に示すように、表示可能領域Ｒは、ユーザの視野Ｖの正面方向であって、風景の木Ｔの右斜め上の位置に設定されている。表示可能領域Ｒに、オブジェクトＡが表示されている。
　ユーザは、実空間の特定の位置（木Ｔの右斜め上の位置）にある表示可能領域Ｒに表示されたオブジェクトＡと、表示可能領域Ｒにおいて透過して見える風景と、を認識することができる。
　表示部１５は、複数のピクセルを備えたラスタデータを有するディスプレイである。表示部１５は、例えば、マトリックス状に配置された複数の画像表示素子を順次走査方式で発光することで、表示可能領域ＲにオブジェクトＡを表示することができる。
　具体的には、図１（ａ）に示すように、まず、表示可能領域Ｒの左上の走査開始位置Ｓから右方向（副走査方向Ｘ）に画像表示素子を発光させ、水平走査線Ｌ１が所定の走査速度で走査される。次いで、副走査方向Ｘに直交する方向（主走査方向Ｙ）であって、図１（ａ）の上から下方向に順に水平走査線Ｌ２～Ｌ５が走査され、最終的に表示可能領域Ｒの右下の走査終了位置Ｅまで走査される。このように、走査開始位置Ｓから走査終了位置Ｅまでの発光が完了すると、１画面分の画像が更新され、表示される。
　図１（ｂ）は、ＡＲ表示眼鏡型デバイスを装着したユーザが素早く見上げたときの表示可能領域Ｒに表示される画像を示す。
　ＡＲ表示眼鏡型デバイスを装着したユーザが見上げることで、ＡＲ表示眼鏡型デバイスの向きが仰角方向に傾き、ユーザの視野Ｖは上方向に移動する。図１（ｂ）中、上方向の矢印は、ユーザの視野Ｖの移動方向を示す。
　このとき、１画面分の走査が完了する前にユーザの視野Ｖが上方向に移動すると、オブジェクトＡの位置が木Ｔの右斜め上の位置に留まるため、実空間における走査開始位置Ｓは変わらないが、走査終了位置Ｅは、ユーザの視野Ｖの移動方向に合わせて、上方向に移動する。
　この結果、表示可能領域Ｒでは、主走査方向Ｙの走査距離が短くなり、水平走査線Ｌ１～Ｌ５の間隔が密となる。
　これにより、図１（ｂ）に示すように、表示可能領域Ｒに表示されるオブジェクトＡが、表示部１５の主走査方向に沿って、上下方向に収縮して見える。
　図１（ｃ）は、ＡＲ表示眼鏡型デバイスを装着したユーザが素早く見下げたときの表示可能領域Ｒに表示される画像を示す。
　ＡＲ表示眼鏡型デバイスを装着したユーザが見下げることで、ＡＲ表示眼鏡型デバイスの向きが俯角方向に傾き、ユーザの視野Ｖは下方向に移動する。図１（ｃ）中、下方向の矢印は、ユーザの視野Ｖの移動方向を示す。
　このとき、１画面分の走査が完了する前にユーザの視野Ｖが下方向に移動すると、オブジェクトＡの位置が木Ｔの右斜め上の位置に留まるため、実空間における走査開始位置Ｓは変わらないが、走査終了位置Ｅは、ユーザの視野Ｖの移動方向に合わせて、下方向に移動する。
　この結果、表示可能領域Ｒでは、主走査方向Ｙの走査距離が長くなり、水平走査線Ｌ１～Ｌ５の間隔が疎となる。
　これにより、図１（ｃ）に示すように、表示可能領域Ｒに表示されるオブジェクトＡが、表示部１５の主走査方向に沿って、上下方向に伸長して見える。
　このように、ＡＲ表示眼鏡型デバイスの向きが仰角方向に傾いた場合（図１（ｂ）参照）、オブジェクトＡが主走査方向に沿って収縮して見え、ＡＲ表示眼鏡型デバイスの向きが俯角方向に傾いた場合（図１（ｃ）参照）、オブジェクトＡが主走査方向に沿って伸長して見える。このため、画像が適正に表示されない。
　そこで、本技術では、ＡＲ表示眼鏡型デバイスの向き（表示部１５の姿勢）の変化に伴って画像に加わる変形を予測する。例えば、表示部１５の姿勢角の変化と、表示部１５により表示可能領域Ｒ上に表示される画像の変形（変形の割合や変形方向等）との対応関係を予め求めておくことで、検出される表示部１５の姿勢角の変化から画像に加わる変形が予測可能となる。
　そして、本技術では、表示部１５の姿勢の変化に伴って画像に変形が加わった後でもオブジェクトＡに見えるように、予測した画像の変形を考慮して、オブジェクトＡの形状を逆変換させた変形オブジェクト（以後、逆変形オブジェクトという）を生成し、逆変形オブジェクトに関する情報を表示部１５に出力することで、上記のような不具合を防止する。
　詳細には、逆変形オブジェクトに関する情報は、オブジェクトＡを逆変形オブジェクトＢに変換するための補正処理をすることで得られる。
　以下、本実施形態の情報処理装置１による補正処理について説明する。
　図２は、画像の収縮変形を予測したときの本実施形態の情報処理装置１による補正処理の一例を示す図である。図２（ａ）は、画像が収縮変形する予測に基づいて、オブジェクトＡを逆変形オブジェクトＢに変換した例を示している。逆変形オブジェクトＢは、オブジェクトＡに予測した収縮変形と反対の変形、つまり伸長変形を加えることで得られる。
　図２（ｂ）は、逆変形オブジェクトＢを表示部１５により表示したときの画像を示している。オブジェクトＡを伸長した逆変形オブジェクトＢは、表示される際に予測したように収縮変形するため、表示可能領域Ｒに表示した逆変形オブジェクトＢは、オブジェクトＡのように見える。
　図３は、画像の伸長変形を予測したときの本実施形態の情報処理装置１による補正処理の一例を示す図である。図３（ａ）は、画像が伸長変形する予測に基づいて、オブジェクトＡを逆変形オブジェクトＢに変換した例を示している。逆変形オブジェクトＢは、オブジェクトＡに予測した伸長変形と反対の変形、つまり収縮変形を加えることで得られる。
　図３（ｂ）は、逆変形オブジェクトＢを表示部１５により表示したときの画像を示している。オブジェクトＡを収縮した逆変形オブジェクトＢは、表示される際に予測したように伸長変形するため、表示可能領域Ｒに表示した逆変形オブジェクトＢは、オブジェクトＡのように見える。
　このように、本実施形態に係る情報処理装置１は、表示部１５の姿勢が素早く変化したとしても、オブジェクトＡに対して予測した画像の変形と逆の変形を加えて、オブジェクトＡを逆変形オブジェクトＢに変換する補正処理を行い、第２情報を生成することで、表示部１５により表示される逆変形オブジェクトＢが、表示したい画像であるオブジェクトＡのように見える。これにより、画像が適正に表示可能となる。
　以下に、本実施形態の情報処理装置１の基本構成について説明する。
　［基本構成］
　図４は、本実施形態の情報処理装置１の構成を示すブロック図である。
　情報処理装置１は、制御部１０と、表示部１５と、検出部１６と、メモリ１７と、を備える。
　制御部１０は、表示部１５、検出部１６、及びメモリ１７に接続される。
　なお、表示部１５、検出部１６、及びメモリ１７は、情報処理装置１の外部構成としてもよい。
　本実施形態に係る表示部１５は、制御部１０から出力される画像に関する情報に基づいて、順次走査方式で画像を表示可能である。
　表示部１５は、例えば、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、あるいは仮想網膜ディスプレイ（ＶＲＤ）等のレーザー走査方式ディスプレイ等として構成可能である。
　表示部１５は、典型的には、ＡＲ表示眼鏡型デバイスの表示デバイスとして用いられ、ＡＲ表示眼鏡型デバイスを装着したユーザの眼に対向する位置に配置される。このため、表示部１５の姿勢は、ＡＲ表示眼鏡型デバイスを装着したユーザの頭部の向きの変化に応じて変化する。
　本実施形態に係る検出部１６は、表示部１５に設けられている。検出部１６は、角速度センサを含み、これに加速度センサ等の他のモーションセンサを組み合わせた構成や、地磁気センサを組み合わせた構成等とすることができる。この場合、検出部１６は、角速度センサ及び加速度センサの各々を３軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。
　本実施形態に係る検出部１６は、例えば、ＩＭＵ（Inertial Measurement Unit）として構成可能である。ＩＭＵは、互いに直交する３軸周りの表示部１５の角速度や加速度の変化をそれぞれ検出可能な構成を有する。
　本実施形態の検出部１６では、表示部１５の姿勢の変化を検出可能に構成されている。検出部１６は、例えば、ユーザの頭部の向きの変化に応じた表示部１５の角速度の変化を検出可能であり、少なくとも表示部１５の水平面に対する上下方向の角度（仰俯角）の変化を検出可能とする。また、本実施形態の検出部１６は、表示部１５の位置の変化を検出可能に構成されてもよい。
　本実施形態に係るメモリ１７は、オブジェクトＡに関する情報を記憶する。また、メモリ１７は、情報処理装置１の制御するための様々なデータを記憶してもよい。
　本実施形態に係る制御部１０は、取得部１１と、変形予測部１２と、情報生成部１３と、出力部１４とを有する。
　取得部１１、変形予測部１２、情報生成部１３、及び出力部１４については、後述する。
　図５は、本実施形態に係る情報処理装置１による情報処理方法を示すフローチャートである。
　以下、図５に沿って、本実施形態に係る情報処理方法の動作（ステップＳ１１～Ｓ１５）について、説明する。
　（Ｓ１１：オブジェクトに関する第１情報を取得）
　ステップＳ１１では、取得部１１が、メモリ１７から、空間中の一定の領域に表示したい画像であるオブジェクトＡに関する第１情報を取得する。
　空間とは、典型的には、ＡＲ表示眼鏡型デバイスを取り巻く実空間である。第１情報は、空間座標における、オブジェクトＡが設定される特定の座標位置に関する情報を含んでもよい。
　（Ｓ１２：表示部の姿勢に関する情報の取得）
　ステップＳ１２では、まず、検出部１６が、表示部１５の姿勢の変化を検出する。また、検出部１６は、表示部１５の位置の変化を検出してもよい。
　次に、変形予測部１２が、検出部１６から表示部１５の姿勢に関する情報を取得する。また、変形予測部１２は、表示部１５の位置の変化に関する情報を取得してもよい。
　（Ｓ１３：表示される画像に加わる変形の予測）
　ステップＳ１３では、変形予測部１２が、まず、ステップＳ１２で取得した表示部１５の姿勢に関する情報に基づいて、ＡＲ表示眼鏡型デバイスを装着したユーザの頭部の向きの変化に伴う表示部１５の姿勢角の変化を算出する。また、表示部１５の位置の移動量を算出してもよい。
　そして、変形予測部１２が、表示部１５の姿勢の変化に伴って表示部１５によって表示される画像に加わる変形を予測する。また、変形予測部１２は、表示部１５の姿勢の変化及び位置の変化に伴って表示部１５によって表示される画像に加わる変形を予測してもよい。
　（Ｓ１４：逆変形オブジェクトに関する第２情報の生成）
　ステップＳ１４では、まず、情報生成部１３が、ステップＳ１１で取得した第１情報、及びステップＳ１３で予測した画像の変形に関する情報を取得する。次に、ステップＳ１１で取得した第１情報を用いて、変形予測部１２によって予測された変形が加わった後にオブジェクトＡとなる逆変形オブジェクトＢに関する第２情報を生成する。
　情報生成部１３は、オブジェクトＡを逆変形オブジェクトＢに変換するための補正処理を行うことで第２情報を生成する。
　この補正処理では、オブジェクトＡに対して、予測した主走査方向に沿った変形の方向と反対方向に変形を行う。つまり、ステップＳ１３で表示部１５の主走査方向に沿った収縮変形を予測した場合、オブジェクトＡに主走査方向に沿った伸長変形を加える。また、ステップＳ１３で表示部１５の主走査方向に沿った伸長変形を予測した場合、オブジェクトＡに主走査方向に沿った伸長変形を加える。
　（Ｓ１５：表示部へ第２情報の出力）
　ステップＳ１５では、まず、情報生成部１３が、ステップＳ１４で生成した逆変形オブジェクトＢに関する第２情報を表示部１５に出力する。この結果、表示部１５は、第２情報に基づいて逆変形オブジェクトＢを表示する。このとき、逆変形オブジェクトＢにステップＳ１３で予測した画像の変形が加わることで、表示部１５により表示される逆変形オブジェクトＢは、オブジェクトＡのように見え、画像が適正に表示可能となる。
　以下、上記本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の具体的構成について、説明する。
＜ＡＲ表示眼鏡型デバイス＞
　図６は、本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の概略を示した斜視図である。
　ＡＲ表示眼鏡型デバイス１００は、情報処理部１１０と、装着部２００とを有する。
　装着部２００には、表示部１２０、センサ１３０、及び撮像部１４０が配置される。
　情報処理部１１０は、図４に示す本実施形態に係る情報処理装置１の機能を実現可能に構成されている。
　情報処理部１１０と、装着部２００に配置された表示部１２０、センサ１３０、及び撮像部１４０とは、有線又は無線で接続されている。また、情報処理部１１０が、装着部２００と一体となっていてもよい。
　装着部２００は、図６に示すように、左右のリム部２０１と、各リム部の間に配置されたブリッジ部２０２と、各リム部から後方に延びるテンプル部２０３からなるフレームの構成を含む。これにより、ＡＲ表示眼鏡型デバイス１００は、ユーザの頭部に装着可能となっている。
　表示部１２０は、可視光が透過可能であり、いわゆる光学シースルー型の構成を有している。
　表示部１２０は、表示板１２１と、光学ユニット１２２とを有する。
　表示板１２１は、ユーザの右眼及び左眼の前にそれぞれ配置される表示板１２１Ｒ及び１２１Ｌを有する。表示板１２１Ｒ、１２１Ｌは、ユーザの左右の眼に提示される画像を表示可能に構成される。本実施形態において表示板１２１Ｒ，１２１Ｌは、光学ユニット１２２Ｒ，１２２Ｌから投影される画像をユーザの右眼及び左眼へ出射することが可能な透光性の導光板で構成される。表示板１２１Ｒ，１２１Ｌ各々は、共通の部材で構成されてもよいし、別部材で構成されてもよい。
　光学ユニット１２２Ｒ，１２２Ｌは、それぞれ表示板１２１Ｒ，１２１Ｌを介して見える風景（実空間）の一定の位置に表示される表示可能領域Ｒの画像を生成可能に構成される。
　光学ユニット１２２Ｒ，１２２Ｌは、テンプル部２０３の右側縁部及び左側縁部にそれぞれ固定され、表示板１２１Ｒ，１２１Ｌへ右眼用画像及び左眼用画像をそれぞれ投影する。光学ユニット１２２Ｒ，１２２Ｌの構造は、表示板１２１Ｒ，１２１Ｌへ画像を投影できる構成であれば特に限定されない。
　第１及び第２の光学ユニット１２２Ｒ及び１２２Ｌは、画像表示素子からなる表示パネル部と、表示パネル部を駆動するパネルコントローラと、画像表示素子で形成された画像を表示板１２１Ｒ，１２１Ｌへ投影する光学プリズムと、これらを収容するキャビネット等をそれぞれ有する。
　画像表示素子としＬＥＤや有機ＥＬ素子等の自発光パネルが用いられてもよいし、液晶パネルが用いられてもよい。
　センサ１３０は、表示部１２０の姿勢の変化を検出可能な構成を有している。また、センサ１３０は、表示部１２０の位置の変化を検出可能な構成を有してもよい。
　センサ１３０は、典型的には、ＩＭＵ（Inertial Measurement Unit）で構成される。
　表示部１２０の姿勢角の変化（変化の方向及びその変化の量等）や、表示部１２０の位置の変化（移動量等）は、例えば、センサ１３０により測定された角速度や、加速度のデータを積分することで求められる。
　姿勢角の変化や、位置の変化の算出は、センサ１３０で行われてもよく、情報処理部１１０で行われてもよい。
　また、センサ１３０は、装着部２００のテンプル部２０３に配置されている（図６）が、センサ１３０の位置は特に限定されない。センサ１３０は、光学ユニット１２２Ｒ，１２２Ｌのいずれか一方、あるいは装着部２００の一部に配置されてもよい。
　撮像部１４０は、典型的には、カメラであり、ＳＬＡＭ（Simultaneous Localization and Mapping）などの既存の自己位置推定技術によって、表示可能領域Ｒの位置を設定するために用いられる。
　図７は、本実施形態に係る情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の各構成のブロック図である。
　ＡＲ表示眼鏡型デバイス１００は、情報処理部１１０と、表示部１２０と、センサ１３０と、撮像部１４０と、を有する。
　情報処理部１１０、表示部１２０、及び撮像部１４０は、バスを介して接続される。
　センサ１３０は、情報処理部１１０に接続される。
　情報処理部１１０は、ＣＰＵ１１１と、画像制御部１１２と、を有する。
　ＣＰＵ１１１は、実空間中の表示可能領域Ｒの位置を設定するために、ＳＬＡＭ処理等を実行可能である。このため、ＣＰＵ１１１は、ＳＬＡＭ処理を実行するためのプログラム・コードや、表示可能領域Ｒの位置、及び表示したい画像（オブジェクト）に関する情報その他必要なデータを格納するためのＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）を備えていてもよい。
　画像制御部１１２は、表示部１２０により表示される画像を制御する機能を有する。即ち、画像制御部１１２は、図４に示す本実施形態の制御部１０の機能を有する。このため、画像制御部１１２は、典型的には、制御部１０の機能を発揮するための補正回路と、画像に関する情報に基づいて画像を描画するためのＧＰＵと、を備える。
　図８は、本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の各構成の動作を説明したフローチャートである。
　まず、ステップＳ１０１，Ｓ１０２について説明する。
　ステップＳ１０１では、ＣＰＵ１１１が、撮像部１４０から取得した情報をもとに、自己位置推定と環境地図の作成を同時に行うＳＬＡＭ処理を実行する。ＣＰＵ１１１は、実空間中の表示部１２０の位置に関する情報が取得できればよく、ＳＬＡＭ処理に限らず、既存の自己位置推定技術を用いた処理を行うことができる。
　次に、ステップＳ１０２では、まず、ＣＰＵ１１１が、ＳＬＡＭ処理の結果を用いて、実空間における特定の位置に表示可能領域Ｒが配置するように、設定する。そして、ＣＰＵ１１１が、空間中の特定の位置に設定した表示可能領域Ｒにおいて、表示したい画像であるオブジェクトＡに関する第１情報を生成する。第１情報は、オブジェクトＡの空間中の特定の位置に関する情報を含む。
　次に、ステップＳ１０３，Ｓ１０４について説明する。
　ステップＳ１０３では、センサ１３０が表示部１２０の姿勢の変化を検出する。センサ１３０は、後述するステップＳ１０５で補正処理が開始されるタイミングで検出した表示部１２０の姿勢に関する情報を画像制御部１１２に送信する。
　ステップＳ１０４では、まず、画像制御部１１２が、ステップ１０４で検出した表示部１２０の姿勢に関する情報を取得する。次に、画像制御部１１２が、取得した表示部１２０の姿勢に関する情報に基づいて、姿勢の変化に伴って表示部１２０により表示される画像に加わる変形を予測する。
　ステップＳ１０５では、まず、画像制御部１１２が、ステップＳ１０２で生成した第１情報をＣＰＵ１１１から取得する。また、画像制御部１１２が、ステップＳ１０４で予測した画像の変形に関する情報を取得する。そして、画像制御部１１２が、表示部１２０により表示される画像がオブジェクトＡに見えるように、予測に基づいて、オブジェクトＡを逆変形オブジェクトＢに変換するための補正処理を行い、逆変形オブジェクトＢに関する第２情報を生成する。
　第２情報は、ＧＰＵにより第１情報に基づいてオブジェクトＡを描画した後に、専用の補正回路を用いて、補正処理することで生成されてもよい。これにより、描画中の姿勢の変化に伴う画像の変形分も予測することができる。このため、実際の変形と予測した変形とのずれを低減させることができ、適正な画像が得られやすい。
　また、第２情報は、第１情報に対して、補正処理をしてからＧＰＵを用いて描画することで生成されてもよい。これにより、３次元パースを付与した画像上で奥行きによっても伸縮量を変えた逆変形オブジェクトＢが描画可能となる。このため、精度よく補正処理が可能となり、画像がより適正に表示可能となる。
　さらに、第２情報は、描画前に補正処理し、さらに、描画後に補正処理をすることで、生成されてもよい。これにより、予測の精度及び補正処理の精度が向上し、画像がさらに適正に表示可能となる。
　ステップＳ１０６では、画像制御部１１２が、ステップＳ１０５で生成された第２情報を表示部１２０へ出力する。
　これにより、表示部１２０に表示された逆変形オブジェクトＢは、オブジェクトＡのように見え、画像が適正に表示可能となる。
　次に、画像制御部１１２での具体的な補正処理の一例を説明する。
　図９は、本実施形態に係る情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００による具体的な補正処理の一例を示す。図９は、オブジェクトＡの一部を拡大した図である。図９には、オブジェクトＡを構成するピクセルｐが示されている。
　図９では、水平走査線を上から下に走査させる表示部１２０において、ユーザが下を向くことで画像が下方向に伸長変形することを予測したときの補正処理の例を示している。画像制御部１１２は、予測に基づいて、オブジェクトＡを上方向に収縮変形し、オブジェクトＡを逆変形オブジェクトＢに変換するために、オブジェクトＡを構成するピクセルｐを上方向に移動させるように補正処理を行う。図９中の、矢印は、ピクセルｐの移動方向を示し、矢印の長さはピクセルｐの移動量を示している。図９では、ピクセルｐの移動量は主走査方向に沿って下に向かうほど大きくなる。補正処理時のピクセルｐの移動量は、センサ１３０で検出した表示部１２０の姿勢に関する情報によって算出される。
　図９（ａ）は、センサ１３０で検出した速度及び角速度に基づいて、ピクセルｐの移動量を算出した例である。図９（ａ）では、ピクセルｐの移動量は、主走査方向に沿って下に向かって等差級数的に増加される。
　図９（ｂ）は、センサ１３０で検出した速度、角速度、及び加速度に基づいて、ピクセルｐの移動量を算出した例である。図９（ｂ）では、ピクセルｐの移動量は、主走査方向に沿って下に向かって等比級数的に増加される。
　また、本実施形態に係る情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００による補正処理は、上記の処理に限定されず、追加の処理を含んでいてもよい。例えば、下記で追加の処理の一例を説明する。
　図１０は、本実施形態に係る情報処理装置１による追加の画像制御処理の一例を説明するための図である。
　まず、描画範囲ＧにオブジェクトＡが描画されるときの不具合について、図１０（ａ）を用いて説明する。
　図１０（ａ）の左図には、表示したい画像として、ＡＲ表示眼鏡型デバイス１００が静止時の描画範囲ＧにオブジェクトＡが描画されている。
　ＡＲ表示眼鏡型デバイス１００の向きの変化に伴い画像が収縮変形することを予測したとき、図１０（ａ）の中央図に示すように、オブジェクトＡを伸長変形した逆変形オブジェクトＢが描画されるが、逆変形オブジェクトＢが大きいため、描画範囲Ｇから外れる。このため、描画範囲Ｇから外れた部分Ｂ１が切れた逆変形オブジェクトＢ２が、表示部１２０に出力される（右図）。このようにして、画像が適正に表示されなくなる。
　図１０（ｂ），（ｃ）は、この不具合を解決するための、本実施形態に係る情報処理装置１による追加の画像制御処理の一例を示している。
　図１０（ｂ）では、ＡＲ表示眼鏡型デバイス１００の向きの変化に伴い静止時の描画範囲Ｇを拡張し、逆変形オブジェクトＢの全体を描画する（右図）。これにより、表示部１２０で逆変形オブジェクトＢの全体が表示可能となる（左図）。
　図１０（ｃ）では、静止時の描画範囲Ｇをそのままとし、描画範囲Ｇから外れた部分Ｂ１が切れた逆変形オブジェクトＢ２を表示しつつ、部分Ｂ１を別途繰り返し表示し続ける。これにより、逆変形オブジェクトＢの全体が表示されて見える。
　このように、追加の画像制御処理をすることで、上記不具合を解消してもよい。
　なお、上記説明において、表示部１２０の主走査方向が上から下方向であるときの例を説明したが、表示部１２０下から上方向でもよく、左から右方向、あるいは右から左方でもよく、表示部１２０の主走査方向は限定されない。
＜その他の実施形態＞
　上記実施形態では、光学シースルー型の表示部１２０を有するＡＲ表示眼鏡型デバイス１００に情報処理装置１を用いた例について説明したが、これに限定されない。情報処理装置１を他の表示デバイスに適用してもよい。
　具体的には、実空間の位置に対応付けて表示される仮想空間の画像（いわゆる、ＶＲ画像）を表示可能領域Ｒに表示させる非透過型の表示デバイスに本技術が適用されてもよい。
　即ち、本技術では、表示可能領域Ｒの一部に仮想画像（ＡＲ画像）が表示されることに限定されない。表示可能領域Ｒの全面に仮想画像が表示されてもよい。
　また、カメラなどにより取得された実空間（風景）に仮想画像を重畳させた画像を表示可能領域Ｒに表示させるビデオシースルー型のヘッドマウントディスプレイに本技術が適用されてもよい。
　さらに、少なくとも１軸周りに回動可能な構成を有する可動型プロジェクタに本技術が適用されてもよい。
　即ち、本技術では、上記実施形態のように画像表示素子からの画像光を表示板１２１に投影することで画像が表示されることに限定されない。画像表示素子からの画像光をユーザの周囲の３次元空間に投影することで画像が表示されてもよい。
　加えて、ＡＲ表示眼鏡型デバイス１００のようなヘッドマウント型の表示デバイスに限らず、ハンドヘルド型の表示デバイスに本技術が適用されてもよい。例えば、ハンドヘルド型の表示デバイスとして、透過型又は非透過型のディスプレイを備える携帯型端末や、デジタル式双眼鏡に本実施形態の情報処理装置１が適用されてもよい。
　センサ１３０が、表示部１２０に設けられる構成は必須ではない。センサ１３０が、ユーザの視野Ｖを撮像可能なカメラとして表示部１２０以外に設けられてもよい。即ち、センサ１３０は、撮像された画像から表示部１２０の姿勢に関する情報が検出可能な構成であってもよい。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得する取得部と、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測する変形予測部と、
　上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する情報生成部と、
　上記第２情報を上記表示部に出力する出力部と、
　を具備する情報処理装置。
（２）
　（１）に記載の情報処理装置であって、
　上記情報生成部は、上記オブジェクトを上記逆変形オブジェクトに変換するための補正処理を行う
　情報処理装置。
（３）
　（２）に記載の情報処理装置であって、
　上記変形予測部は、上記表示部により表示される画像に加わる主走査方向に沿った変形を予測する
　情報処理装置。
（４）
　（３）に記載の情報処理装置であって、
　上記情報生成部は、上記補正処理において、
　上記変形予測部が収縮変形を予測する場合に、上記オブジェクトに上記主走査方向に沿った伸長変形を加え、
　上記変形予測部が伸長変形を予測する場合に、上記オブジェクトに上記主走査方向に沿った収縮変形を加える
　情報処理装置。
（５）
　（２）から（４）のいずれか１つに記載の情報処理装置であって、
　上記情報生成部は、描画後に上記補正処理を行う
　情報処理装置。
（６）
　（２）から（５）のいずれか１つに記載の情報処理装置であって、
　上記情報生成部は、描画前に上記補正処理を行う
　情報処理装置。
（７）
　（１）から（６）のいずれか１つに記載の情報処理装置であって、
　上記表示部の姿勢の変化を検出可能に構成された検出部を更に具備し、
　上記変形予測部は、上記検出部が検出した上記表示部の姿勢の変化を取得する
　情報処理装置。
（８）
　（７）に記載の情報処理装置であって、
　上記検出部は、上記表示部に設けられたＩＭＵを含む
　情報処理装置。
（９）
　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測し、
　上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成し、
　上記第２情報を上記表示部に出力する
　情報処理方法。
（１０）
　情報処理装置に、
　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測し、
　上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成し、
　上記第２情報を上記表示部に出力する
　ことを実行させるプログラム。
（１１）
　ユーザの頭部に装着可能に構成された装着部と、
　上記装着部に設けられ、順次走査方式で空間中の一定の領域に画像を表示する表示部と、
　上記表示部を制御する制御部と、を具備し、
　上記制御部は、
　上記表示部によって上記領域に表示したい画像であるオブジェクトに関する第１情報を取得する取得部と、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴って上記表示部により表示される画像に加わる変形を予測する変形予測部と、
　上記第１情報を用いて、上記変形予測部によって予測された変形が加わった後に上記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する情報生成部と、上記第２情報を上記表示部に出力する出力部と、を有する
　ヘッドマウントディスプレイ。
　１…情報処理装置
　１０…制御部
　１１…取得部
　１２…変形予測部
　１３…情報生成部
　１４…出力部
　１５，１２０…表示部
　１６…検出部
　１７…メモリ
　１００…ＡＲ表示眼鏡型デバイス
　１１０…情報処理部
　１１１…ＣＰＵ
　１１２…画像制御部
　１２１…表示板
　１２２…光学ユニット
　１３０…センサ
　１４０…撮像部
　２００…装着部
　２０１…リム部
　２０２…ブリッジ部
　２０３…テンプル部
　Ａ…オブジェクト
　Ｂ…逆変形オブジェクト
　Ｒ…表示可能領域
　Ｖ…ユーザの視野

Claims (11)

  1. 　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得する取得部と、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴って前記表示部により表示される画像に加わる変形を予測する変形予測部と、
    　前記第１情報を用いて、前記変形予測部によって予測された変形が加わった後に前記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する情報生成部と、
    　前記第２情報を前記表示部に出力する出力部と、
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記情報生成部は、前記オブジェクトを前記逆変形オブジェクトに変換するための補正処理を行う
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記変形予測部は、前記表示部により表示される画像に加わる主走査方向に沿った変形を予測する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記情報生成部は、前記補正処理において、
    　前記変形予測部が収縮変形を予測する場合に、前記オブジェクトに前記主走査方向に沿った伸長変形を加え、
    　前記変形予測部が伸長変形を予測する場合に、前記オブジェクトに前記主走査方向に沿った収縮変形を加える
    　情報処理装置。
  5. 　請求項２に記載の情報処理装置であって、
    　前記情報生成部は、描画後に前記補正処理を行う
    　情報処理装置。
  6. 　請求項２に記載の情報処理装置であって、
    　前記情報生成部は、描画前に前記補正処理を行う
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記表示部の姿勢の変化を検出可能に構成された検出部を更に具備し、
    　前記変形予測部は、前記検出部が検出した前記表示部の姿勢の変化を取得する
    　情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記検出部は、前記表示部に設けられたＩＭＵを含む
    　情報処理装置。
  9. 　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得し、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴って前記表示部により表示される画像に加わる変形を予測し、
    　前記第１情報を用いて、前記変形予測部によって予測された変形が加わった後に前記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成し、
    　前記第２情報を前記表示部に出力する
    　情報処理方法。
  10. 　情報処理装置に、
    　順次走査方式の表示部によって空間中の一定の領域に表示したい画像であるオブジェクトに関する第１情報を取得し、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴って前記表示部により表示される画像に加わる変形を予測し、
    　前記第１情報を用いて、前記変形予測部によって予測された変形が加わった後に前記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成し、
    　前記第２情報を前記表示部に出力する
    　ことを実行させるプログラム。
  11. 　ユーザの頭部に装着可能に構成された装着部と、
    　前記装着部に設けられ、順次走査方式で空間中の一定の領域に画像を表示する表示部と、
    　前記表示部を制御する制御部と、を具備し、
    　前記制御部は、
    　前記表示部によって前記領域に表示したい画像であるオブジェクトに関する第１情報を取得する取得部と、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴って前記表示部により表示される画像に加わる変形を予測する変形予測部と、
    　前記第１情報を用いて、前記変形予測部によって予測された変形が加わった後に前記オブジェクトとなる画像である逆変形オブジェクトに関する第２情報を生成する情報生成部と、
    　前記第２情報を上記表示部に出力する出力部と、を有する
    　ヘッドマウントディスプレイ。
PCT/JP2019/020675 2018-06-13 2019-05-24 情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ WO2019239852A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018113113 2018-06-13
JP2018-113113 2018-06-13

Publications (1)

Publication Number Publication Date
WO2019239852A1 true WO2019239852A1 (ja) 2019-12-19

Family

ID=68842867

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020675 WO2019239852A1 (ja) 2018-06-13 2019-05-24 情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ

Country Status (1)

Country Link
WO (1) WO2019239852A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128712A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd 携帯端末装置
JP2005306268A (ja) * 2004-04-23 2005-11-04 Nissan Motor Co Ltd 車載情報提供装置および車載情報提供装置の制御方法
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2014010227A (ja) * 2012-06-28 2014-01-20 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
JP2018503114A (ja) * 2014-12-30 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 仮想現実用ヘッドマウントディスプレイにおける走査ディスプレイシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128712A (ja) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd 携帯端末装置
JP2005306268A (ja) * 2004-04-23 2005-11-04 Nissan Motor Co Ltd 車載情報提供装置および車載情報提供装置の制御方法
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2014010227A (ja) * 2012-06-28 2014-01-20 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
JP2018503114A (ja) * 2014-12-30 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 仮想現実用ヘッドマウントディスプレイにおける走査ディスプレイシステム

Similar Documents

Publication Publication Date Title
CN108292489B (zh) 信息处理装置和图像生成方法
JP6826174B2 (ja) 表示システムおよび方法
JP6860488B2 (ja) 複合現実システム
EP3014583B1 (en) Reprojection oled display for augmented reality experiences
US10726765B2 (en) Using tracking of display device to control image display
JP5331146B2 (ja) 単眼ヘッドマウントディスプレイ
US10884576B2 (en) Mediated reality
WO2016118388A1 (en) Augmented reality field of view object follower
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
CN105474273A (zh) 后期重投影
US10957106B2 (en) Image display system, image display device, control method therefor, and program
US10690923B1 (en) Scanning system for a tiling display
US20240119610A1 (en) Smooth and Jump-Free Rapid Target Acquisition
US20240061251A1 (en) Low motion to photon latency rapid target acquisition
KR101947372B1 (ko) Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
WO2019239852A1 (ja) 情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ
US11176911B2 (en) Information processing apparatus, information processing method, program, and head-mounted display
JP2012058353A (ja) 画像表示装置、及びその制御方法
CN113272715B (en) Dynamic rendering time determination based on eye tracking
CN114253389B (zh) 整合动作感测器的增强现实系统与增强现实显示方法
KR102463212B1 (ko) 표시 장치 및 이의 구동 방법
CN118264792A (en) Immersive content display method, display device and computer readable storage medium
CN116016877A (zh) 投影校正方法、投影设备、投影系统以及存储介质
CN112535392A (zh) 基于光通信装置的物品陈列系统和信息提供方法、设备及介质
JP2009146140A (ja) ３次元画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19819560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19819560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP