WO2019187598A1 - 情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ - Google Patents

情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ Download PDF

Info

Publication number
WO2019187598A1
WO2019187598A1 PCT/JP2019/002907 JP2019002907W WO2019187598A1 WO 2019187598 A1 WO2019187598 A1 WO 2019187598A1 JP 2019002907 W JP2019002907 W JP 2019002907W WO 2019187598 A1 WO2019187598 A1 WO 2019187598A1
Authority
WO
WIPO (PCT)
Prior art keywords
display unit
display
unit
information processing
image
Prior art date
Application number
PCT/JP2019/002907
Other languages
English (en)
French (fr)
Inventor
満 西部
敦 石原
広幸 安賀
浩一 川崎
拓也 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/040,801 priority Critical patent/US11176911B2/en
Priority to DE112019001710.1T priority patent/DE112019001710T5/de
Publication of WO2019187598A1 publication Critical patent/WO2019187598A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens

Definitions

  • This technology relates to an information processing apparatus, an information processing method, a program, and a head mounted display that control a display device whose posture changes.
  • OLED organic light emitting diode
  • LCD liquid crystal display
  • DMD digital microdevice
  • an image display method using these display devices there are mainly a sequential scanning method and a global light emission method.
  • the sequential scanning method sequentially reads out the scanning lines in which the image data is read one pixel at a time in the horizontal direction while shifting it in the vertical direction. In this method, an image for one screen is displayed.
  • the progressive scanning method is adopted in many display devices (see Patent Document 1). In recent years, the progressive scanning method display device may be used by being worn or carried by a user. Used (see Patent Document 2).
  • the sequential scanning method has a problem in that an image is not properly displayed when the orientation of the display device is quickly changed by the movement of the user wearing the display device.
  • an object of the present technology is to provide an information processing apparatus, an information processing method, a program, and a head-mounted display capable of appropriately displaying an image even when the orientation of the display device is quickly changed. is there.
  • an information processing apparatus controls an information processing apparatus configured to display an image by a sequential scanning method in a displayable area set in advance in a space. And it comprises a setting part and a determination part.
  • the setting unit sets the displayable area so as to remain at a certain position in the space.
  • the determination unit obtains information on the orientation of the display unit, calculates a moving direction of the displayable region viewed from the display unit according to a change in the orientation of the display unit, and determines a main scanning direction of the display unit. The direction is determined to be opposite to the moving direction.
  • the information processing apparatus can determine the main scanning direction of the display unit in accordance with the change in the posture of the display unit so that the displayable area is not reduced. Thereby, an image can be stored in the displayable area, and the image can be displayed appropriately.
  • the information processing apparatus further includes a detection unit configured to be able to detect a change in the posture of the display unit, and the determination unit may acquire the change in the posture of the display unit detected by the detection unit. Good.
  • the detection unit may include an IMU provided in the display unit.
  • An information processing method for controlling a display unit configured to be able to display an image by a sequential scanning method in a displayable area set in advance in space, Set the displayable area so that it stays at a certain position in the space, Obtaining information on the orientation of the display unit, calculating a moving direction of the displayable region viewed from the display unit in accordance with a change in the posture of the display unit, and determining the main scanning direction of the display unit as the moving direction Decide in the opposite direction.
  • a program is provided in an information processing apparatus that controls a display unit configured to be able to display an image by a sequential scanning method in a displayable area set in advance in a space.
  • Set the displayable area so that it stays at a certain position in the space.
  • Obtaining information on the orientation of the display unit calculating a moving direction of the displayable region viewed from the display unit in accordance with a change in the posture of the display unit, and determining the main scanning direction of the display unit as the moving direction Let the decision be made in the opposite direction.
  • the head mounted display which concerns on one form of this technique comprises a mounting part, a display part, and a control part.
  • the mounting portion is configured to be mountable on the user's head.
  • the display unit is provided in the mounting unit, and is configured to be able to display an image in a sequential scanning manner in a displayable region set in advance in the space.
  • the control unit obtains information on a setting unit that sets the displayable area so as to remain in a certain position in the space, and an attitude of the display unit, and the display associated with a change in the attitude of the display unit
  • a determining unit that calculates a moving direction of the displayable region as viewed from the unit and determines a main scanning direction of the display unit in a direction opposite to the moving direction.
  • an information processing apparatus an information processing method, a program, and a head-mounted display that can appropriately display an image even when the orientation of the display device changes quickly.
  • the information processing apparatus 1 enables an image to be appropriately displayed in a displayable area in a display device that displays an image by a sequential scanning method even if the attitude of the display device changes quickly.
  • the AR display glasses-type device has a progressive scanning display unit 13 (see FIG. 2).
  • the AR display spectacle-type device is a spectacle-type device that can be worn on the user's head and can display an AR (Augmented Reality) image on the display unit 13 for the user.
  • FIG. 1 is a simplified diagram for explaining the change of the displayable region R when the posture of the AR display glasses-type device is quickly changed.
  • FIG. 1 shows a visual field V of the user and a displayable region R in which the display unit 13 of the progressive scanning AR display glasses device can display an image.
  • the displayable region R can be set at an arbitrary position in the real space. In the present embodiment, the displayable region R is set so as to remain at a specific position in the real space.
  • FIG. 1A shows the position of the displayable region R in a state where the user wearing the AR display spectacle-type device is stationary facing the front.
  • the displayable region R is set in the front direction of the user's visual field V and at an upper right position of the landscape tree T.
  • the user can recognize the object O displayed in the displayable area R set at a specific position in the real space and the scenery that appears transparent in the displayable area R.
  • the display unit 13 is a display having raster data including a plurality of pixels.
  • the display unit 13 can display an image in the displayable region R by sequentially emitting light by a plurality of image display elements arranged in a matrix. Specifically, as shown in FIG. 1A, first, the image display element is caused to emit light in the right direction (sub-scanning direction X) from the upper left scanning start position S of the displayable region R, and the horizontal scanning line L1 is set. Scanning is performed at a predetermined scanning speed. Next, the horizontal scanning lines L2 to L5 are scanned sequentially from the top to the bottom in FIG.
  • FIG. 1B shows a displayable region R when the user wearing the AR display glasses-type device looks up quickly.
  • the direction of the AR display glasses-type device is tilted in the elevation direction, and the user's visual field V moves upward.
  • the upward arrow indicates the moving direction of the visual field V of the user.
  • the display unit 13 keeps the position of the object O at a position obliquely above and to the right of the tree T, the position of the displayable region R (object O) in the user's field of view V is also shown in FIG.
  • the scanning start position S appears to move downward in the user's visual field V, but the scanning end position Eb is In accordance with the movement direction of the user's visual field V, it moves in the direction (upward) opposite to the movement direction of the scanning start position S (displayable region R) for the user.
  • the displayable region R the scanning distance in the main scanning direction Y is shortened, and the intervals between the horizontal scanning lines L1 to L5 are close.
  • the displayable area R becomes narrow, and as shown in FIG. 1B, the object O does not fit in the displayable area R and is cut off halfway, so that the object O is not properly displayed in the displayable area R.
  • FIG. 1C shows the displayable region R when the user wearing the AR display spectacle type device quickly looks down.
  • the direction of the AR display glasses-type device is tilted in the depression direction, and the user's visual field V moves downward.
  • the downward arrow indicates the moving direction of the visual field V of the user.
  • the display unit 13 keeps the position of the object O at a position diagonally to the upper right of the tree T, the position of the displayable region R moves up in the user's visual field V as shown in FIG. Looks like.
  • the scanning start position S appears to move upward in the user's visual field V, but the scanning end position E is In accordance with the moving direction of the visual field V, the scanning direction moves in the direction opposite to the moving direction of the scanning start position S (displayable region R) (downward).
  • the scanning distance in the main scanning direction Y becomes long, and the intervals between the horizontal scanning lines L1 to L5 become sparse.
  • the displayable area R is widened, and as shown in FIG. 1C, the object O fits in the displayable area R, and the object O is not cut off in the displayable area R and can be displayed properly.
  • the displayable region R is reduced and the object O is not displayed properly
  • the user's visual field V is When moving downward (see FIG. 1C), the displayable area R expands and the object O is properly displayed. That is, the object O may not be displayed properly depending on the combination of the main scanning direction Y of the display unit 13 and the change in the posture of the user wearing the AR display glasses-type device.
  • the above-described problem is prevented by changing the main scanning direction Y of the display unit 13 in accordance with a change in the posture of the user. Specifically, in the present technology, as shown in FIG.
  • the main scanning direction Y of the display unit 13 is directed upward. Change to As a result, the displayable region R expands as in the case shown in FIG. 1C, and the object O can be displayed appropriately. Further, when the position of the displayable region R moves from the bottom to the top in the user's visual field V, the object O can be displayed properly if the main scanning direction Y of the display unit 13 remains downward.
  • the information processing apparatus 1 has the main scanning direction of the display unit 13 opposite to the moving direction of the displayable region R in the user's visual field V (that is, viewed from the AR display glasses-type device). And the display unit 13 is controlled. As a result, even if the orientation of the display device changes quickly, the displayable area R is not reduced and the image can be displayed properly.
  • FIG. 2 is a block diagram illustrating a configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a control unit 10, a display unit 13, and a detection unit 14.
  • the control unit 10 is connected to the display unit 13 and the detection unit 14.
  • the display unit 13 and the detection unit 14 may be external configurations of the information processing apparatus 1.
  • the display unit 13 can display an image by a sequential scanning method under the control of the control unit 10.
  • the display unit 13 is configured to be able to switch the main scanning direction of the scanning line between upward and downward.
  • the display unit 13 can be configured as a laser scanning display such as an organic light emitting diode (OLED) display, a liquid crystal display (LCD), or a virtual retina display (VRD), for example.
  • OLED organic light emitting diode
  • LCD liquid crystal display
  • VRD virtual retina display
  • the display unit 13 is typically used as a display device of an AR display glasses-type device, and is disposed at a position facing the user's eye wearing the AR display glasses-type device. For this reason, the attitude
  • the detection unit 14 is provided in the display unit 13 and configured to be able to detect a change in the posture of the display unit 13.
  • the detection unit 14 can detect, for example, a posture angle of the display unit 13 according to a change in the orientation of the user's head, and can detect a change in at least a vertical angle (elevation angle) with respect to the horizontal plane of the display unit 13.
  • the detection unit 14 can be a motion sensor such as an angular velocity sensor or an acceleration sensor, a combination of these, or a combination of these with a geomagnetic sensor.
  • the detection unit 14 may be configured by a sensor unit in which each of the angular velocity sensor and the acceleration sensor is arranged in the three-axis directions, or the sensor to be used may be different depending on each axis.
  • the control unit 10 includes a setting unit 11 and a determination unit 12.
  • the setting unit 11 is connected to the determination unit 12.
  • the setting unit 11 and the determination unit 12 will be described later.
  • FIG. 2 is a flowchart showing an information processing method by the information processing apparatus 1 according to the present embodiment.
  • the operation of the information processing method according to the present embodiment (steps S11 to S14) will be described with reference to FIG.
  • step S11 the setting unit 11 of the control unit 10 sets the displayable region R of the display unit 13 so as to remain at a certain position in the space.
  • the space is a space surrounding the AR display glasses-type device, and may be a real space or a virtual space.
  • the setting unit 11 sets the displayable region R at a specific coordinate position in the space coordinates.
  • step S12 First, the detection unit 14 detects a change in the posture of the display unit 13 due to a change in the orientation of the head of the user wearing the AR display glasses device. Next, the determination unit 12 acquires information regarding the change in the posture of the display unit 13 from the detection unit 14.
  • step S13 the determination unit 12 displays the display unit based on the information about the position in the space of the displayable region R set in step S11 and the information about the change in the posture of the display unit 13 detected in step S12.
  • the movement direction of the displayable region R viewed from the display unit 13 accompanying the change in the posture of 13 is calculated.
  • the moving direction of the displayable region R viewed from the display unit 13 corresponds to the moving direction of the displayable region R in the field of view V of the user wearing the AR display glasses-type device.
  • step S ⁇ b> 14 the determination unit 12 determines the main scanning direction of the display unit 13. Specifically, the direction is determined to be opposite to the moving direction of the displayable region R calculated in step S13. For example, when the displayable region R moves from the top to the bottom in the field of view V of the user wearing the AR display glasses-type device, the determination unit 12 determines the main scanning direction of the display unit 13 upward. When the displayable region R moves from the bottom to the top, the determination unit 12 determines the main scanning direction of the display unit 13 downward. Then, the determination unit 12 of the control unit 10 controls the driving of the display unit 13 so that an image is displayed in the displayable region R in the determined main scanning direction.
  • FIG. 4 is a perspective view showing an outline of the AR display glasses-type device 100 using the information processing apparatus 1 of the present embodiment.
  • the AR display glasses device 100 includes an information processing unit 110 and a mounting unit 200.
  • a display unit 120, a sensor 130, and an imaging unit 140 are disposed on the mounting unit 200.
  • the information processing unit 110 is configured to be able to realize the functions of the information processing apparatus 1 according to the present embodiment illustrated in FIG.
  • the information processing unit 110, the display unit 120, the sensor 130, and the imaging unit 140 arranged in the mounting unit 200 are connected by wire or wirelessly. Further, the information processing unit 110 may be integrated with the mounting unit 200.
  • the mounting portion 200 includes a frame configuration including left and right rim portions 201, a bridge portion 202 disposed between the rim portions, and a temple portion 203 extending rearward from each rim portion. .
  • the AR display glasses-type device 100 can be mounted on the user's head.
  • the display unit 120 can transmit visible light and has a so-called optical see-through configuration.
  • the display unit 120 includes a display plate 121 and an optical unit 122.
  • the display board 121 includes display boards 121R and 121L arranged in front of the user's right eye and left eye, respectively.
  • the display boards 121R and 121L are configured to be able to display images presented to the left and right eyes of the user.
  • the display plates 121R and 121L are configured by translucent light guide plates capable of emitting images projected from the optical units 122R and 122L to the right and left eyes of the user.
  • Each of the display boards 121R and 121L may be configured with a common member or may be configured with another member.
  • the optical units 122R and 122L are configured to be able to generate an image of the displayable region R displayed at a certain position in a landscape (real space) that can be seen through the display plates 121R and 121L, respectively.
  • the optical units 122R and 122L are respectively fixed to the right edge and the left edge of the temple portion 203, and project the right eye image and the left eye image onto the display plates 121R and 121L, respectively.
  • the structure of the optical units 122R and 122L is not particularly limited as long as it can project images onto the display plates 121R and 121L.
  • the first and second optical units 122R and 122L include a display panel unit 122a made of an image display element, a panel controller 122b for driving the display panel unit 122a, and images formed by the image display elements on display plates 121R and 121L. And an optical prism for projecting to each other and a cabinet for housing them.
  • a self-luminous panel such as an LED or an organic EL element may be used as the image display element, or a liquid crystal panel may be used.
  • the sensor 130 has a configuration capable of detecting a change in the posture of the display unit 120.
  • the sensor 130 is configured by, for example, an IMU (Inertial Measurement Unit).
  • the IMU has a configuration capable of detecting a change in angular velocity of the display unit 120 around three axes orthogonal to each other.
  • the change in the orientation of the display unit 120 (the direction of change and the amount of the change) is obtained by, for example, integrating acceleration and angular velocity data measured by the sensor 130.
  • the calculation of the change in posture may be performed by the sensor 130 or may be performed by the information processing unit 110.
  • the sensor 130 is disposed in the temple portion 203 of the mounting portion 200 (FIG. 3), but the position of the sensor 130 is not particularly limited.
  • the sensor 130 may be disposed in either one of the optical units 122R and 122L or a part of the mounting unit 200.
  • the imaging unit 140 is typically a camera, and is used to set the position of the displayable region R by an existing self-position estimation technique such as SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • FIG. 5 is a block diagram of each configuration of the AR display glasses-type device 100 using the information processing apparatus 1 according to the present embodiment.
  • the AR display spectacle-type device 100 includes an information processing unit 110, a display unit 120, a sensor 130, and an imaging unit 140.
  • the sensor 130 and the information processing unit 110 are connected via the subbus SB.
  • the imaging unit 140 and the information processing unit 110 are connected via the main bus MB.
  • the display unit 120 is connected to the information processing unit 110.
  • the information processing unit 110 includes a main CPU 111, a GPU 112, a display controller 113, and a sub CPU 114.
  • the main CPU 111 and the GPU 112 mainly control images displayed in the displayable area R.
  • the main CPU 111 has the function of the setting unit 11 of the present embodiment shown in FIG. 2 and can execute SLAM processing or the like in order to set the position of the displayable region R in the real space. For this reason, the main CPU 111 stores ROM (Read Only Memory) and RAM (Random Access) for storing program codes for executing SLAM processing, information on the position of the displayable area R and information on images, and other necessary data. Memory) may be provided.
  • the GPU 112 is mainly used for arithmetic processing for generating 2D and 3D images at high speed. Further, the main CPU 111 and the GPU 112 are connected to the RAM 150 via the main bus MB, and the generated image data can be stored in the RAM 150 as a frame buffer.
  • the sub CPU 114 has a function of controlling the main scanning direction of the display unit 120. That is, the sub CPU 114 has the function of the determination unit 12 of this embodiment shown in FIG.
  • the display controller 113 is connected to the display unit 120 and has a function of controlling the display unit 120 based on the output result of the information processing unit 110.
  • the information processing unit 110 may include an image correction unit that corrects image data read from the RAM 150.
  • the image correction unit may be connected to the display control unit 112 and may further perform signal processing such as image quality correction on the image signal output from the display control unit 112, and the resolution matched to the screen of the display unit 120 May be converted to
  • FIG. 6 is a flowchart for explaining the operation of each component of the AR display glasses-type device 100 using the information processing apparatus 1 of the present embodiment.
  • step S101 the main CPU 111 executes SLAM processing that simultaneously performs self-position estimation and creation of an environment map based on information acquired from the imaging unit 140.
  • the main CPU 111 only needs to acquire information related to the position of the display unit 13 in the real space, and can perform processing using an existing self-position estimation technique as well as SLAM processing.
  • step S102 the main CPU 111 sets the displayable region R to be arranged at a specific position in the real space using the result of the SLAM process.
  • step S103 the GPU 112 creates an image to be displayed in the displayable area R.
  • the GPU 112 can write predetermined image data including information regarding the position of the displayable region R in the space to the RAM 150.
  • the written image data is transferred line by line from the RAM 150 to the display controller 113, and the transfer is repeated until reading of one screen is completed.
  • step S104 the sensor 130 detects a change in the posture of the display unit 120.
  • Step S104 is performed during a so-called V blank (vertical blanking period).
  • V blank means that the scanning line is moved from the scanning end position E of the displayable area R to the displayable area R in order to start scanning of the next one screen after the scanning of one screen of the displayable area R is completed. The period until the scanning line is returned to the scanning start position S.
  • step S ⁇ b> 105 first, the sub CPU 114 acquires information related to a change in posture of the display unit 120 from the sensor 130. Then, the sub CPU 114 calculates the moving direction of the displayable region R viewed from the display unit 120 according to the change in the posture of the display unit 120. For example, the sub CPU 114 projects the direction of change in the posture of the display unit 120 (three-dimensional data) onto the user's field of view (the surface facing the user's eyes), thereby moving the displayable region R in the user's field of view. The direction (two-dimensional data) can be calculated.
  • step S106 the sub CPU 114 determines the main scanning direction of the display unit 120 based on the moving direction of the displayable region R calculated in step S105. For example, when the displayable region R moves from the top to the bottom in the user's visual field V, the main scanning direction of the display unit 120 is turned upward. When the displayable region R moves from the bottom to the top in the user's visual field V, the main scanning direction of the display unit 120 is turned downward. As described above, the sub CPU 114 determines the main scanning direction of the display unit 120 in the direction opposite to the moving direction of the displayable region R.
  • step S107 the display controller 113 acquires image data including information regarding the position of the displayable region R in the real space set in step S103, and information regarding the scanning direction of the scanning line determined in step S106. Then, the display controller 113 controls the display unit 120 so that an image is displayed in the displayable region R based on the acquired information. Thereby, the display unit 120 displays a predetermined image from a predetermined main scanning direction in the displayable region R set at a specific position in the real space.
  • the present technology may be applied to a non-transmissive display device that displays a virtual space image (so-called VR image) displayed in association with the position in the real space in the displayable region R. That is, the present technology is not limited to displaying a virtual image (AR image) in a part of the displayable region R. A virtual image may be displayed on the entire displayable area R.
  • a virtual space image so-called VR image
  • AR image virtual image
  • the present technology may be applied to a video see-through head mounted display that displays an image in which a virtual image is superimposed on a real space (landscape) acquired by a camera or the like in the displayable region R.
  • the present technology may be applied to a movable projector having a configuration that can rotate around at least one axis. That is, the present technology is not limited to displaying an image by projecting the image light from the image display element onto the display plate 121 as in the above embodiment. An image may be displayed by projecting image light from the image display element onto a three-dimensional space around the user.
  • the present technology may be applied not only to a head-mounted display device such as the AR display glasses-type device 100 but also to a hand-held display device.
  • the information processing apparatus 1 of the present embodiment may be applied to a portable terminal including a transmissive or non-transmissive display as a handheld display device, or a digital binocular.
  • the information processing apparatus 1 is not limited to the above configuration, and various modifications can be made.
  • the determination unit 12 of the information processing apparatus 1 may be able to change the main scanning direction of the display unit 13 to an arbitrary direction according to a change in the posture of the display unit 13.
  • the determination unit 12 may be able to change the main scanning direction of the display unit 13 in the left-right direction and the diagonal direction.
  • the information processing apparatus 1 may have a configuration capable of changing the scanning speed of the scanning line. Specifically, by increasing the scanning speed of the scanning lines in the main scanning direction, the frame rate can be increased, and the images can be displayed so that the images are smoothly connected.
  • the information processing apparatus 1 may be configured such that the scanning range of the scanning line can be changed. Specifically, it is not necessary to scan the scanning line only in the region where the object O in the displayable region R is displayed, and it is not necessary to scan the scanning line in the region where the object O in the displayable region R is not displayed. As a result, the number of scanning lines can be reduced for display, and power consumption can be reduced in driving the display unit 13. In addition, this makes it possible to increase the frame rate and display the images so that the images are smoothly connected.
  • the information processing apparatus 1 may have a configuration that can adjust the luminance of the displayable region R in accordance with the expansion of the displayable region R. Specifically, the information processing apparatus 1 according to the present embodiment may perform an operation of increasing the luminance of the displayable region R in accordance with the expansion of the displayable region R. As a result, the displayable region R is expanded, so that the density of the scanning lines becomes sparse and the luminance can be prevented from decreasing.
  • the configuration in which the detection unit 14 is provided in the display unit 13 is not essential.
  • the detection unit 14 may be provided in addition to the display unit 13 as a camera that can capture the user's visual field V. That is, the detection unit 14 may be configured to be able to detect information related to the orientation of the display unit 13 from the captured image.
  • the setting unit 11 not only determines the main scanning direction based on the change in the posture of the display unit 13, but also uses the virtual retina display (VRD) to change the main scanning direction of the scanning line according to the position of the user's pupil. You may decide.
  • VRD virtual retina display
  • An information processing apparatus that controls a display unit configured to display an image in a sequential scanning manner in a displayable area set in advance in space, A setting unit for setting the displayable area so as to remain at a certain position in the space; Obtaining information on the orientation of the display unit, calculating a moving direction of the displayable region viewed from the display unit in accordance with a change in the posture of the display unit, and determining the main scanning direction of the display unit as the moving direction A decision unit that decides in the opposite direction;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), A detection unit configured to detect a change in the posture of the display unit; The information processing apparatus, wherein the determination unit acquires a change in the posture of the display unit detected by the detection unit.
  • the detection unit includes an IMU provided in the display unit.
  • An information processing method for controlling a display unit configured to be able to display an image by a sequential scanning method in a displayable area set in advance in space, Set the displayable area so that it stays at a certain position in the space, Obtaining information on the orientation of the display unit, calculating a moving direction of the displayable region viewed from the display unit in accordance with a change in the posture of the display unit, and determining the main scanning direction of the display unit as the moving direction Information processing method that decides in the opposite direction.
  • an information processing apparatus that controls a display unit configured to display an image by a sequential scanning method in a displayable area set in advance in space, Set the displayable area so that it stays at a certain position in the space, Obtaining information on the orientation of the display unit, calculating a moving direction of the displayable region viewed from the display unit in accordance with a change in the posture of the display unit, and determining the main scanning direction of the display unit as the moving direction A program that performs decisions in the opposite direction.
  • a mounting portion configured to be mounted on the user's head;
  • a display unit provided in the mounting unit and configured to display an image in a sequential scanning manner in a displayable region set in advance in the space;
  • a setting unit that sets the displayable area so as to remain at a certain position in the space, and information on the posture of the display unit is acquired, and the display unit is viewed from the display unit accompanying a change in the posture of the display unit.
  • a control unit that calculates a moving direction of the displayable region and determines a main scanning direction of the display unit in a direction opposite to the moving direction;
  • a head-mounted display comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示デバイスの向きが素早く変化しても、画像を適正に表示可能な情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイを提供することを目的とする。 情報処理装置（１）は、空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部（１３）を制御する情報処理装置であって、設定部（１１）と、決定部（１２）とを具備する。上記設定部は、上記表示可能領域を、上記空間中の一定の位置に留まるように設定する。上記決定部は、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する。

Description

情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ
　本技術は、姿勢が変化する表示デバイスを制御する情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイに関する。
　従来、画像を表示させる表示デバイスとして、ＯＬＥＤ（有機発光ダイオード）ディスプレイ、ＬＣＤ（液晶表示ディスプレイ）、ＤＭＤ（デジタルマイクロデバイス）等がある。これらの表示デバイスによる画像表示方式として、主に順次走査方式とグローバル発光方式がある。グローバル発光方式が１画面分の画像データを一度に読み出す方式であるのに対して、順次走査方式は、画像データを水平方向に１画素ずつ読み出した走査線を、垂直方向にずらして順次読み出すことで１画面分の画像を表示する方式である。順次走査方式は、多くの表示デバイスに採用されており（特許文献１参照）、近年では、順次走査方式の表示デバイスは、ユーザに装着や携帯されて使用される場合があり、モバイル機器等に用いられる（特許文献２参照）。
特表２０１５－５０４６２８号公報 特開２００６－３３７７７１号公報
　しかしながら、順次走査方式では、表示デバイスを装着されたユーザの動きによって表示デバイスの向きが素早く変化した際に、画像が適正に表示されないという問題があった。
　以上のような事情に鑑み、本技術の目的は、表示デバイスの向きが素早く変化しても、画像を適正に表示可能な情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理装置であって、設定部と、決定部とを具備する。
　上記設定部は、上記表示可能領域を、上記空間中の一定の位置に留まるように設定する。
　上記決定部は、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する。
　空間中の特定の位置に設定された表示可能領域に順次走査方式で画像を表示する表示部において、表示部の姿勢が素早く変化した場合、表示可能領域が縮小し、画像が適正に表示されないことがある。
　この構成によれば、情報処理装置が、表示可能領域が縮小しないように、表示部の姿勢の変化に応じて表示部の主走査方向を決定できる。これにより、表示可能領域内に画像を収めることができ、画像が適正に表示可能となる。
　上記情報処理装置は、上記表示部の姿勢の変化を検出可能に構成された検出部を更に具備し、上記決定部は、上記検出部が検出した上記表示部の姿勢の変化を取得してもよい。
　上記検出部は、上記表示部に設けられたＩＭＵを含んでもよい。
　本技術の一形態に係る情報処理方法は、
　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理方法であって、
　上記表示可能領域を、上記空間中の一定の位置に留まるように設定し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する。
　技術の一形態に係るプログラムは、空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理装置に、
　上記表示可能領域を、上記空間中の一定の位置に留まるように設定し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する
　ことを実行させる。
　本技術の一形態に係るヘッドマウントディスプレイは、装着部と、表示部と、制御部と、を具備する。
　上記装着部は、ユーザの頭部に装着可能に構成される。
　上記表示部は、上記装着部に設けられ、空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成される。
　上記制御部は、上記表示可能領域を、上記空間中の一定の位置に留まるように設定する設定部と、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する決定部と、を有する。
　以上のように、本技術によれば、表示デバイスの向きが素早く変化しても、画像を適正に表示可能な情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイを提供することができる。
ＡＲ表示眼鏡型デバイスの向きが素早く変化したときの表示可能領域の変化を説明するための簡略図である。 本技術の一実施形態に係る情報処理装置の構成を示すブロック図である。 上記情報処理装置による情報処理方法を示すフローチャートである。 上記報処理装置を用いたＡＲ表示眼鏡型デバイスの概略を示した斜視図である。 上記情報処理装置を用いたＡＲ表示眼鏡型デバイスの各構成のブロック図である。 上記情報処理装置を用いたＡＲ表示眼鏡型デバイスの各構成の動作を説明したフローチャートである。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜情報処理装置＞
　［概要］
　本技術の一実施形態に係る情報処理装置１は、順次走査方式で画像を表示する表示デバイスにおいて、表示デバイスの姿勢が素早く変化しても、表示可能領域に画像を適正に表示可能とする。
　一例として、本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイスの概要について、以下に説明する。ＡＲ表示眼鏡型デバイスは、順次走査方式の表示部１３（図２参照）を有する。
　なお、ＡＲ表示眼鏡型デバイスとは、ユーザの頭部に装着可能に構成され、ユーザに対して表示部１３によってＡＲ（Augmented Reality）画像を表示可能な眼鏡型デバイスである。
　図１は、ＡＲ表示眼鏡型デバイスの姿勢が素早く変化したときの表示可能領域Ｒの変化を説明するための簡略図である。図１には、ユーザの視野Ｖと、順次走査方式のＡＲ表示眼鏡型デバイスの表示部１３が画像を表示可能な表示可能領域Ｒとが示されている。
　表示可能領域Ｒは、実空間中の任意の位置に設定可能である。本実施形態では、表示可能領域Ｒが、実空間における特定の位置に留まるように設定される。
　図１（ａ）は、ＡＲ表示眼鏡型デバイスを装着したユーザが正面を向いて静止した状態の表示可能領域Ｒの位置を示す。
　図１（ａ）に示すように、表示可能領域Ｒは、ユーザの視野Ｖの正面方向であって、風景の木Ｔの右斜め上の位置に設定されている。
　ユーザは、実空間の特定の位置に設定された表示可能領域Ｒに表示されたオブジェクトＯと、表示可能領域Ｒにおいて透過して見える風景と、を認識することができる。
　表示部１３は、複数のピクセルを備えたラスタデータを有するディスプレイである。表示部１３は、例えば、マトリックス状に配置された複数の画像表示素子を順次走査方式で発光することで、表示可能領域Ｒに画像を表示することができる。
　具体的には、図１（ａ）に示すように、まず、表示可能領域Ｒの左上の走査開始位置Ｓから右方向（副走査方向Ｘ）に画像表示素子を発光させ、水平走査線Ｌ１が所定の走査速度で走査される。次いで、副走査方向Ｘに直交する方向（主走査方向Ｙ）であって、図１（ａ）の上から下方向に順に水平走査線Ｌ２～Ｌ５が走査され、最終的に表示可能領域Ｒの右下の走査終了位置Ｅまで走査される。このように、走査開始位置Ｓから走査終了位置Ｅまでの発光が完了すると、１画面分の画像が更新され、表示される。
　図１（ｂ）は、ＡＲ表示眼鏡型デバイスを装着したユーザが素早く見上げたときの表示可能領域Ｒを示す。
　ＡＲ表示眼鏡型デバイスを装着したユーザが見上げることで、ＡＲ表示眼鏡型デバイスの向きが仰角方向に傾き、ユーザの視野Ｖは上方向に移動する。図１（ｂ）中、上方向の矢印は、ユーザの視野Ｖの移動方向を示す。
　このとき、実空間における木Ｔの位置は変化しないため、ユーザの視野Ｖにおいて木Ｔの位置は下方向に移動して見える。また、表示部１３がオブジェクトＯの位置を木Ｔの右斜め上の位置に留まらせるため、図１（ｂ）に示すように、ユーザの視野Ｖにおいて表示可能領域Ｒ（オブジェクトＯ）の位置も下に移動して見える。
　このため、１画面分の走査が完了する前にユーザの視野Ｖが上に移動するとき、ユーザの視野Ｖにおいて、走査開始位置Ｓは下方向に移動して見えるが、走査終了位置Ｅｂは、ユーザの視野Ｖの移動方向に合わせて、ユーザにおける走査開始位置Ｓ（表示可能領域Ｒ）の移動方向と反対の方向（上方向）に移動する。
　この結果、表示可能領域Ｒでは、主走査方向Ｙの走査距離が短くなり、水平走査線Ｌ１～Ｌ５の間隔が密となる。
　これにより、表示可能領域Ｒが狭くなり、図１（ｂ）に示すように、オブジェクトＯが表示可能領域Ｒ内に収まらず途中で切れ、表示可能領域ＲにおいてオブジェクトＯが適正に表示されなくなる。
　図１（ｃ）は、ＡＲ表示眼鏡型デバイスを装着したユーザが素早く見下げたときの表示可能領域Ｒを示す。
　ＡＲ表示眼鏡型デバイスを装着したユーザが見下げることで、ＡＲ表示眼鏡型デバイスの向きが俯角方向に傾き、ユーザの視野Ｖは下方向に移動する。図１（ｃ）中、下方向の矢印は、ユーザの視野Ｖの移動方向を示す。
　このとき、ユーザの視野Ｖにおける風景の木Ｔの位置は変化しないため、ユーザの視野Ｖにおいて木Ｔの位置は上方向に移動して見える。また、表示部１３がオブジェクトＯの位置を木Ｔの右斜め上の位置に留まらせるため、図１（ｃ）に示すように、ユーザの視野Ｖにおいて、表示可能領域Ｒの位置が上に移動して見える。
　このため、１画面分の走査が完了する前にユーザの視野Ｖが下方向に移動するとき、ユーザの視野Ｖにおいて、走査開始位置Ｓは上方向に移動して見えるが、走査終了位置Ｅは、視野Ｖの移動方向に合わせて、走査開始位置Ｓ（表示可能領域Ｒ）の移動方向と反対の方向（下方向に）に移動する。
　この結果、表示可能領域Ｒでは、主走査方向Ｙの走査距離が長くなり、水平走査線Ｌ１～Ｌ５の間隔が疎となる。
　これにより、表示可能領域Ｒが広くなり、図１（ｃ）に示すように、オブジェクトＯが表示可能領域Ｒに収まり、表示可能領域ＲにおいてオブジェクトＯが切れることなく、適正に表示可能となる。
　このように、ユーザの視野Ｖが上方向に移動する場合（図１（ｂ）参照）、表示可能領域Ｒが縮小し、オブジェクトＯが適正に表示されなくなるのに対して、ユーザの視野Ｖが下方向に移動する場合（図１（ｃ）参照）、表示可能領域Ｒが伸長し、オブジェクトＯが適正に表示される。
　つまり、表示部１３の主走査方向Ｙと、ＡＲ表示眼鏡型デバイスを装着したユーザの姿勢の変化との組み合わせによって、オブジェクトＯが適正に表示不可能になる場合がある。
　これに対して、本技術では、ユーザの姿勢の変化に応じて、表示部１３の主走査方向Ｙを変化させることによって上記のような不具合を防止する。
　具体的には、本技術では、図１（ｂ）のように、ユーザの視野Ｖにおいて表示可能領域Ｒの位置が上から下方向に移動したときに、表示部１３の主走査方向Ｙを上向きに変更する。これにより、図１（ｃ）に示す場合と同様に表示可能領域Ｒが伸長するため、オブジェクトＯを適正に表示することができる。
　また、ユーザの視野Ｖにおいて表示可能領域Ｒの位置が下から上方向に移動したときには、表示部１３の主走査方向Ｙが下向きのままであれば、オブジェクトＯを適正に表示することができる。
　このように、本実施形態に係る情報処理装置１は、表示部１３の主走査方向を、ユーザの視野Ｖにおける（即ち、ＡＲ表示眼鏡型デバイスから見た）表示可能領域Ｒの移動方向と反対になるように決定し、表示部１３を制御する。
　これにより、表示デバイスの姿勢が素早く変化したとしても、表示可能領域Ｒが縮小することなく、画像が適正に表示可能となる。
　以下に、本実施形態の情報処理装置１の基本構成について説明する。
　［基本構成］
　図２は、本実施形態の情報処理装置１の構成を示すブロック図である。
　情報処理装置１は、制御部１０と、表示部１３と、検出部１４とを備える。
　制御部１０は、表示部１３及び検出部１４に接続される。
　なお、表示部１３及び検出部１４は、情報処理装置１の外部構成としてもよい。
　本実施形態に係る表示部１３は、制御部１０の制御の下、順次走査方式で画像を表示可能である。また、表示部１３は、走査線の主走査方向を上向きと、下向きと、で切り替え可能に構成されている。
　表示部１３は、例えば、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、あるいは仮想網膜ディスプレイ（ＶＲＤ）等のレーザー走査方式ディスプレイ等として構成可能である。
　表示部１３は、典型的には、ＡＲ表示眼鏡型デバイスの表示デバイスとして用いられ、ＡＲ表示眼鏡型デバイスを装着したユーザの眼に対向する位置に配置される。このため、表示部１３の姿勢は、ＡＲ表示眼鏡型デバイスを装着したユーザの頭部の向きの変化に応じて変化する。
　本実施形態に係る検出部１４は、表示部１３に設けられており、表示部１３の姿勢の変化を検出可能に構成されている。検出部１４は、例えば、ユーザの頭部の向きの変化に応じた表示部１３の姿勢角を検出可能であり、少なくとも表示部１３の水平面に対する上下方向の角度（仰俯角）の変化を検出可能とする。
　検出部１４は、角速度センサ、加速度センサ等のモーションセンサや、これらを組み合わせた構成や、これらと地磁気センサと組み合わせた構成とすることができる。この場合、検出部１４は、角速度センサ及び加速度センサの各々を３軸方向に配置したセンサユニットで構成されてもよいし、各軸に応じて使用するセンサを異ならせてもよい。
　本実施形態に係る制御部１０は、設定部１１と、決定部１２とを有する。
　設定部１１は、決定部１２に接続される。設定部１１と、決定部１２については、後述する。
　図２は、本実施形態に係る情報処理装置１による情報処理方法を示すフローチャートである。
　以下、図２に沿って、本実施形態に係る情報処理方法の動作（ステップＳ１１～Ｓ１４）について、説明する。
　（Ｓ１１：表示可能領域の設定）
　ステップＳ１１では、制御部１０の設定部１１が、空間中の一定の位置に留まるように、表示部１３の表示可能領域Ｒを設定する。
　空間とは、ＡＲ表示眼鏡型デバイスを取り巻く空間であり、実空間であってもよく、仮想空間であってもよい。設定部１１は、例えば、空間座標における特定の座標位置に表示可能領域Ｒを設定する。
　（Ｓ１２：表示部の姿勢の変化に関する情報の取得）
　ステップＳ１２では、まず、検出部１４が、ＡＲ表示眼鏡型デバイスを装着したユーザの頭部の向きの変化に伴う表示部１３の姿勢の変化を検出する。次に、決定部１２が、検出部１４から表示部１３の姿勢の変化に関する情報を取得する。
　（Ｓ１３：表示可能領域の移動方向の算出）
　ステップＳ１３では、決定部１２が、ステップＳ１１で設定された表示可能領域Ｒの空間中の位置に関するに情報、及びステップＳ１２で検出された表示部１３の姿勢の変化に関する情報に基づいて、表示部１３の姿勢の変化に伴う表示部１３から見た表示可能領域Ｒの移動方向を算出する。
　表示部１３から見た表示可能領域Ｒの移動方向とは、ＡＲ表示眼鏡型デバイスを装着したユーザの視野Ｖにおける表示可能領域Ｒの移動方向に対応する。
　（Ｓ１４：表示部の主走査方向の決定）
　ステップＳ１４では、決定部１２が、表示部１３の主走査方向を決定する。具体的には、ステップＳ１３で算出した表示可能領域Ｒの移動方向とは反対方向に決定する。例えば、ＡＲ表示眼鏡型デバイス装着したユーザの視野Ｖにおいて表示可能領域Ｒが上から下に移動する場合には、決定部１２は、表示部１３の主走査方向を上向きに決定する。また、表示可能領域Ｒが下から上に移動する場合には、決定部１２は、表示部１３の主走査方向を下向きに決定する。
　そして、制御部１０の決定部１２は、決定した主走査方向で表示可能領域Ｒに画像を表示するように、表示部１３の駆動を制御する。
　以下、ＡＲ表示眼鏡型デバイスの具体的構成について、説明する。
　［ＡＲ表示眼鏡型デバイスの具体的構成］
　上記本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の具体的構成について、以下に説明する。
　図４は、本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の概略を示した斜視図である。
　ＡＲ表示眼鏡型デバイス１００は、情報処理部１１０と、装着部２００とを有する。
　装着部２００には、表示部１２０、センサ１３０、及び撮像部１４０が配置される。
　情報処理部１１０は、図２に示す本実施形態に係る情報処理装置１の機能を実現可能に構成されている。
　情報処理部１１０と、装着部２００に配置された表示部１２０、センサ１３０、及び撮像部１４０とは、有線又は無線で接続されている。また、情報処理部１１０が、装着部２００と一体となっていてもよい。
　装着部２００は、図４に示すように、左右のリム部２０１と、各リム部の間に配置されたブリッジ部２０２と、各リム部から後方に延びるテンプル部２０３からなるフレームの構成を含む。これにより、ＡＲ表示眼鏡型デバイス１００は、ユーザの頭部に装着可能となっている。
　表示部１２０は、可視光が透過可能であり、いわゆる光学シースルー型の構成を有している。
　表示部１２０は、表示板１２１と、光学ユニット１２２とを有する。
　表示板１２１は、ユーザの右眼及び左眼の前にそれぞれ配置される表示板１２１Ｒ及び１２１Ｌを有する。表示板１２１Ｒ、１２１Ｌは、ユーザの左右の眼に提示される画像を表示可能に構成される。本実施形態において表示板１２１Ｒ，１２１Ｌは、光学ユニット１２２Ｒ，１２２Ｌから投影される画像をユーザの右眼及び左眼へ出射することが可能な透光性の導光板で構成される。表示板１２１Ｒ，１２１Ｌ各々は、共通の部材で構成されてもよいし、別部材で構成されてもよい。
　光学ユニット１２２Ｒ，１２２Ｌは、それぞれ表示板１２１Ｒ，１２１Ｌを介して見える風景（実空間）の一定の位置に表示される表示可能領域Ｒの画像を生成可能に構成される。
　光学ユニット１２２Ｒ，１２２Ｌは、テンプル部２０３の右側縁部及び左側縁部にそれぞれ固定され、表示板１２１Ｒ，１２１Ｌへ右眼用画像及び左眼用画像をそれぞれ投影する。光学ユニット１２２Ｒ，１２２Ｌの構造は、表示板１２１Ｒ，１２１Ｌへ画像を投影できる構成であれば特に限定されない。
　第１及び第２の光学ユニット１２２Ｒ及び１２２Ｌは、画像表示素子からなる表示パネル部１２２ａと、表示パネル部１２２ａを駆動するパネルコントローラ１２２ｂと、画像表示素子で形成された画像を表示板１２１Ｒ，１２１Ｌへ投影する光学プリズムと、これらを収容するキャビネット等をそれぞれ有する。
　画像表示素子としＬＥＤや有機ＥＬ素子等の自発光パネルが用いられてもよいし、液晶パネルが用いられてもよい。
　センサ１３０は、表示部１２０の姿勢の変化を検出可能な構成を有している。
　センサ１３０は、例えば、ＩＭＵ（Inertial Measurement Unit）で構成される。ＩＭＵは、互いに直交する３軸周りの表示部１２０の角速度の変化をそれぞれ検出可能な構成を有する。
　表示部１２０の姿勢の変化（変化の方向及びその変化の量等）は、例えば、センサ１３０により測定された加速度、角速度のデータを積分することで求められる。
　姿勢の変化を算出は、センサ１３０で行われてもよく、情報処理部１１０で行われてもよい。
　また、センサ１３０は、装着部２００のテンプル部２０３に配置されている（図３）が、センサ１３０の位置は特に限定されない。センサ１３０は、光学ユニット１２２Ｒ，１２２Ｌのいずれか一方、あるいは装着部２００の一部に配置されてもよい。
　撮像部１４０は、典型的には、カメラであり、ＳＬＡＭ（Simultaneous Localization and Mapping）などの既存の自己位置推定技術によって、表示可能領域Ｒの位置を設定するために用いられる。
　図５は、本実施形態に係る情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の各構成のブロック図である。
　ＡＲ表示眼鏡型デバイス１００は、情報処理部１１０と、表示部１２０と、センサ１３０と、撮像部１４０と、を有する。
　センサ１３０及び情報処理部１１０は、サブバスＳＢを介して接続される。
　撮像部１４０及び情報処理部１１０は、メインバスＭＢを介して接続される。
　表示部１２０は、情報処理部１１０に接続される。
　情報処理部１１０は、メインＣＰＵ１１１、ＧＰＵ１１２、ディスプレイコントローラ１１３、サブＣＰＵ１１４と、を有する。
　メインＣＰＵ１１１及びＧＰＵ１１２は、主に表示可能領域Ｒに表示する画像を制御する。メインＣＰＵ１１１は、図２に示す本実施形態の設定部１１の機能を有し、実空間中の表示可能領域Ｒの位置を設定するために、ＳＬＡＭ処理等を実行可能である。このため、メインＣＰＵ１１１は、ＳＬＡＭ処理を実行するためのプログラム・コードや、表示可能領域Ｒの位置及び画像に関する情報等その他必要なデータを格納するためのＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）を備えていてもよい。
　ＧＰＵ１１２は、２Ｄ及び３Ｄの画像を高速で生成するための演算処理に主として利用される。
　また、メインＣＰＵ１１１及びＧＰＵ１１２は、メインバスＭＢを介して、ＲＡＭ１５０に接続され、生成した画像データをフレームバッファとしてのＲＡＭ１５０に格納することができる。
　サブＣＰＵ１１４は、表示部１２０の主走査方向を制御する機能を有する。即ち、サブＣＰＵ１１４は、図２に示す本実施形態の決定部１２の機能を有する。
　ディスプレイコントローラ１１３は、表示部１２０に接続され、情報処理部１１０の出力結果に基づいて表示部１２０を制御する機能を有する。
　ここで、情報処理部１１０は、ＲＡＭ１５０から読み出される画像データを補正する画像補正部を有していてもよい。
　例えば、画像補正部は、表示制御部１１２に接続され、表示制御部１１２から出力される画像信号に対して画質補正などの信号処理をさらに行なってもよく、表示部１２０の画面に合わせた解像度に変換してもよい。
　図６は、本実施形態の情報処理装置１を用いたＡＲ表示眼鏡型デバイス１００の各構成の動作を説明したフローチャートである。
　まず、ステップＳ１０１～Ｓ１０３について説明する。
　ステップＳ１０１では、メインＣＰＵ１１１が、撮像部１４０から取得した情報をもとに、自己位置推定と環境地図の作成を同時に行うＳＬＡＭ処理を実行する。メインＣＰＵ１１１は、実空間中の表示部１３の位置に関する情報が取得できればよく、ＳＬＡＭ処理に限らず、既存の自己位置推定技術を用いた処理を行うことができる。
　次に、ステップＳ１０２では、メインＣＰＵ１１１が、ＳＬＡＭ処理の結果を用いて、実空間における特定の位置に表示可能領域Ｒが配置されるように設定する。
　そして、ステップＳ１０３では、ＧＰＵ１１２が、表示可能領域Ｒに表示される画像を作成する。そして、ＧＰＵ１１２は、空間中の表示可能領域Ｒの位置に関する情報を含む所定の画像データをＲＡＭ１５０に書き込むことができる。
　なお、書き込まれた画像データは、ＲＡＭ１５０から１ラインずつディスプレイコントローラ１１３に転送され、１画面分の読出しが完了するまで転送が繰り返される。
　次に、ステップＳ１０４～Ｓ１０６について説明する。
　ステップＳ１０４では、センサ１３０が表示部１２０の姿勢の変化を検出する。ステップＳ１０４は、いわゆるＶブランク（垂直帰線期間）の間に行われる。Ｖブランクとは、表示可能領域Ｒの１画面分の走査の終了後に次の１画面分の走査を開始するために、走査線を、表示可能領域Ｒの走査終了位置Ｅから表示可能領域Ｒの走査開始位置Ｓに走査線を戻すまでの期間をいう。
　ステップＳ１０５では、まず、サブＣＰＵ１１４が、センサ１３０から表示部１２０の姿勢の変化に関する情報を取得する。そして、サブＣＰＵ１１４が、表示部１２０の姿勢の変化に伴う表示部１２０から見た表示可能領域Ｒの移動方向を算出する。
　例えば、サブＣＰＵ１１４は、表示部１２０の姿勢の変化の方向（３次元データ）をユーザの視野面（ユーザの眼に対向する面）に投影することで、ユーザの視野における表示可能領域Ｒの移動方向（２次元データ）を算出することができる。
　ステップＳ１０６では、サブＣＰＵ１１４が、ステップＳ１０５で算出された表示可能領域Ｒの移動方向に基づいて、表示部１２０の主走査方向を決定する。例えば、ユーザの視野Ｖにおいて表示可能領域Ｒが上から下に移動したとき、表示部１２０の主走査方向を上向きにする。ユーザの視野Ｖにおいて表示可能領域Ｒが下から上に移動したとき、表示部１２０の主走査方向を下向きにする。このように、サブＣＰＵ１１４は、表示可能領域Ｒの移動方向と反対の方向に表示部１２０の主走査方向を決定する。
　ステップＳ１０７では、ディスプレイコントローラ１１３が、ステップＳ１０３で設定した実空間中の表示可能領域Ｒの位置に関する情報を含む画像データ、及びステップＳ１０６で決定した走査線の走査方向に関する情報を取得する。
　そして、ディスプレイコントローラ１１３は、取得した情報に基づいて表示可能領域Ｒに画像が表示されるように、表示部１２０を制御する。
　これにより、表示部１２０は、実空間における特定の位置に設定された表示可能領域Ｒに所定の画像を所定の主走査方向から表示する。
＜その他の実施形態＞
　上記実施形態では、光学シースルー型の表示部１２０を有するＡＲ表示眼鏡型デバイス１００に情報処理装置１を用いた例について説明したが、これに限定されない。情報処理装置１を他の表示デバイスに適用してもよい。
　具体的には、実空間の位置に対応付けて表示される仮想空間の画像（いわゆる、ＶＲ画像）を表示可能領域Ｒに表示させる非透過型の表示デバイスに本技術が適用されてもよい。
　即ち、本技術では、表示可能領域Ｒの一部に仮想画像（ＡＲ画像）が表示されることに限定されない。表示可能領域Ｒの全面に仮想画像が表示されてもよい。
　また、カメラなどにより取得された実空間（風景）に仮想画像を重畳させた画像を表示可能領域Ｒに表示させるビデオシースルー型のヘッドマウントディスプレイに本技術が適用されてもよい。
　さらに、少なくとも１軸周りに回動可能な構成を有する可動型プロジェクタに本技術が適用されてもよい。
　即ち、本技術では、上記実施形態のように画像表示素子からの画像光を表示板１２１に投影することで画像が表示されることに限定されない。画像表示素子からの画像光をユーザの周囲の３次元空間に投影することで画像が表示されてもよい。
　加えて、ＡＲ表示眼鏡型デバイス１００のようなヘッドマウント型の表示デバイスに限らず、ハンドヘルド型の表示デバイスに本技術が適用されてもよい。例えば、ハンドヘルド型の表示デバイスとして、透過型又は非透過型のディスプレイを備える携帯型端末や、デジタル式双眼鏡に本実施形態の情報処理装置１が適用されてもよい。
　また、上記実施形態に係る情報処理装置１は、上記構成に限定されるものではなく、種々の変更が可能である。
　例えば、情報処理装置１の決定部１２は、表示部１３の姿勢の変化に応じて表示部１３の主走査方向を任意の方向に変更可能であってもよい。例えば、決定部１２は、左右方向、斜め方向に表示部１３の主走査方向を変更可能であってもよい。
　また、本実施形態に係る情報処理装置１は、走査線の走査速度を変更可能な構成を有してもよい。具体的には、走査線の主走査方向の走査速度を速くすることで、フレームレートを上昇させることができ、画像間がなめらかにつながって見えるように表示させることができる。
　本実施形態に係る情報処理装置１は、走査線の走査範囲が変更可能に構成されてもよい。具体的には、表示可能領域ＲのオブジェクトＯが表示されている領域についてのみ走査線を走査させ、表示可能領域ＲのオブジェクトＯが表示されていない領域では走査線を走査しなくてもよい。これにより、走査線の本数を減らして表示することができ、表示部１３の駆動において低消費電力化が図れる。また、これにより、フレームレートを上昇させることができ、画像間がなめらかにつながって見えるように表示させることができる。
　本実施形態に係る情報処理装置１は、表示可能領域Ｒの伸長に応じて、表示可能領域Ｒの輝度を調整可能な構成を有してもよい。
　具体的には、本実施形態に係る情報処理装置１は、表示可能領域Ｒの伸長に応じて、表示可能領域Ｒの輝度を上げる動作を行ってもよい。これにより、表示可能領域Ｒが伸長することで、走査線の密度が疎となり、輝度が下がるのを防ぐことができる。
　検出部１４が、表示部１３に設けられる構成は必須ではない。検出部１４が、ユーザの視野Ｖを撮像可能なカメラとして表示部１３以外に設けられてもよい。即ち、検出部１４は、撮像された画像から表示部１３の姿勢に関する情報が検出可能な構成であってもよい。
　設定部１１は、表示部１３の姿勢の変化に基づいて、主走査方向を決定するだけでなく、仮想網膜ディスプレイ（ＶＲＤ）を用いた場合、ユーザの瞳孔の位置によって走査線の主走査方向を決定してもよい。
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理装置であって、
　上記表示可能領域を、上記空間中の一定の位置に留まるように設定する設定部と、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する決定部と、
　を具備する情報処理装置。
（２）
　（１）に記載の情報処理装置であって、
　上記表示部の姿勢の変化を検出可能に構成された検出部を更に具備し、
　上記決定部は、上記検出部が検出した上記表示部の姿勢の変化を取得する
　情報処理装置。
（３）
　（２）に記載の情報処理装置であって、
　上記検出部は、上記表示部に設けられたＩＭＵを含む
　情報処理装置。
（４）
　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理方法であって、
　上記表示可能領域を、上記空間中の一定の位置に留まるように設定し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する
　情報処理方法。
（５）
　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理装置に、
　上記表示可能領域を、上記空間中の一定の位置に留まるように設定し、
　上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する
　ことを実行させるプログラム。
（６）
　ユーザの頭部に装着可能に構成された装着部と、
　上記装着部に設けられ、空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部と、
　上記表示可能領域を、上記空間中の一定の位置に留まるように設定する設定部と、上記表示部の姿勢に関する情報を取得し、上記表示部の姿勢の変化に伴う上記表示部から見た上記表示可能領域の移動方向を算出し、上記表示部の主走査方向を上記移動方向とは反対方向に決定する決定部と、を有する制御部と、
　を具備するヘッドマウントディスプレイ。
　１…情報処理装置
　１０…制御部
　１１…設定部
　１２…決定部
　１３，１２０…表示部
　１４…検出部
　１００…ＡＲ表示眼鏡型デバイス
　１１０…情報処理部
　１１１…メインＣＰＵ
　１１２…ＧＰＵ
　１１３…ディスプリコントローラ
　１１４…サブＣＰＵ
　１２１…表示板
　１２２…光学ユニット
　１２２ａ…表示パネル部
　１２２ｂ…パネルコントローラ
　１３０…センサ
　１４０…撮像部
　１５０…ＲＡＭ

Claims (6)

  1. 　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理装置であって、
    　前記表示可能領域を、前記空間中の一定の位置に留まるように設定する設定部と、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴う前記表示部から見た前記表示可能領域の移動方向を算出し、前記表示部の主走査方向を前記移動方向とは反対方向に決定する決定部と、
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記表示部の姿勢の変化を検出可能に構成された検出部を更に具備し、
    　前記決定部は、前記検出部が検出した前記表示部の姿勢の変化を取得する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記検出部は、前記表示部に設けられたＩＭＵを含む
    　情報処理装置。
  4. 　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理方法であって、
    　前記表示可能領域を、前記空間中の一定の位置に留まるように設定し、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴う前記表示部から見た前記表示可能領域の移動方向を算出し、前記表示部の主走査方向を前記移動方向とは反対方向に決定する
    　情報処理方法。
  5. 　空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部を制御する情報処理装置に、
    　前記表示可能領域を、前記空間中の一定の位置に留まるように設定し、
    　前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴う前記表示部から見た前記表示可能領域の移動方向を算出し、前記表示部の主走査方向を前記移動方向とは反対方向に決定する
    　ことを実行させるプログラム。
  6. 　ユーザの頭部に装着可能に構成された装着部と、
    　前記装着部に設けられ、空間中に予め設定される表示可能領域に順次走査方式で画像を表示可能に構成された表示部と、
    　前記表示可能領域を、前記空間中の一定の位置に留まるように設定する設定部と、前記表示部の姿勢に関する情報を取得し、前記表示部の姿勢の変化に伴う前記表示部から見た前記表示可能領域の移動方向を算出し、前記表示部の主走査方向を前記移動方向とは反対方向に決定する決定部と、を有する制御部と、
    　を具備するヘッドマウントディスプレイ。
PCT/JP2019/002907 2018-03-30 2019-01-29 情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ WO2019187598A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/040,801 US11176911B2 (en) 2018-03-30 2019-01-29 Information processing apparatus, information processing method, program, and head-mounted display
DE112019001710.1T DE112019001710T5 (de) 2018-03-30 2019-01-29 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und head-mounted-display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-068010 2018-03-30
JP2018068010 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019187598A1 true WO2019187598A1 (ja) 2019-10-03

Family

ID=68061129

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002907 WO2019187598A1 (ja) 2018-03-30 2019-01-29 情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ

Country Status (3)

Country Link
US (1) US11176911B2 (ja)
DE (1) DE112019001710T5 (ja)
WO (1) WO2019187598A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013124913A1 (ja) * 2012-02-21 2013-08-29 パナソニック株式会社 走査装置及び表示装置
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
JP2017097122A (ja) * 2015-11-20 2017-06-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6049452B2 (ja) * 2012-12-29 2016-12-21 キヤノン株式会社 情報表示装置、情報表示システム、それらの制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013124913A1 (ja) * 2012-02-21 2013-08-29 パナソニック株式会社 走査装置及び表示装置
JP2014153645A (ja) * 2013-02-13 2014-08-25 Seiko Epson Corp 画像表示装置および画像表示装置の表示制御方法
JP2017097122A (ja) * 2015-11-20 2017-06-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法

Also Published As

Publication number Publication date
US11176911B2 (en) 2021-11-16
DE112019001710T5 (de) 2020-12-17
US20210012756A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP6826174B2 (ja) 表示システムおよび方法
CN108292489B (zh) 信息处理装置和图像生成方法
AU2021286370B2 (en) Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
US20190019341A1 (en) Head-mounted display device and computer program
US9375639B2 (en) Image display system and head-mounted display device
US10591735B2 (en) Head-mounted display device and image display system
CN107430785B (zh) 用于显示三维对象的方法和系统
JP5331146B2 (ja) 単眼ヘッドマウントディスプレイ
JP4735234B2 (ja) 画像表示システム
CN109960481B (zh) 显示系统及其控制方法
JP2022517991A (ja) 眼追跡に基づく動的レンダリング時間ターゲット化
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
JP2017021680A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US11343486B2 (en) Counterrotation of display panels and/or virtual cameras in a HMD
JP2015060071A (ja) 画像表示装置、画像表示方法、および画像表示プログラム
EP3929900A1 (en) Image generation device, head-mounted display, and image generation method
JP7367689B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2017021824A (ja) ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US10690923B1 (en) Scanning system for a tiling display
WO2019187598A1 (ja) 情報処理装置、情報処理方法、プロブラム及びヘッドマウントディスプレイ
WO2019239852A1 (ja) 情報処理装置、情報処理方法、プログラム及びヘッドマウントディスプレイ
WO2020137088A1 (ja) ヘッドマウントディスプレイ、表示方法、及び表示システム
KR102630081B1 (ko) 헤드 마운트 장치용 표시 장치의 잔영 성능 평가 시스템
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
JP5332127B2 (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19774560

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19774560

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP