WO2023013130A1 - 情報処理装置、情報処理方法、及び記録媒体 - Google Patents

情報処理装置、情報処理方法、及び記録媒体 Download PDF

Info

Publication number
WO2023013130A1
WO2023013130A1 PCT/JP2022/010253 JP2022010253W WO2023013130A1 WO 2023013130 A1 WO2023013130 A1 WO 2023013130A1 JP 2022010253 W JP2022010253 W JP 2022010253W WO 2023013130 A1 WO2023013130 A1 WO 2023013130A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
information
timing
information processing
user
Prior art date
Application number
PCT/JP2022/010253
Other languages
English (en)
French (fr)
Inventor
諒介 村田
浩丈 市川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023013130A1 publication Critical patent/WO2023013130A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Definitions

  • the present technology relates to an information processing device, an information processing method, and a recording medium applicable to image display.
  • Patent Document 1 a first plane parallel to the horizontal plane is observed in a region corresponding to the distance from the lower end to the upper end of the display surface on which the stereoscopic image is displayed and the angle formed by the horizontal plane and the display surface in real space.
  • An information processing apparatus for displaying a stereoscopic image is described. This reduces the burden on the user who observes the stereoscopic image (paragraphs [0045] to [0057] in FIG. 6 of the specification of Patent Document 1, etc.).
  • the purpose of the present technology is to provide an information processing device, an information processing method, and a recording medium capable of realizing a high-quality viewing experience.
  • an information processing device includes a display control unit.
  • the display control unit converts the first viewpoint information at the first timing into second viewpoint information based on correction information according to the user's viewpoint position at a second timing after the first timing. Based on this, display processing is performed on a first area of the display device and a second area adjacent to the first area.
  • the first viewpoint information at the first timing is converted into the second viewpoint information based on the correction information corresponding to the user's viewpoint position at the second timing after the first timing. Based on this, the display processing of the first area of the display device and the second area adjacent to the first area is performed. This makes it possible to achieve a high-quality viewing experience.
  • the information processing apparatus further comprising a rendering unit that acquires the first viewpoint information at the first timing and executes rendering processing of the display device according to the first viewpoint information. good too.
  • the viewpoint information may include number information based on a matrix of sub-pixels of an output image output to the display device based on the number of viewpoint positions.
  • the information processing apparatus may further include a calculation unit that calculates the correction information based on the viewpoint position of the user at the second timing.
  • the correction information may include adding the viewpoint number.
  • the calculation unit may calculate the correction information based on another viewpoint position at the first timing different from the viewpoint position and the viewpoint position at the second timing.
  • the first viewpoint information may include viewpoint information based on the other viewpoint position at the first timing, or viewpoint information based on the reference viewpoint position at the user's predetermined position.
  • the timing may be timing relating to rendering or display of the output image.
  • the first timing may be timing in drawing the output image.
  • the second timing may be timing when the output image is displayed.
  • the calculation unit calculates the first viewpoint information based on other correction information corresponding to a third viewpoint position at a third timing, which is a timing when a predetermined area of the display device is displayed. 3 correction information may be calculated.
  • the display device may have a raster scan display.
  • the first area and the second area may be divided in the drawing direction of the raster scan display.
  • the information processing apparatus may further include a generation unit that generates the viewpoint information according to the viewpoint position of the user.
  • the generation unit may acquire the viewpoint position of the user at each timing, and generate the viewpoint information based on each viewpoint position at each timing.
  • the information processing device may further include an estimation unit that estimates the viewpoint position of the user at each timing.
  • the estimation unit may estimate the viewpoint position of the user when the viewpoint information is generated based on first sensor information acquired by a first sensor.
  • the estimation unit may estimate the viewpoint position of the user when the correction information is calculated based on second sensor information acquired by a second sensor.
  • the second sensor may be a sensor different from the first sensor.
  • the estimation unit may estimate the movement amount of the viewpoint position of the user from the difference between the second sensor information and the first sensor information.
  • An information processing method is an information processing method executed by a computer system, in which, with respect to first viewpoint information at a first timing, at a second timing after the first timing performing display processing of a first region of the display device and a second region adjacent to the first region based on second viewpoint information based on correction information according to the user's viewpoint position in .
  • a recording medium recording a program causes a computer system to perform the following steps.
  • the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
  • FIG. 4 is a diagram showing a viewpoint table according to the present technology
  • FIG. 1 is a block diagram showing a configuration example of an autostereoscopic display
  • FIG. 7 is a flow chart showing offset calculation based on a viewpoint table
  • 4 is a timing chart of slicing of the display unit and processing of each block
  • FIG. 4 is a schematic diagram showing an example of a viewpoint image width
  • 3 is a block diagram showing an autostereoscopic display and an image rendering unit;
  • FIG. 1 is a block diagram showing a configuration example of an autostereoscopic display
  • FIG. 7 is a flow chart showing offset calculation based on a viewpoint table
  • 4 is a timing chart of slicing of the display unit and processing of each block
  • FIG. 4 is a schematic diagram showing an example of a viewpoint image width
  • 3 is a block diagram showing an autostereoscopic display and an image rendering unit
  • FIG. 1 is a diagram showing a viewpoint table according to the present technology.
  • FIG. 1A is a diagram schematically showing viewpoints in an autostereoscopic display (autostereoscopic image display device).
  • FIG. 1B is a diagram schematically showing a viewpoint table.
  • the autostereoscopic display 100 is a display device capable of displaying a stereoscopic image using a lenticular lens, which is assumed to be used by one person.
  • the autostereoscopic display 100 has a lenticular lens 1 attached to the display, so that the visible pixel positions change depending on the viewing location (viewpoints 1, 2, 3, and 4). That is, when a single output image 2 obtained by appropriately synthesizing a plurality of images (viewpoint 1 image, viewpoint 2 image, viewpoint 3 image, and viewpoint 4 image) is displayed on the display and viewed through the lenticular lens 1, the The image you see changes.
  • the viewpoint 1 image is incident on the left eye and the viewpoint 2 image is incident on the right eye.
  • the position of the user 3 changes, the image that the user 3 can visually recognize changes.
  • N viewpoint images to be displayed from each viewpoint and a viewpoint table (lookup table) describing which image is displayed by each sub-pixel of the output image are described. table).
  • the viewpoint table 5 stores viewpoint numbers in a matrix whose width is three times the width (width) [px] of the output image and whose height is the same as the height (height) [px] of the output image. It is a table in which 1 to N are listed.
  • FIG. 1B shows the view point table 5 when there are 6 view points. That is, in FIG. 1B, the numbers in each frame indicate the pixels of the viewpoint 1 image, the viewpoint 2 image, the viewpoint 3 image, the viewpoint 4 image, the viewpoint 5 image, and the viewpoint 6 image.
  • the number information indicating which number is included in the matrix of the viewpoint table 5 is determined according to the parameters of the lenticular lens and the display and the number of viewpoints.
  • the value of the subpixel of the output image is determined from the viewpoint number of the viewpoint table corresponding to each subpixel of the output image and the N images to be shown at each viewpoint.
  • the viewpoint table 5 shown in FIG. 1B since the (0, 0) component of the viewpoint table 5 is 4, the (0, 1) component is 5, and the (0, 2) component is 6, the output image ( R of the 0, 0) component (frame 6) is the R value of the (0, 0) component of the viewpoint 4 image, G is the G value of the (0, 0) component of the viewpoint 5 image, and B is the viewpoint 6 image.
  • the (0,0) component color of the output image is determined by adopting each of the (0,0) component B values.
  • the autostereoscopic display 100 uses a raster scan light emission method, and the display can be divided into a plurality of slices.
  • the autostereoscopic display 100 acquires the latest estimation result of the user's face position at the timing when the upper part of each slice starts to be displayed, and adds correction information (offset) to the viewpoint table based on the estimation result, thereby adjusting the position of the user's head. Reduces dynamic crosstalk caused by position shifts.
  • Dynamic crosstalk is generated by the time (Motion To Photon delay) from when the user's face moves to when the position is recognized, an output image is drawn and generated, output to the display, and the light is actually emitted. It refers to crosstalk. Dynamic crosstalk thus includes the delay of light emission from the top of the display to the bottom.
  • FIG. 2 is a block diagram showing a configuration example of an autostereoscopic display.
  • the autostereoscopic display 100 has a sensor section 10 , a control section 20 , a storage section 30 , a display control section 40 and a display section 50 .
  • the sensor unit 10 acquires the user's location information.
  • the sensor unit 10 has a camera 11 and acquires a captured image including the user.
  • it may have a depth camera or a motion sensor for acquiring the position information of the user, or a configuration capable of tracking.
  • the photographed image acquired by the camera 11 is supplied to the face position estimation section 21 .
  • the control unit 20 has a face position estimation unit 21, an image drawing unit 22, and a viewpoint table generation unit 23.
  • the face position estimation unit 21 estimates the position information of the user's face and eyes from the captured image. In this embodiment, the face position estimation unit 21 estimates the position of the user as needed in a separate thread. For example, the face position estimation unit 21 estimates the user's face position when drawing on the display unit 50 (first timing). Further, for example, the user's face position immediately before the display on the display unit 50 (second timing) is estimated. Further, for example, the position of the user's face is estimated when the quarter display is performed on the display unit 50 (third timing). Further, for example, the position of the user's face at the time of half display on the display unit 50 (fourth timing) is estimated.
  • the timing at which the face position is estimated is not limited, and may be set according to the number of slices of the display unit 50. That is, the timings 1 to N at the time of display may be set according to each of the slices 1 to N.
  • the user's position information estimated at each timing described above is supplied to the face position storage unit 31 .
  • the method of estimating the user's location information is not limited.
  • the position information may also include the line-of-sight direction of the left eye, the line-of-sight direction of the right eye, the user's field of view, the user's posture, and the like.
  • the image drawing unit 22 generates images incident on the left and right eyes of the user.
  • the image rendering unit 22 renders a left-eye image incident on the left eye and a right-eye image incident on the right eye.
  • the virtual camera position may be determined according to the estimated face position and drawing may be performed.
  • the viewpoint table generation unit 23 generates a viewpoint table that maps to which viewpoint the left-eye image or the right-eye image should be output, based on the estimation result of the user's position information. For example, when viewpoints 1 to 6 are arranged in order from the left, it is assumed that the position of the user's left eye is at viewpoint 3 and the position of the user's right eye is at viewpoint 4 . In this case, the viewpoint table generation unit 23 sets the viewpoint images so that the viewpoint images incident on viewpoints 1, 2, and 3 are all left-eye images, and the viewpoint images incident on viewpoints 4, 5, and 6 are all right-eye images. Generate a table.
  • the storage unit 30 has a face position storage unit 31 , a viewpoint offset storage unit 32 , a viewpoint table storage unit 33 , a left eye image storage unit 34 and a right eye image storage unit 35 .
  • the face position storage unit 31 stores position information of the user's face and eyes estimated by the face position estimation unit 21 .
  • the face position storage unit 31 supplies the user position information estimated at the first timing to the viewpoint table generation unit 23 .
  • the face position storage unit 31 also supplies the user position information estimated after the second timing to the viewpoint table offset calculation unit 41 .
  • the viewpoint offset storage unit 32 stores correction information based on the viewpoint table calculated by the viewpoint table offset calculation unit 41 .
  • the stored correction information is supplied to the viewpoint number determination unit 42 .
  • the viewpoint table storage unit 33 stores the viewpoint table generated by the viewpoint table generation unit 23.
  • the stored viewpoint table is supplied to the viewpoint number determination unit 42 .
  • the left-eye image storage unit 34 stores the left-eye image rendered by the image rendering unit 22 .
  • the right-eye image storage unit 35 stores the right-eye image rendered by the image rendering unit 22 .
  • the stored left-eye and right-eye images are provided to the output subpixel lookup unit 43 .
  • the display control unit 40 has a viewpoint table offset calculation unit 41, a viewpoint number determination unit 42, and an output subpixel lookup unit 43.
  • the display control unit 40 has a CPU, GPU, and HDD or SSD.
  • the display control unit 40 has hardware necessary for configuring a computer, such as a processor such as a DSP, a memory such as a ROM and a RAM, and a storage device.
  • a processor such as a DSP
  • a memory such as
  • the display control unit 40 can be realized by any computer such as a PC.
  • hardware such as FPGA and ASIC may be used.
  • the CPU executes a predetermined program to configure the viewpoint table offset calculation unit as a functional block.
  • dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
  • the program is installed in the display control unit 40 via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
  • the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used.
  • any computer-readable non-transitory storage medium may be used.
  • the viewpoint table offset calculation unit 41 calculates the offset of the viewpoint table based on the user's face position. In this embodiment, the viewpoint table offset calculation unit 41 calculates the offset of the viewpoint table from the latest estimation result of the user's face position. The calculated offset is supplied to the viewpoint offset storage unit 32 .
  • the viewpoint number determination unit 42 determines which sub-pixel of the left-eye image or the right-eye image is to be output based on the viewpoint table and the offset. In this embodiment, the viewpoint number determining unit 42 increments (adds) the viewpoint number looked up from the viewpoint table by the offset amount. If the viewpoint number exceeds the upper limit, the remainder may be taken.
  • the output subpixel lookup unit 43 fetches subpixel values from the left-eye image or right-eye image to be output and outputs them to the display unit 50 .
  • the display unit 50 is a display that displays an output image.
  • the display unit 50 is sliced in the horizontal direction (width direction in FIG. 1B) (see FIG. 4A).
  • the face position estimation unit 21 corresponds to an estimation unit that estimates the user's viewpoint position at each timing.
  • the viewpoint table generation unit 23 corresponds to a generation unit that generates viewpoint information according to the user's viewpoint position.
  • the viewpoint table corresponds to viewpoint information.
  • the display control unit 40 corrects the first viewpoint information at the first timing based on the correction information corresponding to the user's viewpoint position at the second timing after the first timing. It corresponds to a display control unit that executes display processing of a first area of a display device and a second area adjacent to the first area based on second viewpoint information.
  • the viewpoint table offset calculator 41 corresponds to a calculator that calculates correction information based on the user's viewpoint position at the second timing.
  • the display unit 50 corresponds to a display device. Note that in the present embodiment, the multiple slices of the display unit 50 correspond to the first area of the display device and the second area adjacent to the first area.
  • FIG. 3 is a flowchart showing offset calculation based on the viewpoint table.
  • the flowchart shown in FIG. 3 is processed for each frame. That is, the processing from step 101 to step 112 indicates the start and end of 1-frame processing.
  • FIG. 4 is a timing chart of slices of the display unit 50 and processing of each block.
  • FIG. 4A is a schematic diagram showing a slice of the display unit 50.
  • FIG. 4B is a timing chart of processing of each block.
  • the sensor information is acquired by the sensor unit 10 (step 101).
  • the position information of the user's face position is estimated by the face position estimation unit 21 (step 102). As shown in FIG. 4B, this estimation process is executed in another thread as needed.
  • the image drawing unit 22 draws the left-eye image and the right-eye image (step 103).
  • the latest face position estimation result 60 is used to generate an image.
  • the viewpoint table generation unit 23 calculates a viewpoint image of each sub-pixel of the output image based on the estimation result of the user's face position, and generates a viewpoint table (step 104).
  • the latest estimation result 62 (first timing) of the user's face position is used to generate the viewpoint table.
  • estimation results used to generate the image may be used.
  • the display unit 50 is sliced in the horizontal direction (drawing direction).
  • the display section 50 is divided into four slices.
  • the offset and viewpoint number of the viewpoint table are determined based on the coordinates (w, h) of the sub-pixel 55 to be processed.
  • the viewpoint table offset calculator 41 determines whether the coordinate h of the sub-pixel 55 is lower than the height of the output image (step 105). If the coordinate h of the sub-pixel 55 is less than Height (YES in step 105), it is determined whether the coordinate w of the sub-pixel 55 is less than three times the Width of the output image (step 106).
  • the top of the slice indicates the highest coordinate of each slice. For example, when the Height is 1000 [px] and the number of slices is 4, the coordinates h at the beginning of the slice are 0, 250, 500, and 750, respectively.
  • the viewpoint table offset calculator 41 calculates the viewpoint based on the latest face position estimation result 64 (second timing).
  • a table offset is calculated (step 108).
  • the offset of the viewpoint table is calculated before the light emission of the upper left portion of each slice of the preset display section 50 starts. Further, as shown in FIG. 4B, the processing from step 103 to step 108 is performed in one frame cycle. Similarly, the processing from step 109 to the light emission of the display is performed in one frame cycle.
  • the viewpoint table offset calculation unit 41 calculates the horizontal and vertical viewpoint image widths, the face position estimation result 62 used in the viewpoint table generation unit 23, and the face position estimation result 64 used when calculating the offset. Calculate the offset from the difference between
  • the width at which pixels of each viewpoint number can be seen is calculated from the parameters of the lenticular lens and the display.
  • FIG. 5 is a schematic diagram showing an example of viewpoint image width.
  • the user 70 sees 6 viewpoint images with the right eye and 4 viewpoint images with the left eye through the lenticular lens 71 .
  • the viewpoint images visible to each eye are also different.
  • the offset is calculated according to whether the head position of the user 70 has moved by 32.5 mm or more. That is, when the head of the user 70 moves x with the viewpoint image width X, the offset is floor(x/X).
  • offsets may be calculated for movement of the user 70 in the Y-axis direction and the Z-axis direction.
  • the viewpoint number determination unit 42 determines the color of either the left-eye image or the right-eye image to emit light (step 109). In this embodiment, as shown in FIG. 4B, the viewpoint number determination unit 42 is called for each drawing of each sub-pixel of the display unit 50 .
  • the output subpixel lookup unit 43 fetches pixel values from the left-eye image or the right-eye image based on the determination result of the viewpoint number determination unit 42, and emits light to the display (step 111).
  • step 112 Perform w+1 on the coordinates of the sub-pixel 55 to be processed (step 112).
  • sub-pixels whose coordinates are shifted by one in the slice direction of the display unit 50 are targeted.
  • the sub-pixel of interest is subjected to the determination of step 106 . Also, since the coordinates of the sub-pixel are increased by w+1, the determination at step 107 is not satisfied. That is, the viewpoint table offset calculation unit is called in units of slices.
  • h+1 is performed on the coordinates of the target subpixel (step 113).
  • the display control unit 40 performs display based on the viewpoint table in the face position estimation result 62 based on the offset corresponding to the user's viewpoint position in the face position estimation result 64 .
  • Display processing of slice 1 and slice 2 of unit 50 is performed. This makes it possible to achieve a high-quality viewing experience.
  • the display screen is divided into multiple slices, and the result of estimating the user's face position is acquired at the timing when the upper part of each slice starts to be displayed.
  • the viewpoint table generation unit 23 uses the latest facial position estimation result to generate the viewpoint table.
  • a static viewpoint table that does not depend on the user's face position may be held.
  • a reference viewpoint table based on the user's face at a predetermined position may be stored in the storage unit 30 .
  • the viewpoint table offset calculator 41 may calculate the offset from the difference between the latest estimated face position and the reference face position.
  • each of the latest face position estimation results was used to generate the viewpoint table and calculate the offset.
  • the movement amount of the time difference until the face position estimation result is used may be predicted.
  • the same method is used for estimating the face position used for generating the viewpoint table and calculating the offset.
  • the method of estimating the face position is not limited to this, and different methods may be used.
  • the amount of movement from the face position estimation result used by the viewpoint table generation unit 23 may be used.
  • the viewpoint table generation unit 23 estimates the face position using the RGB camera image
  • the viewpoint table offset calculation unit 41 calculates the face position that has moved since the processing of the viewpoint table generation unit 23 estimated from the information of the DVS camera.
  • a displacement may be used. That is, estimation methods with different accuracies or estimation methods with different time required for estimation may be used.
  • the sensor unit 10 may have two or more types of sensors with different accuracies and acquisition times.
  • the number of slices in the display section is set to four.
  • the number of slices is not limited to this, and the number of slices may be determined by the width drawn during the processing time of the face position estimation processing. For example, assuming that the time difference between the issuing timings of the upper part and the lower part of the screen in a raster scan light emitting display is 16 ms and the processing time is 8 ms, the number of slices is determined to be 2. In this case, the face position estimation process may be synchronized with Vsync.
  • the slice width may be determined in units of this cycle. For example, if the vertical period is 6px, the slice width may be 6px and the number of slices may be Height/6. Alternatively, the slice width may be a multiple of the period in the vertical direction.
  • the viewpoint number determination unit 42 increments the viewpoint number looked up from the viewpoint table by the amount of the offset.
  • the viewpoint table may be generated larger than the actual screen (display) of the display unit 50, and the reading position may be shifted by the offset amount.
  • the viewpoint table which is larger than the actual screen of the display unit 50, stores the assumed maximum amount of motion of the user's face that moves during the offset calculation cycle that depends on the slice width of the display. The quotient obtained by dividing by the width is the maximum possible movement amount of the viewpoint number.
  • the viewpoint table may be generated to be larger in the vertical and horizontal directions by the amount of movement.
  • the autostereoscopic display 100 is used to calculate the offset and the like. It is not limited to this, and some functions of the autostereoscopic display 100 may function by a cloud server.
  • FIG. 6 is a block diagram showing an autostereoscopic display 100 and an image rendering section 75 according to another embodiment.
  • the image drawing unit 75 may function by a cloud server. Heavy processing such as drawing may be performed by the cloud server.
  • a cloud server it is possible to easily distribute and update content, and to prevent cheating of content on the client side and unauthorized use such as extraction of 3D model data.
  • the viewpoint table generation unit 23 may function by a cloud server. That is, device-specific processing may be performed on the client side, and processing common to other devices such as AR and VR may be performed on the cloud server side.
  • viewpoint table generation unit the viewpoint table offset calculation unit, the viewpoint number determination unit, etc., the offset calculation flow, and the like, which have been described with reference to the drawings, are merely one embodiment, and are within the scope of the present technology. , can be arbitrarily transformed. That is, any other configuration, algorithm, or the like for implementing the present technology may be employed.
  • the information processing device, information processing method, and recording medium according to the present technology can be executed not only in a computer system configured by a single computer, but also in a computer system in which a plurality of computers work together.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
  • Execution of the information processing device, information processing method, and recording medium according to the present technology by a computer system for example, when generation of a viewpoint table, calculation of an offset, determination of a viewpoint number, etc. are executed by a single computer, and when each process is executed by a different computer.
  • Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
  • the information processing device, information processing method, and recording medium according to the present technology can be applied to a cloud computing configuration in which a single function is shared by a plurality of devices via a network and processed jointly. be.
  • the present technology can also adopt the following configuration.
  • (1) With respect to the first viewpoint information at the first timing, the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
  • An information processing apparatus comprising: a display control unit that executes display processing of a first area and a second area adjacent to the first area.
  • the information processing device includes number information based on a matrix of sub-pixels of an output image output to the display device based on the number of viewpoint positions.
  • the information processing device further comprising: An information processing apparatus comprising a calculator that calculates the correction information based on the viewpoint position of the user at the second timing.
  • the information processing device further comprising: An information processing apparatus comprising a calculator that calculates the correction information based on the viewpoint position of the user at the second timing.
  • the information processing device includes adding the viewpoint number.
  • the information processing device according to (4), The information processing apparatus, wherein the calculation unit calculates the correction information based on another viewpoint position at the first timing different from the viewpoint position and the viewpoint position at the second timing.
  • the first viewpoint information includes viewpoint information based on the other viewpoint position at the first timing, or viewpoint information based on a reference viewpoint position at a predetermined position of the user.
  • the information processing device according to (2) The timing is timing related to drawing or displaying the output image, the first timing is a timing in drawing the output image; The information processing apparatus, wherein the second timing is timing when the output image is displayed.
  • the information processing device according to (4) The calculation unit calculates the first viewpoint information based on other correction information corresponding to a third viewpoint position at a third timing, which is a timing when a predetermined area of the display device is displayed. An information processing device that calculates the correction information of 3.
  • the information processing device wherein the display device has a raster scan display, The information processing apparatus, wherein the first area and the second area are divided in a drawing direction of the raster scan display.
  • An information processing apparatus comprising a generator that generates the viewpoint information according to the viewpoint position of the user.
  • the generation unit acquires the viewpoint position of the user at each timing, and generates the viewpoint information based on each viewpoint position at each timing.
  • Information processing equipment (13)
  • the information processing device further comprising: An information processing apparatus comprising an estimation unit that estimates the viewpoint position of the user at each timing.
  • the information processing device (14) The information processing device according to (13), The information processing apparatus, wherein the estimation unit estimates a viewpoint position of the user when the viewpoint information is generated based on first sensor information acquired by a first sensor. (15) The information processing device according to (14), The information processing apparatus, wherein the estimation unit estimates the viewpoint position of the user when the correction information is calculated based on second sensor information acquired by a second sensor. (16) The information processing device according to (15), The second sensor is a sensor different from the first sensor, The information processing apparatus, wherein the estimation unit estimates a movement amount of the viewpoint position of the user from a difference between the second sensor information and the first sensor information.
  • the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
  • the second viewpoint information based on the correction information according to the user's viewpoint position at the second timing after the first timing, based on the second viewpoint information.
  • a recording medium storing a program for causing a computer system to execute display processing for a first area and a second area adjacent to the first area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術の一形態に係る情報処理装置は、表示制御部を具備する。前記表示制御部は、第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する。これにより、高品質な視聴体験を実現することが可能となる。

Description

情報処理装置、情報処理方法、及び記録媒体
　本技術は、画像表示に適用可能な情報処理装置、情報処理方法、及び記録媒体に関する。
　特許文献１には、立体画像を表示する表示面の下端から上端までの距離、及び実空間における水平面と表示面とがなす角度に応じた領域に、水平面と平行な第１の平面が観察されるように立体画像を表示させる情報処理装置が記載される。これにより、立体画像を観察するユーザの負担を抑制することが図られている（特許文献１の明細書段落［００４５］～［００５７］図６等）。
国際公開第２０１８／１１６５８０号
　このような、立体画像を視聴可能な表示デバイスにおいて、高品質な視聴体験を実現することが可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を実現することが可能な情報処理装置、情報処理方法、及び記録媒体を提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、表示制御部を具備する。
　前記表示制御部は、第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する。
　この情報処理装置では、第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理が実行される。これにより、高品質な視聴体験を実現することが可能となる。
　前記情報処理装置であって、さらに、前記第１のタイミングにおける前記第１の視点情報を取得し、前記第１の視点情報に応じて前記表示装置の描画処理を実行する描画部を具備してもよい。
　前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含んでもよい。
　前記情報処理装置であって、さらに、前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備してもよい。
　前記補正情報は、前記視点番号を加算することを含んでもよい。
　前記算出部は、前記視点位置とは異なる前記第１のタイミングにおける他の視点位置、及び前記第２のタイミングにおける前記視点位置に基づいて、前記補正情報を算出してもよい。
　前記第１の視点情報は、前記第１のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含んでもよい。
　前記タイミングは、前記出力画像の描画又は表示に関するタイミングであってもよい。この場合、前記第１のタイミングは、前記出力画像の描画におけるタイミングであってもよい。前記第２のタイミングは、前記出力画像の表示の際のタイミングであってもよい。
　前記算出部は、前記第１の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第３のタイミングにおける第３の視点位置に応じた他の補正情報に基づく第３の補正情報を算出してもよい。
　前記表示装置は、ラスタスキャンディスプレイを有してもよい。この場合、前記第１の領域及び前記第２の領域は、前記ラスタスキャンディスプレイの描画方向に分けられてもよい。
　前記情報処理装置であって、さらに、前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備してもよい。
　前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成してもよい。
　前記情報処理装置であって、さらに、各タイミングにおける前記ユーザの視点位置を推定する推定部を具備してもよい。
　前記推定部は、第１のセンサにより取得される第１のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定してもよい。
　前記推定部は、第２のセンサにより取得される第２のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定してもよい。
　前記第２のセンサは、前記第１のセンサとは異なるセンサであってもよい。この場合、前記推定部は、前記第２のセンサ情報と前記第１のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定してもよい。
　本技術の一形態に係る情報処理方法は、コンピュータシステムが実行する情報処理方法であって、第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行することを含む。
　本技術の一形態に係るプログラムを記載した記録媒体は、コンピュータシステムに以下のステップを実行させる。
　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行するステップ。
本技術に係る視点テーブルを示す図である。 裸眼立体ディスプレイの構成例を示すブロック図である。 視点テーブルに基づくオフセットの算出を示すフローチャートである。 表示部のスライス及び各ブロックの処理のタイミングチャートである。 視点画像幅の例を示す模式図である。 裸眼立体ディスプレイ及び画像描画部を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［視点テーブル］
　図１は、本技術に係る視点テーブルを示す図である。図１Ａは、裸眼立体ディスプレイ（裸眼立体画像表示装置）における視点を模式的に示す図である。図１Ｂは、視点テーブルを模式的に示す図である。
　裸眼立体ディスプレイ１００は、１人使用を前提とするレンチキュラーレンズを用いた立体画像を表示可能な表示装置である。
　図１Ａに示すように、裸眼立体ディスプレイ１００は、ディスプレイにレンチキュラーレンズ１が貼り合わせられることで、見る場所（視点１、２、３、及び４）によって見えるピクセルの位置が変わる。すなわち、複数の画像（視点１画像、視点２画像、視点３画像、及び視点４画像）を適切に合成した１枚の出力画像２をディスプレイに表示しレンチキュラーレンズ１越しに見ると、視点に応じて見える画像が変化する。
　例えば、ユーザ３の左目が視点１、右目が視点２の位置にある場合、左目には視点１画像が入射され、右目には視点２画像が入射される。同様に、ユーザ３の位置（目の位置）が変わることで、ユーザ３が視認できる画像が変化する。
　本実施形態では、ユーザに出力される出力画像の作成方法として、各視点で見せたい視点画像Ｎ枚と、出力画像の各サブピクセルがどの画像を表示するかが記述された視点テーブル（ルックアップテーブル）から作成される。
　図１Ｂに示すように、視点テーブル５は、横幅が出力画像の横幅（Ｗｉｄｔｈ）［ｐｘ］の３倍、縦幅が出力画像の縦幅（Ｈｅｉｇｈｔ）［ｐｘ］と同じのマトリクスに、視点番号１～Ｎが記載されているテーブルである。図１Ｂでは、視点が６個の場合の視点テーブル５が図示される。すなわち、図１Ｂでは各枠に記載されている数字は、視点１画像、視点２画像、視点３画像、視点４画像、視点５画像、及び視点６画像のピクセルを示す。
　また視点テーブル５のマトリクスに何番が入るかの番号情報は、レンチキュラーレンズ及びディスプレイのパラメータと視点の数に応じて決定される。
　視点テーブルを用いて出力画像を生成する際は、出力画像の各サブピクセルに対応する視点テーブルの視点番号と、各視点で見せたい画像Ｎ枚とからその出力画像のサブピクセルの値を決定する。例えば、図１Ｂに示す視点テーブル５の場合、視点テーブル５の（０，０）成分は４、（０，１）成分は５、（０，２）成分は６であるので、出力画像の（０，０）成分（枠６）のＲは視点４画像の（０，０）成分のＲ値を、Ｇは視点５画像の（０，０）成分のＧ値を、Ｂは視点６画像の（０，０）成分のＢ値をそれぞれ採用して出力画像の（０，０）成分の色が決定される。
　本実施形態では、裸眼立体ディスプレイ１００は、ラスタスキャン発光方式を利用しており、ディスプレイを複数のスライスに分けられる。裸眼立体ディスプレイ１００は、各スライスの上部を表示し始めるタイミングに最新のユーザの顔位置の推定結果を取得し、推定結果に基づいて視点テーブルに補正情報（オフセット）を加えることでユーザの頭の位置の移動によって発生する動的クロストークを軽減する。
　なお、動的クロストークとは、ユーザの顔が動いてから、その位置を認識し出力画像を描画し生成、ディスプレイに出力され実際に発光されるまでの時間（Motion To Photon遅延）により発生するクロストークのことを指す。すなわち動的クロストークは、ディスプレイ上部から下部までの発光の遅延も含まれる。
　［裸眼立体ディスプレイ］
　図２は、裸眼立体ディスプレイの構成例を示すブロック図である。
　図２に示すように、裸眼立体ディスプレイ１００は、センサ部１０、制御部２０、記憶部３０、表示制御部４０、及び表示部５０を有する。
　センサ部１０は、ユーザの位置情報を取得する。例えば、センサ部１０は、カメラ１１を有し、ユーザを含む撮影画像を取得する。これ以外にも、ユーザの位置情報を取得するためのデプスカメラ又は人感センサやトラッキング可能な構成を有してもよい。本実施形態では、カメラ１１により取得された撮影画像が顔位置推定部２１に供給される。
　制御部２０は、顔位置推定部２１、画像描画部２２、及び視点テーブル生成部２３を有する。
　顔位置推定部２１は、撮影画像からユーザの顔や目の位置情報を推定する。本実施形態では、顔位置推定部２１は、別スレッドで随時、ユーザの位置を推定する。例えば、顔位置推定部２１は、表示部５０に描画している際（第１のタイミング）のユーザの顔位置を推定する。また例えば、表示部５０に表示する直前（第２のタイミング）のユーザの顔位置が推定される。また例えば、表示部５０に４分の１表示した際（第３のタイミング）のユーザの顔位置が推定される。また例えば、表示部５０に２分の１表示した際（第４のタイミング）のユーザの顔位置が推定される。
　なお、顔位置が推定されるタイミングは限定されず、表示部５０のスライス数に応じて設定されてもよい。すなわち、各スライス１～Ｎに応じて、表示される際のタイミング１～Ｎが設定されてもよい。
　本実施形態では、上記の各タイミングで推定されたユーザの位置情報が顔位置記憶部３１に供給される。なお、ユーザの位置情報を推定する方法は限定されない。また位置情報には、左目の視線方向、右目の視線方向、ユーザの視界、ユーザの姿勢等が含まれてもよい。
　画像描画部２２は、ユーザの左目及び右目に入射される画像を生成する。本実施形態では、画像描画部２２は、左目に入射される左目画像と、右目に入射される右目画像とを描画する。またディスプレイ（表示部５０）を通じて仮想空間を見せる場合は、推定した顔位置に応じて仮想カメラ位置を決定し描画を行ってもよい。
　視点テーブル生成部２３は、ユーザの位置情報の推定結果に基づいて、どの視点に左目画像又は右目画像が出力すべきかをマッピングした視点テーブルを生成する。例えば、視点１から６が左から順に並ぶ場合、ユーザの左目の位置が視点３、右目の位置が視点４にあると推定されたとする。この場合、視点テーブル生成部２３は、視点１、２、及び３に入射される視点画像を全て左目画像、視点４、５、及び６に入射される視点画像を全て右目画像となるように視点テーブルを生成する。
　記憶部３０は、顔位置記憶部３１、視点オフセット記憶部３２、視点テーブル記憶部３３、左目画像記憶部３４、及び右目画像記憶部３５を有する。
　顔位置記憶部３１は、顔位置推定部２１により推定されたユーザの顔や目の位置情報を記憶する。本実施形態では、顔位置記憶部３１は、第１のタイミングで推定されたユーザの位置情報を視点テーブル生成部２３に供給する。また顔位置記憶部３１は、第２のタイミング以降で推定されたユーザの位置情報を視点テーブルオフセット算出部４１に供給する。
　視点オフセット記憶部３２は、視点テーブルオフセット算出部４１により算出された視点テーブルに基づく補正情報を記憶する。本実施形態では、記憶された補正情報は、視点番号決定部４２に供給される。
　視点テーブル記憶部３３は、視点テーブル生成部２３により生成された視点テーブルを記憶する。本実施形態では、記憶された視点テーブルは、視点番号決定部４２に供給される。
　左目画像記憶部３４は、画像描画部２２により描画された左目画像を記憶する。右目画像記憶部３５は、画像描画部２２により描画された右目画像を記憶する。本実施形態では、記憶された左目画像及び右目画像は出力サブピクセルルックアップ部４３に供給される。
　表示制御部４０は、視点テーブルオフセット算出部４１、視点番号決定部４２、及び出力サブピクセルルックアップ部４３を有する。
　表示制御部４０は、ＣＰＵ、ＧＰＵ、及びＨＤＤ又はＳＳＤを有する。これ以外にも、表示制御部４０は、例えばＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。
　例えばＰＣ等の任意のコンピュータにより、表示制御部４０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
　本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての視点テーブルオフセット算出部が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　プログラムは、例えば種々の記録媒体を介して表示制御部４０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
　プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　視点テーブルオフセット算出部４１は、ユーザの顔位置に基づいて、視点テーブルのオフセットを算出する。本実施形態では、視点テーブルオフセット算出部４１は、最新のユーザの顔位置の推定結果から視点テーブルのオフセットを算出する。算出されたオフセットは、視点オフセット記憶部３２に供給される。
　視点番号決定部４２は、視点テーブル及びオフセットに基づいて、左目画像又は右目画像のどちらのサブピクセルを出力するかを決定する。本実施形態では、視点番号決定部４２は、視点テーブルからルックアップした視点番号に対し、オフセットの量だけインクリメント（加算）する。なお、視点番号の上限を超えた場合は、剰余を取ってもよい。
　出力サブピクセルルックアップ部４３は、出力すべき左目画像又は右目画像からサブピクセルの値をフェッチして、表示部５０に出力する。
　表示部５０は、出力画像を表示するディスプレイである。本実施形態では、表示部５０は、横方向（図１ＢのＷｉｄｔｈ方向）にスライスされる（図４Ａ参照）。
　なお、本実施形態において、顔位置推定部２１は、各タイミングにおけるユーザの視点位置を推定する推定部に相当する。
　なお、本実施形態において、視点テーブル生成部２３は、ユーザの視点位置に応じた視点情報を生成する生成部に相当する。
　なお、本実施形態において、視点テーブルは、視点情報に相当する。
　なお、本実施形態において、表示制御部４０は、第一のタイミングにおける第１の視点情報に対して、第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する表示制御部に相当する。
　なお、本実施形態において、視点テーブルオフセット算出部４１は、第二のタイミングにおけるユーザの視点位置に基づいて、補正情報を算出する算出部に相当する。
　なお、本実施形態において、表示部５０は、表示装置に相当する。
　なお、本実施形態において、表示部５０の複数のスライスは、表示装置の第１の領域及び第１の領域に隣接した第２の領域に相当する。
　図３は、視点テーブルに基づくオフセットの算出を示すフローチャートである。
　本実施形態では、図３に示すフローチャートは、１フレームごとに処理が行われる。すなわち、ステップ１０１～ステップ１１２までの処理が１フレーム処理の開始及び終了を示す。
　図４は、表示部５０のスライス及び各ブロックの処理のタイミングチャートである。図４Ａは、表示部５０のスライスを示す模式図である。図４Ｂは各ブロックの処理のタイミングチャートである。
　センサ部１０により、センサ情報が取得される（ステップ１０１）。顔位置推定部２１によりユーザの顔位置の位置情報が推定される（ステップ１０２）。図４Ｂに示すように、この推定処理は別スレッドで随時実行される。
　画像描画部２２により、左目画像及び右目画像が描画される（ステップ１０３）。本実施形態では、図４Ｂに示すように、画像の生成に最新の顔位置の推定結果６０が用いられる。
　視点テーブル生成部２３により、ユーザの顔位置の推定結果に基づいて、出力画像の各サブピクセルの視点画像が算出され、視点テーブルが生成される（ステップ１０４）。図４Ｂでは、最新のユーザの顔位置の推定結果６２（第１のタイミング）が視点テーブルの生成に用いられる。これ以外にも、画像の生成に用いられた推定結果が用いられてもよい。
　図４Ａに示すように表示部５０は、横方向（描画方向）にスライスされる。本実施形態では、表示部５０は、４つのスライスに分けられる。また本実施形態では、処理対象のサブピクセル５５の座標（ｗ，ｈ）に基づいて、視点テーブルのオフセット及び視点番号が決定される。
　図３に示すように、視点テーブルオフセット算出部４１により、サブピクセル５５の座標ｈが出力画像のＨｅｉｇｈｔよりも低いか否かが判定される（ステップ１０５）。サブピクセル５５の座標ｈがＨｅｉｇｈｔよりも低い場合（ステップ１０５のＹＥＳ）、サブピクセル５５の座標ｗが出力画像のＷｉｄｔｈの３倍よりも低いか否かが判定される（ステップ１０６）。
　また視点テーブルオフセット算出部４１により、サブピクセル５５の座標ｗがＷｉｄｔｈの３倍よりも低い場合（ステップ１０６のＹＥＳ）、サブピクセル５５の座標ｈがスライスの先頭、かつｗ＝０か否かが判定される（ステップ１０７）。
　スライスの先頭とは、各スライスの最も高い座標を示す。例えば、Ｈｅｉｇｈｔが１０００［ｐｘ］で、スライス数が４の場合、スライスの先頭の座標ｈは、０、２５０、５００、７５０となる。
　サブピクセル５５の座標ｈがスライスの先頭、かつｗ＝０の場合（ステップ１０７のＹＥＳ）、視点テーブルオフセット算出部４１により、最新の顔位置の推定結果６４（第２のタイミング）に基づいて視点テーブルのオフセットが算出される（ステップ１０８）。本実施形態では、図４Ｂに示すように、事前に設定された表示部５０の各スライスの左上部の発光が始まる前に視点テーブルのオフセットが算出される。また図４Ｂに示すように、ステップ１０３からステップ１０８までの処理が１フレーム周期で行われる。同様に、ステップ１０９からディスプレイの発光までの処理も１フレーム周期で行われる。
　視点テーブルオフセット算出部４１は、水平方向及び垂直方向の視点画像幅と、視点テーブル生成部２３で使用された顔位置の推定結果６２と、オフセットの算出の際に用いられる顔位置の推定結果６４との差からオフセットを算出する。
　典型的に、レンチキュラーレンズが用いられた立体画像を表示可能な表示装置において、各視点番号の画素が見える幅は、レンチキュラーレンズとディスプレイとのパラメータから算出される。
　図５は、視点画像幅の例を示す模式図である。
　図５に示すように、ユーザ７０には、レンチキュラーレンズ７１により右目には視点６画像、左目には視点４画像が見えている。ユーザ７０が位置を変えることで、各目に見える視点画像も異なる。例えば、水平方向の視点画像幅７２が３２．５ｍｍの場合に、ユーザ７０の頭の位置が３２．５ｍｍ以上動いたかに応じてオフセットが算出される。すなわち、視点画像幅Ｘでユーザ７０の頭がｘ移動した場合、オフセットは、ｆｌｏｏｒ（ｘ／Ｘ）となる。同様にＹ軸方向、Ｚ軸方向におけるユーザ７０の移動についてもオフセットが算出されてもよい。
　視点番号決定部４２により、生成された視点テーブル及び算出されたオフセットに基づいて、左目画像又は右目画像のどちらの画像の色を発光するかを決定する（ステップ１０９）。本実施形態では、図４Ｂに示すように、視点番号決定部４２は、表示部５０の各サブピクセルの描画ごとに呼ばれる。
　出力サブピクセルルックアップ部４３により、視点番号決定部４２の決定結果に基づいて、左目画像又は右目画像から画素値をフェッチし、ディスプレイに発光される（ステップ１１１）。
　処理対象のサブピクセル５５の座標に対してｗ＋１を行う（ステップ１１２）。すなわち、表示部５０のスライス方向に１つずれた座標のサブピクセルを対象にする。対象のサブピクセルは、ステップ１０６の判定が行われる。またサブピクセルの座標はｗ＋１されるため、ステップ１０７の判定を満たさないため、ステップ１０９へ移行する。すなわち、視点テーブルオフセット算出部は、スライス単位で呼ばれる。
　これらの動作を繰り返すことで、対象のサブピクセルの座標がＷｉｄｔｈの３倍を超えた場合（ステップ１０６のＮＯ）、対象のサブピクセルの座標に対してｈ＋１を行う（ステップ１１３）。
　ステップ１１２及びステップ１１３がフレーム周期内にスライス分だけ繰り返されることで、表示部５０の全体の発光が完了する。
　以上、本実施形態に係る表示制御部４０は、顔位置の推定結果６２における視点テーブルに対して、顔位置の推定結果６４におけるユーザの視点位置に応じたオフセットに基づく視点テーブルに基づいて、表示部５０のスライス１及びスライス２の表示処理が実行される。これにより、高品質な視聴体験を実現することが可能となる。
　従来、１人使用を前提としたレンチキュラーレンズを用いた３Ｄ立体視可能なディスプレイにおいて、ユーザの顔が移動することで出力画像を生成するときに前提としていた
顔の位置と実際にディスプレイが発光した際の顔の位置とが一致しないことがある。そのため動的クロストークが発生し立体視が阻害される。
　本技術では、ディスプレイ画面を複数のスライスに分け、その各スライスの上部を表示し始めるタイミングにユーザの顔位置の推定結果を取得する。その推定結果を用いて視点テーブルにオフセットを加えることで、ユーザの顔位置の移動によって発生する動的クロストークを軽減する。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　上記の実施形態では、視点テーブル生成部２３により最新の顔位置の推定結果が用いられ視点テーブルが生成された。これに限定されず、ユーザの顔位置に依存しない静的な視点テーブルが保持されてもよい。例えば、所定の位置のユーザの顔を基準とした基準視点テーブルが記憶部３０に記憶されてもよい。またこの場合、視点テーブルオフセット算出部４１は、最新の推定された顔位置と基準の顔位置との差分からオフセットを算出してもよい。
　上記の実施形態では、それぞれの最新の顔位置の推定結果が用いられ、視点テーブルの生成やオフセットの算出が行われた。これに限定されず、取得されたセンサ情報から推定された顔位置を基準に、その顔位置の推定結果が使用されるまでの時差分の移動量が予測されてもよい。
　上記の実施形態では、視点テーブルの生成やオフセットの算出に用いられる顔位置の推定を行う方法（アルゴリズム）は同じ方法が用いられた。これに限定されず、顔位置の推定方法は異なっていてもよい。オフセットを算出する際に、視点テーブル生成部２３で使用された顔位置の推定結果からの移動量が用いられてもよい。例えば、視点テーブル生成部２３では、ＲＧＢカメラ画像を用いて顔位置が推定され、視点テーブルオフセット算出部４１では、ＤＶＳカメラの情報から推定した視点テーブル生成部２３の処理時から移動した顔位置の移動量が使用されてもよい。すなわち、精度が異なる推定方法、又は推定にかかる時間に差がある推定方法が用いられてもよい。またセンサ部１０が精度や取得にかかる時間が異なるセンサを２種類以上有してもよい。
　上記の実施形態では、表示部のスライス数が４つに設定された。これに限定されず、スライス数は顔位置の推定処理の処理時間の間に描画される幅で決定されてもよい。例えば、ラスタスキャン発光方式のディスプレイにおける画面上部と画面下部での発行するタイミングの時差が１６ｍｓの場合に処理時間が８ｍｓかかるとすると、スライス数が２と決定される。またこの場合、顔位置の推定処理をＶｓｙｎｃと同期させてもよい。
　またレンチキュラーレンズとディスプレイとが斜めに貼り合わせられる場合、視点番号に縦方向の周期性が生じる。この周期単位でスライス幅が決定されてもよい。例えば、縦方向の周期が６ｐｘの場合、スライス幅を６ｐｘ、スライス数をＨｅｉｇｈｔ／６としてもよい。また縦方向の周期の倍数をスライス幅としてもよい。
　上記の実施形態では、視点番号決定部４２により、視点テーブルからルックアップした視点番号に対し、オフセットの量だけインクリメントされた。これに限定されず、視点テーブルを実際の表示部５０の画面（ディスプレイ）よりも大きく生成し、オフセットの量だけ読み出し位置をずらしてもよい。例えば、実際の表示部５０の画面よりも大きい視点テーブルは、ディスプレイのスライス幅に依存するオフセットの算出周期の間に動くユーザの顔の動き量の想定される最大値を１視点あたりの視点画像幅で割った商が、想定される最大の視点番号の移動量となる。その移動量の分だけ視点テーブルが上下左右に大きく生成されてもよい。
　上記の実施形態では、裸眼立体ディスプレイ１００によりオフセットの算出等が行われた。これに限定されず、裸眼立体ディスプレイ１００の一部の機能がクラウドサーバにより機能してもよい。
　図６は、他の実施形態に係る裸眼立体ディスプレイ１００及び画像描画部７５を示すブロック図である。
　図６に示すように、画像描画部７５がクラウドサーバにより機能してもよい。描画のように重い処理がクラウドサーバにより機能してもよい。またクラウドサーバを用いることにより、コンテンツの配信や更新が容易に行え、クライアント側でのコンテンツにおけるチート行為や３Ｄモデルデータの抽出等の不正な利用を防ぐことが可能となる。
　また視点テーブル生成部２３がクラウドサーバにより機能してもよい。すなわち、デバイス特有の処理はクライアント側で実行され、ＡＲやＶＲ等の他のデバイスと共通の処理がクラウドサーバ側で実行されてもよい。
　各図面を参照して説明した視点テーブル生成部、視点テーブルオフセット算出部、視点番号決定部等の各構成、オフセットの算出フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
　また本技術に係る情報処理装置、情報処理方法、及び記録媒体は、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及び記録媒体の実行は、例えば、視点テーブルの生成、オフセットの算出、及び視点番号の決定等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理装置、情報処理方法、及び記録媒体は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
　以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）
　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する表示制御部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、さらに、
　前記第１のタイミングにおける前記第１の視点情報を取得し、前記第１の視点情報に応じて前記表示装置の描画処理を実行する描画部
　を具備する情報処理装置。
（３）（１）に記載の情報処理装置であって、
　前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含む
　情報処理装置。
（４）（１）に記載の情報処理装置であって、さらに、
　前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備する
　情報処理装置。
（５）（１）に記載の情報処理装置であって、
　前記補正情報は、前記視点番号を加算することを含む
　情報処理装置。
（６）（４）に記載の情報処理装置であって、
　前記算出部は、前記視点位置とは異なる前記第１のタイミングにおける他の視点位置、及び前記第２のタイミングにおける前記視点位置に基づいて、前記補正情報を算出する
　情報処理装置。
（７）（４）に記載の情報処理装置であって、
　前記第１の視点情報は、前記第１のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含む
　情報処理装置。
（８）（２）に記載の情報処理装置であって、
　前記タイミングは、前記出力画像の描画又は表示に関するタイミングであり、
　前記第１のタイミングは、前記出力画像の描画におけるタイミングであり、
　前記第２のタイミングは、前記出力画像の表示の際のタイミングである
　情報処理装置。
（９）（４）に記載の情報処理装置であって、
　前記算出部は、前記第１の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第３のタイミングにおける第３の視点位置に応じた他の補正情報に基づく第３の補正情報を算出する
　情報処理装置。
（１０）（１）に記載の情報処理装置であって
　前記表示装置は、ラスタスキャンディスプレイを有し、
　前記第１の領域及び前記第２の領域は、前記ラスタスキャンディスプレイの描画方向に分けられる
　情報処理装置。
（１１）（１）に記載の情報処理装置であって、さらに、
　前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備する
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって
　前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、さらに、
　各タイミングにおける前記ユーザの視点位置を推定する推定部を具備する
　情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
　前記推定部は、第１のセンサにより取得される第１のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定する
　情報処理装置。
（１５）（１４）に記載の情報処理装置であって、
　前記推定部は、第２のセンサにより取得される第２のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定する
　情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
　前記第２のセンサは、前記第１のセンサとは異なるセンサであり、
　前記推定部は、前記第２のセンサ情報と前記第１のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定する
　情報処理装置。
（１７）
　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する
　ことをコンピュータシステムが実行する情報処理方法。
（１８）
　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行するステップ
　をコンピュータシステムに実行させるプログラムを記載した記録媒体。
　５…視点テーブル
　２１…顔位置推定部
　２２…画像描画部
　２３…視点テーブル生成部
　４０…表示制御部
　４１…視点テーブルオフセット算出部
　４２…視点番号決定部
　１００…裸眼立体ディスプレイ

Claims (18)

  1. 　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する表示制御部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、さらに、
    　前記第１のタイミングにおける前記第１の視点情報を取得し、前記第１の視点情報に応じて前記表示装置の描画処理を実行する描画部
    　を具備する情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記視点情報は、前記視点位置の数に基づいて、前記表示装置に出力される出力画像のサブピクセルのマトリクスに基づく番号情報を含む
    　情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、さらに、
    　前記第二のタイミングにおける前記ユーザの視点位置に基づいて、前記補正情報を算出する算出部を具備する
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記補正情報は、前記視点番号を加算することを含む
    　情報処理装置。
  6. 　請求項４に記載の情報処理装置であって、
    　前記算出部は、前記視点位置とは異なる前記第１のタイミングにおける他の視点位置、及び前記第２のタイミングにおける前記視点位置に基づいて、前記補正情報を算出する
    　情報処理装置。
  7. 　請求項４に記載の情報処理装置であって、
    　前記第１の視点情報は、前記第１のタイミングにおける前記他の視点位置に基づく視点情報、又は前記ユーザの所定の位置における基準視点位置に基づく視点情報を含む
    　情報処理装置。
  8. 　請求項２に記載の情報処理装置であって、
    　前記タイミングは、前記出力画像の描画又は表示に関するタイミングであり、
    　前記第１のタイミングは、前記出力画像の描画におけるタイミングであり、
    　前記第２のタイミングは、前記出力画像の表示の際のタイミングである
    　情報処理装置。
  9. 　請求項４に記載の情報処理装置であって、
    　前記算出部は、前記第１の視点情報に対して、前記表示装置の所定の領域まで表示した際のタイミングである第３のタイミングにおける第３の視点位置に応じた他の補正情報に基づく第３の補正情報を算出する
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって
    　前記表示装置は、ラスタスキャンディスプレイを有し、
    　前記第１の領域及び前記第２の領域は、前記ラスタスキャンディスプレイの描画方向に分けられる
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、さらに、
    　前記ユーザの視点位置に応じた前記視点情報を生成する生成部を具備する
    　情報処理装置。
  12. 　請求項１１に記載の情報処理装置であって
    　前記生成部は、各タイミングにおける前記ユーザの視点位置を取得し、前記各タイミングにおける各々の視点位置に基づいて、前記視点情報を生成する
    　情報処理装置。
  13. 　請求項１２に記載の情報処理装置であって、さらに、
    　各タイミングにおける前記ユーザの視点位置を推定する推定部を具備する
    　情報処理装置。
  14. 　請求項１３に記載の情報処理装置であって、
    　前記推定部は、第１のセンサにより取得される第１のセンサ情報に基づいて、前記視点情報が生成される際の前記ユーザの視点位置を推定する
    　情報処理装置。
  15. 　請求項１４に記載の情報処理装置であって、
    　前記推定部は、第２のセンサにより取得される第２のセンサ情報に基づいて、前記補正情報が算出される際の前記ユーザの視点位置を推定する
    　情報処理装置。
  16. 　請求項１５に記載の情報処理装置であって、
    　前記第２のセンサは、前記第１のセンサとは異なるセンサであり、
    　前記推定部は、前記第２のセンサ情報と前記第１のセンサ情報との差分から、前記ユーザの視点位置の移動量を推定する
    　情報処理装置。
  17. 　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行する
    　ことをコンピュータシステムが実行する情報処理方法。
  18. 　第一のタイミングにおける第１の視点情報に対して、前記第一のタイミングの後の第二のタイミングにおけるユーザの視点位置に応じた補正情報に基づく第２の視点情報に基づいて、表示装置の第１の領域及び前記第１の領域に隣接した第２の領域の表示処理を実行するステップ
    　をコンピュータシステムに実行させるプログラムを記載した記録媒体。
PCT/JP2022/010253 2021-08-05 2022-03-09 情報処理装置、情報処理方法、及び記録媒体 WO2023013130A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-128732 2021-08-05
JP2021128732 2021-08-05

Publications (1)

Publication Number Publication Date
WO2023013130A1 true WO2023013130A1 (ja) 2023-02-09

Family

ID=85154167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010253 WO2023013130A1 (ja) 2021-08-05 2022-03-09 情報処理装置、情報処理方法、及び記録媒体

Country Status (1)

Country Link
WO (1) WO2023013130A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016966A (ja) * 2011-07-01 2013-01-24 Japan Display West Co Ltd 表示装置
JP2014072602A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 多視点画像生成装置及び方法
JP2016116221A (ja) * 2014-12-10 2016-06-23 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄ表示のための装置及び方法
WO2019026765A1 (ja) * 2017-08-02 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
WO2020071029A1 (ja) * 2018-10-04 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013016966A (ja) * 2011-07-01 2013-01-24 Japan Display West Co Ltd 表示装置
JP2014072602A (ja) * 2012-09-28 2014-04-21 Jvc Kenwood Corp 多視点画像生成装置及び方法
JP2016116221A (ja) * 2014-12-10 2016-06-23 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄ表示のための装置及び方法
WO2019026765A1 (ja) * 2017-08-02 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法
WO2020071029A1 (ja) * 2018-10-04 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体

Similar Documents

Publication Publication Date Title
JP6866297B2 (ja) ヘッドマウントディスプレイの電子ディスプレイ安定化
EP3712840A1 (en) Method and system for generating an image of a subject in a scene
US9251621B2 (en) Point reposition depth mapping
US8189035B2 (en) Method and apparatus for rendering virtual see-through scenes on single or tiled displays
US20150304624A1 (en) Optimal depth mapping
EP3057066A1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
JP2019517012A5 (ja)
US20130038600A1 (en) System and Method of Processing 3D Stereoscopic Image
TWI594018B (zh) 廣視角裸眼立體圖像顯示方法、裸眼立體顯示設備以及其操作方法
JP2007052304A (ja) 映像表示システム
KR20120075829A (ko) 적응적 부화소 렌더링 장치 및 방법
WO2013073028A1 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
US10553014B2 (en) Image generating method, device and computer executable non-volatile storage medium
US10136121B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
KR20180099703A (ko) 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
CN110956695A (zh) 信息处理装置、信息处理方法和存储介质
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
US20170359562A1 (en) Methods and systems for producing a magnified 3d image
US20130210520A1 (en) Storage medium having stored therein game program, game apparatus, game system, and game image generation method
JP6687751B2 (ja) 画像表示システム、画像表示装置、その制御方法、及びプログラム
WO2023013130A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
De Sorbier et al. Augmented reality for 3D TV using depth camera input

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22852559

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE