WO2017085803A1 - 映像表示装置及び映像表示方法 - Google Patents

映像表示装置及び映像表示方法 Download PDF

Info

Publication number
WO2017085803A1
WO2017085803A1 PCT/JP2015/082377 JP2015082377W WO2017085803A1 WO 2017085803 A1 WO2017085803 A1 WO 2017085803A1 JP 2015082377 W JP2015082377 W JP 2015082377W WO 2017085803 A1 WO2017085803 A1 WO 2017085803A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
display device
video display
unit
sight
Prior art date
Application number
PCT/JP2015/082377
Other languages
English (en)
French (fr)
Inventor
伸宏 福田
隆 金丸
哲 伊達
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2015/082377 priority Critical patent/WO2017085803A1/ja
Publication of WO2017085803A1 publication Critical patent/WO2017085803A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Definitions

  • the present invention relates to a video display device and a video display method.
  • 3DTV 3D television
  • HMD head mounted displays
  • the stereoscopic video display device is a display device created to obtain a higher sense of reality and realism than a 2D video image that has been displayed on a plane like a photograph so far by applying the stereoscopic vision mechanism using binocular parallax. It is.
  • the stereoscopic image display device includes (i) an autostereoscopic method that allows the naked eye to see the stereoscopic image surface using lenticulars and holograms, and (ii) glasses that view the stereoscopic image surface through polarized glasses or active shutter glasses.
  • an autostereoscopic method that allows the naked eye to see the stereoscopic image surface using lenticulars and holograms
  • glasses that view the stereoscopic image surface through polarized glasses or active shutter glasses.
  • There are various systems such as a system, (iii) a wearable system in which left and right individual displays are mounted on the head position of an HMD or smart glass, and stereoscopic viewing is performed.
  • the autostereoscopic method is ideal because it allows viewing without wearing anything on the body.
  • the autostereoscopic method has problems of limitation of the viewing position and high resolution, and it takes cost to solve these problems. Therefore, in general, stereoscopic viewing is often performed using a glasses-type 3D TV or a 3D projector. Wearable systems are also beginning to be used for amusement and industrial purposes.
  • Patent Document 1 As a method for obtaining a sense of reality without using a stereoscopic mechanism using binocular parallax.
  • Patent Document 1 describes a video generation method for generating an image with a depth of field to which blurring processing or the like is added.
  • a 3DCG (Computer Graphics) image is generated from visual information having a depth of field using line-of-sight analysis data and Z information data (depth information).
  • Japanese Patent Application Laid-Open No. 2004-228561 describes performing blurring processing using eye focal length data in addition to line-of-sight analysis data and Z information data.
  • a conventional 3D image display device using eyeglasses or wearable for example, a video created under certain conditions such as a 3D movie
  • the captured or created environment may differ from the actual viewing situation of the subject (for example, the difference between the stereo camera interval and the interpupillary interval of the subject). If viewing is continued under such circumstances, eye movements such as convergence do not match the video, making viewing difficult and sometimes causing eye strain. Also, some subjects have difficulty in merging the left and right images, which may cause binocular rivalry and cause eye strain.
  • Patent Document 1 is a technology that imitates the lens effect of the eye, and does not use the conventional stereoscopic image display device, and thus does not cause the above-mentioned eye strain.
  • a perspective CG image such as video imaging can be displayed in real time, but since the binocular parallax effect is not taken into consideration, the stereoscopic effect of the stereoscopic image cannot be obtained. .
  • the present invention provides a technique capable of performing pseudo-stereoscopic image display in a general video display device (for example, a TV or a projector) that displays 2D video.
  • a general video display device for example, a TV or a projector
  • the present application includes a plurality of means for solving the above-described problems.
  • a line-of-sight detection unit that detects the position of the line of sight and a left and right video signal are received as input signals.
  • a video display device is provided that includes a video composition unit that creates a composite video signal of the left and right video signals in consideration of depth, and a video display unit that displays the composite video signal.
  • the step of detecting the position of the line of sight by the line-of-sight detection unit, and the video composition unit receives the left and right video signals as input signals, and takes the position of the line of sight and the depth of the object into consideration.
  • a video display method including a step of creating a composite video signal of left and right video signals, and a step of displaying the composite video signal by a video display unit.
  • the present embodiment relates to a video display device, and more particularly, to a video display device that includes a line-of-sight detection unit and a video processing unit that corrects a stereo video to a stereoscopic video according to a gazing point.
  • FIG. 1 is an example of a configuration diagram of a video display device according to the present embodiment.
  • the video display device includes a video processing unit 200, a video display unit 300, and a line-of-sight detection unit 400.
  • the video processing unit 200 receives the video data signal 102 from the video data 101 and the line-of-sight data signal 106 from the line-of-sight detection unit 400 as input signals, obtains a gazing point on the screen, and obtains left-eye and right-eye video, that is, stereo video. Generate. Thereafter, the video processing unit 200 performs a synthesis process of the generated left-eye and right-eye videos.
  • the video display unit 300 receives the composite video signal 103 synthesized by the video processing unit 200 as an input signal and displays the video 104 for the subject (observer).
  • the video display unit 300 is a display such as a TV, a projector, or an HMD.
  • the video data 101 is a storage device that accumulates CG data, for example, an HDD, a CD, a memory, or a storage device on a network.
  • the line-of-sight detection unit 400 receives the optically input video 105 as an input, and outputs the line-of-sight data signal 106 by capturing the movement of the subject's line of sight.
  • the detection of the line of sight in the line-of-sight detection unit 400 is typically a detection method using a corneal reflection method, for example.
  • the line-of-sight detection unit 400 includes, for example, an infrared lamp and an infrared camera as shown in the configuration diagram of the corneal reflection method in FIG. 14A.
  • the line-of-sight detection unit 400 may be configured in the stationary form of FIG. 14B or the glasses type of FIG. 14C.
  • FIG. 15 is a diagram for explaining the principle of the corneal reflection method.
  • the corneal reflection method is a technique for calculating the line-of-sight position by relatively measuring the pupil position with reference to light reflected by the cornea by applying infrared light to the eyes.
  • the timing of detecting a line of sight in the line-of-sight detection unit 400 is different from the timing of creating a video in the video processing unit 200, and therefore the line-of-sight data signal 106 is temporarily held in a buffer such as a memory at the line-of-sight data output timing Then, it may be input to the video processing unit 200 in accordance with the video synthesis end timing.
  • FIG. 2 is a diagram illustrating an example of the video processing unit 200 of the video display device according to the first embodiment.
  • the video processing unit 200 may be configured by a part of, for example, a CPU (Central Processing Unit), a GPU (Graphic Processing Unit), or an FPGA (Field-Programmable Gate Array), or all of them are mounted. It may be composed of a PC (Personal Computer). As another example, the video processing unit 200 may be configured by hardware such as a dedicated board.
  • the video processing unit 200 includes a gazing point calculation unit 201, a left-eye video generation unit 203, a right-eye video generation unit 204, a video composition unit, and a frame memory 208.
  • the gaze point calculation unit 201 receives the video data signal 102, the line-of-sight data signal 106, and the pixel data signal 209 of the display screen as input signals, and calculates the gaze point of the viewing video.
  • the gazing point information includes video background and object depth information.
  • the gaze point calculation unit 201 outputs the calculated gaze point signal 202 to the left eye video generation unit 203 and the right eye video generation unit 204.
  • the left-eye video generation unit 203 and the right-eye video generation unit 204 receive the gazing point signal 202 and the video data signal 102 as input signals.
  • the left eye video generation unit 203 generates a left eye video signal 205 based on the gazing point signal 202 and the video data signal 102, and outputs the left eye video signal 205 to the video synthesis unit 207.
  • the right eye video generation unit 204 generates a right eye video signal 206 based on the gazing point signal 202 and the video data signal 102, and outputs the right eye video signal 206 to the video synthesis unit 207.
  • the video synthesis unit 207 receives the line-of-sight data signal 106, the left-eye video signal 205, and the right-eye video signal 206 as input signals, synthesizes the left-eye video signal 205 and the right-eye video signal 206, and outputs the synthesized video signal 103.
  • the composite video signal 103 is a video that takes into consideration the position of the line of sight and binocular parallax.
  • the frame memory 208 receives the left-eye video signal 205 and the right-eye video signal 206 as input signals and accumulates pixel data for one screen.
  • the timing for generating a video in the video processing unit 200 may be different from the timing for displaying a video in the video display unit 300, or there may not be sufficient video processing time until the video display switching timing even if the timing is the same.
  • a holding buffer read buffer
  • a buffer write buffer
  • the write buffer and the read buffer may be switched in accordance with the video display switching timing, that is, the vertical synchronization timing, and the video may be acquired from the read buffer.
  • a drawing process using this method is called double buffering, and a method using only one buffer without switching is called single buffering.
  • FIG. 16 is a diagram for explaining an example of the buffer switching method in the first embodiment, that is, double buffering.
  • the video processing unit 200 includes a switching unit 1100, for example.
  • the switching unit 1100 has a data input signal 1101 and a data output signal 1103.
  • the switching unit 1100 includes two switches 1104 and 1105.
  • the switching unit 1100 switches input / output of the memory 1 (1110) and the memory 2 (1111) by switching the two switches 1104 and 1105 according to the synchronization signal 1102.
  • the data input signal 1101 is connected to the input 1106 of the memory 1 (1110)
  • the data output signal 1103 is connected to the output 1109 of the memory 2 (1111).
  • switching is performed by the switches 1104 and 1105.
  • the data input signal 1101 is connected to the input 1108 of the memory 2 (1111)
  • the data output signal 1103 is connected to the output 1107 of the memory 1 (1110).
  • the output signal of the video processing unit 200 is replaced with the data input signal 1101 instead of the composite video signal 103 of FIG.
  • the signal may be replaced with the data output signal 1103.
  • the synchronization signal 1102 may be a signal that informs the end of composition from the video composition unit 207 (for example, an output signal such as a flag of 0 for the steady state and 1 for the end), or a vertical synchronization signal. May be. Further, a signal that is switched in the vertical synchronization after the synthesis is completed may be used.
  • FIG. 17 is a diagram for explaining an example of a method for creating a synchronization signal in the first embodiment.
  • CLK is a clock signal for the CPU, GPU or FPGA
  • STAT is a signal for notifying the completion state of the composition processing in the image composition unit 207, for example, a signal indicating 1 for completion and 0 for processing. If the signal SYNC for detecting the vertical synchronization signal detects vertical synchronization while the STAT is in the end state (1201), the STAT transitions from the end state to in-process, and a signal FLIP for switching the buffer is generated (1202).
  • the FLIP signal may be used as the synchronization signal 1102 in FIG.
  • FIG. 3 is a diagram for explaining a method for creating a left-eye image in the first embodiment.
  • the processing of the left eye video generation unit 203 will be described using this figure.
  • the CG space is generally configured on orthogonal coordinate axes called world coordinates 501 having three axes, where the horizontal axis is the X axis, the vertical axis is the Y axis, and the depth direction is the Z axis.
  • the three-dimensional data arranged in the CG space, that is, the object 502 is created by triangular elements called polygons.
  • FIG. 3 shows an example in which the object 502 has a gazing point 508.
  • CG image is created by projecting the arranged object from the viewpoint position onto a virtual two-dimensional plane, that is, a screen.
  • a virtual two-dimensional plane that is, a screen.
  • parallel projection or perspective projection is used, but in FIG. 3, perspective projection is used to obtain a perspective.
  • the world coordinates are orthogonal coordinates with the origin as the viewpoint 503, the head-front direction as the Z-axis (however, the negative direction), the overhead as the Y-axis, and the horizontal direction of the left and right eyes as the X-axis.
  • perspective projection is performed by projecting an object by a hexahedral view volume 505 in which a limit surface is set before and after a depth (Z coordinate) direction in a square pyramid composed of an origin 503 and a screen 504 perpendicular to the Z axis.
  • the front limit surface is referred to as a near clip surface 506, and the depth limit surface is referred to as a far clip surface 507.
  • the near clip surface 506 and the screen 504 are often handled as the same surface.
  • the depth information (Z coordinate) of the pixels in the CG video is assigned between the near clip plane and the far clip plane.
  • a point on the object is a (x0, y0, z0, w0) T four-dimensional vector (T is transposed), and a vector after movement (geometric transformation) of the viewpoint or object is (xe, ye, ze, we) T
  • a 4 ⁇ 4 matrix M it is expressed as shown in Equation 1.
  • the vector (xe, ye, ze, we) T is a position vector in world coordinates with the viewpoint as the origin.
  • the matrix M is represented by a matrix product such as a translation Mt, a rotation Mr, and a scale Ms, and in particular, a translation of (tx, ty, tz) T, a 3 ⁇ 3 rotation matrix R, (sx, sy, sz). ) Is expressed by Equation 2.
  • the near clip plane Z coordinate is n
  • the far clip plane Z coordinate is f
  • the left end X coordinate is l
  • the right end X coordinate is r
  • the top Y coordinate is t
  • the bottom Y coordinate is b.
  • Equation 4 (xc, yc, zc, wc) T is a vector in a homogeneous coordinate system. Dividing this by wc yields Equation 4.
  • the number of pixels of the width and height of the display screen is set to W and H, and conversion is performed as shown in Equation 5.
  • (xw, yw) is a pixel position on the screen.
  • Equation 6 Equation 6 is obtained.
  • the zb value obtained by Expression 6 is stored in addition to the color information.
  • the above is the calculation of the left-eye image generation unit 203.
  • the right eye image generation unit 204 may perform the same calculation with the right eye position as the viewpoint.
  • FIG. 4 is a diagram for explaining the relationship between the left-eye image and the gazing point in the first embodiment. The processing of the gazing point calculation unit 201 will be described with reference to this figure.
  • the image projected on the screen 504 in FIG. 3 is like the left-eye image in FIG.
  • the pixel position (xw, yw) of the gazing point 601 is known from the line-of-sight data signal 106 obtained from the line-of-sight detection unit 400, zb stored in the frame memory 208 can be obtained. Therefore, when Equation 6 is calculated backward and the world coordinate position is obtained, Equation 7 is obtained.
  • the gazing point calculation unit 201 outputs the obtained gazing point information to the left-eye image generation unit 203 or the right-eye image generation unit 204.
  • the gaze point information includes plane position information (X, Y coordinates) and depth information (Z coordinate) of the gaze point. As a result, an image in consideration of congestion on the gazing point can be obtained from each viewpoint.
  • the gaze point calculation unit 201 may receive a signal related to the interval between the pupils as the setting parameter signal 211.
  • FIG. 11 is a diagram for explaining a method for setting the interpupillary distance according to the first embodiment.
  • the PC constituting the video processing unit 200 may display the setting screen shown in FIG. Thereby, the space
  • the gaze point calculation unit 201 may include the setting of the interpupillary interval in the gaze point information.
  • the gaze point calculation unit 201 may obtain depth information (Z coordinate value) of the gaze point as described below.
  • the gazing point calculation unit 201 maintains a state where the gazing point 601 is in the object 602 if there is no object as a background, that is, no visible object, and the object 603 behind the gazing point 601.
  • the gaze point is calculated after moving.
  • the gazing point calculation unit 201 when the gazing point 601 passes through the area without the object between the first object 602 and the second object 602, the first gazing point immediately before the gazing point 601 is present.
  • the depth information (Z coordinate value) of the object 602 is used.
  • the gazing point calculation unit 201 calculates the gazing point as infinity (here, the limit value of the z coordinate value). That's fine.
  • the difference in depth (Z coordinate value) between the objects 602 and 603 is larger than a predetermined value, or some object exists in the background, and the depth between the objects 602 and 603 (Z Consider a case where the difference in coordinate values is greater than a predetermined value.
  • the gaze point calculation unit 201 holds the previous Z coordinate value, and uses the Z coordinate value of the gaze point as a linear interpolation value of the Z coordinate value between two objects (here, the objects 602 and 603). That's fine.
  • the gazing point calculation unit 201 when the gazing point moves from the first object 602 to the second object 603, the depth information of the first object 602 immediately before the movement and the depth information of the second object 603 that is the movement destination, If there is a predetermined difference, the focus adaptation time t until the second object 603 is focused is adjusted.
  • the gazing point calculation unit 201 may receive the focus adaptation time as the parameter signal 211.
  • FIG. 18 is a diagram for explaining a method for setting the focus adaptation time in the first embodiment.
  • the PC constituting the video processing unit 200 may display the setting screen shown in FIG.
  • the gazing point calculation unit 201 calculates the gazing point immediately without delay.
  • t 1.0 seconds is set.
  • first and second threshold values TH0 and TH1 that satisfy 0 ⁇ TH0 ⁇ TH1 are used.
  • the first and second threshold values TH0 and TH1 may be set in the gaze point calculation unit 201 in advance, or may be set by the user.
  • the gaze point calculation unit 201 may calculate a linear interpolation value of a Z coordinate value between two objects according to a focus adaptation time described below. Assuming that the z coordinate value immediately before the point of sight (line of sight) moves is ze, the focus adaptation time is 0 when ze ⁇ TH0. On the other hand, when TH0 ⁇ ze ⁇ TH1, the focus adaptation time changes linearly at t ⁇ (ze ⁇ TH0) / (TH1 ⁇ TH0). In TH1 ⁇ ze, the focus adaptation time is t.
  • FIG. 5A and FIG. 5B are diagrams for explaining an image obtained by combining the left and right images of the first embodiment. The processing of the video composition unit 207 will be described with reference to these drawings.
  • the video composition unit 207 creates the composite video shown in FIG. 5A as the composite video signal 103 obtained by blending the left and right videos.
  • the video composition unit 207 creates the composite video shown in FIG. 5B as the composite video signal 103 obtained by blending the left and right videos.
  • the composite video signal 103 is a video that takes into consideration the position of the line of sight and binocular parallax.
  • the video composition unit 207 may receive a signal relating to the blend ratio of the left-eye video and the right-eye video as the parameter signal 210 for setting.
  • the left-eye video signal is Il
  • the right-eye video signal is Ir
  • the combined signal is Ib
  • the blend rate is ⁇
  • FIG. 6 is a diagram for explaining a video selection method according to effectiveness in the first embodiment.
  • the PC constituting the video processing unit 200 may display the setting screen shown in FIG.
  • the video composition unit 207 may create a composite video signal by increasing the blend ratio with respect to the effective video signal.
  • FIG. 7 is a diagram for explaining the ratio setting of the video according to the effect in the first embodiment.
  • the PC constituting the video processing unit 200 may display the setting screen shown in FIG.
  • Equation 8 is transformed into Equation 9.
  • the level 801 indicating the ratio can be set to the ⁇ value.
  • the video composition unit 207 may receive information on the effect of the peripheral visual field as the setting parameter signal 210 and may include the effect of the peripheral visual field in the composite video signal 103.
  • the human eye can obtain high-definition visual perception in the central part (fovea) of the line of sight, but the perception is reduced from the peripheral part (peripheral visual field) that is shifted about twice from the line of sight.
  • the video is processed by a process of reducing contrast or a convolution operation in a region away from the gazing point (for example, a range of the viewing angle of 2 degrees or more from the gazing point). A process of hesitation may be executed.
  • the effect of deception may be calculated by a convolution product of a normal distribution.
  • the contrast reduction may be performed, for example, by reducing the ratio of the difference between the average luminance and the target pixel luminance.
  • the average luminance may be an average value of the entire video, or may be an average value of L pixels locally, that is, around the target pixel.
  • the local average luminance value Iave is expressed by Equation 10 when the pixel luminance value I (x, y) is used.
  • the reduced contrast I ′ (x, y) is expressed by Equation 11 when the ratio is ⁇ .
  • Equation 12 the luminance I ′ (x, y) by the convolution calculation for L pixels around the target pixel is expressed by Equation 12 when the kernel is G (x, y).
  • the kernel may be an average value filter, or a Gaussian distribution filter as shown in FIG.
  • FIG. 9 is a diagram for explaining an example of the blend ratio for the peripheral visual field and the video near the fovea.
  • the blend rate becomes 1.0 in the line-of-sight direction, and the blend rate is attenuated when the line is shifted from the line-of-sight by 2 degrees. It becomes.
  • the blended luminance is expressed by Equation 13.
  • FIG. 10 is a diagram for explaining the intensity setting of the peripheral visual field effect according to the first embodiment.
  • the PC constituting the video processing unit 200 may display the setting screen shown in FIG.
  • the peripheral visual field effect is performed by adjusting the contrast, for example.
  • ⁇ 1.0.
  • ⁇ 0.9.
  • ⁇ may be set to 0.8 when “medium” is selected on the setting screen, and ⁇ may be set to 0.7 when “strong” is selected.
  • the size of the number of pixels L to be averaged may be changed.
  • Gaussian distribution it is necessary to change the variance value or the standard deviation at the same time.
  • the above method can add a peripheral vision effect to the composite image, but it may also add an eye lens effect at the same time.
  • the lens effect of the eye that is, the focus shift may be expressed according to the depth of field.
  • the focus shift may be calculated by a convolution product of a normal distribution.
  • the video composition unit 207 performs the above Gaussian distribution filter according to the Z coordinate value of the pixel. May be used to create a composite video.
  • the video composition unit 207 may create a composite image reflecting the lens effect of the eyes using an average value filter for simplicity.
  • the image composition unit 207 may change the intensity setting of the eye lens effect according to the Z coordinate value.
  • FIG. 12 is a diagram for explaining a user profile setting method in the first embodiment.
  • the PC constituting the video processing unit 200 may display the setting screen shown in FIG.
  • at least one setting information of FIGS. 6, 7, 10, 11, and 18 can be stored as a user profile in a predetermined storage device. Thereby, it is possible to save time and labor for setting the setting information every time the user uses the video display device.
  • the remote controller shown in FIG. 13 may be used when operating the setting screen of FIG.
  • the cursor 901 can be moved with the up and down buttons of the remote controller.
  • the user's profile can be determined with the determination button on the remote controller (902).
  • the video display apparatus includes a gaze detection unit 400 that detects a gaze position, a gaze point calculation unit 201 that acquires video background and object depth information, and a gaze position and depth information. Accordingly, a video synthesis unit 207 that synthesizes and corrects left and right videos is provided. According to this configuration, by imitating a video in which left and right parallax images are fused in the brain, it is possible to create a three-dimensional composite video that takes into account congestion according to the point of gaze. Further, in a general video display device such as a TV or a projector, it is possible to artificially create an autostereoscopic video without causing eye strain.
  • FIG. 19 is an example of a configuration diagram of the video display apparatus according to the second embodiment. Constituent elements described in the above-described embodiments are denoted by the same reference numerals and description thereof is omitted.
  • the video data 101 of the second embodiment is a storage device that accumulates stereo image data, and is, for example, a storage device on an HDD, CD, memory, or network.
  • the video data in this example is captured by the remote stereo camera 107 that follows the movement and convergence of the head position.
  • the remote stereo camera 107 can capture L video (left video) and R video (right video) with parallax.
  • L video left video
  • R video right video
  • the observer operates the remote stereo camera 107 mounted on the robot or the like and performs the operation while viewing the remote operation screen.
  • the video display unit 300 of the second embodiment is a device that receives the composite video signal 103 as an input signal and displays the video 104 to the observer.
  • the video display unit 300 is a display that follows the movement of the head position, such as an HMD.
  • the video composition unit 207 can receive the video data signal 102 and the line-of-sight data signal 106 of the stereo video, and can create a composite video signal in consideration of the position of the line of sight and the depth of the object.
  • pseudo-stereoscopic images can be created without causing eye strain even in stereo imaging, and long-time work is possible even in remote control using a robot or the like. Become.
  • FIG. 20 is a diagram for explaining an example of the video processing unit 200 of the video display device in the third embodiment.
  • the other components of the video display device may be the same as in the first embodiment.
  • the video data 101 of the third embodiment is a storage device that accumulates imaging data, and is, for example, an HDD, a CD, a memory, or a storage device on a network.
  • the video data signal 102 is an image captured by a monocular camera without depth information.
  • the frame memory 208 for Z coordinate calculation and the input / output signals associated therewith are not required in the video processing unit 200 shown in FIG.
  • FIG. 21 is a diagram for explaining a method of generating a parallax image in the third embodiment.
  • the gazing point calculation unit 201 calculates information regarding the gazing point from the position of the line of sight in the monocular original image.
  • the left-eye video generation unit 203 or the right-eye video generation unit 204 generates a pseudo-parallax video. For example, it is assumed that an area corresponding to a radius R pixel is the foveal vicinity 1002 with the gazing point 1001 as a reference.
  • the left-eye image generating unit 203 or the right-eye image generating unit 204 fixes the foveal vicinity 1002 and shifts the region other than the foveal vicinity (that is, the peripheral visual field region) uniformly to the left or right, thereby pseudo A parallax image with parallax is generated.
  • the original image and the parallax image are input to the image composition unit 207.
  • the video composition unit 207 may receive information on the peripheral visual field effect described with reference to FIGS. 8, 9, and 10 as the setting parameter signal 210.
  • the video composition unit 207 creates the composite video signal 103 by blending the original image and the parallax image using the blend ratio described with reference to FIG. Therefore, the video composition unit 207 can create a composite video signal in consideration of the position of the line of sight and the depth of the object.
  • the video composition unit 207 may receive the effect information described with reference to FIG. 6 as the setting parameter signal 210, and create a composite image corresponding to the effect.
  • the original image may be set using the effect information.
  • the left eye image may be an original image and the right eye image may be a parallax image.
  • the video composition unit 207 may create a composite image using the parallax video that is uniformly shifted to the left and right.
  • the video composition unit 207 can smoothly move the video region other than the vicinity of the gazing point to the left or right by including the effect of the peripheral visual field in the composite video signal.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment.
  • the structure of another Example can also be added to the structure of a certain Example.
  • another configuration can be added, deleted, or replaced.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in various types of non-transitory computer-readable media.
  • non-transitory computer-readable medium for example, a flexible disk, a CD-ROM, a DVD-ROM, a hard disk, an optical disk, a magneto-optical disk, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, and the like are used.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. All the components may be connected to each other.
  • Video data 102
  • Video data signal 103
  • Composite video signal 106
  • Line of sight data signal 107
  • Remote stereo camera 200
  • Video processing unit 201
  • Gaze point calculation unit 202
  • Gaze point signal 203
  • Left eye video generation unit 204
  • Right eye video generation unit 205
  • Left eye video signal 206
  • Right eye video signal 207
  • Video composition unit 208 Frame memory 209
  • Pixel data signal 300
  • Video display unit 400 Line of sight detection unit 501
  • World coordinates 502
  • Object 503
  • View point (origin) 504 screen 505 view volume 506 near clip plane 507 far clip plane 601 gazing point 602 forward object 603 backward object 604 visual line locus 605 background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　映像表示装置は、視線の位置を検出する視線検出部と、左右の映像信号を入力信号として受け取り、前記視線の位置及びオブジェクトの奥行を考慮した前記左右の映像信号の合成映像信号を作成する映像合成部と、前記合成映像信号を表示する映像表示部と、を備える。

Description

映像表示装置及び映像表示方法
　本発明は、映像表示装置及び映像表示方法に関する。
　立体映像表示装置は、近年の３Ｄテレビジョン（以降、３ＤＴＶと呼ぶ）、３Ｄプロジェクタ、ヘッドマウントディスプレイ（以降、ＨＭＤと呼ぶ）等の普及に伴い、身近な製品となっている。
　人間の視覚特性に於いて、右目と左目に映る映像には視差があり、この両眼視差を含む映像が脳内で融合されることにより、立体視が生まれる。立体映像表示装置は、この両眼視差による立体視の仕組みを応用し、今まで写真のような平面で表示されてきた２Ｄ映像よりも高い臨場感や現実感を得るために作成された表示装置である。
　立体映像表示装置には、（i）レンチキュラやホログラム等を利用した、裸眼で立体映像面を見ることのできる裸眼立体視方式、（ii）偏光メガネ又はアクティブシャッタメガネ等を通して立体映像面を見るメガネ方式、（iii）ＨＭＤ又はスマートグラス等の頭位に左右個別のディスプレイを装着し、立体視を行うウェアラブル方式、などの様々な方式がある。
　裸眼立体視方式は、体に何も装着せずに視聴が可能なため、理想ではある。しかし、裸眼立体視方式には、視聴位置の制限及び高解像度化の課題があり、これらを解決するためにはコストがかかる。そこで、一般には、メガネ方式の３ＤＴＶ又は３Ｄプロジェクタを用いて立体視を行うことが多い。また、ウェアラブル方式もアミューズメントや工業用として利用され始めている。
　次に、両眼視差による立体視の仕組みを用いずに現実感を得る方法としては、特許文献１がある。特許文献１は、ぼかし処理等を加えた被写深度のある画像を生成する映像生成方法を記載している。特許文献１では、視線解析データと、Ｚ情報データ（奥行き情報）を用いて被写深度のある視覚情報から３ＤＣＧ（Computer Graphics）画像を生成する。また、特許文献１には、視線解析データとＺ情報データに加え、目の焦点距離データを用いてぼかし処理を行うことが記載されている。
特開２００３－２８８６０８号公報
　従来のメガネ方式又はウェアラブル方式を用いた立体映像表示装置（以降、「従来の立体映像表示装置」と呼ぶ）は、例えば３Ｄ映画等の一定の条件下で作成された映像を、被験者の左右の目に半ば強制的に映すため、撮像又は作成した環境と被験者の実際の視聴状況とが異なる場合がある（例えば、ステレオカメラの間隔と被験者の瞳孔間間隔との違いなど）。このような状況下で視聴を続けると、輻輳等の眼球運動が映像と合わず、視聴が困難となり、時には眼精疲労を引き起こすこともある。また、被験者によっては左右の映像を融合し難い映像もあり、両眼視野闘争を起して眼精疲労の原因となる場合もある。
　特許文献１は目のレンズ効果を模倣する技術であり、従来の立体映像表示装置を使用しないため、上記眼精疲労にはならない。しかし、特許文献１の技術では、ビデオ撮像のような遠近感を持つＣＧ映像をリアルタイムに表示できるが、両眼視差の効果は考慮されてないため、立体視による映像の立体感は得られない。
　そこで、本発明は、一般的な２Ｄ映像を表示する映像表示装置（例えば、ＴＶやプロジェクタ等）に於いて、疑似的に立体映像表示を行うこと可能な技術を提供する。
　例えば、上記課題を解決するために、請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例をあげるならば、視線の位置を検出する視線検出部と、左右の映像信号を入力信号として受け取り、前記視線の位置及びオブジェクトの奥行を考慮した前記左右の映像信号の合成映像信号を作成する映像合成部と、前記合成映像信号を表示する映像表示部と、を備える映像表示装置が提供される。
　また、他の例によれば、視線検出部によって、視線の位置を検出するステップと、映像合成部によって、左右の映像信号を入力信号として受け取り、前記視線の位置及びオブジェクトの奥行を考慮した前記左右の映像信号の合成映像信号を作成するステップと、映像表示部によって、前記合成映像信号を表示するステップと、を含む映像表示方法が提供される。
　本発明によれば、一般的な２Ｄ映像を表示する映像表示装置（例えば、ＴＶやプロジェクタ等）に於いて、疑似的に立体映像表示を行うことができる。なお、本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施例の説明により明らかにされる。
本発明における映像表示装置の構成図の例である。 第１実施例における映像表示装置の映像処理部の一例を説明する図である。 第１実施例の左目映像の作成方法を説明する図である。 第１実施例の左目映像と注視点の関係を説明する図である。 第１実施例の左右映像を合成した映像の一例（前方注視点映像）である。 第１実施例の左右映像を合成した映像の一例（後方注視点映像）である。 第１実施例における効き目の効果を選択するための設定画面の一例である。 第１実施例における効き目の効果を選択するための設定画面の一例である。 合成映像に周辺視野の効果を含める際に使用するガウス分布を表す図である。 周辺視野と中心窩近辺の映像に対するブレンド比率を説明する図である。 第１実施例における周辺視野の効果の強度設定を行うための設定画面の一例である。 第１実施例における瞳孔間間隔の設定画面の一例である。 第１実施例におけるユーザプロファイルの設定画面の一例である。 リモコンのボタン構成を説明する図である。 角膜反射法を利用した構成を説明する図である。 角膜反射法を利用した構成を説明する図である。 角膜反射法を利用した構成を説明する図である。 角膜反射法の原理を説明する図である。 第１実施例におけるバッファ切換え方法の一例を説明する図である。 第１実施例における同期信号の作成方法の一例を説明する図である。 第１実施例における焦点適応時間の設定画面の一例である。 第２実施例の映像表示装置の構成図の一例である。 第３実施例における映像表示装置の映像処理部の一例を説明する図である。 第３実施例における視差映像の生成方法を説明する図である。
　以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
［第１実施例］
　本実施例は、映像表示装置に関し、より詳細には、視線検出部を備え、注視点に応じてステレオ映像を立体映像へと補正する映像処理部を備える映像表示装置に関する。以下では、ＣＧデータを用いた構成を説明する。図１は、本実施例による映像表示装置の構成図の例である。本映像表示装置は、映像処理部２００と、映像表示部３００と、視線検出部４００とを備える。
　映像処理部２００は、映像データ１０１からの映像データ信号１０２と、視線検出部４００からの視線データ信号１０６を入力信号として受け取り、画面の注視点を求め、左目と右目の映像、すなわちステレオ映像を生成する。その後、映像処理部２００は、生成した左目と右目の映像の合成処理を行う。
　映像表示部３００は、映像処理部２００で合成した合成映像信号１０３を入力信号として受け取り、被験者（観測者）に対して映像１０４を表示するものである。例えば、映像表示部３００は、ＴＶ、プロジェクタ、ＨＭＤ等のディスプレイである。
　映像データ１０１は、本実施例に於いてはＣＧデータの蓄積を行う記憶装置等であり、例えばＨＤＤ、ＣＤ、メモリ、又はネットワーク上の記憶装置である。
　視線検出部４００は、光学的に入力される映像１０５を入力として受け取り、被験者の視線の動きを捉えることにより視線データ信号１０６を出力する。視線検出部４００における視線の検出は、例えば角膜反射法を利用した検出法が代表的である。視線検出部４００は、例えば図１４Ａの角膜反射法の構成図で示すように、赤外線ランプと赤外線カメラとによって構成される。視線検出部４００は、図１４Ｂの据え置き型の形態で構成されてもよいし、図１４Ｃのメガネ型の形態で構成されてもよい。
　図１５は、角膜反射法の原理を説明する図である。角膜反射法は、目に赤外光を当てることで、角膜で反射する光を基準として、瞳孔位置を相対的に測定し、視線位置を算出する技術である。一般的に、視線検出部４００において視線を検出するタイミングは、映像処理部２００で映像作成するタイミングとは異なるため、視線データ信号１０６を視線データ出力タイミングで毎回メモリ等のバッファへ一時的に保持し、映像合成終了のタイミングに合わせて映像処理部２００へ入力してもよい。
　図２は、第１実施例における映像表示装置の映像処理部２００の一例を説明する図である。映像処理部２００は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processor Unit）、もしくはＦＰＧＡ（Field-Programmable Gate Array）等の一部で構成されてもよいし、又は、これらの全てを搭載したＰＣ（Personal Computer）で構成されてもよい。また、別の例として、映像処理部２００は、専用基板などのハードウェアで構成されてもよい。
　映像処理部２００は、注視点算出部２０１と、左目映像生成部２０３と、右目映像生成部２０４と、映像合成部と、フレームメモリ２０８とを備える。
　注視点算出部２０１は、映像データ信号１０２と、視線データ信号１０６と、表示画面の画素データ信号２０９とを入力信号として受け取り、視聴映像の注視点を算出する。例えば、注視点の情報は、映像の背景及びオブジェクトの奥行の情報を含む。注視点算出部２０１は、算出した注視点信号２０２を左目映像生成部２０３及び右目映像生成部２０４へ出力する。
　左目映像生成部２０３及び右目映像生成部２０４は、注視点信号２０２と、映像データ信号１０２とを入力信号として受け取る。左目映像生成部２０３は、注視点信号２０２と映像データ信号１０２とをもとに左目映像信号２０５を生成し、左目映像信号２０５を映像合成部２０７に出力する。右目映像生成部２０４は、注視点信号２０２と映像データ信号１０２とをもとに右目映像信号２０６を生成し、右目映像信号２０６を映像合成部２０７に出力する。
　映像合成部２０７は、視線データ信号１０６と左目映像信号２０５と右目映像信号２０６を入力信号として受け取り、左目映像信号２０５と右目映像信号２０６を合成し、合成映像信号１０３を出力する。以上により、合成映像信号１０３は、視線の位置及び両眼視差を考慮した映像となる。フレームメモリ２０８は、左目映像信号２０５と右目映像信号２０６を入力信号として受け取り、１画面の画素データを蓄積する。
　また、映像処理部２００で映像生成するタイミングは、映像表示部３００で映像を表示するタイミングとは異なる場合や、タイミングが同じでも映像表示の切換えタイミングまでに十分な映像処理時間がない場合がある。このような場合、合成映像信号１０３を作成するのに必要なバッファ（書き込みバッファ）とは別に保持用のバッファ（読み込みバッファ）を設けてもよい。この構成において、映像を作成した時点で書き込みバッファと読み込みバッファを映像の表示切換えタイミング、すなわち垂直同期のタイミングに合わせて切換え、読み込みバッファから映像を取得してもよい。該方式を使用した描画処理をダブルバッファリングと呼び、切換えを行わず１つのバッファのみ使用する方式をシングルバッファリングと呼ぶ。
　図１６は、第１実施例に於けるバッファ切換え方法、すなわちダブルバッファリングの一例を説明する図である。映像処理部２００は、例えば、切換部１１００を備える。切換部１１００は、データ入力信号１１０１及びデータ出力信号１１０３を有する。切換部１１００は、２つのスイッチ１１０４、１１０５を備える。切換部１１００は、同期信号１１０２により２つのスイッチ１１０４と１１０５を切り換えることで、メモリ１（１１１０）とメモリ２（１１１１）の入出力を切り換える。
　例えば、データ入力信号１１０１がメモリ１（１１１０）の入力１１０６に接続されている場合、データ出力信号１１０３はメモリ２（１１１１）の出力１１０９に接続されている。同期信号１１０２による切換えタイミングでは、スイッチ１１０４及び１１０５で切替えが行われる。これにより、データ入力信号１１０１はメモリ２（１１１１）の入力１１０８に接続され、データ出力信号１１０３はメモリ１（１１１０）の出力１１０７へ接続される。
　以上のようにデータの切換えを行うことで、メモリへのデータ入力途中にメモリからデータ出力されることを防ぐことができる。
　第１実施例に切換部１１００を実装する場合には、例えば、図１の合成映像信号１０３の代わりとして、映像処理部２００の出力信号をデータ入力信号１１０１へ置き換えて、映像表示部３００の入力信号をデータ出力信号１１０３へ置き換えればよい。尚、同期信号１１０２には、映像合成部２０７からの合成終了を知らせる信号（例えば定常状態を０、終了時を１のフラグ等の出力信号）を用いてもよく、又は、垂直同期信号を用いてもよい。また、合成終了後の垂直同期で切り換える信号を用いてもよい。
　図１７は、第１実施例に於ける同期信号の作成方法の一例を説明する図である。図中のＣＬＫはＣＰＵ、ＧＰＵもしくはＦＰＧＡのクロック信号であり、ＳＴＡＴは映像合成部２０７に於ける合成処理の終了状態を知らせる信号で、例えば終了を１、処理中を０とする信号である。ＳＴＡＴが終了状態の間（１２０１）に、垂直同期信号を検知する信号ＳＹＮＣが垂直同期を検知すると、ＳＴＡＴが終了状態から処理中へ遷移すると共に、バッファを切り換える信号ＦＬＩＰを作成する（１２０２）。図１６の同期信号１１０２には、該ＦＬＩＰ信号を使用すればよい。
　図３は、第１実施例の左目映像の作成方法を説明する図である。この図を用いて左目映像生成部２０３の処理を説明する。ＣＧ空間は、一般的に水平軸をＸ軸、垂直軸をＹ軸、奥行方向をＺ軸とする３軸を持つワールド座標５０１と呼ばれる直交座標軸上に構成される。また、ＣＧ空間に配置される３次元データ、すなわちオブジェクト５０２は、ポリゴンと呼ばれる例えば三角片の要素により作成される。図３では、オブジェクト５０２に注視点５０８がある例が示されている。
　ＣＧ映像は、配置されたオブジェクトを視点位置から仮想の２次元平面、すなわち画面へ投影して作られる。ＣＧの投影手法では平行投影もしくは透視投影が用いられるが、図３では遠近感を得るために透視投影を用いる。ここで、ワールド座標は原点を視点５０３、頭位正面方向をＺ軸（ただし、負方向）、頭上をＹ軸、左右の目の水平方向をＸ軸とする直交座標とする。
　また、透視投影は、原点５０３とＺ軸に垂直な画面５０４により構成される四角錘のうち、奥行（Ｚ座標）方向の前後に限界面を設定した６面体のビューボリューム５０５によって、オブジェクトの投影範囲を限定して行う。ここで、手前側の限界面をニアクリップ面５０６、奥行側の限界面をファークリップ面５０７と呼ぶ。一般的には、ニアクリップ面５０６と画面５０４は同じ面として扱う場合が多い。また、ＣＧ映像中の画素の奥行情報（Ｚ座標）はニアクリップ面からファークリップ面の間で割り当てられる。
　次に左目映像生成部２０３の算出方法の例を説明する。今、オブジェクト上の点を（ｘ０，ｙ０，ｚ０，ｗ０）Ｔの４次元ベクトル（Ｔは転置）、視点やオブジェクトの移動（幾何変換）後のベクトルを（ｘｅ，ｙｅ，ｚｅ，ｗｅ）Ｔとし、４×４の行列Ｍを用いると、数１のように表される。ただし、一般に、ｗｅ＝１，ｗ０＝１である。
Figure JPOXMLDOC01-appb-M000001
　ここで、ベクトル（ｘｅ，ｙｅ，ｚｅ，ｗｅ）Ｔは前記視点を原点としたワールド座標の位置ベクトルである。また、行列Ｍは、平行移動Ｍｔ、回転Ｍｒ、スケールＭｓなどの行列積で表され、特に（ｔｘ，ｔｙ，ｔｚ）Ｔの平行移動、３×３の回転行列Ｒ、（ｓｘ，ｓｙ，ｓｚ）のスケールは数２となる。
Figure JPOXMLDOC01-appb-M000002
　次に、透視投影後のベクトル（ｘｃ，ｙｃ，ｚｃ，ｗｃ）Ｔを求めるため、ベクトル（ｘｅ，ｙｅ，ｚｅ，ｗｅ）Ｔに対して透視変換を行う。
　ニアクリップ面のＺ座標をｎ、ファークリップ面のＺ座標をｆ、ニアクリップ面の左端のＸ座標をｌ、右端のＸ座標をｒ、上端のＹ座標をｔ、下端のＹ座標をｂとし、透視変換行列をＰとすると数３のように表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、（ｘｃ，ｙｃ，ｚｃ，ｗｃ）Ｔは同次座標系のベクトルである。これを、ｗｃで割ると、数４を得る。
Figure JPOXMLDOC01-appb-M000004
　更に、表示画面の幅と高さの画素数をＷ、Ｈとし、数５のように変換する。
Figure JPOXMLDOC01-appb-M000005
　ここで、（ｘｗ，ｙｗ）は画面上の画素位置である。
　次に、ｚｗを、ニアクリップ面からファークリップ面の間で効率よく数値化できるように変換する。奥行（Ｚ座標）データ情報の解像度をＺ＿ＲＡＮＧＥとすると、数６となる。
Figure JPOXMLDOC01-appb-M000006
　ここで、フレームメモリ２０８の画素位置（ｘｗ，ｙｗ）データには、色情報の他、数６で求められるｚｂ値が格納される。
　以上が、左目映像生成部２０３の演算である。また、右目映像生成部２０４も右目位置を視点として同様の演算を行えばよい。
　図４は、第１実施例の左目映像と注視点の関係を説明する図である。この図を用いて、注視点算出部２０１の処理を説明する。
　両眼輻輳は注視点の奥行（Ｚ座標）方向で変化するため、左目映像と右目映像は注視点の奥行に合わせて映像を補正する必要がある。
　図３の画面５０４に投影された映像は、図４の左目映像のようになる。ここで、視線検出部４００から得られる視線データ信号１０６により、注視点６０１の画素位置（ｘｗ，ｙｗ）が分かるため、フレームメモリ２０８に格納されているｚｂを得ることができる。そこで、数６を逆算し、ワールド座標位置を求めると数７となる。
Figure JPOXMLDOC01-appb-M000007
　注視点算出部２０１が、得られた注視点の情報を、左目映像生成部２０３又は右目映像生成部２０４に出力する。注視点の情報は、上述の通り、注視点の平面位置情報（Ｘ、Ｙ座標）及び奥行情報（Ｚ座標）を含む。これにより、各視点から注視点に対する輻輳を考慮した映像が得られる。
　注視点算出部２０１は、設定用のパラメータ信号２１１として、瞳孔間の間隔に関する信号を受け取ってもよい。図１１は、第１実施例による瞳孔間間隔の設定方法を説明する図である。例えば、映像処理部２００を構成するＰＣは、図１１に示す設定画面を表示してもよい。これにより、被験者（観測者）ごとに、目の間隔を設定することができる。目の間隔は、子供で約５ｃｍが平均的とされるため、例えば５ｃｍを中心に±５ｃｍのレンジを設ければよい。注視点算出部２０１は、瞳孔間間隔の設定を、注視点の情報に含めてもよい。
　次に、図４を用いて、視線の動きに応じた注視点の求め方について説明する。注視点算出部２０１は、以下に示すように、注視点の奥行情報（Ｚ座標値）を求めてもよい。注視点６０１は、前方のオブジェクト６０２上にあるが、この注視点（視線）が軌跡６０４を描きながら背景６０５を通り、後方のオブジェクト６０３へと移る場合を考える。
　この時、注視点算出部２０１は、背景としてオブジェクトが無い、すなわち視認できる物が無い中空の状態であれば、注視点６０１がオブジェクト６０２にある状態を維持し、後方のオブジェクト６０３に注視点６０１が移った後に注視点を算出する。このように、注視点算出部２０１は、注視点６０１が第１のオブジェクト６０２と第２のオブジェクト６０２との間のオブジェクトのない領域を通過しているとき、直前に注視点があった第１のオブジェクト６０２の奥行情報（Ｚ座標値）を使用する。
　ただし、注視点算出部２０１は、初期値より視点が常に中空にある場合（すなわち、注視点６０１にオブジェクトがない場合）、注視点を無限遠（ここではｚ座標値の限界値）として演算すればよい。
　続いて、オブジェクト６０２と６０３との間の奥行き（Ｚ座標値）の差が所定の値よりも大きい、又は、背景にも何らかのオブジェクトが存在し、かつオブジェクト６０２や６０３との間の奥行き（Ｚ座標値）の差がある所定の値よりも大きい場合を考える。この場合、注視点算出部２０１は、直前のＺ座標値を保持し、注視点のＺ座標値を２つのオブジェクト（ここでは、オブジェクト６０２と６０３）の間のＺ座標値の線形補間値とすればよい。
　例えば、焦点が合うまでの時間（以降、焦点適応時間と呼ぶ）をｔとする。注視点算出部２０１は、注視点が第１のオブジェクト６０２から第２のオブジェクト６０３に移動したときに移動直前の第１のオブジェクト６０２の奥行情報と移動先の第２のオブジェクト６０３の奥行情報とに所定の差がある場合、第２のオブジェクト６０３に焦点が合うまでの焦点適応時間ｔを調整する。例えば、注視点算出部２０１は、ｔ＝０．５秒で注視点のＺ座標値がオブジェクト６０２から６０３へ遷移するように、オブジェクト６０２と６０３の間のＺ座標値の線形補間値を算出してもよい。
　上述の構成のために、注視点算出部２０１は、パラメータ信号２１１として焦点適応時間を受け取ってもよい。図１８は、第１実施例に於ける焦点適応時間の設定方法を説明する図である。
　例えば、映像処理部２００を構成するＰＣは、図１８に示す設定画面を表示してもよい。焦点適応時間に「０」が選択される場合、注視点算出部２０１は、遅延無く即時に注視点を算出することになる。一方、焦点適応時間に例えば「１」が選択されている場合は、ｔ＝１．０秒が設定される。
　次に、閾値となる距離差と焦点適応時間との関係について説明する。ここでは、例えば０≦ＴＨ０≦ＴＨ１を満たす第１及び第２の閾値ＴＨ０、ＴＨ１を用いる。第１及び第２の閾値ＴＨ０、ＴＨ１は、あらかじめ注視点算出部２０１に設定されていてもよいし、又は、ユーザにより設定されてもよい。注視点算出部２０１は、以下で説明する焦点適応時間に従って、２つのオブジェクト間のＺ座標値の線形補間値を算出してもよい。注視点（視線）が移動する直前のｚ座標値をｚｅとすると、ｚｅ＜ＴＨ０の時には焦点適応時間は０とする。一方、ＴＨ０≦ｚｅ＜ＴＨ１の場合、焦点適応時間は、線形的にｔ×（ｚｅ－ＴＨ０）／（ＴＨ１－ＴＨ０）で変化する。また、ＴＨ１≦ｚｅでは、焦点適応時間はｔとする。
　２つのオブジェクト間にある程度のＺ方向距離がある場合、急にＣＧ映像を切り替えると、人は違和感を感じる。人間の目では、奥行きの差が大きいとき、実際には焦点が適応するまで時間がかかる。上記の処理によって、人間の実際の視覚の現象に合わせて緩やかに焦点が適応する演出を行い、実際の視覚の効果を入れることができる。これにより、よりリアルな立体映像の表示が可能となる。
　図５Ａ及び図５Ｂは、第１実施例の左右映像を合成した映像を説明する図である。これらの図を用いて、映像合成部２０７の処理を説明する。
　図３及び図４で示された２つのオブジェクトを用いて説明する。注視点７０１が前方のオブジェクトにある場合、映像合成部２０７は、左右の映像をブレンドした合成映像信号１０３として、図５Ａに示す合成映像を作成する。また、注視点７０２が後方のオブジェクトにある場合、映像合成部２０７は、左右の映像をブレンドした合成映像信号１０３として、図５Ｂに示す合成映像を作成する。
　人間の脳で融合される映像について説明すると、例えば図５Ａのように前方のオブジェクトに焦点がある場合、後方のオブジェクトは視差のために二重像となる。また、例えば図５Ｂのように後方のオブジェクトに焦点がある場合、前方のオブジェクトは二重像となる。本技術は、この現象を模倣したものである。このように、合成映像信号１０３は、視線の位置及び両眼視差を考慮した映像となる。
　映像合成部２０７は、設定用のパラメータ信号２１０として、左目映像と右目映像のブレンド率に関する信号を受け取ってもよい。左目映像信号をＩｌ、右目映像信号をＩｒ、合成信号をＩｂとし、ブレンド率をαとすると、数８のように表される。
Figure JPOXMLDOC01-appb-M000008
　図６は、第１実施例における効き目に応じた映像の選択方法を説明する図である。例えば、映像処理部２００を構成するＰＣは、図６に示す設定画面を表示してもよい。設定画面において「切」を選択した時は、数８において例えばα＝０．５を設定してもよい。また、設定画面において「左目」を選択した時は、数８において例えばα＝０．６を設定してもよい。また、設定画面において「右目」を選択した時は、数８においてα＝０．４を設定してもよい。このように、映像合成部２０７は、効き目の映像信号に対してブレンド比率を上げて合成映像信号を作成してよい。
　図７は、第１実施例における効き目に応じた映像の比率設定を説明する図である。例えば、映像処理部２００を構成するＰＣは、図７に示す設定画面を表示してもよい。ブレンド比率を設定するには、数８を変形して数９とする。これにより、割合を示すレベル８０１をα値とすることができる。特に、α＝０で平均値、α＝－５で左目映像選択、α＝５で右目映像選択となる。
Figure JPOXMLDOC01-appb-M000009
　また、映像合成部２０７は、設定用のパラメータ信号２１０として、周辺視野の効果に関する情報を受け取り、周辺視野の効果を合成映像信号１０３に含めてもよい。人間の目は、視線の中央部分（中心窩）で高精細の視知覚が得られるが、視線より２度程度ずれた周辺部分（周辺視野）より知覚は低下する。この周辺視野の効果を合成映像に含めるために、注視点からから離れた領域（例えば、注視点から視野角２度以上の範囲）に対して、コントラストを下げる処理、又は、畳み込み演算により映像を暈す処理を実行してもよい。一例として、暈す効果は、正規分布のコンボリューション積で算出されてよい。
　コントラスト低減は、例えば平均輝度と対象画素輝度の差分の割合を減らすことにより行ってもよい。また、平均輝度は、映像全体の平均値でもよいし、又は、局所的すなわち対象画素周辺のＬ画素分の平均値でもよい。例えば、局所平均輝度値Ｉａｖｅは、画素輝度値Ｉ（ｘ，ｙ）とすると数１０となる。
Figure JPOXMLDOC01-appb-M000010
　これより、低減後のコントラストＩ’（ｘ，ｙ）は、割合をβとすると数１１となる。
Figure JPOXMLDOC01-appb-M000011
　次に、対象画素周辺のＬ画素分の畳み込み演算による輝度Ｉ’（ｘ，ｙ）は、カーネルをＧ（ｘ，ｙ）とすると数１２となる。
Figure JPOXMLDOC01-appb-M000012
　ここで、カーネルは、平均値フィルタでもよいし、又は、図８に示すようなガウス分布によるフィルタを用いてもよい。
　図９は、周辺視野と中心窩近辺の映像に対するブレンド比率の例を説明する図である。図中のグラフでは、視線方向でブレンド率が１．０となる、また、視線より２度ずれたあたりで、ブレンド率が減衰し、それよりも外側の周辺視野領域ではブレンド率が０．０となる。
　ここで、周辺視野の輝度をＩ’（ｘ，ｙ）、視線方向の輝度をＩ（ｘ，ｙ）とし、ブレンド率をβとすると、ブレンドした輝度は数１３で表される。
Figure JPOXMLDOC01-appb-M000013
　図１０は、第１実施例による周辺視野効果の強度設定を説明する図である。例えば、映像処理部２００を構成するＰＣは、図１０に示す設定画面を表示してもよい。ここでは、周辺視野効果は、例えばコントラストの調整により行うとする。設定画面において「切」を選択した時に、β＝１．０とする。また、設定画面において「弱」を選択した時に、β＝０．９とする。また、設定画面において「中」を選択した時に、β＝０．８とし、「強」を選択した時にβ＝０．７としてもよい。また、畳み込み演算の場合は、平均化する画素数Ｌの大きさを変えればよい。ただし、ガウス分布の場合は分散値又は標準偏差を同時に変更する必要がある。
　上記の複数の例によれば、周辺視野の効果、すなわち視線（注視点）より離れた領域に対して、映像のコントラストを下げる処理、又は、暈す処理を施すことができる。これにより、人間の周辺視野において視知覚が低下する現象を高精細に表現することができる。加えて、上記の周辺視野効果の強度設定を個別に設定できるため、個別の視知覚に応じて周辺視野に関する処理を適用することができる。
　以上、周辺視野の効果として、コントラスト低減と畳み込み演算による暈しを個別に説明したが、両者を同時に使用してもよい。
　上記手法により、合成映像に周辺視野の効果を入れることができるが、同時に目のレンズ効果を加えてもよい。ＣＧ映像の場合、被写界深度に応じて目のレンズ効果、すなわちピントのズレを表現してもよい。例えば、ピントのズレは、正規分布のコンボリューション積で算出されてよい。
　例えば図４のオブジェクト６０２に注視点６０１があり、オブジェクト６０３が遠い場合、すなわち被写界深度から外れる場合は、映像合成部２０７は、画素のＺ座標値に応じて、上記ガウス分布によるフィルタを用いて合成映像を作成してもよい。また、映像合成部２０７は、簡単のため平均値フィルタを用いて、目のレンズ効果を反映した合成映像を作成してもよい。また、自然な目のレンズ効果を得るために、映像合成部２０７は、Ｚ座標値に応じて目のレンズ効果の強度設定を変えてもよい。
　図１２は、第１実施例におけるユーザプロファイルの設定方法を説明する図である。例えば、映像処理部２００を構成するＰＣは、図１２に示す設定画面を表示してもよい。この例では、図６、図７、図１０、図１１、図１８の少なくとも１つの設定情報をユーザのプロファイルとして所定の記憶装置に保存することができる。これにより、ユーザが映像表示装置を利用する度に上記設定情報を設定する手間を省くことができる。
　図１２の設定画面を操作する際に図１３に示すリモコンを使用してもよい。図１３に示すリモコンを利用する場合、例えば、カーソル９０１をリモコンの上下ボタンで移動させることができる。また、リモコンの決定ボタンで、ユーザのプロファイルを決定することができる（９０２）。また、リモコンの右ボタンで各設定情報の設定画面へ遷移することができる。
　上述の実施例の効果を説明する。従来の技術では、メガネ式の立体視映像に於いて、ステレオ映像が被験者の瞳孔間間隔と異なる、又は、被験者が融合しにくい映像の場合、眼精疲労の原因となる。これに対して、本実施例の映像表示装置は、視線位置を検出する視線検出部４００と、映像の背景及びオブジェクトの奥行情報を取得する注視点算出部２０１と、視線位置と奥行情報とに応じて左右の映像を合成及び補正する映像合成部２０７とを備える。この構成によれば、左右の視差映像が脳で融合される映像を模倣することで、注視点に応じて輻輳を考慮した立体的な合成映像を作成することができる。また、ＴＶやプロジェクタ等の一般的な映像表示装置に於いて、眼精疲労を起こすことのない裸眼立体視映像を疑似的に作成できる。
［第２実施例］
　第１実施例では、注視点に応じてステレオ映像を立体映像へと補正する映像処理部を備える映像表示装置の例を説明した。第２実施例では、ステレオ撮像を用いた構成による映像表示装置を説明する。
　図１９は、第２実施例の映像表示装置の構成図の例である。上述の実施例で説明した構成要素については、同じ符号を付して説明を省略する。
　第２実施例の映像データ１０１は、ステレオ撮像データの蓄積を行う記憶装置等であり、例えばＨＤＤ、ＣＤ、メモリ、又はネットワーク上の記憶装置である。また、この例での映像データは、頭位の動きと輻輳に追従する遠隔ステレオカメラ１０７により撮像されたものとする。遠隔ステレオカメラ１０７は、視差のあるＬ映像（左側映像）及びＲ映像（右側映像）を撮像できるものである。ここでは、例えば、観測者が、ロボット等に搭載された遠隔ステレオカメラ１０７を操作し、その遠隔操作の画面を見ながら操作を行うことを想定している。
　第２実施例の映像表示部３００は、合成映像信号１０３を入力信号として受け取り、観測者に対して映像１０４を表示する装置である。例えば、映像表示部３００は、ＨＭＤ等の頭位の動きに追従するディスプレイである。
　本実施例では、映像データ信号１０２のデータがステレオ映像となるため、図２に示す第１実施例での映像処理部２００の代わりとして、映像合成部２０７のみとなる。映像合成部２０７は、ステレオ映像の映像データ信号１０２と視線データ信号１０６を受け取り、視線の位置及びオブジェクトの奥行を考慮した合成映像信号を作成することができる。
　以上の構成によれば、ステレオ撮像に於いても、眼精疲労を起こすことのない疑似的立体視映像を作成でき、特にロボット等を用いた遠隔操作に於いても長時間の作業が可能となる。
［第３実施例］
　第２実施例では、ステレオ撮像を用いた構成による映像表示装置を説明した。第３実施例では、単眼のカメラを用いた構成による映像表示装置を説明する。
　図２０は、第３実施例に於ける映像表示装置の映像処理部２００の一例を説明する図である。なお、映像表示装置の他の構成要素は、第１実施例と同様でよい。
　第３実施例の映像データ１０１は、撮像データの蓄積を行う記憶装置等であり、例えばＨＤＤ、ＣＤ、メモリ、又はネットワーク上の記憶装置である。
　本実施例において、映像データ信号１０２は、奥行情報のない単眼のカメラで撮像された映像となる。本実施例では、図２に示す映像処理部２００のうち、Ｚ座標計算用のフレームメモリ２０８と、これに付随する入出力信号が不要となる。
　左目映像生成部２０３と右目映像生成部２０４は、撮像データから疑似的に視差をつけた映像を生成する。図２１は、第３実施例に於ける視差映像の生成方法を説明する図である。
　注視点算出部２０１は、単眼の原映像における視線の位置から注視点に関する情報を算出する。左目映像生成部２０３又は右目映像生成部２０４は、疑似的に視差をつけた映像を生成する。例えば、注視点１００１を基準として、半径Ｒ画素分の領域を中心窩近辺１００２と仮定する。左目映像生成部２０３又は右目映像生成部２０４は、中心窩近辺１００２を固定し、その中心窩近辺以外の領域（すなわち、周辺視野領域）を均一に左又は右にシフトすることで、疑似的に視差をつけた視差映像を生成する。
　映像合成部２０７には、原映像及び視差映像が入力される。映像合成部２０７は、設定用のパラメータ信号２１０として、図８、９、及び１０で説明した周辺視野の効果に関する情報を受け取ってもよい。例えば、映像合成部２０７は、原画像と視差画像とを、図９で説明したブレンド比率を用いてブレンドすることにより、合成映像信号１０３を作成する。したがって、映像合成部２０７は、視線の位置及びオブジェクトの奥行を考慮した合成映像信号を作成することができる。
　また、映像合成部２０７は、設定用のパラメータ信号２１０として、図６で説明した効き目の情報を受け取り、効き目に応じた合成映像を作成してもよい。
　また、効き目の情報を用いて、原映像を設定してもよい。例えば、効き目に応じた映像の選択方法として、例えば図６の設定画面において「左目」が選択された場合には、左目映像を原映像とし、右目映像を視差映像としてもよい。また、図６の設定画面において「切」が選択された場合には、映像合成部２０７は、左右へと均一にシフトした視差映像を用いて合成画像を作成してよい。
　以上の構成によれば、単眼の撮像に於いても、眼精疲労を起こすことのない疑似的立体視映像を作成できる。また、映像合成部２０７は、周辺視野の効果を合成映像信号に含めることで、注視点周辺以外の映像領域を滑らかに左または右へと移動させることができる。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)に記憶させることが可能である。非一時的なコンピュータ可読媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
　上記の実施例において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
１０１　映像データ
１０２　映像データ信号
１０３　合成映像信号
１０６　視線データ信号
１０７　遠隔ステレオカメラ
２００　映像処理部
２０１　注視点算出部
２０２　注視点信号
２０３　左目映像生成部
２０４　右目映像生成部
２０５　左目映像信号
２０６　右目映像信号
２０７　映像合成部
２０８　フレームメモリ
２０９　画素データ信号
３００　映像表示部
４００　視線検出部
５０１　ワールド座標
５０２　オブジェクト
５０３　視点（原点）
５０４　画面
５０５　ビューボリューム
５０６　ニアクリップ面
５０７　ファークリップ面
６０１　注視点
６０２　前方のオブジェクト
６０３　後方のオブジェクト
６０４　視線の軌跡
６０５　背景

Claims (15)

  1. 　視線の位置を検出する視線検出部と、
    　左右の映像信号を入力信号として受け取り、前記視線の位置及びオブジェクトの奥行を考慮した前記左右の映像信号の合成映像信号を作成する映像合成部と、
    　前記合成映像信号を表示する映像表示部と、
    を備えることを特徴とする映像表示装置。
  2. 　請求項１に記載の映像表示装置において、
    　前記視線の位置から、奥行情報を含む注視点の情報を算出する注視点算出部と、
    　前記注視点の情報を用いて前記左右の映像信号を生成する映像生成部と、
    をさらに備えることを特徴とする映像表示装置。
  3. 　請求項２に記載の映像表示装置において、
    　前記注視点算出部は、前記注視点が第１のオブジェクトと第２のオブジェクトとの間のオブジェクトのない領域を通過しているとき、直前に前記注視点があった前記第１のオブジェクトの奥行情報を使用することを特徴とする映像表示装置。
  4. 　請求項２に記載の映像表示装置において、
    　前記注視点算出部は、前記注視点にオブジェクトがない場合、前記注視点を無限遠として演算することを特徴とする映像表示装置。
  5. 　請求項２に記載の映像表示装置において、
    　前記注視点算出部は、前記注視点が第１のオブジェクトから第２のオブジェクトに移動したときに前記第１のオブジェクトの奥行情報と前記第２のオブジェクトの奥行情報とに所定の差がある場合、前記第２のオブジェクトに焦点が合うまでの焦点適応時間を調整することを特徴とする映像表示装置。
  6. 　請求項１に記載の映像表示装置において、
    　前記映像合成部は、前記左右の映像信号をあるブレンド比率で合成し、前記合成映像信号を作成することを特徴とする映像表示装置。
  7. 　請求項６に記載の映像表示装置において、
    　前記映像合成部は、効き目の映像信号に対して前記ブレンド比率を上げて前記合成映像信号を作成することを特徴とする映像表示装置。
  8. 　請求項１に記載の映像表示装置において、
    　前記映像合成部は、前記視線から離れた領域に対してコントラストを下げる処理、又は、暈す処理を実行することにより、前記合成映像信号に周辺視野の効果を含めることを特徴とする映像表示装置。
  9. 　請求項８に記載の映像表示装置において、
    　前記映像合成部は、正規分布のコンボリューション積を用いて前記暈す処理を実行することを特徴とする映像表示装置。
  10. 　請求項１に記載の映像表示装置において、
    　前記映像合成部は、映像の奥行情報に応じて目のレンズの効果を反映した前記合成映像信号を作成することを特徴とする映像表示装置。
  11. 　請求項１０に記載の映像表示装置において、
    　前記レンズの効果が、正規分布のコンボリューション積で算出されることを特徴とする映像表示装置。
  12. 　請求項１に記載の映像表示装置において、
    　ステレオカメラをさらに備え、前記ステレオカメラで撮像された左右の映像信号が前記映像合成部に入力されることを特徴とする映像表示装置。
  13. 　請求項１に記載の映像表示装置において、
    　単眼のカメラと、
    　単眼の映像における前記視線の位置から注視点の情報を算出する注視点算出部と、
    　前記注視点周囲の領域を固定し、それ以外の領域を前記注視点を基準として左又は右にシフトし、前記左右の映像信号を生成する映像生成部と、
    をさらに備えることを特徴とする映像表示装置。
  14. 　請求項１に記載の映像表示装置において、
    　前記映像合成部は、前記視線から離れた領域に対してコントラストを下げる処理、又は、暈す処理を施すことにより、前記合成映像信号に周辺視野の効果を含めることを特徴とする映像表示装置。
  15. 　視線検出部によって、視線の位置を検出するステップと、
    　映像合成部によって、左右の映像信号を入力信号として受け取り、前記視線の位置及びオブジェクトの奥行を考慮した前記左右の映像信号の合成映像信号を作成するステップと、
    　映像表示部によって、前記合成映像信号を表示するステップと、
    を含むことを特徴とする映像表示方法。
PCT/JP2015/082377 2015-11-18 2015-11-18 映像表示装置及び映像表示方法 WO2017085803A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/082377 WO2017085803A1 (ja) 2015-11-18 2015-11-18 映像表示装置及び映像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/082377 WO2017085803A1 (ja) 2015-11-18 2015-11-18 映像表示装置及び映像表示方法

Publications (1)

Publication Number Publication Date
WO2017085803A1 true WO2017085803A1 (ja) 2017-05-26

Family

ID=58718507

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082377 WO2017085803A1 (ja) 2015-11-18 2015-11-18 映像表示装置及び映像表示方法

Country Status (1)

Country Link
WO (1) WO2017085803A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030805A (ja) * 2018-08-21 2020-02-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 中心窩シミュレーションのためのシステムおよび方法
JP2020201448A (ja) * 2019-06-13 2020-12-17 学校法人立命館 表示システム、表示方法、コントローラ、及び、コンピュータプログラム
WO2024190457A1 (ja) * 2023-03-10 2024-09-19 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2006042298A (ja) * 2004-06-25 2006-02-09 雅貴 ▲吉▼良 立体視画像作成方法および装置
JP2011525075A (ja) * 2008-06-10 2011-09-08 マスターイメージ ３ディー アジア リミテッド ライアビリティ カンパニー 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
JP2011228983A (ja) * 2010-04-21 2011-11-10 Panasonic Corp 撮像装置
JP2013162330A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155154A (ja) * 1997-11-19 1999-06-08 Toshiba Corp 立体映像処理装置
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2006042298A (ja) * 2004-06-25 2006-02-09 雅貴 ▲吉▼良 立体視画像作成方法および装置
JP2011525075A (ja) * 2008-06-10 2011-09-08 マスターイメージ ３ディー アジア リミテッド ライアビリティ カンパニー 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
JP2011228983A (ja) * 2010-04-21 2011-11-10 Panasonic Corp 撮像装置
JP2013162330A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030805A (ja) * 2018-08-21 2020-02-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 中心窩シミュレーションのためのシステムおよび方法
JP7403249B2 (ja) 2018-08-21 2023-12-22 ザ・ボーイング・カンパニー 中心窩シミュレーションのためのシステムおよび方法
JP2020201448A (ja) * 2019-06-13 2020-12-17 学校法人立命館 表示システム、表示方法、コントローラ、及び、コンピュータプログラム
JP7333051B2 (ja) 2019-06-13 2023-08-24 学校法人立命館 表示システム、表示方法、コントローラ、及び、コンピュータプログラム
WO2024190457A1 (ja) * 2023-03-10 2024-09-19 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム、ならびに、情報処理システム

Similar Documents

Publication Publication Date Title
US11361513B2 (en) Head-mounted display with pass-through imaging
EP3035681B1 (en) Image processing method and apparatus
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
WO2017183346A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2010033367A (ja) 情報処理装置及び情報処理方法
US9106906B2 (en) Image generation system, image generation method, and information storage medium
WO2018086295A1 (zh) 一种应用界面显示方法及装置
US10607398B2 (en) Display control method and system for executing the display control method
US11659158B1 (en) Frustum change in projection stereo rendering
WO2019013863A1 (en) VARIABLE FOCAL ABERRATION COMPENSATION FOR NEAR EYE DISPLAYS
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
JP2012253690A (ja) プログラム、情報記憶媒体及び画像生成システム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
CN106293561B (zh) 显示控制方法和装置、显示设备
WO2020115815A1 (ja) ヘッドマウントディスプレイ装置
JP6687751B2 (ja) 画像表示システム、画像表示装置、その制御方法、及びプログラム
TW201919391A (zh) 顯示系統及顯示影像的顯示方法
WO2017085803A1 (ja) 映像表示装置及び映像表示方法
JP2003348621A (ja) 二視点カメラの設定手段
GB2566276A (en) A method of modifying an image on a computational device
JP3802629B2 (ja) 立体画像生成装置
WO2017191703A1 (ja) 画像処理装置
JP5539486B2 (ja) 情報処理装置及び情報処理方法
JPH10172004A (ja) 立体画像表示方法
KR20180108314A (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15908743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15908743

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP