WO2024013850A1 - ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム - Google Patents

ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム Download PDF

Info

Publication number
WO2024013850A1
WO2024013850A1 PCT/JP2022/027416 JP2022027416W WO2024013850A1 WO 2024013850 A1 WO2024013850 A1 WO 2024013850A1 JP 2022027416 W JP2022027416 W JP 2022027416W WO 2024013850 A1 WO2024013850 A1 WO 2024013850A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
image
multiband
disparity map
bandpass
Prior art date
Application number
PCT/JP2022/027416
Other languages
English (en)
French (fr)
Inventor
大樹 吹上
眞也 西田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/027416 priority Critical patent/WO2024013850A1/ja
Publication of WO2024013850A1 publication Critical patent/WO2024013850A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Definitions

  • the disclosed technology relates to a technology that generates a stereo image to be presented on a stereoscopic television (3DTV) or the like according to a viewer's viewpoint position.
  • 3DTV stereoscopic television
  • the human eye When observing the outside world in a natural environment, the human eye uses convergence eye movements and lens accommodation in conjunction. Specifically, when gazing at an object in a 3D environment, the eyeball rotates to minimize the parallax on the retina of the object in the central visual field, and at the same time adjusts the focus of the lens to focus on the object. will be held. As a result, the point where the lines of sight of the left and right eyeballs intersect (convergence distance) and the focal length are maintained to match, regardless of the depth position of the gaze target. "Natural Observation 101" in FIG. 1 shows the situation when the focal length and convergence distance match.
  • Non-Patent Document 1 a method has been devised in the past that measures the viewpoint position of a 3D observer and remaps the parallax of the presented video based on the measured viewpoint position.
  • this method by dynamically manipulating the parallax so that the parallax near the 3D viewer's viewpoint matches the screen surface, a state is created in which both the convergence distance and the focal length are maintained at the distance to the screen.
  • FIG. 2 schematically shows this situation.
  • the observer's viewpoint is measured, and if the viewpoint is on a rectangular parallelepiped, the parallax related to the rectangular parallelepiped is adjusted to near zero, and the parallax of figures other than the rectangular parallelepiped is compressed.
  • the viewpoint moves to a cylinder, the parallax related to the cylinder is adjusted to near zero, and the parallax of figures other than the cylinder is compressed.
  • Non-Patent Document 2 devises a stereo image generation technique (hereinafter referred to as Hidden Stereo) that does not generate double images when left and right images are added together.
  • the viewpoint-based parallax remapping technique requires measuring the viewpoint position of a 3D viewer, the number of 3D viewers is limited to one.
  • the image quality of the image further deteriorates because the blurring and double images of the image change every time the 3D observer moves his or her viewpoint.
  • parallax remapping technology based on viewpoint to 3D TV, there is a problem that the number of viewers is reduced to one, and the advantage over goggle-type displays that can be enjoyed by multiple people in the same place is completely lost.
  • Hidden Stereo there is a limit to the amount of parallax that can be provided, which is approximately 6-8 minutes in viewing angle.
  • a stereo image generation device is a device that generates a stereo image from image information, an image disparity map, and observer viewpoint information, and includes a disparity remapping function generation unit. , a multiband disparity map generation section, a disparity guiding pattern generation section, and an image pair generation section.
  • the parallax remapping function generation unit generates a remapping function that converts the amount of parallax of pixels within a certain range from the viewpoint into the amount of parallax within a predetermined range.
  • the multiband disparity map generation unit performs low-pass filtering on the disparity map to generate a first multiband disparity map, and corrects the first multiband disparity map using a disparity remapping function to generate a second multiband disparity map.
  • the parallax guiding pattern generation unit generates a first bandpass image by bandpass decomposing the image information, generates a second bandpass image by shifting the first bandpass image by ⁇ /2 in spatial phase, and generates a second bandpass image by shifting the first bandpass image by ⁇ /2 in spatial phase.
  • a parallax guiding pattern is generated by weighting and adding the pass images with the values of the second multiband parallax map.
  • the image pair generation unit generates a stereo image pair by adding and subtracting the image information and the parallax guidance pattern.
  • the disclosed technology combines parallax remapping based on viewpoint position and Hidden Stereo to create a system in which these technologies compensate for each other's weaknesses.
  • Hidden Stereo allows 2D viewers to enjoy images at the same time, thereby compensating for the weakness of parallax remapping technology based on viewpoint position, which limits the number of viewers to one person.
  • "parallax remapping technology based on viewpoint position” remaps the amount of parallax near the viewpoint position to be less than 8 minutes, which is the constraint range of Hidden Stereo, thereby improving the sense of depth provided by Hidden Stereo.
  • let Fusion is the process by which humans fuse retinal images between both eyes in the brain without blurring them.
  • the maximum amount of parallax that can be fused is about 10 minutes (Panum's fusion area).
  • the amount of parallax near the gaze point is concentrated around 0 due to convergence eye movement, so such a fusion limit is not a problem in many cases.
  • the parallax remapping results provided by the present invention do not deviate much from the parallax conditions close to those in the natural environment, so a relatively natural viewing experience can be provided.
  • FIG. 2 is a diagram illustrating the conventional technology "remapping.” A diagram explaining the conventional technology "Hidden Stereo”.
  • FIG. 2 is a diagram illustrating Equation 1. A diagram illustrating a positive amount of parallax and a negative amount of parallax.
  • FIG. 1 is a functional block diagram of a stereo image generation device according to a first embodiment.
  • FIG. 7 is a flowchart of the operation of the parallax remapping function generation unit.
  • FIG. 3 is a flowchart of the operation of a multiband disparity map generation unit.
  • FIG. 3 is a flowchart of the operation of the parallax guiding pattern generation section.
  • FIG. 1 is a functional block diagram of a stereo image generation device according to a first embodiment.
  • FIG. 7 is a flowchart of the operation of the parallax remapping function generation unit.
  • FIG. 3 is a flowchart of the operation of a multiband disparity map generation unit.
  • FIG. 3 is a flowchart of the operation of the image pair generation section.
  • FIG. 3 is a functional block diagram of a stereo video generation device according to second and third embodiments.
  • FIG. 7 is a flowchart of the operation of the parallax map generation unit.
  • FIG. 7 is a flowchart of the operation of the multiband disparity map generation unit according to the third embodiment.
  • FIG. 1 is a diagram showing an example of a functional configuration of a computer.
  • visual angle (minutes) is used as a quantitative unit to specify parallax and range in an image, but this uses observation distance O (cm), screen size S (cm), and number of pixels (pixels) occupying the screen W. can be converted into pixels. For example, when viewing angle M (minutes) is converted to a value P in pixels, it is as shown in Equation 1 in FIG.
  • parallax is given by the distance between the intersection of the left eye's line of sight and the screen and the intersection of the right eye's line of sight and the screen when the object displayed on the screen is captured at the center of both eyes.
  • Figure 5 shows this situation. It is assumed that parallax can take positive and negative values.
  • a parallax with a positive value represents the depth in front of the screen surface, and a negative value represents the depth behind the screen surface.
  • parallax 0 represents a depth equal to the screen surface.
  • a disparity map is an array of disparity values for each pixel that matches the image.
  • FIG. 6 is a functional block diagram of a stereo image generation device 601 according to the first embodiment.
  • the disparity remapping function generation unit 602 generates a disparity remapping function g from the disparity map D(x, y) and the viewpoint position (x, y).
  • the multiband disparity map generation unit 603 generates a multiband disparity map G D f (x, y) by remapping the disparity map decomposed into each spatial frequency band using a disparity remapping function g.
  • the parallax guidance pattern generation unit 604 generates a guidance parallax pattern ID (x, y) from the 2D image I (x, y) and the multiband parallax map G D F (x, y).
  • the image pair generation unit 605 generates Hidden Stereo image pairs I L (x,y) and I R (x,y) from the 2D image I (x, y) and the parallax guiding pattern I D (x, y). .
  • FIG. 7 is a flowchart illustrating the operation of the parallax remapping function generation section.
  • the parallax remapping function generation unit first obtains the parallax map D(x, y) and the current viewpoint position (x, y) in the image (step S701).
  • a histogram is constructed by extracting the amount of disparity of pixels in a visual range of 2.5 degrees centered on the viewpoint position (step S702), and the minimum value min(D), 5th percentile p 05 , 95th percentile p 95 , The maximum value max(D) is determined (step S703).
  • Control points P 1 , P 2 , P 3 , and P 4 are determined as follows using the minimum output value d min and maximum output value d max of the parallax remapping function (step S704 and FIG. 8).
  • the control point P 1 - is set so that the straight line connecting P 2 and P 3 passes through the point (p 50 , 0).
  • P4 is entirely shifted in the vertical direction (step S705).
  • the portion where the output value of the control point exceeds the range of d min and d max may be clipped so that it does not exceed d min and d max .
  • a parallax remapping function g is obtained by smoothly interpolating the control points using the Piecewise Cubic Hermite Interpolating Polynomial (PCHIP) method (step S706).
  • FIG. 8 shows the parallax remapping function generated by the above procedure.
  • the multiband disparity map consists of a disparity map G D f (x, y) with a roughness equal to or less than the peak spatial frequency ⁇ f of the spatial frequency band for each of N f spatial frequency bands.
  • f represents the index of each spatial frequency band.
  • ceiling(x) is a ceiling function that gives the smallest integer greater than or equal to variable x.
  • FIG. 9 is a flowchart showing the operation of the multiband disparity map generation section.
  • a disparity map D(x, y) and a disparity remapping function g are obtained (step S901).
  • a moving average in the horizontal direction is calculated in a neighboring window range of the number of pixels corresponding to the wavelength (low-pass filtering for each band).
  • moving average processing is performed independently for each horizontal scanning line, and the results are combined to obtain G' D f (x, y) (step S902).
  • the parallax of each pixel of G' D f (x, y) is converted through a parallax remapping function g to obtain G D f (x, y) (step S903).
  • ⁇ Generation of parallax guidance pattern> The response of a 3D TV is usually not linear, and in order to offset this, the input image is often encoded in a format such as sRGB. At this time, convert from sRGB to linear RGB space as preprocessing. In the following processing, it is assumed that the same processing is performed independently for each RGB channel. However, in order to reduce the amount of calculation, the parallax guidance pattern may be generated based only on the luminance (Y) channel after converting from RGB to a color space such as YUV.
  • Y luminance
  • FIG. 10 is a flowchart showing the operation of the parallax guiding pattern generation section.
  • a 2D image I(x, y) and a multiband parallax map G D f (x, y) are obtained (step S1001). Since the subsequent processing is performed independently for each horizontal scanning line of row y in the image, I, G D f , and A f will be described without the coordinate y.
  • a one-dimensional discrete Fourier transform is applied to I(x), and a bandpass filter ⁇ f corresponding to each spatial frequency band f is applied.
  • a one-dimensional version of the Complex Steerable Pyramid filter is used as this bandpass filter.
  • ⁇ B f (x) a component ⁇ B f (x) whose spatial phase is shifted by 90 degrees ( ⁇ /2) is obtained (step S1003).
  • the weight A f (x) to be applied to ⁇ B f (x) is determined using the following equation 2 (step S1004).
  • a f (x) tan( ⁇ f G D f (x)/2) (Formula 2)
  • a f (x) is clipped using Equation 3 below to obtain A' f (x) (step S1005).
  • A' f (x) min(max(A f , -1), 1) (Equation 3)
  • max(a, b) is a function that returns the larger value of a and b
  • min(a, b) is a function that returns the smaller value of a and b.
  • the 90 degree ( ⁇ /2) phase shift component (A' f (x) ⁇ B f (x)) weighted by A' f (x) is subjected to discrete Fourier transform, and a bandpass filter ⁇ f is applied. Then, a discrete inverse Fourier transform is performed to obtain a parallax guidance pattern I D (x) for each scanning line (step S1006).
  • I D (x) is connected in the y direction to obtain a parallax guiding pattern I D (x,y) (step S1007).
  • FIG. 11 is a flowchart showing the operation of the Hidden Stereo image pair generation section.
  • a 2D image I(x,y) and a parallax guiding pattern I D (x,y) are acquired (step S1101).
  • the left image I L (x, y) I(x, y) + I D (x, y)
  • the right image I R (x, y) I(x, y) - I D (x, y)
  • a Hidden Stereo image pair is generated by addition/subtraction processing for each pixel (step S1102).
  • the above processing is performed on the Y channel and then converted to the RGB color space. Then, if necessary, the image is converted from linear RGB space to sRGB space and then output to the 3D TV. If the addition/subtraction processing exceeds the range of displayable pixel values, components exceeding this range may be calculated and removed from ID (x, y) in advance by clipping processing.
  • FIG. 12 is a functional block diagram of a stereo image generation device 1201 according to the second embodiment. This embodiment differs from the first embodiment in that the input is a stereo image pair and that a disparity map generation unit 1206 that generates a disparity map from the stereo image pair is provided.
  • FIG. 13 is a flowchart illustrating the operation of the parallax map generation section.
  • the parallax map generation section A left eye image I L (x, y) and a right eye image I R (x, y) are acquired (step S1301).
  • a disparity map D(x,y) is generated from I L (x,y) and I R (x,y) (step S1302).
  • D(x,y) for example, the existing technology described in Reference 3 below may be used.
  • ⁇ Generation of parallax remapping function> The procedure for generating a parallax remapping function according to the second embodiment is the same as that in the first embodiment.
  • ⁇ Generation of multiband disparity map> The procedure for generating a multiband disparity map according to the second embodiment is the same as that of the first embodiment.
  • ⁇ Generation of parallax guidance pattern> To generate the parallax guiding pattern according to the second embodiment, a left-eye image I L (x,y) is used instead of the 2D image I(x,y) of the first embodiment. Other procedures are the same as in the first embodiment. ⁇ Generation of Hidden Stereo image pair> The procedure for generating a Hidden Stereo image pair according to the second embodiment is the same as that of the first embodiment.
  • a disparity map is generated from a stereo image pair using an existing technique, but in order to obtain a disparity map with higher accuracy, a disparity correction process based on the phase described in Reference 4 below may be performed. .
  • the correction process may also provide more robust results in situations where multiple parallaxes may exist in the same pixel, such as with glossy or translucent objects.
  • the functional block diagram of the stereo image generation device according to the third embodiment is the same as the functional block diagram 12 of the second embodiment.
  • ⁇ Generation of parallax map> The procedure for generating a disparity map according to the third embodiment is the same as that of the second embodiment.
  • ⁇ Generation of parallax remapping function> The procedure for generating a parallax remapping function according to the third embodiment is the same as that of the first embodiment.
  • FIG. 14 is a flowchart illustrating the operation of the multiband disparity map generation unit according to the third embodiment.
  • the multiband disparity map generation unit first obtains the stereo image pair I L (x,y), I R (x,y), the disparity map D(x,y), and the disparity remapping function g (step S1401).
  • a moving average in the horizontal direction is calculated for each spatial frequency band f in a neighboring window range of the number of pixels corresponding to the wavelength.
  • moving average processing is performed independently for each horizontal scanning line, and the results are combined to obtain G' D f (x, y) (step S1402).
  • I L (x) and I R (x) obtained by dividing I L and I R into scanning line units are subjected to the same processing as in step S1002 of the first embodiment, and a one-dimensional bandpass image B is obtained for each spatial frequency band f.
  • L f (x) and B R f (x) are obtained (step S1403).
  • the B L f (x) obtained here may be used as it is as B f (x) in the parallax guidance pattern generation section.
  • corresponding points between B L f (x) and B R f (x) are found for each spatial frequency band f.
  • the pixel closest to x L -G' D f (x L ) is calculated as the pixel x R of B R f (x) corresponding to the x L-th pixel of B L f ( x ) (step S1404).
  • the phase difference ⁇ between B L f (x L ) and B R f (x R ) is calculated (step S1405).
  • G' D f (x) is corrected by ⁇ using Equation 4 below to obtain G'' D f (x) (step S1406).
  • G'' D f (x) G' D f (x)+ ⁇ / ⁇ f (Formula 4)
  • G'' D f (x) is concatenated in the y direction to generate G'' D f (x,y)
  • the disparity of each pixel is transformed through the disparity remapping function g
  • ⁇ Generation of parallax guidance pattern> To generate the parallax guidance pattern according to the third embodiment, a left-eye image I L (x,y) is used instead of the 2D image I(x,y) of the first embodiment. Other procedures are the same as in the first embodiment.
  • ⁇ Generation of Hidden Stereo image pair> The procedure for generating a Hidden Stereo image pair according to the third embodiment is the same as that of the first embodiment.
  • a program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be of any type, such as a magnetic recording device, an optical disk, a magneto-optical recording medium, or a semiconductor memory.
  • this program is performed, for example, by selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, this program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing a process, this computer reads a program stored in its own recording medium and executes a process according to the read program. In addition, as another form of execution of this program, the computer may directly read the program from a portable recording medium and execute processing according to the program, and furthermore, the program may be transferred to this computer from the server computer. The process may be executed in accordance with the received program each time.
  • ASP Application Service Provider
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) service, which does not transfer programs from the server computer to this computer, but only realizes processing functions by issuing execution instructions and obtaining results.
  • ASP Application Service Provider
  • the present apparatus is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be implemented in hardware.

Abstract

開示技術に係るステレオ画像生成装置は、画像情報と、画像の視差マップと、観察者の視点情報からステレオ画像を生成する装置であって、視差リマッピング関数生成部と、マルチバンド視差マップ生成部と、視差誘導パターン生成部と、画像ペア生成部を含む。 視差リマッピング関数生成部は、視差量を所定の範囲内の視差量に変換するリマッピング関数を生成する。マルチバンド視差マップ生成部は、マルチバンド視差マップを視差リマッピング関数で補正した視差マップを生成する。視差誘導パターン生成部は、バンドパス分解した画像を空間位相でπ/２シフトした画像を生成し、マルチバンド視差マップの値で重みづけ加算して視差誘導パターンを生成する。画像ペア生成部は、画像情報と視差誘導パターンとを、加算および減算してステレオ画像ペアを生成する。

Description

ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム
　開示技術は、ステレオ立体視テレビ（３ＤＴＶ）等で提示するステレオ映像を観察者の視点位置に応じて生成する技術に関する。
　自然環境下で外界を観察する際、人間の眼は輻輳眼球運動とレンズの調節が連動する。
　具体的にいうと、３Ｄ環境中のある対象を注視するとき、中心視野でその対象の網膜上における視差ができるだけ小さくなるよう眼球が回転し、同時に焦点がその対象に合うようにレンズのピント調節が行われる。これにより、注視対象の奥行き位置によらず、左右の眼球の視線が交わる点（輻輳距離）と焦点距離が一致した状態が保たれる。図１の「自然な観察１０１」に、焦点距離と輻輳距離が一致する場合の様子を示す。
　しかし、例えば３ＤＴＶに表示された立体映像を観察する際には、この輻輳眼球運動とピント調節の関係が崩れ、表示された映像の視差に応じて輻輳距離は変化する一方で、焦点距離は常にディスプレイのスクリーン面に固定される状態となり、立体映像観察時の疲れや不快感の原因となると考えられている。図１の「ステレオ３Ｄ観察１０２」に、輻輳距離が焦点距離より短くなった場合の様子を示す。
　この問題を解決する方法として、３Ｄ観察者の視点位置を計測し、計測した視点位置に基づき提示する映像の視差をリマッピングする手法が過去に考案されている（非特許文献１）。この方法では、３Ｄ観察者の視点位置付近の視差がスクリーン面に一致するように動的に視差を操作することで、輻輳距離と焦点距離が共にスクリーンまでの距離に保たれる状態を作る。図２に模式的にこの様子を示す。観察者の視点を計測し、視点が直方体にある場合は、直方体に関する視差をゼロ付近に調節し、かつ、直方体以外の図形の視差を圧縮する。視点が円筒に移動した場合、円筒に関する視差をゼロ付近に調節し、かつ、円筒以外の図形の視差を圧縮する。
　３ＤＴＶには、もう１つ、３Ｄメガネをかけない観察者が３Ｄ映像を観察したときに、左右のステレオ画像が重なって見えることで、映像にボケや二重像が生じてしまうことがあるという問題がある。非特許文献２では、この問題を解決するため、左右像が足し合わさった際に、二重像を生じないステレオ映像生成技術（以下、Hidden Stereoと呼ぶ）を考案している。
　図３にHidden Stereoを模式的に示す。左画像Ｌ＝Ｉ+Ｄと右画像Ｒ＝Ｉ－Ｄを３Ｄネガネにより分離できる場合は３Ｄ映像が観察できる。メガネがなく、ＬとＲが分離できない場合は、視差情報がキャンセルされた２Ｄ画像（Ｌ＋Ｒ＝２Ｉ）が観察できる。
P. Kellnhofer et al., "GazeStereo3D: seamless disparity manipulations," ACM Trans. Graph., vol. 35, No. 4, Article 68, pp.1-13, Jul. 2016. T. Fukiage et al., "Hiding of Phase-Based Stereo Disparity for Ghost-Free Viewing Without glasses," ACM Trans. Graph., vol. 36, no. 4, pp. 1-17, Jul. 2017.
　視点に基づく視差のリマッピング技術は、３Ｄ観察者の視点位置を計測する必要があるため、３Ｄ観察者は１人に限られる。２Ｄ観察者にとっては、３Ｄ観察者が視点を動かすたびに映像のボケや二重像が変動するため、映像の画質はさらに悪化してしまう。このため、３ＤＴＶに視点に基づく視差のリマッピング技術を適用する場合、観察者の人数は１人となり、同じ場所で複数名で楽しめるというゴーグルタイプのディスプレイに対する利点が完全に失われるという問題がある。
　また、Hidden Stereoでは与えられる視差の大きさに限界があり、およそ視角において６－８分程度となる。通常のステレオ映像に含まれる視差量は１－２度（１度＝６０分）程度あるため、この視差を全てHidden Stereoで再現するには視差の圧縮が必要となる。しかし、視差を単純に圧縮すると細かい奥行きの違いを表現できず、平坦な映像になってしまう。
　上記課題を解決するため、開示技術に係るステレオ画像生成装置は、画像情報と、画像の視差マップと、観察者の視点情報からステレオ画像を生成する装置であって、視差リマッピング関数生成部と、マルチバンド視差マップ生成部と、視差誘導パターン生成部と、画像ペア生成部を含む。
　視差リマッピング関数生成部は、視点から一定の範囲内に属する画素の視差量を、所定の範囲内の視差量に変換するリマッピング関数を生成する。
　マルチバンド視差マップ生成部は、視差マップをローパスフィルタリングして第１マルチバンド視差マップを生成し、第１マルチバンド視差マップを視差リマッピング関数で補正して第２マルチバンド視差マップを生成する。
　視差誘導パターン生成部は、画像情報をバンドパス分解して第１バンドパス画像を生成し、第１バンドパス画像を空間位相でπ/２シフトした第２バンドパス画像を生成し、第２バンドパス画像を前記第２マルチバンド視差マップの値で重みづけ加算して視差誘導パターンを生成する。
　画像ペア生成部は、画像情報と視差誘導パターンとを、加算および減算してステレオ画像ペアを生成する。
　開示技術は、視点位置に基づく視差のリマッピングとHidden Stereoを組み合わせ、これらの技術が互いの弱点を補い合うシステムを実現する。具体的には、Hidden Stereoにより２Ｄ観察者が同時に映像を楽しめるようにすることで、観察者が１人に限られるという「視点位置に基づく視差のリマッピング技術」の弱点を補う。一方、「視点位置に基づく視差のリマッピング技術」により、視点位置付近における視差量がHidden Stereoの制約範囲である８分以下となるようリマッピングを行うことで、Hidden Stereoが与える奥行き感を向上させる。
　人間が両眼間の網膜像を脳内でボケのないように融合することを融像という。融像可能な視差量はおよそ１０分程度が限界であることが知られている（Panum's fusion area）。自然観察条件下では、輻輳眼球運動によって注視点付近での視差量が０付近に集中するため、こうした融像限界は多くの場合問題にならない。本発明で与える視差のリマッピング結果は、こうした自然環境下に近い視差条件からそれほど逸脱しないため、比較的自然な観察体験を提供できる。
焦点距離と輻輳距離を説明する図。 従来技術「リマッピング」を説明する図。 従来技術「Hidden Stereo」を説明する図。 式１を説明する図。 正の視差量と負の視差量を説明する図。 第一実施形態に係るステレオ映像生成装置の機能ブロック図。 視差リマッピング関数生成部の作用のフローチャート図。 視差リマッピング関数を説明する図。 マルチバンド視差マップ生成部の作用のフローチャート図。 視差誘導パターン生成部の作用のフローチャート図。 画像ペア生成部の作用のフローチャート図。 第二、第三実施形態に係るステレオ映像生成装置の機能ブロック図。 視差マップ生成部の作用のフローチャート図。 第三実施形態に係るマルチバンド視差マップ生成部の作用のフローチャート図。 コンピュータの機能構成例を示す図。
　以下、開示技術の実施形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下では、視差や画像中の範囲を指定する量単位として視角（分）を用いるが、これは観察距離O(cm)とスクリーンサイズS(cm)、スクリーンに占めるピクセル（画素）数Wを用いて、ピクセル単位に変換できる。例えば視角M(分)をピクセル単位の数値Pに変換すると、図４の式１の通りである。
　また、「視差」は、スクリーン上に表示された対象を両眼の中心で捉えている場合において、左眼の視線とスクリーンの交点と、右眼の視線とスクリーンの交点の距離で与えられる。図５にこの様子を示す。視差は正と負の値を取りうるものとする。正の値を持つ視差はスクリーン面より手前側の奥行きを表し、負の値はスクリーン面より奥側の奥行きを表す。また、視差0はスクリーン面に等しい奥行きを表すものとする。画素ごとの視差の値を画像に合わせて配列したものを視差マップという。
　以下、１枚の２Ｄ画像と対応する視差マップを入力にとる場合を第一実施形態で、１組のステレオ画像ペアを入力にとる場合を第二実施形態、および第三実施形態で説明する。
［第一実施形態］
　図６は第一実施形態に係るステレオ画像生成装置６０１の機能ブロック図である。
　視差リマッピング関数生成部６０２は視差マップD(x, y)と視点位置(x, y)から、視差リマッピング関数gを生成する。
　マルチバンド視差マップ生成部６０３は、空間周波数バンド毎に分解した視差マップを視差リマッピング関数gでリマップしたマルチバンド視差マップGD ｆ(x, y)を生成する。
　視差誘導パターン生成部６０４は、２Ｄ画像I(x, y)とマルチバンド視差マップGD F(x, y)から、誘導視差パターンID(x, y)を生成する。
　画像ペア生成部６０５は、２Ｄ画像I(x, y)と視差誘導パターンID(x, y)から、Hidden Stereo画像ペアIL(x,y)とIR(x,y)を生成する。
＜視差リマッピング関数の生成＞
　視差マップに作用させ、視点位置近傍の視差をゼロにシフトするとともに、視差量をHidden Stereoで再現可能な範囲に圧縮するための「視差リマッピング関数」を生成する。
　図７は視差リマッピング関数生成部の作用を説明するフローチャートである。
　視差リマッピング関数生成部は、まず、視差マップD(x, y)と画像中の現在の視点位置(x, y)を取得する（ステップＳ７０１）。
　視差マップから、視点位置を中心として視覚2.5度の範囲の画素の視差量を抽出してヒストグラムを構築し（ステップＳ７０２）、その最小値min(D)、5パーセンタイルp05、95パーセンタイルp95、最大値max(D)を求める（ステップＳ７０３）。
　視差リマッピング関数の出力最小値dminと出力最大値dmaxを使って、コントロール点P１、P２、P３、P４を次のように決定する（ステップＳ７０４、および図８）。
　　P１=(min(D), dmin)
　　P２=(p05, dmin)
　　P３=(p95, dmax)
　　P４=(max(D), dmax)
　ここで、dminとdmaxはHidden Stereoで再現可能な視差範囲として、例えばdmin=-8分、dmax＝+8分として定数で与える。
　抽出視差量の最頻値p50(50パーセンタイル)において出力視差0となるようにするため、P2とP3を結ぶ直線が、点(p50、0)を通るようにコントロール点P1-P4を全体的に縦方向にシフトさせる（ステップＳ７０５）。このとき、コントロール点の出力値がdminとdmaxの範囲を超えた部分は、dminとdmaxを超えないようにクリッピングしてもよい。
　Piecewise Cubic Hermite Interpolating Polynomial (PCHIP)法を用いてコントロールポイントを滑らかに内挿することで視差リマッピング関数gとする（ステップＳ７０６）。
　以上の手順で生成された視差リマッピング関数を図８に示す。
＜マルチバンド視差マップの生成＞
　視点位置に応じたHidden Stereo画像生成を行うため、Hidden Stereo画像生成処理の高速化が必要となる。このため開示技術の「マルチバンド視差マップ生成部」と「視差誘導パターン生成部」では、下記参考文献１および参考文献２で提案されていた空間周波数と方位を考慮した２次元画像処理に基づく変換ではなく、水平方向の空間周波数情報のみを考慮した１次元的な画像処理に基づく変換を行う。
［参考文献１］T. Fukiage et al., "Hiding of phase-based stereo disparity for ghost-free viewing without glasses," ACM Trans. Graph., vol. 36, No. 4, Article 147, pp.1-17, July 2017.
［参考文献２］特開２０１８－５６９８３
　さて、後の視差誘導パターン生成部にて利用するマルチバンド視差マップを生成する。マルチバンド視差マップは、Nｆ個の空間周波数帯毎に、その空間周波数帯のピーク空間周波数ωf以下の荒さの視差マップGＤ ｆ(x, y)からなる。ここでfは各空間周波数帯のインデックスを表す。なお、Nfは入力画像の水平方向の画素数Wに応じて決めればよく、例えばNｆ＝ceiling(log２W-3)とする。ceiling(x)は天井関数で、変数x以上の最小の整数を与える。
　図９はマルチバンド視差マップ生成部の作用を示すフローチャートである。
　まず、視差マップD(x, y)と視差リマッピング関数gを取得する（ステップＳ９０１）。
　次に、視差マップD(x, y)に対し、空間周波数帯f毎に、その波長に相当する画素数の近傍窓範囲で水平方向の移動平均を計算する（バンド毎ローパスフィルタリング）。計算量を抑えるため、移動平均の処理は水平走査線毎に独立に行い、結果を結合してG'D f(x, y)を得る（ステップＳ９０２）。
　その後、G'D f(x、y)の各画素の視差を視差リマッピング関数gに通して変換し、GD f(x、y)を得る（ステップＳ９０３）。
＜視差誘導パターンの生成＞
　３ＤＴＶの応答は通常線形ではなく、これをオフセットするために入力画像がsRGB等の形式でエンコードされている場合が多い。このときは、前処理としてsRGBから線形RGB空間に変換しておく。以下の処理では、RGBの各チャンネルそれぞれについて独立して同一の処理を行うものとする。ただし、計算量削減のため、RGBからYUV等の色空間に変換後、輝度(Y)チャンネルにのみ基づいて視差誘導パターンを生成してもよい。
　図１０は視差誘導パターン生成部の作用を示すフローチャートである。
　まず、２Ｄ画像I(x, y)、マルチバンド視差マップGD f(x, y)を取得する（ステップＳ１００１）。以降の処理は画像中の行yの水平走査線毎に独立に行うため、I、GD ｆ、Aｆについて座標ｙを省略して記述する。
　I(x)を１次元離散フーリエ変換し、各空間周波数帯fに対応するバンドパスフィルタΨｆを適用する。このバンドパスフィルタには、Complex Steerable Pyramidの１次元版のフィルタを用いる。ただし、ハイパス残余成分とローパス残余成分に相当する空間周波数帯は使用しないため、これらに対応するフィルタは用いない。その後、離散逆フーリエ変換を行い、空間周波数帯f毎の一次元バンドパス画像Bf(x)を得る（ステップＳ１００２、バンドパス分解）。
　Bf(x)の虚数成分を取り出すことで、90度（π／２）分空間位相シフトした成分~Bｆ(x)を得る（ステップＳ１００３）。
　~Bｆ(x)に適用する重みAf(x)を下記式２により求める（ステップＳ１００４）。
　　Aｆ(x)＝tan(ωｆGＤ ｆ(x)/2）　　（式２）
　視差が大きい場合に重みが大きくなりすぎるのを防ぐため、Af(x)を下記式３によりクリッピングし、A'f(x)を得る（ステップＳ１００５）。
　　A'ｆ(x)＝min(max(Aｆ, -1), 1) 　　（式３）
　なお、max(a, b)はaとbのうち大きい方の値を、min(a, b)はaとbのうち小さい方の値を返す関数である。
　最後に、A'f(x)で重み付けをした90度（π／２）位相シフト成分（A'f(x)~Bｆ(x)）を離散フーリエ変換し、バンドパスフィルタΨｆを適用し、離散逆フーリエ変換を行い、走査線ごとの視差誘導パターンIＤ(x)を得る（ステップＳ１００６）。
　IＤ(x)をy方向に連結して、視差誘導パターンIＤ(x,y)を得る（ステップＳ１００７）。
＜Hidden Stereo画像ペアの生成＞
　図１１はHidden Stereo画像ペア生成部の作用を示すフローチャートである。
　まず、２Ｄ画像I(x,y)と視差誘導パターンIＤ(x,y)を取得する（ステップＳ１１０１）。
　次に、左画像IL(x、y)= I(x、y) + ID(x、y)、右画像IR(x、y)= I(x、y) - ID(x、y)のように、画素毎の加算・減算処理によりHidden Stereo画像ペアを生成する（ステップＳ１１０２）。
　輝度チャンネルのみ視差誘導パターンを生成した場合には、Yチャンネルに対して上記処理を行った後、RGB色空間に変換する。
　その後、必要に応じて画像を線形RGB空間からsRGB空間に変換してから３ＤＴＶに出力する。加算・減算処理により、表示可能な画素値の範囲を超える場合には、この範囲を超える成分を算出してID(x、y)から事前にクリッピング処理によって取り除いておいてもよい。
［第二実施形態］
　入力画像として、ステレオ画像ペアが与えられる場合について説明する。
　図１２は、第二実施形態に係るステレオ画像生成装置１２０１の機能ブロック図である。第一実施形態とは、入力がステレオ画像ペアになった点と、ステレオ画像ペアから視差マップを生成する視差マップ生成部１２０６を備えた点が異なる。
＜視差マップの生成＞
　図１３は視差マップ生成部の作用を説明するフローチャートである。
　視差マップ生成部は、まず。左目用画像IＬ(x, y)と右目用画像IＲ(x, y)を取得する（ステップＳ１３０１）。
　次に、IL(x,y)とIR(x,y)から視差マップD(x,y)を生成する（ステップＳ１３０２）。D(x,y)の生成には、例えば下記参考文献３に記載の既存技術を用いればよい。
［参考文献３］A. Hosni et al., "Fast cost-volume filtering for visual correspondence and beyond," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, No. 2, pp.504-511, Feb. 2013.
＜視差リマッピング関数の生成＞
　第二実施形態に係る視差リマッピング関数の生成手順は、第一実施形態と同様である。
＜マルチバンド視差マップの生成＞
　第二実施形態に係るマルチバンド視差マップの生成手順は、第一実施形態と同様である。
＜視差誘導パターンの生成＞
　第二実施形態に係る視差誘導パターンの生成には、第一実施形態の２Ｄ画像I(x,y)に換えて、左目用画像IＬ(x,y)を用いる。その他の手順は、第一実施形態と同様である。
＜Hidden Stereo画像ペアの生成＞
　第二実施形態に係るHidden Stereo画像ペアの生成手順は、第一実施形態と同様である。
［第三実施形態］
　第二実施形態では、ステレオ画像ペアから既存技術により視差マップを生成したが、より高い精度の視差マップを得るために、下記参考文献４に記載の位相に基づく視差の補正処理を行なってもよい。補正処理により、サブピクセル精度の視差が得られる他、光沢や半透明物体など、同一画素に複数の視差が存在し得る状況下でより頑健な結果が得られる場合がある。
［参考文献４］P. Kellnhofer et al., "3DTV at home: eulerian-lagrangian stereo-to-multiview conversion," ACM Transaction on Graphics, vol. 36, No. 4, Article 146, pp.1-13, July 2017.
　第三実施形態に係るステレオ画像生成装置の機能ブロック図は、第二実施形態の機能ブロック図１２と同様である。
＜視差マップの生成＞
　第三実施形態に係る視差マップの生成手順は、第二実施形態と同様である。
＜視差リマッピング関数の生成＞
　第三実施形態に係る視差リマッピング関数の生成手順は、第一実施形態と同様である。
＜マルチバンド視差マップの生成＞
　図１４は、第三実施形態に係るマルチバンド視差マップ生成部の作用を説明するフローチャートである。
　マルチバンド視差マップ生成部は、まず、ステレオ画像ペアIL(x,y)、IR(x,y)と、視差マップD(x,y)と、視差リマッピング関数ｇを取得する（ステップＳ１４０１）。
　次に、視差マップD(x、y)に対し、空間周波数帯f毎に、その波長に相当する画素数の近傍窓範囲で水平方向の移動平均を計算する。計算量を抑えるため、移動平均の処理は水平走査線毎に独立に行い、結果を結合してG'D f(x、y)を得る（ステップＳ１４０２）。
　ILとIRを走査線単位に分割したIＬ(x)とIR(x)に第一実施形態のステップＳ１００２と同様の処理を施し、空間周波数帯f毎の一次元バンドパス画像BＬ f(x)、BＲ f(x)を得る（ステップＳ１４０３）。ここで得たBＬ f(x)はそのままBf(x)として視差誘導パターン生成部で用いても良い。
　マルチバンド視差マップG'D f(x)に基づいて、空間周波数帯f毎にBＬ f(x)とBＲ f(x)の対応点をみつける。BＬ f(x)のxL番目の画素に対応するBＲ f(x)の画素xRとして、xL-G'D f(xL)に最も近い画素を算出する（ステップＳ１４０４）。
　次に、BL f(xL)とBR f(xＲ)の位相差Δφを計算する（ステップＳ１４０５）。
　次に、下記式４により、ΔφでG'D f(x)を補正し、G''D f(x)を得る（ステップＳ１４０６）。
　　G''D f(x)＝G'D f(x)＋Δφ／ωf　　（式４）
　最後に、G''D f(x)をｙ方向に連結してG''D f(x,y)を生成し、各画素の視差を視差リマッピング関数gに通して変換し、GD f(x,y)を得る（ステップＳ１４０７）。
＜視差誘導パターンの生成＞
　第三実施形態に係る視差誘導パターンの生成には、第一実施形態の２Ｄ画像I(x,y)に換えて、左目用画像IＬ(x,y)を用いる。その他の手順は、第一実施形態と同様である。
＜Hidden Stereo画像ペアの生成＞
　第三実施形態に係るHidden Stereo画像ペアの生成手順は、第一実施形態と同様である。
［プログラム、記録媒体］
　上述の各種の処理は、図１５に示すコンピュータ２０００の記録部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

  1. 　画像情報と、画像の視差マップと、観察者の視点情報からステレオ画像を生成するステレオ画像生成装置であって、
    　視点から一定の範囲内に属する画素の視差量を、所定の範囲内の視差量に変換する視差リマッピング関数を生成する視差リマッピング関数生成部と、
    　視差マップをローパスフィルタリングして第１マルチバンド視差マップを生成し、前記第１マルチバンド視差マップを前記視差リマッピング関数で補正して第２マルチバンド視差マップを生成するマルチバンド視差マップ生成部と、
    　画像情報をバンドパス分解して第１バンドパス画像を生成し、前記第１バンドパス画像を空間位相でπ/２シフトした第２バンドパス画像を生成し、前記第２バンドパス画像を前記第２マルチバンド視差マップの値で重みづけ加算して視差誘導パターンを生成する視差誘導パターン生成部と
    　前記画像情報と、前記視差誘導パターンを加算、および減算してステレオ画像ペアを生成する画像ペア生成部
    を含むステレオ画像生成装置。
  2. 　請求項１に記載のステレオ画像生成装置であって、
    　前記画像情報はステレオ画像ペアILとIRであり、
    　前記マルチバンド視差マップ生成部は前記ILと前記IRをバンドパス分解してバンドパス画像BＬ fとBＲ ｆを生成し、前記BＬ ｆと前記BＲ ｆに基づき、前記第１マルチバンド視差マップを補正し、前記補正後の第１マルチバンド視差マップを前記視差リマッピング関数で補正して前記第２マルチバンド視差マップを生成する
    ステレオ画像生成装置
  3. 　請求項１に記載のステレオ画像生成装置であって、
    　前記マルチバンド視差マップ生成部は、水平走査線ごとに前記視差マップを処理し、
    　前記視差誘導パターン生成部は、水平走査線ごとに前記画像を処理する
    ステレオ画像生成装置
  4. 　画像情報と、画像の視差マップと、観察者の視点情報からステレオ画像を生成する方法であって、
    　視差リマッピング関数生成部が、視点から一定の範囲内に属する画素の視差量を、所定の範囲内の視差量に変換するリマッピング関数を生成するステップと、
    　マルチバンド視差マップ生成部が、視差マップをローパスフィルタリングして第１マルチバンド視差マップを生成し、前記第１マルチバンド視差マップを前記視差リマッピング関数で補正して第２マルチバンド視差マップを生成するステップと、
    　視差誘導パターン生成部が、画像情報をバンドパス分解して第１バンドパス画像を生成し、前記第１バンドパス画像を空間位相でπ/２シフトした第２バンドパス画像を生成し、前記第２バンドパス画像を前記第２マルチバンド視差マップの値で重みづけ加算して視差誘導パターンを生成するステップと、
    　画像ペア生成部が、前記画像情報と、前記視差誘導パターンを加算、および減算してステレオ画像ペアを生成するステップ
    を含むステレオ画像生成方法。
  5. 　請求項１から３のいずれかに記載のステレオ画像生成装置としてコンピュータを機能させるためのプログラム。
PCT/JP2022/027416 2022-07-12 2022-07-12 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム WO2024013850A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/027416 WO2024013850A1 (ja) 2022-07-12 2022-07-12 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/027416 WO2024013850A1 (ja) 2022-07-12 2022-07-12 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024013850A1 true WO2024013850A1 (ja) 2024-01-18

Family

ID=89536139

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027416 WO2024013850A1 (ja) 2022-07-12 2022-07-12 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024013850A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522382A (ja) * 2001-07-23 2004-07-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ステレオスコピック画像処理機器および方法
JP2010063083A (ja) * 2008-08-06 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2018056983A (ja) * 2016-09-23 2018-04-05 日本電信電話株式会社 画像生成装置、画像生成方法、データ構造、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522382A (ja) * 2001-07-23 2004-07-22 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ステレオスコピック画像処理機器および方法
JP2010063083A (ja) * 2008-08-06 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2018056983A (ja) * 2016-09-23 2018-04-05 日本電信電話株式会社 画像生成装置、画像生成方法、データ構造、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUKIAGE TAIKI, T. KAWABE, S. NISHIDA: " Technical Survey, Hidden Stereo: Synthesizing 2D/3D Compatible Stereoscopic Images Based on Understanding of Human Binocular Vision", THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, vol. 74, no. 3, 1 January 2020 (2020-01-01), pages 485 - 490, XP093128734 *

Similar Documents

Publication Publication Date Title
CN102474644B (zh) 立体图像显示系统、视差转换装置、视差转换方法
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR100505334B1 (ko) 운동 시차를 이용한 입체 영상 변환 장치
US8866884B2 (en) Image processing apparatus, image processing method and program
JP5347717B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102055998B (zh) 图像处理装置和图像处理方法
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
US8791989B2 (en) Image processing apparatus, image processing method, recording method, and recording medium
JP2014103689A (ja) 立体映像エラー改善方法及び装置
EP2393298A1 (en) Method and apparatus for generating multiple image views for a multiview autostereoscopic display device
JP2013527646A5 (ja)
JP2008524673A (ja) ステレオカメラの画像の歪み補正装置、及びその方法
US9088774B2 (en) Image processing apparatus, image processing method and program
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
Jung et al. Visual comfort enhancement in stereoscopic 3D images using saliency-adaptive nonlinear disparity mapping
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
WO2024013850A1 (ja) ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム
JP6113411B2 (ja) 画像処理装置
WO2014038476A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP2017098596A (ja) 画像生成方法及び画像生成装置
Benzeroual et al. 3D display size matters: Compensating for the perceptual effects of S3D display scaling
Li et al. On adjustment of stereo parameters in multiview synthesis for planar 3D displays
Liu et al. 3D video rendering adaptation: a survey
Gurrieri Improvements in the visualization of stereoscopic 3D imagery
KR20040018858A (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22951064

Country of ref document: EP

Kind code of ref document: A1