WO2011070674A1 - 立体画像の奥行き頻度解析装置および方法 - Google Patents

立体画像の奥行き頻度解析装置および方法 Download PDF

Info

Publication number
WO2011070674A1
WO2011070674A1 PCT/JP2009/070749 JP2009070749W WO2011070674A1 WO 2011070674 A1 WO2011070674 A1 WO 2011070674A1 JP 2009070749 W JP2009070749 W JP 2009070749W WO 2011070674 A1 WO2011070674 A1 WO 2011070674A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
unit
frequency
light
depth frequency
Prior art date
Application number
PCT/JP2009/070749
Other languages
English (en)
French (fr)
Inventor
芳晴 桃井
由紀 岩中
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2009/070749 priority Critical patent/WO2011070674A1/ja
Publication of WO2011070674A1 publication Critical patent/WO2011070674A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Definitions

  • the present invention relates to an apparatus and method for analyzing the depth frequency of a stereoscopic image.
  • 3D display is known to place a burden (fatigue) on the viewer depending on the content.
  • the image quality deteriorates depending on the depth position even in an II (integral imaging) display. Therefore, it is necessary to estimate the depth of the subject, adjust the depth to be displayed, and perform display without causing deterioration or load.
  • a block map of a stereoscopic image is performed, and a depth map (depth value data at each coordinate on the screen) is generated by a matching shift amount. If the depth map can be generated, the depth frequency can be easily analyzed.
  • Depth map generation involves the processing of non-corresponding points called occlusion, and in Patent Document 1, the blocks are divided so as not to intersect with the disparity discontinuity contour, and the disparity is extracted for each block. It is carried out.
  • Patent Document 2 stereo matching is performed, the reliability of matching is calculated by an evaluation function, and a parallax value is interpolated by a value having high reliability in a portion having low reliability.
  • Patent Document 3 the influence of occlusion is reduced using data of two or more parallaxes, data on epipolar lines is arranged in the order of parallax called ray space data, and decomposed into direction components while scanning feature lines with high correlation. Then, the depth is extracted.
  • the present invention has been made in view of the above circumstances, and provides a depth frequency analysis apparatus and method for a stereoscopic image capable of reducing processing costs and obtaining a depth frequency.
  • a stereoscopic image depth frequency analysis device including a flat display device having a plurality of pixels arranged in a matrix on a display surface, and a light beam control unit that controls a light beam direction from the pixels.
  • a multi-viewpoint image acquisition unit that acquires a multi-viewpoint image obtained by photographing the same subject from different positions with a camera, which analyzes a depth frequency of a three-dimensional image displayed by a three-dimensional image display device
  • a ray space converting unit that converts the multi-viewpoint image into a position in the same epipolar line and ray space data corresponding to the camera, a Fourier transform unit that Fourier transforms the ray space data and outputs a frequency characteristic
  • a parameter acquisition unit that acquires filter band parameters to be extracted, and the frequency characteristics in the designated filter band, Filtering for each angle to heart, characterized in that it comprises a depth frequency estimation unit that estimates a depth frequency, the.
  • a method for analyzing the depth frequency of a stereoscopic image includes a flat display device having a plurality of pixels arranged in a matrix on a display surface, and a light beam control unit that controls a light beam direction from the pixels.
  • a depth frequency analysis method of a stereoscopic image for analyzing the depth frequency of a stereoscopic image displayed by a stereoscopic image display device comprising: obtaining a multi-viewpoint image in which the same subject is captured by a camera from different positions; A step of converting the multi-viewpoint image into a position in the same epipolar line and ray space data corresponding to the camera; a step of Fourier transforming the ray space data to output a frequency characteristic; and a filter band parameter to be extracted In the designated filter band, the frequency characteristic is filtered for each angle centered on the origin.
  • ring characterized in that it comprises a step of estimating the depth frequency, the.
  • the processing cost can be reduced and the depth frequency can be obtained.
  • FIG. 2A is a top view of the stereoscopic image display device when a lenticular sheet is used as the light beam control unit
  • FIG. 2B is a pixel in which light incident on the left eye of the observer is enlarged by the lenticular sheet 30.
  • 4A to 4D are diagrams showing examples of multi-viewpoint images.
  • FIG. 8A shows a real space
  • the figure which shows light space data The figure which shows the data at the time of carrying out Fourier change of the light space data.
  • the figure which shows depth frequency The block diagram which shows the depth frequency analysis apparatus by a 1st modification.
  • the block diagram which shows the depth frequency analysis apparatus by a 2nd modification The block diagram which shows the depth frequency analysis apparatus by a 3rd modification.
  • the block diagram which shows the depth frequency analysis apparatus by a 4th modification The block diagram which shows the depth frequency analysis apparatus by a 5th modification.
  • a basic concept of a stereoscopic image display device also referred to as a three-dimensional image display device
  • optimization of a viewing zone will be described.
  • FIG. 1 shows a three-dimensional image display device.
  • the three-dimensional image display device limits a light source 10 that emits light as a backlight, a flat display 20 that is irradiated with light from the light source 10, and light that has passed through the flat display 20.
  • a light beam control unit 30 for controlling the direction thereof.
  • an arrow indicates a direction in which the observer views the 3D image display device, and a 3D stereoscopic image can be observed by viewing the 3D image display device from this direction.
  • the light source unit 10 includes a light source 10a that generates light, and a light guide plate 10b that guides light emitted from the light source 10a.
  • the flat display device 20 includes an image display unit 20a having an image display element array in which display elements corresponding to pixels having the same size are arranged in a matrix, that is, a matrix, and polarized light provided before and after the pixel display unit 20a. Plates 20b and 20c are provided. The polarizing directions of the polarizing plate 20b and the polarizing plate 20c are orthogonal to each other.
  • the image display unit 20a displays parallax image information necessary for displaying a three-dimensional image on a pixel, and generates a transmission type that transmits light and gives image information to the light and a light that carries image information by itself.
  • a transmission type that transmits light and gives image information to the light and a light that carries image information by itself.
  • the image display unit including the transmissive type and the self-luminous type includes a normal direct-view type two-dimensional display such as a CRT (cathode ray tube device), an LCD (liquid crystal display device), a PDP (plasma display device), or a projection type. Use of a display or the like is conceivable.
  • the light beam control unit 30 restricts the light beam to be transmitted and controls an array plate such as a slit array appropriately provided with a light transmission region for directing the light beam in a predetermined direction, or controls incident and outgoing light beams to direct the light beam in a predetermined direction.
  • a segment lens array plate such as a lenticular sheet having lens segments to be directed.
  • These light transmission regions and optical segments have a function of emitting only a specific light ray from among the light rays emitted from the image display unit toward the front thereof, and collectively refer to simply an opening or an optical opening. Called.
  • the openings are arranged in a matrix on the light beam control unit 30.
  • the light beam control unit 30 may use an LCD (Liquid Crystal Display) as an optical shutter that can change the position and shape of the light transmission region with time instead of these optical elements.
  • LCD Liquid Crystal Display
  • the flat display device 20 is driven by a display driving circuit, distributes and displays parallax image information to pixels corresponding to each optical opening, and bears a parallax image through the optical opening as described later. Generate light rays.
  • the transmissive image display device shown in FIG. 1 the light source unit 10, the flat display device 20, and the light beam control unit 30 are arranged in this order, but the flat display device 20 and the light beam control unit 30 are arranged. Can be generated, and even if they are arranged in the order of the light source unit 10, the light beam control unit 30, and the flat display device 20, light beams carrying the same parallax image can be generated.
  • FIG. 2 (a) is a top view of the positional relationship when a lenticular sheet is used as the light beam control unit 30 of the three-dimensional image display device shown in FIG.
  • the image display unit 20a arranged behind the lenticular sheet as viewed from the viewer 100 displays a parallax image group that is slightly different in appearance depending on the angle, that is, a multi-viewpoint image.
  • the light emitted from this multi-viewpoint image is condensed through one of the lenses to reproduce a three-dimensional image.
  • FIG. 2B the light incident on the left eye of the viewer 100 becomes a pixel enlarged by the lenticular sheet 30.
  • the light incident on the right eye of the observer is also a different subpixel image.
  • each subpixel can display an image with different directivities, different images can be displayed on the left and right eyes of the observer, and stereoscopic display can be achieved.
  • a method for representing a stereoscopic image as a set of light having these directivities is called integral imaging.
  • the center of the subject can be displayed on the display surface by matching the cutout position of the image incident on the left eye and the right eye with the subject, and a stereoscopic image that is easy to observe can be generated. Similar effects can be expected for multi-view images instead of two-view stereoscopic display.
  • the depth amount to be displayed can be adjusted by changing the interval between camera positions to be photographed.
  • the depth can be adjusted using the depth position of the subject and the depth amount as parameters.
  • the depth amount can be calculated from the source such as CG (computer graphics).
  • CG computer graphics
  • the depth amount cannot be easily calculated such as a live-action picture, there is a problem in calculating the depth value and the width of the subject. There is.
  • the depth frequency analysis device 40 includes a multi-view image acquisition unit 42 that acquires a multi-view image obtained by photographing the same subject from different positions, and a multi-view image acquired by the multi-view image acquisition unit within the same epipolar line.
  • a ray space conversion unit 44 for converting into ray space data corresponding to the position and the camera, a Fourier transform unit 46 for Fourier transforming the ray space data converted by the ray space conversion unit 44 and outputting a frequency characteristic, and a filter band to be extracted
  • a parameter acquisition unit 48 that designates and acquires parameters, and a frequency characteristic converted by the Fourier transform unit 46 in a filter band determined by the parameter acquisition unit 48 is filtered for each angle centered on the origin to obtain a depth frequency.
  • the depth frequency estimating unit 50 for calculating the estimated value and the depth frequency estimating unit 50 estimate the estimated value.
  • an output unit 52 for outputting the results to analyze the depth frequency by the device 40.
  • the multi-viewpoint image input unit 42 acquires multi-viewpoint images obtained by photographing the same subject from a plurality of directions as shown in FIGS. 4 (a) to 4 (d).
  • an image from a camera installed in a horizontal direction is often used as an input.
  • the light space conversion unit 44 converts the acquired multi-viewpoint image into light space data corresponding to the position and camera in the same epipolar line.
  • the light space will be described with reference to FIG.
  • FIG. 5 is a diagram illustrating the positional relationship between the coordinate system and the camera.
  • a multi-viewpoint image is acquired using two cameras 150a and 150b.
  • the imaging plane (assumed imaging position) is the reference plane 160, and one end of the line of intersection between the plane determined by the center of the lens of the two cameras and the reference plane 160 (the end of the common part imaged by each camera) ) Is defined as a coordinate system having an origin 165.
  • the coordinate axis extending from the origin 165 in the intersecting direction is the x axis
  • the normal line of the reference plane 160 is the z axis (reference axis)
  • the x axis and the axis orthogonal to the z axis are the y axis.
  • the tilt angle ⁇ of the light beam passing through the center of the lens with respect to this reference axis is defined as the parallax angle.
  • the pixel P of the imaging element 154 b in the camera 150 b corresponds to the x coordinate of the point where the ray of parallax angle ⁇ passing through the pixel P and the center of the lens 152 b of the camera 150 b intersects the reference plane 160. . That is, the light ray passing through the pixel P of the imaging element 154b in the camera 150b and the center of the lens 152b of the camera 150b is determined by giving the parallax angle ⁇ and the x coordinate.
  • the x coordinate is taken on the horizontal axis
  • tan ⁇ is taken on the vertical axis
  • a space defined by the horizontal axis and an axis orthogonal to the vertical axis (y-axis in real space) is called a light space. Therefore, the point in the ray space represents one ray in the real space that passes through the point (x coordinate, y coordinate) of the reference plane 160 and the center of the lens and has the parallax angle ⁇ .
  • An image in which pixel values (values having luminance information such as RGB and chromaticity information) are arranged in this light space is referred to as a light space image.
  • FIG. 6 shows the correspondence between the acquired image and the light space when taken by the two cameras 150a and 150b as shown in FIG.
  • straight lines g a and g b show examples in which acquired images when acquired by the cameras 150 a and 150 b are displayed in the light space.
  • Fig. 7 shows a simple ray space.
  • the abscissa axis is defined as an axis “i” corresponding to a position
  • the ordinate is defined as an axis “j” corresponding to an angle.
  • the real space coordinates correspond to the pixel address of the main camera, and similarly, the axis of “i” can be given as the pixel address of the main camera.
  • This simple light space can be treated as a parallax angle depending on the distance between the cameras by assuming that the perspectives of the cameras are equal and ignoring the angle deviation.
  • the data arranged in this way corresponds to the light space. In addition, it is compatible and efficient when computing with a computer or the like.
  • FIG. 8A and FIG. 8B show the real space and the light space, respectively.
  • light rays that exit in all directions from the point Q (x q , z q ) in FIG. 8A can be represented as straight lines passing through various points on the reference plane 160, and in the light space in FIG.
  • the change of this straight line can be expressed as a function as follows.
  • tan ⁇ (x ⁇ x q ) / z q (1)
  • This function represents that the position of the pixel moves at different observation angles.
  • the movement of the position of the pixel can be expressed as a line having an inclination in the ray space in the ray space.
  • FIG. 9 shows an example of ray space data. As can be seen from FIG. 9, the feature points are inclined lines.
  • the data of the two cameras are schematically shown.
  • the data of the camera 3 or more is used to correspond to the occlusion data. Handles data, changes the camera position based on multiple parallax data, and adjusts the amount of depth protrusion.
  • the Fourier transform unit 46 performs two-dimensional Fourier transform on the light space data to obtain a frequency characteristic (power spectrum).
  • FFT Fast Fourier Transform
  • FIG. 10 shows a power spectrum when two-dimensional Fourier transform is performed on the light space data. As shown in FIG. 10, when the two-dimensional Fourier transform is performed, the higher the frequency is from the center representing the origin to the periphery. It can be seen that the gradient of the light space data is separated for each tilt angle around the origin in the frequency characteristics after the two-dimensional Fourier transform. In one embodiment of the present invention, this point is noted.
  • the depth frequency estimation unit 50 estimates the depth frequency by filtering the power spectrum for each angle centered on the origin in the band determined by the parameter acquisition unit 48 that specifies the frequency band handled as the feature point.
  • the power spectrum data after Fourier transform separated for each angle has a correlation with the inclination frequency of the feature point in the light space.
  • the output unit 52 is a part that outputs data after filtering, and outputs the frequency (or data correlated with the frequency) with respect to the depth value (corresponding to the angle of the Fourier transform data).
  • FIG. 11 shows an output example of the depth frequency.
  • the horizontal axis represents the depth conversion value
  • the vertical axis represents the power spectrum
  • the pixel value when the logarithmic scale is 255 gradations. Based on such depth frequency data, it is possible to shift the display surface and crush (or stretch) the subject in the depth direction.
  • the process returns to the Fourier transform unit 46 for the next line, performs a Fourier transform process and a depth frequency estimation process, and obtains the depth frequency obtained by this estimation process. Then, it is added to the depth frequency data already obtained and stored, or a new average value is obtained using the average value of the depth data already obtained and saved. Also, depth frequency data that has been subjected to such processing in advance can be added as content header data.
  • the depth frequency analysis device 40B When performing moving image processing, the depth frequency analysis device 40B according to the second modification shown in FIG. 13 is used.
  • This depth frequency analysis device 40B has a configuration in which a multi-view video acquisition unit 42A is provided instead of the multi-view image acquisition unit 42 in the depth frequency analysis device 40A of the first modification shown in FIG.
  • the multi-view video acquisition unit 42A acquires multi-view videos, divides the acquired multi-view videos into scenes with a small screen change, and calculates the depth amount of the content. 3D display optimized for the scene. In-screen processing is performed on an image of one frame, and accumulation integration processing of depth frequency data of each frame is performed.
  • the light space conversion processing, Fourier transform processing, depth frequency estimation processing, and accumulation integration processing are performed on the next frame. This is repeated for every frame of the movie.
  • this processing may be performed in advance in order to uniformly set the stereoscopic image display for one moving image content, and may be added to the content as header data.
  • This noise removal processing uses the depth frequency analysis device 40C according to the third modification shown in FIG.
  • This depth frequency analysis device 40C has a configuration in which a noise removal unit 53 is newly provided between the depth frequency estimation unit 50 and the output unit 52 in the depth frequency analysis device 40 of the embodiment shown in FIG. Yes. Noise removal is performed by the noise removal unit 53.
  • noise removal it is conceivable to subtract the average value of data. Further, noise is easily applied to the vertical alias component, and the band of that portion can be removed. This part represents popping out or infinite depth, and when handling data of a finite distance, there is often no problem even if it is removed.
  • a depth frequency analysis device 40D In order to speed up the algorithm of Fourier transform, FFT is often used. It is also possible to perform a Fourier transform after performing an interpolating process so that the light space data becomes a power-of-two data segment.
  • a depth frequency analysis device 40D according to a fourth modification shown in FIG. 15 is used.
  • This depth frequency analysis device 40D has a configuration in which an interpolation processing unit 45 is newly provided between the light space conversion unit 44 and the Fourier transform unit 46 in the depth frequency analysis device 40 of the embodiment shown in FIG. ing.
  • the interpolation processing unit 45 performs an interpolation process.
  • the depth frequency analysis device 40E In the case of adjusting a stereoscopic image, it is only necessary to calculate a parameter in the content. Therefore, it is not always necessary to obtain an absolute value of depth, but an absolute value of depth can also be obtained. If the imaging parameter can be obtained, the absolute depth value can be obtained. In this case, the depth frequency analysis device 40E according to the fifth modification shown in FIG. 16 may be used. This depth frequency analysis device 40E has a configuration in which an imaging parameter acquisition unit 54 and a depth absolute value calculation unit 55 are newly provided in the depth frequency analysis device 40 of one embodiment shown in FIG. Based on the imaging parameter acquired by the imaging parameter acquisition unit 54 and the estimated value of the depth frequency estimated by the depth frequency estimation unit 50, the depth absolute value calculation unit 55 calculates the depth absolute value.
  • the depth frequency analysis device 40F (Automatic calculation of filtering parameters) It is also possible to calculate a parameter from input data without giving a band designation parameter for filtering from Fourier transform data to depth frequency data.
  • the depth frequency analysis device 40F according to the sixth modification shown in FIG. 17 may be used.
  • the depth frequency analysis device 40F has a configuration in which a parameter calculation unit 49 is provided instead of the parameter acquisition unit 48 in the depth frequency analysis device 40 of the embodiment shown in FIG.
  • the parameter calculation unit 49 uses the output of the Fourier transform unit 46 to calculate a parameter, that is, a necessary frequency band.
  • the frequency characteristic after Fourier transform is logarithmically converted, and the center of gravity and variance are calculated. Calculation is performed in the music coordinate system using only half of the frequency space at this time.
  • the dispersion range area centered on the calculated center of gravity is used as a parameter for filtering.
  • the data amount can be reduced by extracting data necessary for adjustment of the stereoscopic image as output data and outputting the data from the output unit 52. It is also possible to extract and output the depth parameter that is the center of the depth frequency and the depth parameter that has the maximum frequency. In addition, it is possible to attach a result calculated in advance as content header data.
  • DESCRIPTION OF SYMBOLS 10 Light source part 10a Light source 10b Light guide plate 20 Flat display device 20a Image display unit 20b Polarizing plate 20c Polarizing plate 30 Light beam control unit 40 Depth frequency analysis device 42 Multi-viewpoint image acquisition unit 42A Multi-viewpoint moving image acquisition unit 44 Ray space conversion unit 46 Fourier transform unit 48 Parameter acquisition unit 50 Depth Frequency estimation unit 52 output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

［課題］処理コストを軽減し、奥行き頻度を求めることを可能にする。　 ［解決手段］異なる位置から同一の被写体をカメラによって撮影した多視点画像を取得する多視点画取得部４２と、多視点画像を、同一エピポーラ線内の位置と、カメラに対応した光線空間データに変換する光線空間変換部４４と、光線空間データをフーリエ変換し周波数特性を出力するフーリエ変換部４６と、抽出するフィルタ帯域パラメータを取得するパラメータ取得部４８と、フィルタ帯域において、周波数特性を、原点を中心とする角度ごとにフィルタリングして、奥行き頻度を推定する奥行き頻度推定部５０と、を備えていることを特徴とする。

Description

立体画像の奥行き頻度解析装置および方法
　本発明は、立体画像の奥行き頻度解析装置および方法に関する。
　立体ディスプレイはコンテンツにより観察者に負荷（疲労）を与えることが知られている。また、ＩＩ（インテグラルイメージング）方式のディスプレイにおいても奥行き位置によって画質が劣化することがわかっている。そこで、被写体の奥行きを推定し、表示する奥行きを調整し、劣化や負荷を与えない表示を行うことが必要とされている。自然な処理を行うためには画面の調整を画面内で一様に行うことが重要である。このため、奥行き値に対して被写体がどれぐらいの割合で存在するかという頻度のデータがあれば、画面の調整を画面内で一様に行うことが可能となり、自然な処理を行うことができる。
　立体画像をブロックマッチングし、マッチングのシフト量によるデプスマップ（画面上の各座標における奥行き値のデータ）の生成を行うことが行われている。デプスマップが生成できれば、奥行き頻度を解析することは容易に行うことができる。
　デプスマップの生成には、オクルージョンとよばれる陰面の非対応点の処理が課題であり、特許文献１では、視差不連続輪郭と交差しないように、ブロックを分割しブロック毎に視差を抽出することを行っている。
　また、特許文献２では、ステレオマッチングを行い、評価関数によってマッチングの信頼度を計算し、信頼度の低い部分は信頼度の高い値によって視差の値を補間することが行われている。
　また、特許文献３では、２視差以上のデータを用いてオクルージョンの影響を軽減し、光線空間データと呼ばれる視差の順にエピポーラ線上のデータを並べ、相関の高い特徴線を走査しながら方向成分に分解し、奥行きを抽出することが行われている。
特開平０７－２２０１１３号公報 特開平１０－２８９３１５号公報 特開平０６－７４７２３号公報
　しかし、特許文献１や特許文献２の技術ではオクルージョンの例外処理するためのブロック分割や評価関数による判別などに処理コストがかかることが予想される。また、特許文献３の技術では光線空間内を走査するため処理コストが課題となる。
　本発明は、上記事情を考慮してなされたものであって、処理コストを軽減し、奥行き頻度を求めることが可能な立体画像の奥行き頻度解析装置および方法を提供するものである。
　本発明の一態様による立体画像の奥行き頻度解析装置は、表示面にマトリクス状に配列された複数の画素を有する平面表示装置と、前記画素からの光線方向を制御する光線制御部とを備えている立体画像表示装置によって表示される立体画像の奥行き頻度を解析する立体画像の奥行き頻度解析装置であって、異なる位置から同一の被写体をカメラによって撮影した多視点画像を取得する多視点画取得部と、前記多視点画像を、同一エピポーラ線内の位置と、前記カメラに対応した光線空間データに変換する光線空間変換部と、前記光線空間データをフーリエ変換し周波数特性を出力するフーリエ変換部と、抽出するフィルタ帯域パラメータを取得するパラメータ取得部と、指定された前記フィルタ帯域において、前記周波数特性を、原点を中心とする角度ごとにフィルタリングして、奥行き頻度を推定する奥行き頻度推定部と、を備えていることを特徴とする。
　また、本発明の他の態様による立体画像の奥行き頻度解析方法は、表示面にマトリクス状に配列された複数の画素を有する平面表示装置と、前記画素からの光線方向を制御する光線制御部とを備えている立体画像表示装置によって表示される立体画像の奥行き頻度を解析する立体画像の奥行き頻度解析方法であって、異なる位置から同一の被写体をカメラによって撮影した多視点画像を取得する工程と、前記多視点画像を、同一エピポーラ線内の位置と、前記カメラに対応した光線空間データに変換する工程と、前記光線空間データをフーリエ変換し周波数特性を出力する工程と、抽出するフィルタ帯域パラメータを指定し取得する工程と、指定された前記フィルタ帯域において、前記周波数特性を、原点を中心とする角度ごとにフィルタリングして、奥行き頻度を推定する工程と、を備えていることを特徴とする。
　本発明によれば、処理コストを軽減し、奥行き頻度を求めることができる。
立体画像表示装置の概要を示す水平断面図。 図２（ａ）は、光線制御部としてレンチキュラーシートを用いたときの立体画像表示装置の上面図、図２（ｂ）は、観察者の左目の入射する光がレンチキュラーシート３０によって拡大された画素になることを説明する図。 一実施形態による立体画像の奥行き頻度解析装置を示すブロック図。 図４（ａ）乃至図４（ｄ）は多視点画像の例を示す図。 座標系とカメラの位置関係を示す図。 光線空間と取得画像との関係を示す図。 簡易光線空間を説明する図。 図８（ａ）は実空間を示し、図８（ｂ）は対応する光線空間を示す図。 光線空間データを示す図。 光線空間データをフーリエ変化した場合のデータを示す図。 奥行き頻度を示す図。 第１変形例による奥行き頻度解析装置を示すブロック図。 第２変形例による奥行き頻度解析装置を示すブロック図。 第３変形例による奥行き頻度解析装置を示すブロック図。 第４変形例による奥行き頻度解析装置を示すブロック図。 第５変形例による奥行き頻度解析装置を示すブロック図。 第６変形例による奥行き頻度解析装置を示すブロック図。
　以下に添付図面を参照して、本発明の実施形態を詳細に説明する。
　まず、実施形態を説明する前に、立体画像表示装置（３次元画像表示装置とも云う）の基本概念と視域の最適化について説明する。
　（３次元画像表示装置の基本概念と視域の最適化）
　図１に３次元画像表示装置を示す。図１に示すように３次元画像表示装置は、バックライトとして光線を発する光源部１０と、光源部１０からの光線が照射される平面表示装置２０と、平面表示装置２０を通過した光線を制限し、その方向を制御する光線制御部３０とを備えている。なお、図１において矢印は、観察者が３次元画像表示装置を見る方向を示し、この方向から３次元画像表示装置を見ることによって３次元立体像を観察することができる。
　光源部１０は、光を発生する光源１０ａと、光源１０ａから発せられた光を導く導光板１０ｂとを備えている。平面表示装置２０は、画素に相当する互いに等しいサイズを有する表示素子がマトリックス状、即ち行列に配置されている画像表示素子アレイを有する画像表示ユニット２０ａと、画素表示ユニット２０ａの前後に設けられる偏光板２０ｂ、２０ｃとを備えている。偏光板２０ｂと偏光板２０ｃは、偏光方向が互いに直交している。画像表示ユニット２０ａは、３次元画像の表示に必要な視差画像情報を画素に表示させるもので、光線を透過して光線に画像情報を与える透過型および自らが画像情報を坦持する光線を発生する自己発光型がある。透過型の画像表示ユニットであれば、図１に示すように光源部１０が必要とされ、画像表示ユニットが自己発光型であれば、当然ながら光源部は、不要である。透過型および自己発光型を含めて画像表示ユニットには、通常の直視型２次元ディスプレイ、例えば、ＣＲＴ（陰極線管装置）、ＬＣＤ（液晶表示装置）、ＰＤＰ（プラズマ表示装置）、或いは、投射型ディスプレイ等の利用が考えられる。
　一方、光線制御部３０は、透過する光線を制限して光線を所定方向に向ける光透過領域を適宜設けたスリットアレイ等のアレイ板、又は、入射及び射出光線を制御して光線を所定方向に向けるレンズセグメントを有するレンチキュラーシート等のセグメントレンズアレイ板である。これら光透過領域および光学セグメントは、画像表示ユニットからその前方に向けて発散される光線中から特定の光線のみを射出する機能を有し、これらを総称して単に開口部或いは光学的開口部と称する。この開口部は、光線制御部３０上にマトリックス状に配置されている。光線制御部３０は、これら光学素子に代えて、時間とともに光透過領域の位置および形状を変えることができる光シャッタとしてＬＣＤ（液晶表示装置）が利用されても良い。
　また、平面表示装置２０は、表示駆動回路によって駆動され、各光学的開口部に対応した画素に視差画像情報を配分して表示し、後に述べるように光学的開口部を介して視差画像を担う光線を発生する。図１に示される透過型の画像表示装置の配置においては、光源部１０、平面表示装置２０、および光線制御部３０がこの順序で配列されているが、平面表示装置２０と、光線制御部３０との順序が入れ換えられ、光源部１０、光線制御部３０、および平面表示装置２０の順序で配列されても同様の視差画像を担う光線を発生することができる。
　図２（ａ）は、図１に示した３次元画像表示装置の光線制御部３０としてレンチキュラーシートを用いたときの位置関係を上から見た図である。観察者１００から見てレンチキュラーシートの後ろ側に配置される画像表示ユニット２０ａは、角度に応じて微妙に見え方の違う視差画像群、すなわち多視点画像を表示する。この多視点画像から発せられた光は、いずれかのレンズを通って集光されて３次元画像が再生される。図２（ｂ）に示すように、観察者１００の左目の入射する光はレンチキュラーシート３０によって拡大された画素になる。この図２（ｂ）に示すように、観察者の右目に入射する光も異なるサブピクセルの画像となる。このようにそれぞれのサブピクセルが異なる指向性を持って画像が表示できることによって、観察者の左右眼に異なる画像が表示でき、立体表示することができる。また、これら指向性を持った光の集合として立体像を表す方法をインテグラルイメージングと呼ぶ。
　次に、立体画像表示の被写体表示位置の調整について説明する。
　特開２００７－１９４６９５号公報に示すように、左目と右目に入射する画像の切り出し位置を被写体に合わせることによって被写体の中心がディスプレイ面に表示でき、観察しやすい立体画像が生成できる。２視点の立体表示でなく多視点の画像でも、同様の作用が期待できる。
　また、特開２００３－１０７６０３号公報に示すように、撮影するカメラ位置の間隔を変更することにより、表示される奥行き量を調整することができる。
　これらの文献に示すように、被写体の奥行き位置やその奥行き量をパラメータとし、奥行きの調整を行うことができる。しかし、ＣＧ（コンピュータグラフィックス）のような元から奥行き量が算出できる場合などはよいが、実写など奥行き量が簡単に算出できない場合、被写体の中心となる奥行き値やその幅の算出には課題がある。
　次に、本発明の一実施形態による立体画像の奥行き頻度解析装置に用いられる奥行き頻度推定方法について説明する。
　（基本概念）
　よく行われている方法として、ステレオマッチングによってデプスマップを作成する方法がある。しかし、オクルージョンと呼ばれる非対応点などの例外処理によって処理コストが高い。また、コンテンツ全体の奥行きに対する画像データとしての頻度がわかれば、立体表示の調整を行うことができるため、２次元位置に対する奥行き量を求める必要はない。まず、多視点画像を入力とする奥行き頻度推定方法の基本概念を説明する。
　図３を参照して基本概念を説明する。この奥行き頻度推定方法を実施する立体画像の奥行き頻度解析装置４０を図３に示す。この奥行き頻度解析装置４０は、異なる位置から同じ被写体を撮影した多視点画像を取得する多視点画取得部４２と、多視点画像取得部によって取得された多視点画像を、同一のエピポーラ線内の位置およびカメラに対応した光線空間データに変換する光線空間変換部４４と、光線空間変換部４４によって変換された光線空間データをフーリエ変換し周波数特性を出力するフーリエ変換部４６と、抽出するフィルタ帯域パラメータを指定し取得するパラメータ取得部４８と、パラメータ取得部４８によって定められたフィルタ帯域において、フーリエ変換部４６によって変換された周波数特性を、原点を中心とする角度ごとにフィルタリングして、奥行き頻度推定値を算出する奥行き頻度推定部５０と、奥行き頻度推定部５０によって推定された結果を出力する出力部５２とを備え、この装置４０によって奥行き頻度を解析する。
　次に、奥行き頻度解析装置４０を構成する要素を、詳細に一つ一つ説明する。多視点画像入力部４２は、図４（ａ）乃至図４（ｄ）に示すような、同じ被写体を複数の方向から撮影した多視点画像を取得する。水平方向のみに視差を表示する立体画像表示装置の場合、水平方向にずらして設置したカメラからの画像を入力とすることが多い。
　光線空間変換部４４は、取得された多視点画像を、同一のエピポーラ線内の位置とカメラに対応した光線空間データに変換する。光線空間について図５を参照して説明する。図５は、座標系とカメラの位置関係を示す図である。図５においては、２台のカメラ１５０ａ、１５０ｂを用いて多視点画像を取得する。各カメラ１５０ｉ（ｉ＝ａ、ｂ）には、レンズ１５２ｉと、例えばＣＭＯＳセンサまたはＣＣＤを有する撮影素子１５４ｉとを備えている。撮影面（想定される結像位置）を基準面１６０とし、２台のカメラのレンズの中心によって決定される平面と基準面１６０との交線の一端（各カメラに撮像される共通部分の端）を原点１６５とする座標系を定義する。この座標系は、原点１６５から上記交線方向に延びる座標軸をｘ軸とし、基準面１６０の法線をｚ軸（基準軸）とし、これらのｘ軸およびｚ軸に直交する軸をｙ軸としたとき、この基準軸に対する、レンズの中心を通る光線の傾き角θを視差角度として定義する。例えば、図５においては、カメラ１５０ｂにおける撮影素子１５４ｂの画素Ｐは、画素Ｐとカメラ１５０ｂのレンズ１５２ｂの中心とを通る視差角度θの光線が基準面１６０と交差する点のｘ座標に対応する。すなわち、カメラ１５０ｂにおける撮影素子１５４ｂの画素Ｐと、カメラ１５０ｂのレンズ１５２ｂの中心とを通る光線は、視差角度θと、上記ｘ座標とを与えることによって決定されることになる。
　横軸に上記ｘ座標をとり、縦軸にｔａｎθをとり、上記横軸および縦軸と直交する軸（実空間のｙ軸）で定義される空間を光線空間と称する。したがって、光線空間の点は、基準面１６０の点（ｘ座標、ｙ座標）と、レンズの中心とを通り、視差角度θを有する、実空間の１本の光線を表す。この光線空間に、画素値（ＲＧＢ等の輝度情報と色度情報を持った値）を配置したものを光線空間画像と称する。この光線空間画像のそれぞれのカメラの画素は、エピポーラ線上の画素に対応しており、このエピポーラ線がステレオマッチング等に用いる対応点の検索範囲を示している。図５に示すように２台のカメラ１５０ａ、１５０ｂで撮影したときの取得画像と光線空間との対応を図６に示す。図６において、直線ｇａ、ｇｂは、それぞれカメラ１５０ａ、１５０ｂで取得した場合の取得画像を光線空間で表示した例を示す。図５に示すように、水平同一面にカメラ１５０ａ、１５０ｂを設置している場合は、図６に示す取得画像ｇａ、ｇｂは、同じｙ座標の画像を並べることになる。
　次に、簡易的な光線空間対応について説明する。正確な角度データ（すなわち視差角度θ）でなくとも奥行き頻度の抽出には影響が少ない。カメラ間のパースが等しく設定されているとき、シフト量が等しくなる。そのため、画素の並びだけで視差方向と位置で並べる簡易的なデータ変換方法を用いることもできる。
　図７に簡易的な光線空間を示す。ここで、横座標軸を位置に対応する軸「ｉ」とし、縦軸を角度に対応する軸「ｊ」と定義し、示している。
　実空間座標はメインカメラの画素アドレスに対応しており、同様に「ｉ」の軸はメインカメラの画素アドレスとして与えることができる。この簡易的な光線空間はカメラのパースペクティブを等しいと仮定し、その角度ズレを無視して扱うことによって、カメラ間の距離によって視差角度として扱うことができる。このように配列されたデータは光線空間と対応がとれている。また、コンピュータなどで演算するときに相性がよく効率がよい。
　奥行きのある物体を異なる角度から観察すると、対応する画素位置が移動する。図８（ａ）、図８（ｂ）に実空間と光線空間をそれぞれ示す。例えば、図８（ａ）の点Ｑ（ｘｑ，ｚｑ）から四方八方に出る光線は基準面１６０のさまざまな点を通る直線として表すことができ、図８（ｂ）の光線空間上では、この直線の変化は次のような関数として表すことができる。
　　　　ｔａｎθ＝（ｘ－ｘｑ）／ｚｑ　　（１）
この関数は異なる観察角度で画素の位置が移動していくことを表している。図８（ｂ）に示すように、画素の位置の移動は光線空間上において光線空間上に傾きを持った線として表すことができる。これは式（１）からもわかる。この角度毎の移動量は直線の傾きであり、奥行きに対応している。光線空間画像においてもそれぞれの点に対し奥行きに対応した同じ画素値をもった直線が得ることができる。また、簡易的な光線空間配列に対しても同様の直線（ベクトル）を定義することができる。図９に光線空間データの例を示す。図９からわかるように、特徴点が傾きを持った線となっている。
　なお、図６や図７に示す光線空間では、カメラ２台のデータを模式的に示したが、本発明の一実施形態による奥行き頻度解析装置においては、オクルージョンデータに対応するためカメラ３以上のデータを扱い、複数視差データよりカメラ位置を変更し、奥行きの飛び出し量などを調整する。
　次に、フーリエ変換部４６について説明する。フーリエ変換部４６は、光線空間データを２次元フーリエ変換し、周波数特性（パワースペクトル）を得る。このフーリエ変換に用いられるアルゴリズムとしては、ＦＦＴ(Fast Fourier Transform)が知られている。図１０に光線空間データに２次元のフーリエ変換を行ったときのパワースペクトルを示す。図１０に示すように２次元フーリエ変換を行うと、原点を表す中心から周辺に行くほど高周波を表している。光線空間データの傾きが、２次元フーリエ変換後の周波数特性では原点を中心とした傾きの角度ごとに分離していることがわかる。本発明の一実施形態においては、この点に着目している。
　次に、奥行き頻度推定部５０について説明する。奥行き頻度推定部５０は、特徴点として扱う周波数帯域を指定するパラメータ取得部４８によって定められた帯域において、パワースペクトルを、原点を中心とする角度ごとにフィルタリングして、奥行き頻度を推定する。角度ごとに分離したフーリエ変換後のパワースペクトルデータは光線空間上の特徴点の傾き頻度と相関がある。
　出力部５２は、フィルタリング後のデータを出力する部分であり、奥行き値（フーリエ変換データの角度に対応）に対する頻度（または頻度と相関のあるデータ）を出力する。図１１に奥行き頻度の出力例を示す。ここでは、横軸に奥行き変換値を示し、縦軸にパワースペクトルを、対数スケールで２５５階調としたときの画素値を示す。このような奥行き頻度データを元に、ディスプレイ面のずらしや被写体の奥行き方向の潰し（もしくは伸ばし）を行うことができる。
　（画面内処理）
　光線空間の対応点はラインごとに行う。画面において全ラインの統合されたデータを出力するためにはラインごとに奥行き頻度を計算し、蓄積統合処理（加算処理または平均処理）を行う必要がある。この蓄積統合処理を行う場合は、図１２に示す第１変形例による奥行き頻度解析装置４０Ａが用いられる。この第１変形例の奥行き頻度解析装置４０Ａは、図３に示す一実施形態の奥行き頻度解析装置４０において、奥行き頻度推定部５０と、出力部５２との間に蓄積統合処理部５１が新たに設けられた構成を有しており、この蓄積統合処理部５１によって、蓄積統合処理が行わされる。この蓄積統合処理時には、すべてのラインを処理しなくても、間引いて計算しても傾向は得ることができるため、計算量削減のためラインを間引くこともできる。一つのラインに関する蓄積統合処理が終了すると、図１２に示すように、次のラインに関するフーリエ変換部４６に戻り、フーリエ変換処理、奥行き頻度推定処理を行い、この推定処理によって求められた奥行き頻度を、既に求めて保存している奥行き頻度データに加算するか、または既に求めて保存している奥行きデータの平均値とを用いて新たな平均値を求める。また、予めこのような処理を行った奥行き頻度データをコンテンツのヘッターデータとして付加することもできる。
　（動画内処理）
　動画処理を行う場合は、図１３に示す第２変形例による奥行き頻度解析装置４０Ｂを用いる。この奥行き頻度解析装置４０Ｂは、図１２に示す第１変形例の奥行き頻度解析装置４０Ａにおいて、多視点画像取得部４２の代わりに多視点動画取得部４２Ａが設けられた構成を有している。この多視点動画取得部４２Ａによって多視点の動画を取得し、この取得した多視点の動画に対して、画面変化の小さい１シーン毎に区切り、そのコンテンツの奥行き量を計算することによって動画の各シーンに最適化した立体表示を行う。１フレームの画像に対して画面内処理を行うとともに各フレームの奥行き頻度データの蓄積統合処理を行う。１フレームの顔面内処理が終了すると、次のフレームに対して光線空間変換処理、フーリエ変換処理、奥行き頻度推定処理、蓄積統合処理を行う。これを動画の全てのフレームに対して繰り返す。また、動画１コンテンツに対し、統一的に立体画像表示の設定をするために予めこの処理を行い、ヘッターデータとしてコンテンツに付加してもよい。
　（ノイズ除去）
　奥行き頻度処理としてパワースペクトルのデータを用いた場合、フーリエ変換データとしての奥行きには関わらないノイズ成分も含まれる。この成分を除去することにより確度の高い奥行き頻度データとして扱うことができる。このノイズ除去処理は、図１４に示す第３変形例による奥行き頻度解析装置４０Ｃを用いる。この奥行き頻度解析装置４０Ｃは、図３に示す一実施形態の奥行き頻度解析装置４０において、奥行き頻度推定部５０と出力部５２との間に新たにノイズ除去部５３を設けた構成を有している。このノイズ除去部５３によってノイズ除去が行われる。ノイズ除去の一方法として、データの平均値を減算することが考えられる。また、垂直のエイリアス成分には、ノイズが乗りやすくその部分の帯域は除去することもできる。この部分は飛び出し若しくは奥行き無限大を表し、有限距離のデータを扱う場合は、除去しても問題ない場合が多い。
　（データセグメントの最適化）
　フーリエ変換のアルゴリズムを高速化するためにＦＦＴを用いることが多い。光線空間データを２のべき乗のデータセグメントになるような補間処理を行った後、フーリエ変換することもできる。このような補間処理を行うには、図１５に示す第４変形例による奥行き頻度解析装置４０Ｄを用いる。この奥行き頻度解析装置４０Ｄは、図３に示す一実施形態の奥行き頻度解析装置４０において、光線空間変換部４４とフーリエ変換部４６との間に新たに補間処理部４５を設けた構成を有している。この補間処理部４５によって補間処理が行われる。また、多視点画像周辺において重要なデータがない場合、中心を基準として２のべき乗のセグメントの部分だけ抜き出して計算することも考えられる。
　（奥行き絶対値の出力）
　立体画像の調整の場合、コンテンツ内でパラメータを算出すればよいため、必ずしも奥行きの絶対値を得る必要はないが、奥行き絶対値を得ることもできる。撮影パラメータが得ることができる場合は、奥行き絶対値を得ることができる。この場合には、図１６に示す第５変形例による奥行き頻度解析装置４０Ｅを用いてもよい。この奥行き頻度解析装置４０Ｅは、図３に示す一実施形態の奥行き頻度解析装置４０において、撮影パラメータ取得部５４と、奥行き絶対値演算部５５とを新たに設けた構成となっている。撮影パラメータ取得部５４によって取得した撮影パラメータと、奥行き頻度推定部５０によって推定された奥行き頻度の推定値とに基づいて、奥行き絶対値演算部５５によって奥行き絶対値が演算され、この奥行き絶対値が出力部５２に送られて出力される。例えば、撮影パラメータ取得部５４によって取得した撮影パラメータのｘ軸方向（エピポーラ線方向）のサンプリングレートｄｘと、奥行き頻度推定部５０によって推定されたカメラの角度サンプリングレートｄｔａｎθのパラメータとに基づいて、奥行き絶対値演算部５５によって次式に示す奥行きのサンプリングレートｄｚの絶対値を求めることができる。
　　ｄｚ＝ｄｘ／ｄｔａｎθ　（２）
このｄｚは、光線空間上の傾きの逆数に対応し、フーリエ変換データが正方データでない場合には、正方形データに変形し、変形された正方形データの角度φとｔａｎφとの比に対応する。このような処理をすることによって、奥行き値の絶対値を出力することができる。
　（フィルタリングパラメータの自動算出）
　フーリエ変換データから奥行き頻度データにフィルタリングする帯域指定のパラメータを与えずに入力データからパラメータを算出することもできる。この場合には、図１７に示す第６変形例による奥行き頻度解析装置４０Ｆを用いてもよい。この奥行き頻度解析装置４０Ｆは、図３に示す一実施形態の奥行き頻度解析装置４０において、パラメータ取得部４８の代わりに、パラメータ算出部４９を設けた構成となっている。このパラメータ算出部４９は、フーリエ変換部４６の出力を用いて、パラメータ、すなわち必要な周波数帯域の算出を行う。すなわち、フーリエ変換後の周波数特性を対数変換し、重心と分散とを計算する。このときの周波数空間の半分のみを用いて曲座標系で計算を行う。この算出された重心を中心とする分散範囲の領域をフィルタリングするパラメータとする。
　（出力データ）
　出力データとして立体画像の調整に必要なデータを抽出してを出力部５２から出力することによってデータ量を削減することができる。奥行き頻度の重心となる奥行きパラメータと、頻度が最大値になる奥行きパラメータを抽出して出力することもできる。またこれらのデータをコンテンツのヘッターデータとして予め計算した結果を添付することもできる。
１０　光源部
１０ａ　光源
１０ｂ　導光板　
２０　平面表示装置
２０ａ　画像表示ユニット
２０ｂ　偏光板
２０ｃ　偏光板
３０　光線制御部
４０　奥行き頻度解析装置
４２　多視点画像取得部
４２Ａ　多視点動画取得部
４４　光線空間変換部
４６　フーリエ変換部
４８　パラメータ取得部
５０　奥行き頻度推定部
５２　出力部

Claims (5)

  1. 　表示面にマトリクス状に配列された複数の画素を有する平面表示装置と、前記画素からの光線方向を制御する光線制御部とを備えている立体画像表示装置によって表示される立体画像の奥行き頻度を解析する立体画像の奥行き頻度解析装置であって、
    　異なる位置から同一の被写体をカメラによって撮影した多視点画像を取得する多視点画取得部と、
    　前記多視点画像を、同一エピポーラ線内の位置と、前記カメラに対応した光線空間データに変換する光線空間変換部と、
    　前記光線空間データをフーリエ変換し周波数特性を出力するフーリエ変換部と、
    　抽出するフィルタ帯域パラメータを取得するパラメータ取得部と、
    　前記フィルタ帯域において、前記周波数特性を、原点を中心とする角度ごとにフィルタリングして、奥行き頻度を推定する奥行き頻度推定部と、
    　を備えていることを特徴とする立体画像の奥行き頻度解析装置。
  2. 　前記光線空間データに基づいて、画面内のすべての奥行き頻度データを、ライン毎に逐次、加算または平均することにより求める処理部を更に備えていることを特徴とする請求項１の立体画像の奥行き頻度解析装置。
  3. 　撮影された角度間隔と、エピポーラ線内の画像解像度とを含む撮影パラメータを取得する撮影パラメータ取得部と、
    　前記奥行き頻度の推定値と、前記撮影パラメータとに基づいて、奥行き値の絶対値を算出する奥行き絶対値算出部と、
    　を更に備えていることを特徴とする請求項２記載の立体画像の奥行き頻度解析装置。
  4. 　前記パラメータ取得部は、前記周波数特性を対数変換し、重心と分散によってフィルタリングするためのパラメータを算出するパラメータ算出部を更に備えていることを特徴とする請求項３記載の立体画像の奥行き頻度解析装置。
  5. 　表示面にマトリクス状に配列された複数の画素を有する平面表示装置と、前記画素からの光線方向を制御する光線制御部とを備えている立体画像表示装置によって表示される立体画像の奥行き頻度を解析する立体画像の奥行き頻度解析方法であって、
    　異なる位置から同一の被写体をカメラによって撮影した多視点画像を取得する工程と、
    　前記多視点画像を、同一エピポーラ線内の位置と、前記カメラに対応した光線空間データに変換する工程と、
    　前記光線空間データをフーリエ変換し周波数特性を出力する工程と、
    　抽出するフィルタ帯域パラメータを取得する工程と、
    　前記フィルタ帯域において、前記周波数特性を、原点を中心とする角度ごとにフィルタリングして、奥行き頻度を推定する工程と、
    　を備えていることを特徴とする立体画像の奥行き頻度解析方法。
PCT/JP2009/070749 2009-12-11 2009-12-11 立体画像の奥行き頻度解析装置および方法 WO2011070674A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/070749 WO2011070674A1 (ja) 2009-12-11 2009-12-11 立体画像の奥行き頻度解析装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/070749 WO2011070674A1 (ja) 2009-12-11 2009-12-11 立体画像の奥行き頻度解析装置および方法

Publications (1)

Publication Number Publication Date
WO2011070674A1 true WO2011070674A1 (ja) 2011-06-16

Family

ID=44145243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070749 WO2011070674A1 (ja) 2009-12-11 2009-12-11 立体画像の奥行き頻度解析装置および方法

Country Status (1)

Country Link
WO (1) WO2011070674A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114813037A (zh) * 2022-04-21 2022-07-29 中国船舶科学研究中心 一种空化流动结构频率分布特征分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674723A (ja) * 1992-08-28 1994-03-18 Toppan Printing Co Ltd 三次元形状測定方法および装置
JPH0721387A (ja) * 1993-06-22 1995-01-24 Canon Inc 複数画像の対応点抽出法
JPH08294143A (ja) * 1995-04-21 1996-11-05 Matsushita Electric Ind Co Ltd 画像間対応付け方法および画像間視差計測方法
JP2008123141A (ja) * 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および３次元位置計測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674723A (ja) * 1992-08-28 1994-03-18 Toppan Printing Co Ltd 三次元形状測定方法および装置
JPH0721387A (ja) * 1993-06-22 1995-01-24 Canon Inc 複数画像の対応点抽出法
JPH08294143A (ja) * 1995-04-21 1996-11-05 Matsushita Electric Ind Co Ltd 画像間対応付け方法および画像間視差計測方法
JP2008123141A (ja) * 2006-11-09 2008-05-29 Yamatake Corp 対応点探索方法および３次元位置計測方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114813037A (zh) * 2022-04-21 2022-07-29 中国船舶科学研究中心 一种空化流动结构频率分布特征分析方法

Similar Documents

Publication Publication Date Title
US9109891B2 (en) Stereo camera
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
JP4942106B2 (ja) 奥行データ出力装置及び奥行データ受信装置
US20130050187A1 (en) Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device
EP2393298A1 (en) Method and apparatus for generating multiple image views for a multiview autostereoscopic display device
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP2013527646A5 (ja)
US10003739B2 (en) Imaging apparatus and imaging method
US8094148B2 (en) Texture processing apparatus, method and program
EP3286596A2 (en) Cloaking systems and methods
JP2008518317A (ja) 視差マップ
EP2741504A1 (en) Image processing device, and image processing method and program
US20120194905A1 (en) Image display apparatus and image display method
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
JP2017011520A (ja) 立体像奥行き変換装置およびそのプログラム
Salahieh et al. Light Field Retargeting from Plenoptic Camera to Integral Display
US10554954B2 (en) Stereoscopic focus point adjustment
WO2011070674A1 (ja) 立体画像の奥行き頻度解析装置および方法
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
JP5928280B2 (ja) 多視点画像生成装置及び方法
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
US9674500B2 (en) Stereoscopic depth adjustment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852070

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09852070

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP