JP4631812B2 - Multi-view video display device, multi-view video imaging device, and multi-view video generation device - Google Patents

Multi-view video display device, multi-view video imaging device, and multi-view video generation device Download PDF

Info

Publication number
JP4631812B2
JP4631812B2 JP2006162738A JP2006162738A JP4631812B2 JP 4631812 B2 JP4631812 B2 JP 4631812B2 JP 2006162738 A JP2006162738 A JP 2006162738A JP 2006162738 A JP2006162738 A JP 2006162738A JP 4631812 B2 JP4631812 B2 JP 4631812B2
Authority
JP
Japan
Prior art keywords
display
images
pixels
video
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006162738A
Other languages
Japanese (ja)
Other versions
JP2007336002A (en
JP2007336002A5 (en
Inventor
博哉 中村
晃也 末廣
隆幸 菅原
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to JP2006162738A priority Critical patent/JP4631812B2/en
Publication of JP2007336002A publication Critical patent/JP2007336002A/en
Publication of JP2007336002A5 publication Critical patent/JP2007336002A5/ja
Application granted granted Critical
Publication of JP4631812B2 publication Critical patent/JP4631812B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、観察者の視点に応じて異なる視点からの画像を表示する多視点映像表示装置と、この多視点映像表示装置に表示する多視点映像を撮像する多視点映像撮像装置、及び多視点映像を生成する多視点映像生成装置に関する。
The present invention relates to a multi-view video display device that displays images from different viewpoints according to the viewpoint of the observer, a multi-view video imaging device that captures a multi-view video displayed on the multi-view video display device, and a multi-view The present invention relates to a multi-view video generation apparatus that generates video .
特別メガネであるアナグリフメガネ、偏光メガネ、液晶シャッターメガネなどをかけなくても3次元映像を観察することができるメガネなし方式の立体ディスプレイについては盛んに研究されている。この方式は、カメラで物体を多方向から撮影した画像を表示できるため、観察者が見る位置を移動すれば、その移動に応じて異なる視点から立体画像を見ることができるという特徴がある。その研究成果として、例えば下記の非特許文献1により、レンチキュラ方式の原理を用いた「8眼式メガネなし3次元テレビジョン」が発表されている。   Active research has been conducted on glasses-free 3D displays that can observe 3D images without wearing special glasses such as anaglyph glasses, polarized glasses, and liquid crystal shutter glasses. Since this method can display an image obtained by photographing an object from multiple directions with a camera, it has a feature that a stereoscopic image can be viewed from different viewpoints according to the movement of the observer's viewing position. As a result of the research, for example, the following Non-Patent Document 1 discloses “8-eye glasses-free 3D television” using the principle of the lenticular method.
<レンチキュラ3次元画像表示方式の原理>
レンチキュラ方式の原理は、水平方向に配置された複数のレンズ部の各々が半円筒形の形状をしたレンチキュラスクリーンを用いて、複数のレンズ部のいずれか1つの焦点面に、多方向から撮影した画像をストライプ状に配置すると、レンチキュラレンズの指向性によってストライプ像からの光が屈折し、最適な位置で観察すると裸眼立体視できる仕組みである。図3は8方向の異なる視点から3次元映像を見る8眼式レンチキュラ方式による従来の3次元映像表示装置の原理を示したものである。図3において、多眼ストライプ状要素画像表示面22は8つの視点i、j、k、l、m、n、o、pから観察する多眼ストライプ状要素画像(画素23、24、25、26、27、28、29、30)を表示し、レンチキュラスクリーン21は複数のシリンドリカルレンズ部のそれぞれが多眼ストライプ状要素画像の一部を拡大する。また、画素23、24、25、26、27、28、29、30は多眼ストライプ状要素画像表示面1に表示される多眼ストライプ状要素画像を構成する画素であり、それぞれ観察者の視点i、j 、k、l、m、n、o、pに対応する。なお、図3では紙面の都合上、レンチキュラスクリーン21の厚さに対して視距離は2倍弱となっているが、実際にはレンチキュラスクリーン21の厚さに対して、視距離は十分に大きいものとする。
<Principle of lenticular 3D image display method>
The principle of the lenticular method is that a plurality of lens portions arranged in the horizontal direction are each photographed from multiple directions on one focal plane of the plurality of lens portions using a lenticular screen having a semi-cylindrical shape. When the images are arranged in a stripe shape, the light from the stripe image is refracted by the directivity of the lenticular lens, and it is a mechanism that enables the naked-eye stereoscopic viewing when observed at an optimal position. FIG. 3 shows the principle of a conventional three-dimensional video display device using an eight-lens lenticular method for viewing a three-dimensional video from eight different viewpoints. In FIG. 3, a multi-view stripe element image display surface 22 is a multi-view stripe element image (pixels 23, 24, 25, 26) observed from eight viewpoints i, j, k, l, m, n, o, p. , 27, 28, 29, 30), and the lenticular screen 21 enlarges a part of the multi-eye stripe element image in each of the plurality of cylindrical lens portions. In addition, the pixels 23, 24, 25, 26, 27, 28, 29, and 30 are pixels constituting a multi-view stripe-shaped element image displayed on the multi-view stripe-shaped element image display surface 1, and are respectively viewed from an observer's viewpoint. It corresponds to i, j, k, l, m, n, o, p. In FIG. 3, the viewing distance is slightly less than twice the thickness of the lenticular screen 21 due to space limitations, but the viewing distance is actually sufficiently larger than the thickness of the lenticular screen 21. Shall.
レンチキュラスクリーン21の1ピッチ内の画素23、24、25、26、27、28、29、30の位置には、図2(b)に示すように、水平方向に等間隔の8方向から撮影した画像を縦縞のストライプ状に配列して表示する。図4は8台から成る多眼式立体カメラで各方向から撮影した画像をストライプ状要素画像に形成する画素配列を示したものである。水平方向の画素のうち、8画素を単位としてレンチキュラスクリーン21の1ピッチ内に各テレビカメラの画像を配列する。また、8眼式立体テレビカメラは、図2(b)に示すように8台のカメラ(i’、j’ 、k’、l’、m’、n’、o’、p’)を水平に等間隔に配置し、撮影する。   As shown in FIG. 2B, images were taken from eight directions at equal intervals in the horizontal direction at the positions of the pixels 23, 24, 25, 26, 27, 28, 29, and 30 within one pitch of the lenticular screen 21. Images are displayed in a vertical stripe pattern. FIG. 4 shows a pixel arrangement for forming an image taken from each direction with an eight-lens multi-view stereoscopic camera into a striped element image. Images of each television camera are arranged within one pitch of the lenticular screen 21 in units of 8 pixels among horizontal pixels. In addition, as shown in FIG. 2B, the eight-eye stereoscopic television camera horizontally arranges eight cameras (i ′, j ′, k ′, l ′, m ′, n ′, o ′, p ′). Take photos at regular intervals.
レンチキュラスクリーン21の作用によって8方向から撮影したストライプ像は分離されて左右の眼に入り、左右の眼でそれぞれ別の視点の映像を観察することで、メガネなしで3次元画像を観察することができる。さらに、視点を左右方向に移動すれば、異なる視点から見た3次元画像を見ることもできる。また、左右の眼の幅よりも視点間隔を広く設計した場合、左右の眼で同じ視点の映像を観察することになる。すなわち、視点を移動することにより異なる視点から見た2次元映像を観察することのできる多視点映像表示装置となる。   A stripe image taken from eight directions by the action of the lenticular screen 21 is separated and enters the left and right eyes, and a three-dimensional image can be observed without glasses by observing images of different viewpoints with the left and right eyes. it can. Furthermore, if the viewpoint is moved in the left-right direction, a three-dimensional image viewed from a different viewpoint can be viewed. Further, when the viewpoint interval is designed wider than the width of the left and right eyes, the same viewpoint video is observed with the left and right eyes. That is, the multi-viewpoint video display apparatus can observe a two-dimensional video viewed from different viewpoints by moving the viewpoint.
レンチキュラスクリーン21から飛び出した光はメインローブとその周辺のサイドローブから成る。メインローブ内で観察者が観察中に左右に動くと観察できる視点が変化する。片方の目の視点がメインローブから外れると、外れた片方の目ではサイドローブを観察することになり、逆立体視になってしまい、違和感がある。メインローブの角度が広ければ広いほど、運動視差を広く取ることができ、自然な視点移動が可能となる。メインローブの角度を広げるためには、視点間隔を広げるか、レンチキュラスクリーン21の1ピッチ内の視点数を増やす必要がある。しかし、図5に示すように視点間隔を広げると(Iij<Iqr、Ijk<Irs、Ikl<Ist、Ilm<Itu、Imn<Iuv、Ino<Ivw、Iop<Iwx)、隣接する視点画像間で画面上のずれが大きくなり、フリッピングが生じ、滑らかな視点移動が損なわれる。ここで、視点間隔を広げるには、レンチキュラスクリーン31のそれぞれのレンズの曲率を大きくする(曲率半径を小さくする)か、又はレンチキュラスクリーン31により大きな屈折率の材料を用いればよい。また、レンチキュラスクリーン21、31の1ピッチ内の視点数を増やすと水平解像度が低下する。レンチキュラ方式は多眼式になるほど立体視できる範囲が広くなり、多人数で同時に3次元映像を見ることができるようになる。
磯野春雄他「8眼式メガネなし3次元テレビジョン」テレビジョン学会誌Vol. 48, No. 10, pp. 1267〜1275(1994)
The light emitted from the lenticular screen 21 is composed of a main lobe and the surrounding side lobes. If the observer moves from side to side during observation in the main lobe, the viewpoint that can be observed changes. When the viewpoint of one eye deviates from the main lobe, the side lobe is observed with the other eye, and the stereoscopic view is reversed, which is uncomfortable. The wider the main lobe angle, the wider the motion parallax and the natural viewpoint movement becomes possible. In order to widen the angle of the main lobe, it is necessary to widen the viewpoint interval or increase the number of viewpoints within one pitch of the lenticular screen 21. However, when the viewpoint interval is widened as shown in FIG. 5 (Iij <Iqr, Ijk <Irs, Ikl <Ist, Ilm <Itu, Imn <Iuv, Ino <Ivw, Iop <Iwx), the screen between adjacent viewpoint images is displayed. The upper shift becomes large, flipping occurs, and smooth viewpoint movement is impaired. Here, in order to widen the viewpoint interval, the curvature of each lens of the lenticular screen 31 may be increased (the radius of curvature is decreased), or a material having a higher refractive index may be used for the lenticular screen 31. Further, when the number of viewpoints within one pitch of the lenticular screens 21 and 31 is increased, the horizontal resolution is lowered. As the lenticular method becomes more multi-view, the range of stereoscopic viewing becomes wider, and 3D images can be viewed simultaneously by many people.
Haruno Ogino et al. "8-eye glasses without 3D television" Journal of the Institute of Television Engineers of Japan, Vol. 48, No. 10, pp. 1267-1275 (1994)
しかしながら、従来の多視点映像表示装置では、解像度、視点数を変更せずに、メインローブの視域角を広げるためには、視点間隔を広げる必要がある。その結果、滑らかな運動視差が損なわれることが課題であった。解像度、視点数を変更せずに、滑らかな運動視差を得るためには視点間隔を狭める必要がある。その結果、視点間隔を狭めると視域角が狭くなることが課題であった。   However, in the conventional multi-view video display device, in order to widen the viewing angle of the main lobe without changing the resolution and the number of viewpoints, it is necessary to widen the viewpoint interval. As a result, the problem is that smooth motion parallax is impaired. In order to obtain smooth motion parallax without changing the resolution and the number of viewpoints, it is necessary to narrow the viewpoint interval. As a result, it has been a problem that the viewing zone angle is narrowed when the viewpoint interval is narrowed.
本発明は上記従来技術の問題点に鑑み、解像度、視点数を増やすことなく、観察する際に特に重要な中央部の運動視差を滑らかにすることができるとともに、メインローブ内の視域角(幅)を広げることができる多視点映像表示装と、この多視点映像表示装置に表示する多視点映像を撮像する多視点映像撮像装置、及び多視点映像を生成する多視点映像生成装置を提供することを目的とする。
In view of the above-mentioned problems of the prior art, the present invention can smooth the motion parallax of the central part, which is particularly important when observing, without increasing the resolution and the number of viewpoints. a multi-view image table 示装 location which can be widened), the multi-view image display device multiview video imaging device for imaging a multi-view image to be displayed on, and the multi-view image generation apparatus for generating a multi-view image The purpose is to provide.
本発明は上記目的を達成するために、N個(Nは4以上の自然数)の視点の画像を表示する多視点映像表示装置において、
配置間隔が中央部に比較して周辺部が粗になるように設けられたN個の撮像手段により撮像されたN枚の撮像画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記N枚の撮像画像において互いに略同一の位置に位置するN個の画素を、前記撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記N枚の撮像画像の各画素に対して実行することで、前記N枚の撮像画像を前記表示画面上に同時に表示する表示手段と、
前記表示手段によって前記表示画面上に同時に表示された前記N枚の撮像画像の前記N個の画素ごとに、このN個の画素の表示による出射光を、前記N個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
有することを特徴とする。
また、N個(Nは4以上の自然数)の視点の画像を表示する多視点映像表示装置において、
配置間隔が中央部に比較して周辺部が粗になるように仮想的に設けられたN個の撮像手段により撮像されたN枚の撮像画像と等価になるように生成されたN枚の生成画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記N枚の生成画像において互いに略同一の位置に位置するN個の画素を、前記仮想的に設けられたN個の撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記N枚の生成画像の各画素に対して実行することで、前記N枚の生成画像を前記表示画面上に同時に表示する表示手段と、
前記表示手段によって前記表示画面上に同時に表示された前記N枚の生成画像の前記N個の画素ごとに、このN個の画素の表示による出射光を、前記仮想的に設けられたN個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
備えたことを特徴とする。
In order to achieve the above object, the present invention provides a multi-view video display device that displays N (N is a natural number of 4 or more) viewpoint images.
The pixels constituting the N picked-up images picked up by the N image pickup means provided so that the peripheral portion is rougher than the central portion are arranged at equal intervals in the horizontal and vertical directions. Display means for simultaneously displaying on a display screen composed of a plurality of pixel display elements, and N pixels located at substantially the same position in the N picked-up images are arranged in the order of arrangement of the image pickup means. Display means for displaying the N captured images at the same time on the display screen by executing a process of displaying on the pixel display element in a corresponding arrangement for each pixel of the N captured images;
For each of the N pixels of the N captured images simultaneously displayed on the display screen by the display unit, the emitted light from the display of the N pixels corresponds to the arrangement of the N imaging units. An optical deflecting means for deflecting so as to be at a predetermined position interval,
It is characterized by having.
In a multi-view video display device that displays N (N is a natural number of 4 or more) viewpoint images,
Generation of N images generated so that the arrangement interval is equivalent to N captured images captured by N imaging means provided virtually so that the peripheral portion is coarser than the central portion. Display means for simultaneously displaying each pixel constituting an image on a display screen composed of a plurality of pixel display elements arranged at equal intervals in the horizontal and vertical directions, and at substantially the same position in the N generated images A process of displaying N pixels located in the pixel display element in an array corresponding to the order of arrangement of the N imaging means provided virtually is performed on each pixel of the N generated images. Display means for simultaneously displaying the N generated images on the display screen,
For each of the N pixels of the N generated images simultaneously displayed on the display screen by the display unit, the light emitted from the display of the N pixels is output to the N pieces of the virtually provided N pieces. A light deflecting means for deflecting the light so as to have a position interval corresponding to the arrangement of the imaging means;
It is characterized by having.
また、本発明は上記目的を達成するために、前記光偏向手段として水平・垂直・斜め方向に偏向させるレンズアレイ、又は水平方向に偏向させるレンチキュラシートを、備えたことを特徴とする。
また、配置間隔が中央部に比較して周辺部が粗になるように設けられた、N個(Nは4以上の自然数)の視点の画像を撮像したものと等価となるN枚の画像を生成する多視点映像生成装置において、
の視点の画像を撮像するN個の撮像手段を有することを特徴とする。
更に、N個(Nは4以上の自然数)の視点の画像を撮像したものと等価となるN枚の画像を生成する多視点映像生成装置において、
配置間隔が中央部に比較して周辺部が粗になるように設けられた、N個(Nは4以上の自然数)の視点の画像を撮像するN個の撮像手段によって撮像された画像と等価となるN枚の画像を生成する生成手段を有することを特徴とする。
In order to achieve the above object, the present invention is characterized in that the light deflection means includes a lens array that deflects horizontally, vertically, and obliquely, or a lenticular sheet that deflects horizontally.
Further, N images equivalent to those obtained by capturing N (N is a natural number of 4 or more) viewpoint images provided so that the arrangement interval is coarser than the central portion are arranged. In the multi-view video generation device to generate,
It is characterized by having N image pickup means for picking up images of different viewpoints.
Furthermore, in a multi-view video generation device that generates N images equivalent to those obtained by capturing N (N is a natural number of 4 or more) viewpoint images,
Equivalent to an image picked up by N image pickup means for picking up images of N viewpoints (N is a natural number of 4 or more) provided such that the arrangement interval is coarser than the center portion. And generating means for generating N images.
本発明によれば、視点間隔を中央部では密に、周辺部では粗にすることで、解像度、視点数を変更せずに、中央部の運動視差を滑らかにすることができるとともに、メインローブ内の視域角を広げることができるという効果を得ることができる。   According to the present invention, it is possible to smooth the motion parallax in the central portion without changing the resolution and the number of viewpoints by making the visual point interval dense in the central portion and coarse in the peripheral portion, and the main lobe. The effect that the viewing zone angle can be expanded can be obtained.
以下、図面を参照して本発明の実施の形態について説明する。図1は本発明に係る多視点映像表示装置の一実施の形態を示す説明図、図2は図1の多視点映像表示装置を実現するカメラと従来のカメラの各配列方法を示す説明図である。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is an explanatory diagram showing an embodiment of a multi-view video display device according to the present invention, and FIG. 2 is an explanatory diagram showing an arrangement method of a camera realizing the multi-view video display device of FIG. 1 and a conventional camera. is there.
図1は一例として、8方向の異なる視点a、b、c、d、e、f、g、hから3次元映像(画素3、4、5、6、7、8、9、10)を見る8眼式レンチキュラ方式による3次元映像表示装置の原理を説明する図である。図1において、多眼ストライプ状要素画像表示面2は複数の視点a、b、c、d、e、f、g、hから観察する多眼ストライプ状要素画像を表示し、レンチキュラスクリーン1は多眼ストライプ状要素画像の一部を拡大する。また、画素3、4、5、6、7、8、9、10は多眼ストライプ状要素画像表示面2に表示される多眼ストライプ状要素画像を構成する画素であり、それぞれ観察者の視点a、b、c、d、e、f、g、hに対応する。   As an example, FIG. 1 shows three-dimensional images (pixels 3, 4, 5, 6, 7, 8, 9, 10) from eight different viewpoints a, b, c, d, e, f, g, and h. It is a figure explaining the principle of the three-dimensional video display apparatus by an 8-eye lenticular system. In FIG. 1, a multi-view stripe-shaped element image display surface 2 displays multi-view stripe-shaped element images observed from a plurality of viewpoints a, b, c, d, e, f, g, and h, and a lenticular screen 1 has many. A part of the eye stripe element image is enlarged. Further, the pixels 3, 4, 5, 6, 7, 8, 9, and 10 are pixels constituting a multi-eye stripe element image displayed on the multi-ocular stripe element image display surface 2, and are respectively viewed from the observer's viewpoint. It corresponds to a, b, c, d, e, f, g, h.
また、Ra、Rb、Rc、Rd、Re、Rf、Rg、Rhはそれぞれ視点a、b、c、d、e、f、g、hの画像が観察できる範囲であり、Ra>Rb>Rc>Rd=Re<Rf<Rg<Rhである。Iabは視点aと視点bの間隔であり、Ibc、Icd、Ide、Ief、Ifg、Ighはそれぞれ、視点bとc、cとd、dとe、eとf、fとg、gとhの間隔である。したがって、Iab>Ibc>Icd>Ide<Ief<Ifg<Ighである。図1では紙面の都合上、レンズレンチキュラスクリーン1の厚さに対して視距離(レンチキュラスクリーン1から観察者までの距離)は2倍弱となっているが、実際にはレンズレンチキュラスクリーン1の厚さに対して、視距離は十分に大きいものとする。また、図1では、レンチキュラスクリーンから発せられた光線が観察者の眼球に集光したものであるが、レンチキュラスクリーンから発せられた光線がアフォーカルのものも含む。従来技術の図3、図5とは従来技術の視点間隔が等間隔であるのに対して、本発明の実施の形態の視点間隔Iab、Ibc、Icd、Ide、Ief、Ifg、Ighは中央部が密で、周辺部が疎である点が異なる。   Further, Ra, Rb, Rc, Rd, Re, Rf, Rg, and Rh are ranges in which images of the viewpoints a, b, c, d, e, f, g, and h can be observed, respectively, and Ra> Rb> Rc> Rd = Re <Rf <Rg <Rh. Iab is the interval between the viewpoint a and the viewpoint b, and Ibc, Icd, Ide, Ief, Ifg, and Igh are the viewpoints b and c, c and d, d and e, e and f, f and g, and g and h, respectively. Is the interval. Therefore, Iab> Ibc> Icd> Ide <Ief <Ifg <Igh. In FIG. 1, the viewing distance (distance from the lenticular screen 1 to the observer) is slightly less than twice the thickness of the lens lenticular screen 1 due to space limitations. On the other hand, the viewing distance is sufficiently large. In FIG. 1, the light beam emitted from the lenticular screen is condensed on the eyeball of the observer, but the light beam emitted from the lenticular screen includes an afocal beam. 3 and 5 of the prior art, the viewpoint intervals of the prior art are equal, whereas the viewpoint intervals Iab, Ibc, Icd, Ide, Ief, Ifg, and Igh according to the embodiment of the present invention are the central part. Is different and the periphery is sparse.
多眼ストライプ状要素画像表示面2は例えば投射型のプロジェクタなどで投射された画像を拡散し、表示するスクリーンのような平面であり、多眼ストライプ状要素画像表示面2を構成する画素3、4、5、6、7、8、9、10の水平間隔が等しいパネルである。LCD、PDP、有機ELなどの直視型のパネルでもよい。従来技術と同様に、多眼ストライプ状要素画像表示面2にはレンチキュラスクリーン1の1ピッチ内の画素3、4、5、6、7、8、9、10の位置に、8方向(視点a、b、c、d、e、f、g、h)から撮影した画像を縦縞のストライプ状に配列して表示するが、多眼ストライプ状要素画像表示面2に表示する画像の撮影方法が従来技術と異なる。   The multi-eye stripe element image display surface 2 is a flat screen like a screen for diffusing and displaying an image projected by, for example, a projection type projector, and the like. 4, 5, 6, 7, 8, 9, 10 are equal in the horizontal interval. A direct-view type panel such as an LCD, PDP, or organic EL may be used. As in the prior art, the multi-view stripe-shaped element image display surface 2 has eight directions (viewpoints a) at the positions of the pixels 3, 4, 5, 6, 7, 8, 9, 10 within one pitch of the lenticular screen 1. , B, c, d, e, f, g, h) are arranged and displayed in the form of stripes of vertical stripes. Conventionally, there has been a method of photographing an image displayed on the multi-view stripe-shaped element image display surface 2. Different from technology.
従来技術の図3(及び図5)に関しては、多眼ストライプ状要素画像表示面22に表示する信号は図2(b)に示すように等間隔の視点から撮影した画像を用いるが、本発明では図2(a)に示すように3次元映像表示装置の観察者の視点a、b、c、d、e、f、g、hに対応して、8台のカメラ(a’、b’、c’、d’、e’、f’、g’、h’)を中央部の視点間隔を密に、周辺部の視点間隔を疎にして撮影し(Sab>Sbc>Scd>Sde<Sef<Sfg<Sgh)、その画像を用いる。このとき、観察者の視点間隔Iab、Ibc、Icd、Ide、Ief、Ifg、Ighの比率と、撮影するカメラの間隔Sab、Sbc、Scd、Sde、Sef、Sfg、Sghの比率を等しくする。すなわち、Iab:Ibc:Icd:Ide:Ief:Ifg:Igh=Sab:Sbc:Scd:Sde:Sef:Sfg:Sghとする。また、実写の映像ではなく、図1の3次元映像表示装置に合わせて中央部の視点間隔を密に、周辺部の視点間隔を疎に配置したカメラから撮影した画像をシミュレートしてレンダリングしたコンピュータグラフィックスを用いてもよい。   With respect to FIG. 3 (and FIG. 5) of the prior art, the signal displayed on the multi-view stripe-shaped element image display surface 22 is an image taken from an equally spaced viewpoint as shown in FIG. Then, as shown in FIG. 2 (a), eight cameras (a ′, b ′) corresponding to the viewpoints a, b, c, d, e, f, g, h of the observer of the 3D image display device. , C ′, d ′, e ′, f ′, g ′, h ′) are photographed with a close viewpoint interval in the central portion and a sparse viewpoint interval in the peripheral portion (Sab> Sbc> Scd> Sde <Sef). <Sfg <Sgh), the image is used. At this time, the ratio of the observer viewpoint intervals Iab, Ibc, Icd, Ide, Ief, Ifg, Igh and the ratio of the camera intervals Sab, Sbc, Scd, Sde, Sef, Sfg, Sgh are made equal. That is, Iab: Ibc: Icd: Ide: Ief: Ifg: Igh = Sab: Sbc: Scd: Sde: Sef: Sfg: Sgh. In addition, instead of a live-action image, a simulation was performed to render an image taken from a camera with a central viewpoint interval and a peripheral viewpoint interval sparsely arranged in accordance with the 3D image display apparatus of FIG. Computer graphics may be used.
図1の本発明による3次元映像表示装置では、視点間隔は中央部が密で、周辺部が疎である。また、図3の3次元映像装置に対して図5の3次元映像装置では、視点間隔が大きくなり、メインローブの視域範囲が広くなっている。図3のレンチキュラスクリーン21に対して図5のレンチキュラスクリーン31の曲率を大きく(曲率半径を小さく)することにより、レンチキュラスクリーン31の法線の傾きが大きくなり、出射角の傾きが大きくなることによる。ただし、隣接する視点画像間で画面上のずれが大きくなり、フリッピングが生じ、滑らかな視点移動が損なわれる。   In the 3D image display apparatus according to the present invention shown in FIG. 1, the viewpoint interval is dense at the center and sparse at the periphery. Further, in the 3D video device of FIG. 5, the viewpoint interval is larger and the viewing range of the main lobe is wider than the 3D video device of FIG. 3. By increasing the curvature of the lenticular screen 31 of FIG. 5 (decreasing the radius of curvature) with respect to the lenticular screen 21 of FIG. 3, the inclination of the normal line of the lenticular screen 31 is increased and the inclination of the emission angle is increased. . However, the screen deviation between adjacent viewpoint images increases, causing flipping, and smooth viewpoint movement is impaired.
図1では、中央部の視点d、eの視点間隔Ideが図3の視点l、mの視点間隔Ilmと等しくなっている。また、図1の最も周辺部の視点a、bの視点間隔Iabが図5の視点q、rの視点間隔Iqrと等しくなっている。このようにするには図1のレンチキュラスクリーン1の中央部は図3のレンチキュラスクリーン21の中央部の曲率と同等にし、図1のレンチキュラスクリーン1の周辺部は図5のレンチキュラスクリーン31の周辺部の曲率と同等にして、水平方向に等間隔に配列された複数のレンズ部の曲率又は屈折率が中央部では小さく、周辺部では大きくすればよい。   In FIG. 1, the viewpoint interval Ide of the central viewpoints d and e is equal to the viewpoint interval Ilm of the viewpoints l and m in FIG. Further, the viewpoint interval Iab between the viewpoints a and b in the most peripheral part in FIG. 1 is equal to the viewpoint interval Iqr between the viewpoints q and r in FIG. In order to do this, the central portion of the lenticular screen 1 in FIG. 1 has the same curvature as the central portion of the lenticular screen 21 in FIG. 3, and the peripheral portion of the lenticular screen 1 in FIG. 1 is the peripheral portion of the lenticular screen 31 in FIG. The curvature or refractive index of a plurality of lens portions arranged at equal intervals in the horizontal direction may be small in the central portion and large in the peripheral portion.
従来技術でも説明したのと同様に、レンチキュラスクリーン1の作用によって8方向から撮影したストライプ像は分離されて左右の眼に入り、左右の眼でそれぞれ別の視点の映像を観察することで、メガネなしで3次元画像を観察することができる。さらに、視点を左右方向に移動すれば、異なる視点から見た3次元画像を見ることもできる。また、左右の眼の幅よりも視点間隔を広く設計した場合、左右の眼で同じ視点の映像を観察することになる。すなわち、視点を移動することにより異なる視点から見た2次元映像を観察することのできる多視点映像表示装置となる。   As described in the prior art, the stripe images photographed from eight directions by the action of the lenticular screen 1 are separated and enter the left and right eyes, and the left and right eyes respectively observe the images of different viewpoints. A three-dimensional image can be observed without any. Furthermore, if the viewpoint is moved in the left-right direction, a three-dimensional image viewed from a different viewpoint can be viewed. Further, when the viewpoint interval is designed wider than the width of the left and right eyes, the same viewpoint video is observed with the left and right eyes. That is, the multi-viewpoint video display apparatus can observe a two-dimensional video viewed from different viewpoints by moving the viewpoint.
また、視点間隔が密である中央部では左右の眼の幅よりも視点間隔を狭く設計し、視点間隔が疎である周辺部では左右の眼の幅よりも視点間隔を広く設計することで、中央から観察すると3次元映像を構成し、周辺から観察すると2次元映像を観察する表示装置を構成することができる。   In addition, by designing the viewpoint interval narrower than the width of the left and right eyes in the central part where the viewpoint interval is dense, and designing the viewpoint interval wider than the width of the left and right eyes in the peripheral part where the viewpoint interval is sparse, When viewed from the center, a 3D image can be formed, and when viewed from the periphery, a display device can be configured to observe a 2D image.
超多眼ディスプレイは、ある視距離において、瞳孔径より細かい標本化ピッチで視差画像を表示する方式であり、単眼の瞳孔内に少なくとも2つの視差画像を提示すれば、連続的な運動視差を再現できるとともに輻輳調節矛盾が解消される事が知られている(通信・放送機構、高度三次元画像遠隔表示プロジェクト 最終報告書、平成14年9月)。本方式においても中央部すなわち視点間隔が密な部分では、瞳孔径より細かい視点間隔とし、周辺部すなわち視点間隔が疎な部分では、瞳孔感覚より粗い視点間隔とすることで、観察者が中央から観察する場合、輻輳調節矛盾を解消できるディスプレイとして構成することもできる。   The super multi-view display is a system that displays parallax images at a sampling distance that is finer than the pupil diameter at a certain viewing distance. If at least two parallax images are presented in the monocular pupil, continuous motion parallax can be reproduced. It is known that the congestion control contradiction is solved as well as it is possible (communication / broadcasting mechanism, advanced 3D image remote display project final report, September 2002). Even in this method, the central part, that is, the part where the viewpoint interval is dense, has a viewpoint distance finer than the pupil diameter, and the peripheral part, that is, the part where the viewpoint interval is sparse, the viewpoint distance is coarser than the pupil sensation. When observing, it can also be configured as a display that can eliminate congestion adjustment contradiction.
本実施例では水平のみに視差を持つレンチキュラ方式について説明したが、水平だけでなく、垂直、斜め方向を含む全方向に視差を持ち、任意の視点から自由に見られる多視点映像表示装置に適用することもできる。例えば、「三次元画像工学」(大越孝敬著、朝倉書店、1991)において任意の視点から自由に見られる3次元画像技術が紹介されている。その代表的な方式であるIP(インテグラルフォトグラフィ)方式は1908年にLippmannによって提案された。画像表示面の前に図6に示すようなフライアイレンズと呼ばれるレンズアレイを置く。本実施の形態のレンチキュラ方式は上下の視差情報を取り除いて水平方向に視差を限定して簡略化したIPである。インテグラルフォトグラフィ方式に本発明を適用する際には水平方向だけではなく、水平方向以外の視点間隔の中央部を密にし、周辺部を疎になるように画像を撮像し、レンズアレイを設計することで実現できる。   In the present embodiment, the lenticular method having a parallax only in the horizontal direction has been described. However, the present invention is applied to a multi-view video display apparatus that has a parallax in all directions including not only the horizontal but also the vertical and oblique directions and can be freely viewed from any viewpoint. You can also For example, “three-dimensional image engineering” (Takayoshi Ohkoshi, Asakura Shoten, 1991) introduces a three-dimensional image technique that can be viewed freely from any viewpoint. The IP (Integral Photography) system, which is a typical system, was proposed by Lippmann in 1908. A lens array called a fly-eye lens as shown in FIG. 6 is placed in front of the image display surface. The lenticular method of this embodiment is an IP that is simplified by removing the upper and lower parallax information and limiting the parallax in the horizontal direction. When applying the present invention to the integral photography system, the lens array is designed by capturing images so that the central part of the viewpoint interval other than the horizontal direction is dense and the peripheral part is sparse, not only in the horizontal direction. This can be achieved.
本発明に係る多視点映像表示装置の一実施の形態を示す説明図である。It is explanatory drawing which shows one Embodiment of the multiview video display apparatus which concerns on this invention. 図1の多視点映像表示装置を実現するカメラと従来のカメラの各配列方法を示す説明図である。It is explanatory drawing which shows each arrangement | positioning method of the camera which implement | achieves the multiview video display apparatus of FIG. 1, and the conventional camera. 従来の多視点映像表示装置を示す説明図である。It is explanatory drawing which shows the conventional multiview video display apparatus. ストライプ状要素画像の形成方法を示す説明図である。It is explanatory drawing which shows the formation method of a striped element image. 他の従来の多視点映像表示装置を示す説明図である。It is explanatory drawing which shows the other conventional multiview video display apparatus. インテグラルフォトグラフィ方式に用いるレンズアレイを示す説明図である。It is explanatory drawing which shows the lens array used for an integral photography system.
符号の説明Explanation of symbols
1、21、31 レンチキュラスクリーン
2、22 多眼ストライプ状要素画像表示面
1, 21, 31 Lenticular screen 2, 22 Multi-eye stripe element image display surface

Claims (6)

  1. N個(Nは4以上の自然数)の視点の画像を表示する多視点映像表示装置において、
    配置間隔が中央部に比較して周辺部が粗になるように設けられたN個の撮像手段により撮像されたN枚の撮像画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記N枚の撮像画像において互いに略同一の位置に位置するN個の画素を、前記撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記N枚の撮像画像の各画素に対して実行することで、前記N枚の撮像画像を前記表示画面上に同時に表示する表示手段と、
    前記表示手段によって前記表示画面上に同時に表示された前記N枚の撮像画像の前記N個の画素ごとに、このN個の画素の表示による出射光を、前記N個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、
    備えたことを特徴とする多視点映像表示装置。
    In a multi-view video display device that displays images of N viewpoints (N is a natural number of 4 or more),
    The pixels constituting the N picked-up images picked up by the N image pickup means provided so that the peripheral portion is rougher than the central portion are arranged at equal intervals in the horizontal and vertical directions. Display means for simultaneously displaying on a display screen composed of a plurality of pixel display elements, and N pixels located at substantially the same position in the N picked-up images are arranged in the order of arrangement of the image pickup means. Display means for displaying the N captured images at the same time on the display screen by executing a process of displaying on the pixel display element in a corresponding arrangement for each pixel of the N captured images;
    For each of the N pixels of the N captured images simultaneously displayed on the display screen by the display unit, the emitted light from the display of the N pixels corresponds to the arrangement of the N imaging units. An optical deflecting means for deflecting so as to be at a predetermined position interval,
    A multi-view video display device characterized by comprising.
  2. N個(Nは4以上の自然数)の視点の画像を表示する多視点映像表示装置において、In a multi-view video display device that displays images of N viewpoints (N is a natural number of 4 or more),
    配置間隔が中央部に比較して周辺部が粗になるように仮想的に設けられたN個の撮像手段により撮像されたN枚の撮像画像と等価になるように生成されたN枚の生成画像を構成する各画素を、水平及び垂直方向に等間隔に配列された複数の画素表示素子からなる表示画面上に同時に表示する表示手段であり、前記N枚の生成画像において互いに略同一の位置に位置するN個の画素を、前記仮想的に設けられたN個の撮像手段の配置の順序に対応する配列で前記画素表示素子に表示する処理を、前記N枚の生成画像の各画素に対して実行することで、前記N枚の生成画像を前記表示画面上に同時に表示する表示手段と、Generation of N images generated so that the arrangement interval is equivalent to N captured images captured by N imaging means provided virtually so that the peripheral portion is coarser than the central portion. Display means for simultaneously displaying each pixel constituting an image on a display screen composed of a plurality of pixel display elements arranged at equal intervals in the horizontal and vertical directions, and at substantially the same position in the N generated images A process of displaying N pixels located in the pixel display element in an array corresponding to the order of arrangement of the N imaging means provided virtually is performed on each pixel of the N generated images. Display means for simultaneously displaying the N generated images on the display screen,
    前記表示手段によって前記表示画面上に同時に表示された前記N枚の生成画像の前記N個の画素ごとに、このN個の画素の表示による出射光を、前記仮想的に設けられたN個の撮像手段の配置に対応した位置間隔になるように偏向させる光偏向手段とを、For each of the N pixels of the N generated images simultaneously displayed on the display screen by the display unit, the light emitted from the display of the N pixels is output to the N pieces of the virtually provided N pieces. A light deflecting means for deflecting the light so as to have a position interval corresponding to the arrangement of the imaging means;
    備えたことを特徴とする多視点映像表示装置。  A multi-view video display device characterized by comprising.
  3. 前記光偏向手段は、前記N個の画素の表示による出射光を、水平・垂直・斜め方向に偏向させるレンズアレイであることを特徴とする請求項1又は2記載の多視点映像表示装置。 3. The multi-viewpoint video display apparatus according to claim 1, wherein the light deflecting unit is a lens array that deflects the emitted light from the display of the N pixels in a horizontal, vertical, and oblique direction.
  4. 前記光偏向手段は、前記N個の画素の表示による出射光を、水平方向に偏向させるレンチキュラシートであることを特徴とする請求項1又は2記載の多視点映像表示装置。 3. The multi-viewpoint video display apparatus according to claim 1, wherein the light deflecting unit is a lenticular sheet that deflects outgoing light generated by displaying the N pixels in a horizontal direction.
  5. 配置間隔が中央部に比較して周辺部が粗になるように設けられた、N個(Nは4以上の自然数)の視点の画像を撮像するN個の撮像手段を有することを特徴とする多視点映像撮像装置。It is characterized by having N image pickup means for picking up images of N (N is a natural number of 4 or more) viewpoints provided so that the arrangement interval is coarser than the center portion. Multi-view video imaging device.
  6. 配置間隔が中央部に比較して周辺部が粗になるように設けられた、N個(Nは4以上の自然数)の視点の画像を撮像するN個の撮像手段によって撮像された画像と等価となるN枚の画像を生成する生成手段を有することを特徴とする多視点映像生成装置。Equivalent to an image picked up by N image pickup means for picking up images of N viewpoints (N is a natural number of 4 or more) provided such that the arrangement interval is coarser than the center portion. A multi-viewpoint video generation apparatus comprising generation means for generating N images.
JP2006162738A 2006-06-12 2006-06-12 Multi-view video display device, multi-view video imaging device, and multi-view video generation device Active JP4631812B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006162738A JP4631812B2 (en) 2006-06-12 2006-06-12 Multi-view video display device, multi-view video imaging device, and multi-view video generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006162738A JP4631812B2 (en) 2006-06-12 2006-06-12 Multi-view video display device, multi-view video imaging device, and multi-view video generation device

Publications (3)

Publication Number Publication Date
JP2007336002A JP2007336002A (en) 2007-12-27
JP2007336002A5 JP2007336002A5 (en) 2008-08-21
JP4631812B2 true JP4631812B2 (en) 2011-02-23

Family

ID=38935088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006162738A Active JP4631812B2 (en) 2006-06-12 2006-06-12 Multi-view video display device, multi-view video imaging device, and multi-view video generation device

Country Status (1)

Country Link
JP (1) JP4631812B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010008719A (en) * 2008-06-27 2010-01-14 Seiko Epson Corp Three-dimensional display
WO2011052389A1 (en) * 2009-10-30 2011-05-05 富士フイルム株式会社 Image processing device and image processing method
JP5439686B2 (en) * 2010-07-07 2014-03-12 国立大学法人東京農工大学 Stereoscopic image display apparatus and stereoscopic image display method
JP5269027B2 (en) * 2010-09-30 2013-08-21 株式会社東芝 Three-dimensional image display device and image processing device
KR101721103B1 (en) * 2010-12-21 2017-03-30 엘지디스플레이 주식회사 Stereoscopic 3d display device and method of driving the same
JP5978695B2 (en) * 2011-05-27 2016-08-24 株式会社Jvcケンウッド Autostereoscopic display device and viewpoint adjustment method
WO2012165132A1 (en) * 2011-05-27 2012-12-06 株式会社Jvcケンウッド Autostereoscopic display device, viewpoint adjustment method, and method for generating autostereoscopically viewed video data
JP2015004698A (en) 2011-10-25 2015-01-08 シャープ株式会社 Stereoscopic display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017634A (en) * 2005-07-06 2007-01-25 Ntt Docomo Inc Stereoscopic image display device and stereoscopic image display method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017634A (en) * 2005-07-06 2007-01-25 Ntt Docomo Inc Stereoscopic image display device and stereoscopic image display method

Also Published As

Publication number Publication date
JP2007336002A (en) 2007-12-27

Similar Documents

Publication Publication Date Title
JP3966830B2 (en) 3D display device
JP4631812B2 (en) Multi-view video display device, multi-view video imaging device, and multi-view video generation device
US8427532B2 (en) Apparatus and method of displaying the three-dimensional image
JP3944188B2 (en) Stereo image display method, stereo image imaging method, and stereo image display apparatus
CN1977544B (en) 3D display method and apparatus
JP4327758B2 (en) Stereoscopic image display device
JP4328311B2 (en) Method and program for creating multi-viewpoint image for 3D image display
JP4714116B2 (en) 3D image display apparatus and 3D image display method
JP2008089787A (en) Stereoscopic image display device and stereoscopic image forming method
JP2008067092A (en) Stereoscopic image display device and stereoscopic image display method
JPH10232368A (en) Stereoscopic picture display device
TW201320717A (en) Method of displaying 3D image
US8248459B2 (en) Stereoscopic display device with liquid crystal shutter light filter for naked eye viewing and a display method thereof
TWI489149B (en) Autostereoscopic display apparatus and storage media
JP4660769B2 (en) Multi-view stereoscopic display device
JP5439686B2 (en) Stereoscopic image display apparatus and stereoscopic image display method
JP2007264261A (en) Projection type stereoscopic display device
JPH0915530A (en) Lenticular display
JP2006010786A (en) Apparatus for photographing and displaying multi-viewing point three-dimensional image
JP2005172965A (en) Lens array element and display element, and stereoscopic picture photographing device and stereoscopic picture display device
JP6598362B2 (en) Stereoscopic image display device
JP3080777B2 (en) Projection type stereoscopic display
KR20120025282A (en) Stereoscopic 3d display device
JP2011033820A (en) Three-dimensional image display device
JP5466195B2 (en) Autostereoscopic image display device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101101

R151 Written notification of patent or utility model registration

Ref document number: 4631812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3