JP5663857B2 - Image display device and image display method - Google Patents
Image display device and image display method Download PDFInfo
- Publication number
- JP5663857B2 JP5663857B2 JP2009234646A JP2009234646A JP5663857B2 JP 5663857 B2 JP5663857 B2 JP 5663857B2 JP 2009234646 A JP2009234646 A JP 2009234646A JP 2009234646 A JP2009234646 A JP 2009234646A JP 5663857 B2 JP5663857 B2 JP 5663857B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- viewpoint
- viewpoints
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000011156 evaluation Methods 0.000 claims description 38
- 230000004888 barrier function Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/393—Arrangements for updating the contents of the bit-mapped memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
- G09G2340/0478—Horizontal positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
本発明は、画像表示装置および画像表示方法に関する。 The present invention relates to an image display device and an image display method.
従来、レンチキュラシートを用いて、複数の方向に対して立体的画像を表示する装置がある。また、異なる角度から撮像した現実イメージを操作することによって追加イメージを補間する技術が知られている(例えば、特許文献1参照)。 Conventionally, there is an apparatus that displays a stereoscopic image in a plurality of directions using a lenticular sheet. Further, a technique for interpolating an additional image by manipulating real images taken from different angles is known (see, for example, Patent Document 1).
しかし、現実イメージから補間することで、複数視点に対する追加イメージを生成する場合、所定の画素領域毎に動きベクトルを算出する等の煩雑な処理を実行する。このため、多視点用の画像を生成するのに時間がかかってしまう。特に、動画等のように複数の多視点画像をストリーミングする場合に、各フレームの画像処理が間に合わなくなる。 However, when an additional image for a plurality of viewpoints is generated by interpolating from a real image, complicated processing such as calculating a motion vector for each predetermined pixel area is executed. For this reason, it takes time to generate an image for multiple viewpoints. In particular, when a plurality of multi-view images are streamed such as a moving image, image processing of each frame is not in time.
上記課題を解決するために、本発明の第1の態様においては、複数組の右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する画像表示装置であって、所定の2視点に対応する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、複数の視点に対する右眼用画像および左眼用画像を生成する多視点画像生成部と、多視点画像生成部が生成した右眼用画像および左眼用画像を、それぞれ対応する視点に向けて表示する表示部とを備える画像表示装置および当該画像表示装置を用いた画像表示方法を提供する。 In order to solve the above-mentioned problem, in the first aspect of the present invention, there is provided an image display device that displays a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints, respectively, A multi-viewpoint image generation unit that receives a right image and a left image corresponding to two viewpoints, and generates a right-eye image and a left-eye image for a plurality of viewpoints by shifting the received right image and the entire left image, respectively. And an image display device including a display unit that displays the right-eye image and the left-eye image generated by the multi-viewpoint image generation unit toward the corresponding viewpoint, and an image display method using the image display device. provide.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、1つの実施形態に係る画像表示装置100の構成例を示す図である。画像表示装置100は、複数組の右画像および左画像を、それぞれ対応する視点1から視点nに向けて表示する。1つの視点は、例えば利用者の右眼または左眼の位置に対応する。つまり、画像表示装置100は、一組の右画像および左画像を、隣接する2つの視点に対して表示する。また、画像表示装置100は、与えられる2次元画像から、各視点に対応する右画像または左画像を生成する。
FIG. 1 is a diagram illustrating a configuration example of an
本例の画像表示装置100は、画像処理部10および表示部50を備える。画像処理部10は、2次元画像を取得する。画像処理部10は、1つの視点に対応する1つの2次元画像を取得してよく、また、2つの視点に対応する2つの2次元画像を取得してもよい。後者の場合、2つの2次元画像は、人間の両眼の位置に応じた2つの位置から被写体を撮像したステレオ画像であってよい。
The
画像処理部10は、取得した2次元画像から、n個(例えば4以上の偶数)の視点に対応するn個の画像を生成する。例えば画像処理部10は、n/2個の右眼用画像と、n/2個の左眼用画像とを生成してよい。ここで右眼用画像とは、利用者の右眼に表示すべき画像であり、左眼用画像とは、利用者の左眼に表示すべき画像であってよい。
The
表示部50は、画像処理部10が生成したn個の画像を、n個の視点に向けて表示する。例えば表示部50は、レンチキュラー方式またはパララックスバリア方式により、n個の画像を、n個の視点に向けて表示してよい。本例の表示部50は、対応する右眼用画像および左眼用画像を、隣接する視点に向けて表示することで、多視点に対して立体的画像を表示する。
The
図2は、画像処理部10の構成例を示す図である。本例の画像処理部10は、所定の2視点に対する右画像および左画像を取得する。所定の2視点とは、利用者の右眼および左眼に対応する視点であってよい。つまり、当該右画像および左画像は、上述したステレオ画像であってよい。
FIG. 2 is a diagram illustrating a configuration example of the
本例の画像処理部10は、画像取得部12および多視点画像生成部14を有する。画像取得部12は、所定の2視点に対する右画像および左画像を取得する。画像取得部12は、外部の装置から右画像および左画像を取得してよく、異なる2つの位置から被写体を撮像することで、右画像および左画像を取得してもよい。
The
多視点画像生成部14は、画像取得部12から、所定の2視点に対する右画像および左画像を受け取り、受け取った右画像および左画像の全体をそれぞれシフトすることで、当該所定の2視点とは異なる視点に対する右眼用画像および左眼用画像を生成する。つまり、表示部50は、視点毎に被写体の位置がずれた立体的画像を表示する。これにより、各視点に応じた立体的画像を表示することができる。
The multi-viewpoint
本例の多視点画像生成部14は、画像取得部12から受け取った右画像および左画像と合わせて、n視点に対する右眼用画像および左眼用画像を表示部50に供給する。より具体的には、多視点画像生成部14は、n/2個の視点に対する右眼用画像およびn/2個の視点に対する左眼用画像を表示部50に供給する。表示部50は、画像取得部12が受け取った右画像および左画像、ならびに、多視点画像生成部14において生成された画像を受け取り、それぞれ対応する視点に向けて表示する。表示部50は、それぞれの画像を並行して表示してよい。
The multi-viewpoint
図3は、画像取得部12が取得した左画像および右画像の一例を示す図である。本例の左画像および右画像は、人間の両眼に対応する異なる2つの位置から同一の被写体を撮像したステレオ画像である。なお、左画像および右画像における被写体は、撮像装置から被写体までの距離に応じた視差を有する。図3においては、被写体62は、左右画像間で視差d1を有し、被写体64は、左右画像間で視差d2を有する。
FIG. 3 is a diagram illustrating an example of the left image and the right image acquired by the
図4は、多視点画像生成部14の動作例を示す図である。図4では、画像取得部12から受け取った左画像に基づいて、n/2個の左眼用画像を生成する場合を説明するが、画像取得部12から受け取った右画像に基づいて、n/2個の右眼用画像を生成する場合も同様である。
FIG. 4 is a diagram illustrating an operation example of the multi-viewpoint
多視点画像生成部14は、受け取った左画像の全体を、所定のシフト量で順次シフトすることで、n/2個の左眼用画像を生成する。例えば多視点画像生成部14は、受け取った左画像の全体を、シフト量daずつ右方向に順次シフトした複数の右シフト左眼用画像と、シフト量daずつ左方向に順次シフトした複数の左シフト左眼用画像とを生成してよい。
The multi-viewpoint
図4では、視点数n=14として、7個の左眼用画像を生成する例を示す。この場合、図4に示すように、多視点画像生成部14は、元の左画像に加えて、3個の右シフト左眼用画像と、3個の左シフト左眼用画像とを生成してよい。また、多視点画像生成部14は、元の左画像に加えて、6個の右シフト左眼用画像を生成してよく、6個の左シフト左眼用画像を生成してもよい。
FIG. 4 shows an example in which seven left-eye images are generated with the number of viewpoints n = 14. In this case, as shown in FIG. 4, the multi-viewpoint
図5は、表示部50の動作例を示す図である。本例の表示部50は、多視点画像生成部14が生成した複数の右眼用画像および複数の左眼用画像を同一のフレームで並行して表示する。例えば表示部50は、図4に示したように、元の左画像全体がx軸方向に順次シフトした複数の左眼用画像において、x軸上の同一位置の画素列(本例では、L(−3)からL(3))を抽出する。同様に表示部50は、元の右画像全体がx軸方向に順次シフトした複数の右眼用画像において、x軸上の同一位置の画素列(本例では、R(−3)からR(3))を抽出する。なお、画素列は、x軸方向の幅が1画素であってよく、複数画素であってもよい。
FIG. 5 is a diagram illustrating an operation example of the
表示部50は、複数の左眼用画像および右眼用画像におけるx軸上の同一位置の領域を、表示面において当該x軸上の位置に対応する領域に、所定の配列で表示する。例えば表示部50は、複数の左眼用画像および右眼用画像における各画素列を、所定の列数ずつ交互に表示してよい。図5の例では、表示部50は、左眼用画像および右眼用画像の各画素列を1個ずつ交互に表示する。同様に、表示面の他の領域についても、複数の右眼用画像および左眼用画像において対応する領域を、所定の配列で表示する。
The
図6は、表示部50の構成例を示す図である。本例の表示部50は、レンズアレイ54および表示素子52を有する。表示素子52は、図5に関連して説明したように、複数の左眼用画像および右眼用画像の各画素列を、所定の配列で表示する。レンズアレイ54は、所定のパターンで配列された複数のレンズを有する。レンズアレイ54は、x軸方向に沿って所定のピッチで配列された半円柱状の複数のレンズを有するレンチキュラーレンズアレイであってよい。
FIG. 6 is a diagram illustrating a configuration example of the
レンズアレイ54において各レンズは、視点数に応じた所定数の画素列毎に設けられる。例えば、図4および図5のように視点数n=14の場合、各レンズは、表示素子52にの表示面における14個の画素列毎に設けられる。各レンズは、各画素列を、対応する視点(本例では視点1、2、・・・k−2、k−1、k、k+1、k+2、・・・、13、14)に向けて表示する。
In the
以上の構成により、与えられる1組の右画像および左画像から、多視点用の左眼用画像および右眼用画像を容易に生成することができる。また、生成した多視点用の左眼用画像および右眼用画像を、対応する視点に表示することができる。なお、本例の表示部50は、レンチキュラー方式の場合を説明したが、表示部50は、パララックスバリア方式であってもよい。
With the above configuration, a multi-viewpoint left-eye image and right-eye image can be easily generated from a given set of right and left images. Further, the generated left-eye image and right-eye image for multiple viewpoints can be displayed at the corresponding viewpoints. In addition, although the case where the
また、多視点画像生成部14は、画像取得部12が取得した右画像および左画像からそれぞれ生成する画像間のシフト量の最大値が、当該右画像および左画像の間の最大視差量より小さくなるように、各視点に対するシフト画像を生成することが好ましい。例えば、図3および図4の例を用いて説明すると、多視点画像生成部14は、左端の左眼用画像と、右端の左眼用画像との間のシフト量6daが、最大視差量d1よりも十分小さくなるように、単位シフト量daを設定する。同様に多視点画像生成部14は、右眼用画像におけるシフト量の最大値6daが、最大視差量d1よりも十分小さくなるように、単位シフト量daを設定する。なお本例では、右眼用画像および左眼用画像において、それぞれの単位シフト量daは同一である。
Further, the multi-viewpoint
なお、上述した例では、多視点画像生成部14は、均一なシフト量daで元の左画像および右画像を順次シフトした左眼用画像および右眼用画像を生成したが、他の例では、多視点画像生成部14は、非均一なシフト量で元の画像を順次シフトした左眼用画像および右眼用画像を生成してもよい。例えば、複数の視点のうち、中央付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に小さくし、端部付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に大きくしてよい。この場合、複数の視点のうちの中央付近において、利用者の視点が切り替わった場合に、表示される画像の差が小さいので、画像を滑らかに切り替えることができる。
In the above-described example, the multi-viewpoint
また、複数の視点のうち、中央付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に大きくし、端部付近の視点に対応する左眼用画像および右眼用画像については、隣接する左眼用画像および右眼用画像に対するシフト量を比較的に小さくしてもよい。この場合、複数の視点のうちの端部付近において、利用者の視点が切り替わった場合に、画像を滑らかに切り替えることができる。 In addition, for the left-eye image and the right-eye image corresponding to the viewpoint near the center among the plurality of viewpoints, the shift amount with respect to the adjacent left-eye image and right-eye image is relatively increased, and the end portion For the left-eye image and the right-eye image corresponding to the nearby viewpoint, the shift amount with respect to the adjacent left-eye image and right-eye image may be relatively small. In this case, when the user's viewpoint is switched in the vicinity of the end portion of the plurality of viewpoints, the images can be switched smoothly.
図7は、画像処理部10の他の構成例を示す図である。本例の画像処理部10は、画像取得部12、左右画像生成部16、および、多視点画像生成部14を有する。画像取得部12は、1つの2次元画像を取得する。画像取得部12は、外部の装置から2次元画像を取得してよく、被写体を撮像することで2次元画像を取得してもよい。
FIG. 7 is a diagram illustrating another configuration example of the
左右画像生成部16は、画像取得部12が取得した2次元画像の全体をシフトすることで、複数の視点のうちの隣接する2視点に対する右画像および左画像を生成し、多視点画像生成部14に入力する。左右画像生成部16は、人間の両眼の間隔に応じた眼幅シフト量で、2次元画像の全体をシフトしてよい。例えば左右画像生成部16は、生成される右画像および左画像の間のシフト量が6.5cm程度の眼幅シフト量となるように、2次元画像の全体をシフトして右画像および左画像を生成する。
The left and right
多視点画像生成部14は、左右画像生成部16から受け取った右画像および左画像に基づいて、右眼用画像および左眼用画像をn/2個ずつ生成する。多視点画像生成部14が複数の右眼用画像および左眼用画像を生成する処理は、図2に関連して説明した多視点画像生成部14と同一であってよい。このような構成により、1つの2次元画像から、多視点用の左眼用画像および右眼用画像を容易に生成することができる。
The multi-viewpoint
図8は、左右画像生成部16における処理例を示す図である。左右画像生成部16は、受け取った2次元画像に基づいて、所定の眼幅シフト量dだけ、画像全体がx軸方向に相対的にシフトした左画像および右画像を生成する。当該左画像および右画像を利用者の左眼および右眼に選択的に表示することで、各被写体が無限遠に存在するような立体的画像を提供することができる。
FIG. 8 is a diagram illustrating a processing example in the left and right
なお、多視点画像生成部14は、右画像および左画像から生成する左眼用画像および右眼用画像のそれぞれのシフト量の最大値が、左右画像生成部16における眼幅シフト量dより十分小さくなるように、各視点に対する右画像および左画像を生成することが好ましい。また、多視点画像生成部14は、図2に関連して説明した多視点画像生成部14と同様に、非均一なシフト量で左右画像を順次シフトした左眼用画像および右眼用画像を生成してもよい。
Note that the multi-viewpoint
図9は、多視点画像生成部14の構成例を示す図である。本例の多視点画像生成部14は、メモリ30、複数の遅延部32、出力部34、および、制御部36を有する。なお図9では、多視点画像生成部14の構成のうち、左画像または右画像の一方を処理する構成を説明するが、多視点画像生成部14は、図9と同様の構成を、左画像または右画像の他方を処理するために更に有する。
FIG. 9 is a diagram illustrating a configuration example of the multi-viewpoint
メモリ30は、右画像または左画像を格納し、端の画素列から順番に、画素列単位でデータを出力する。当該画素列は、上述したx軸方向と垂直な方向に沿った画素列を指す。遅延部32は、視点数に応じた個数(本例ではn/2個)が、縦続接続されて設けられる。つまり、複数の遅延部32は、左画像または右画像に対して多視点画像生成部14が出力するn/2個の左眼用画像または右眼用画像に対応する。
The
制御部36は、それぞれの遅延部32における遅延量を、対応する左眼用画像および右眼用画像におけるシフト量に応じて設定する。例えば、直前の左眼用画像または右眼用画像に対するシフト量が10画素列である左眼用画像または右眼用画像に対応する遅延部32に対して、制御部36は、メモリ30から10画素列を読み出す時間を遅延時間として設定する。制御部36は、上述したように、均一なシフト量に対応して均一な遅延量を設定してよく、非均一なシフト量に対応して不均一な遅延量を設定してもよい。
The
出力部34は、複数の遅延部32が出力する画素列のデータを並列に受け取る。上述したように、それぞれの遅延部32がシフト量に応じた遅延量でメモリ30からのデータを遅延させるので、出力部34は、図4に示した画素列L(3)、L(2)、・・・のような、画像における位置がx軸方向にシフトした画素列のデータを並列に受け取る。
The
出力部34は、並列に受け取った画素列を所定の順番で配列した合成データを、表示部50に供給する。また、表示部50は、1つの画面に多数の視点用の画像を表示するので、1つの視点に対する画像は、元の画像に比べて画素列が間引かれる。出力部34は、視点の数に応じた列数の画素列がメモリ30から読み出される期間毎に、1つの合成データを生成して表示部50に供給することで、視点数に応じて画素列を間引いたデータを生成してよい。
The
このような構成により、視点数に応じて画素列を間引いた複数の左眼用画像および右眼用画像を、表示部50に容易に表示させることができる。また、左眼用画像および右眼用画像におけるシフト量を、容易に調整することができる。
With such a configuration, a plurality of left-eye images and right-eye images in which pixel rows are thinned according to the number of viewpoints can be easily displayed on the
図10は、表示部50の他の構成例を示す図である。本例の表示部50は、表示素子52およびバリア部56を有する。バリア部56は、光を透過する透過部および光を遮蔽する遮蔽部が所定の配列パターンで配列される。バリア部56は、光を透過するか否かを制御するシャッタ素子がマトリクス状に形成され、それぞれのシャッタ素子に、光を透過させるか否かを制御することで配列パターンが変更できることが好ましい。例えばバリア部56は、液晶パネルを有してよい。
FIG. 10 is a diagram illustrating another configuration example of the
表示素子52は、図6に関連して説明した表示素子52と同一であってよい。表示素子52は、それぞれのシフト画像の、バリア部56における透過部および遮蔽部の配列パターンに応じた領域を、バリア部56に向けて表示する。例えばバリア部56は、表示素子52に対向する領域に、表示素子52の上端から下端に渡って所定の幅を有する短冊状の透過部および遮蔽部が交互に配置されてよい。この場合、表示素子52は、それぞれのシフト画像から、バリア部56の透過部の幅を視点数で除算した幅を有する短冊状の画素列を抽出して、それぞれのシフト画像の画素列を所定の配列順序で表示する。
The
また、表示素子52は、バリア部56における透過部および遮蔽部の配列パターンの変更に応じて、それぞれの左眼用画像および右眼用画像から抽出する領域のパターンを変更してよい。例えば、バリア部56における短冊状の透過部の幅が変更された場合、それぞれの左眼用画像および右眼用画像から抽出する画素列の幅を、変更後の透過部の幅に応じて調整してよい。
Further, the
また、バリア部56の透過部および遮蔽部の配列パターンは、多様なパターンを有することができる。例えば、バリア部56の透過部および遮蔽部は、表示素子52の上端から下端に渡って斜めに設けられてよく、表示素子52の右端から左端に渡って設けられてもよい。また、バリア部56の透過部および遮蔽部は、千鳥状に配列されてもよい。つまり、バリア部56の透過部および遮蔽部は、表示素子52の上下方向および左右方向のいずれにおいても交互に配置されてよい。表示素子52は、これらのバリア部56の透過部および遮蔽部の配列パターンに応じて、それぞれの左眼用画像および右眼用画像から抽出する領域の形状を定めてよい。
Moreover, the arrangement pattern of the transmission part and the shielding part of the
図11は、画像処理部10の他の構成例を示す図である。本例の画像処理部10は、図1から図10に関連して説明したいずれかの画像処理部10の構成に加え、視点設定部20を更に有する。図11では、図2に関連して説明した画像処理部10の構成に、視点設定部20を追加した構成を説明する。
FIG. 11 is a diagram illustrating another configuration example of the
視点設定部20は、多視点画像生成部14に対して視点数nを設定する。視点設定部20は、使用者等から設定される視点数により、多視点画像生成部14に視点数nを設定してよい。多視点画像生成部14は、設定される視点数nに応じて、それぞれの視点に対応するシフト画像を生成する。また、多視点画像生成部14は、設定される視点数nに応じて、左眼用画像および右眼用画像におけるシフト量を変更してもよい。例えば、多視点画像生成部14は、予め設定されるトータルシフト量を、設定される視点数に応じた数で除算することで、左眼用画像および右眼用画像のそれぞれのシフト量を算出してよい。
The
また、視点設定部20は、画像取得部12が取得する画像に含まれる被写体に基づいて、多視点画像生成部14に視点数を設定する被写体判定部22を有してよい。例えば被写体判定部22は、より高い分解能で画像を表示することが好ましい被写体が画像に含まれている場合に、多視点画像生成部14における視点数を比較的に少なくしてよい。より具体的には、被写体判定部22は、画像取得部12が取得する画像に含まれる被写体の空間周波数がより高い場合に、多視点画像生成部14における視点数をより少なくしてよい。
The
また、視点設定部20は、画像取得部12が取得する画像に含まれる被写体の距離情報を取得して、取得した距離情報に応じて、多視点画像生成部14に視点数を設定する距離取得部24を有してよい。距離取得部24は、当該画像に添付される撮影条件のデータを取得してよい。また、画像取得部12がステレオの右画像および左画像を取得する場合、距離取得部24は、右画像および左画像に含まれる被写体の視差量に基づいて、被写体の距離情報を取得してよい。
Further, the
距離取得部24は、被写体までの距離がより近い場合に、多視点画像生成部14における視点数をより多くしてよい。また、視点設定部20は、被写体判定部22および距離取得部24を組み合わせて、多視点画像生成部14における視点数を設定してもよい。
The
また、多視点画像生成部14は、利用者の位置に基づいて、左眼用画像および右眼用画像の、隣接する左眼用画像および右眼用画像に対するシフト量を変化させてよい。例えば、利用者の位置により近い視点に対応する左眼用画像および右眼用画像については、シフト量をより小さくしてよい。これにより、利用者の位置の近傍の視点では、画像の動きを滑らかにすることができる。画像処理部10は、利用者の位置を検出し、多視点画像生成部14に通知する位置検出部を更に備えてよい。位置検出部は、例えばCCD素子等の撮像装置を有してよい。
Further, the multi-viewpoint
図12は、画像処理部10の他の構成例を示す図である。本例の画像処理部10は、図1から図11に関連して説明したいずれかの画像処理部10の構成に加え、画像評価部40および補間画像生成部38を更に有する。図12では、図2に関連して説明した画像処理部10の構成に、画像評価部40および補間画像生成部38を追加した構成を示す。他の構成は、図1から図11に関連して説明したいずれかの画像処理部10と同一であってよい。
FIG. 12 is a diagram illustrating another configuration example of the
補間画像生成部38は、多視点画像生成部14に与えられる右画像および左画像における対応点の関係に基づいて、多視点画像生成部14とは別に、複数の視点に対する右眼用画像および左眼用画像を生成する。補間画像生成部38は、右画像および左画像における対応点の間の動きベクトルを算出してよく、視差を算出してもよい。補間画像生成部38は、当該右画像または当該左画像に対して各視点の画像が有するべき動きベクトルまたは視差を、各視点の位置に基づいて補間して算出する。当該補間は、2視点の内側の視点における値を、2視点の値に基づいて補間する処理と、2視点の外側の視点における値を、2視点の値に基づいて外挿する処理とを含む。
The interpolated
例えば補間画像生成部38は、当該右画像および当該左画像の視点の位置の差と、当該右画像の視点および他の視点の位置の差との比を、当該右画像および当該左画像の間の動きベクトルまたは視差に乗じた補間ベクトルまたは補間視差を算出する。そして補間画像生成部38は、当該右画像に対して、補間ベクトルまたは補間視差を有する画像を、当該他の視点に対する画像として生成する。同様に、各視点における補間ベクトルまたは補間視差を生成することで、補間画像生成部38は、与えられる右画像および左画像から、複数の視点に対する画像を生成することができる。
For example, the interpolation
画像評価部40は、補間画像生成部38により生成される右眼用画像および左眼用画像を評価する。ここで評価とは、当該右眼用画像および左眼用画像により、適切な立体的画像を提供できるか否かの評価を指す。画像評価部40は、補間画像生成部38に与えられる右画像および左画像に基づいて当該評価を行ってよく、補間画像生成部38が生成した右眼用画像および左眼用画像に基づいて当該評価を行ってよく、補間画像生成部38における画像処理の過程で検出される所定のパラメータに基づいて当該評価を行ってもよい。
The
一例として、補間画像生成部38は、与えられる右画像および左画像において同一の被写体が撮像された対応点を複数検出して、それぞれの対応点間の動きベクトルまたは視差から、画像全体の動きベクトルまたは視差を推定する。このため、補間画像生成部38が検出する対応点の数が多いほど、画像全体の動きベクトルまたは視差を精度よく推定することができる。
As an example, the interpolated
なお、補間画像生成部38は、右画像および左画像のエッジ成分等を比較することで、対応点を検出してよい。このため、必ずしも十分な数の対応点を検出できるとは限らない。画像評価部40は、補間画像生成部38が検出した対応点の数が所定の値以下の場合に、補間画像生成部38により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと判定してよい。
The interpolated
また、補間画像生成部38が検出する対応点が、画像全体にまんべんなく分布しているほど、画像全体の動きベクトルまたは視差を精度よく推定することができる。画像評価部40は、補間画像生成部38が検出した対応点の分布に基づいて、補間画像生成部38により生成される右眼用画像および左眼用画像を評価してもよい。例えば画像評価部40は、それぞれの対応点の間の距離の最大値が、所定の値以上の場合に、補間画像生成部38により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価してよい。
In addition, as the corresponding points detected by the interpolated
表示部50は、画像評価部40における評価結果が予め定められたレベル以下の場合に、多視点画像生成部14が生成した右眼用画像および左眼用画像を表示する。また、表示部50は、画像評価部40における評価結果が当該レベルより高い場合に、補間画像生成部38が生成した右眼用画像および左眼用画像を表示する。例えば表示部50は、補間画像生成部38により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価された場合に、多視点画像生成部14が生成した右眼用画像および左眼用画像を表示する。
The
多視点画像生成部14および補間画像生成部38は、並行して画像を生成してよい。また他の動作例では、多視点画像生成部14は、画像評価部40における評価結果が当該レベル以下の場合に、右眼用画像および左眼用画像を生成してよい。つまり、補間画像生成部38により生成される右眼用画像および左眼用画像が、適切な立体的画像を提供できると評価された場合には、多視点画像生成部14は、右眼用画像および左眼用画像を生成しなくともよい。
The multi-viewpoint
また、補間画像生成部38は、右画像および左画像における対応点の数または分布による評価が、所定のレベル以下の場合には、右眼用画像および左眼用画像を生成しなくともよい。この場合、上述したように多視点画像生成部14から表示部50に、複数視点用の右眼用画像および左眼用画像が提供される。多視点画像生成部14および補間画像生成部38に右眼用画像および左眼用画像を生成させるかは、画像評価部40が制御してよい。
The interpolation
また、画像評価部40は、補間画像生成部38が生成した複数組の右眼用画像および左眼用画像の間の視差の最大値と、予め定められた値とを比較して、当該右眼用画像および左眼用画像を評価してもよい。当該視差の最大値は、対応する右眼用画像および左眼用画像における各対応点の視差を、右眼用画像および左眼用画像の組み合わせ毎に算出し、算出した全ての視差のうちの最大値を指す。画像評価部40は、当該視差の最大値が所定値以上の場合に、右眼用画像および左眼用画像が、適切な立体的画像を提供できないと評価してよい。また、画像評価部40は、利用者による評価結果の情報を受け取ってもよい。
In addition, the
また、図1から図12に関連して説明した画像取得部12は、複数の画像を含む動画像を取得してもよい。この場合、画像処理部10は、動画像の各フレームの画像について、図1から図12に関連して説明した処理により、複数の左眼用画像および右眼用画像を生成する。画像処理部10は、簡易な処理により複数の左眼用画像および右眼用画像を生成することができるので、動画像がストリーミングで配信される場合であっても、動画像の各フレームにおいて複数の左眼用画像および右眼用画像を逐次生成することができる。
In addition, the
また、図1から図12に関連して説明した多視点画像生成部14は、左画像および右画像の間で、それぞれ同一のシフト量を用いて、それぞれの左眼用画像および右眼用画像を生成した。他の例では、多視点画像生成部14は、左画像および右画像の間で、異なるシフト量を用いて、それぞれの左眼用画像および右眼用画像を生成してもよい。つまり、左眼用画像および右眼用画像において、左右間で対応する画像間のシフト量を、視点位置により異ならせてよい。これにより、視点位置に応じて奥行き感が変化する画像を表示することができる。
Further, the multi-viewpoint
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
10・・・画像処理部、12・・・画像取得部、14・・・多視点画像生成部、16・・・左右画像生成部、20・・・視点設定部、22・・・被写体判定部、24・・・距離取得部、30・・・メモリ、32・・・遅延部、34・・・出力部、36・・・制御部、38・・・補間画像生成部、40・・・画像評価部、50・・・表示部、52・・・表示素子、54・・・レンズアレイ、56・・・バリア部、62、64・・・被写体、100・・・画像表示装置
DESCRIPTION OF
Claims (17)
所定の2視点に対応する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記右眼用画像および前記左眼用画像を生成する多視点画像生成部と、
前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を、それぞれ対応する視点に向けて表示する表示部と、
画像に含まれる被写体に基づいて、前記多視点画像生成部に視点数を設定する被写体判定部と
を備え、
前記多視点画像生成部は、前記設定される視点数に応じて、それぞれの視点に対応する前記左眼用画像および前記右眼用画像を生成する
画像表示装置。 An image display device that displays a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints,
The right image and the left image corresponding to two predetermined viewpoints are received, and the right image and the left eye image for a plurality of viewpoints are generated by shifting the received right image and the left image respectively. A multi-viewpoint image generation unit,
A display unit that displays the right-eye image and the left-eye image generated by the multi-viewpoint image generation unit, respectively, toward a corresponding viewpoint;
A subject determination unit that sets the number of viewpoints in the multi-viewpoint image generation unit based on a subject included in the image;
The multi-viewpoint image generation unit generates the left-eye image and the right-eye image corresponding to each viewpoint according to the set number of viewpoints.
所定の2視点に対応する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記右眼用画像および前記左眼用画像を生成する多視点画像生成部と、
前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を、それぞれ対応する視点に向けて表示する表示部と、
画像に含まれる被写体の距離情報を取得して、取得した前記被写体の距離情報に応じて、前記多視点画像生成部に視点数を設定する距離取得部と
を備え、
前記多視点画像生成部は、前記設定される視点数に応じて、それぞれの視点に対応する前記左眼用画像および前記右眼用画像を生成する
画像表示装置。 An image display device that displays a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints,
The right image and the left image corresponding to two predetermined viewpoints are received, and the right image and the left eye image for a plurality of viewpoints are generated by shifting the received right image and the left image respectively. A multi-viewpoint image generation unit,
A display unit that displays the right-eye image and the left-eye image generated by the multi-viewpoint image generation unit, respectively, toward a corresponding viewpoint;
A distance acquisition unit that acquires distance information of a subject included in an image and sets the number of viewpoints in the multi-viewpoint image generation unit according to the acquired distance information of the subject,
The multi-viewpoint image generation unit generates the left-eye image and the right-eye image corresponding to each viewpoint according to the set number of viewpoints.
所定の2視点に対応する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記右眼用画像および前記左眼用画像を生成する多視点画像生成部と、
前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を、それぞれ対応する視点に向けて表示する表示部と、
前記右画像および前記左画像における対応点の関係に基づいて、前記多視点画像生成部とは別に、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成する補間画像生成部と、
前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する画像評価部と
を備え、
前記表示部は、前記画像評価部における評価結果が予め定められたレベル以下の場合に、前記多視点画像生成部が生成した前記右眼用画像および前記左眼用画像を表示する
画像表示装置。 An image display device that displays a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints,
The right image and the left image corresponding to two predetermined viewpoints are received, and the right image and the left eye image for a plurality of viewpoints are generated by shifting the received right image and the left image respectively. A multi-viewpoint image generation unit,
A display unit that displays the right-eye image and the left-eye image generated by the multi-viewpoint image generation unit, respectively, toward a corresponding viewpoint;
Based on the relationship between corresponding points in the right image and the left image, apart from the multi-viewpoint image generation unit, an interpolation image generation unit that generates the right-eye image and the left-eye image for the plurality of viewpoints; ,
An image evaluation unit for evaluating the right-eye image and the left-eye image generated by the interpolation image generation unit;
The display unit displays the right-eye image and the left-eye image generated by the multi-viewpoint image generation unit when an evaluation result in the image evaluation unit is equal to or lower than a predetermined level.
請求項1から3のいずれか1項に記載の画像表示装置。 The image display according to any one of claims 1 to 3 , wherein the multi-viewpoint image generation unit acquires two-dimensional images captured from different positions as the right image and the left image for the predetermined two viewpoints. apparatus.
請求項4に記載の画像表示装置。 The multi-viewpoint image generation unit is configured such that a maximum shift amount between the left-eye image and the right-eye image is smaller than a maximum parallax amount between the right image and the left image for the predetermined two viewpoints. The image display device according to claim 4 , wherein the left eye image and the right eye image are generated.
請求項1から3のいずれか1項に記載の画像表示装置。 The left and right image generation units that generate the right image and the left image for the predetermined two viewpoints by shifting the whole given two-dimensional image, and input to the multi-viewpoint image generation unit are further provided. 4. The image display device according to any one of items 3 .
前記多視点画像生成部は、前記左眼用画像および前記右眼用画像のシフト量の最大値が、前記眼幅シフト量より小さくなるように、前記左眼用画像および前記右眼用画像を生成する
請求項6に記載の画像表示装置。 The left and right image generation unit generates the right image and the left image for two adjacent viewpoints among a plurality of viewpoints by shifting the entire two-dimensional image by a predetermined eye width shift amount,
The multi-viewpoint image generator generates the left-eye image and the right-eye image so that a maximum shift amount of the left-eye image and the right-eye image is smaller than the eye-width shift amount. The image display device according to claim 6 .
光を透過する透過部および光を遮蔽する遮蔽部が所定の配列パターンで配列されたバリア部と、
それぞれの前記左眼用画像および前記右眼用画像の、前記配列パターンに応じた領域を、前記バリア部に向けて表示する表示素子と
を有する請求項1から7のいずれか1項に記載の画像表示装置。 The display unit
A barrier portion in which a transmission portion that transmits light and a shielding portion that blocks light are arranged in a predetermined arrangement pattern;
Each of the left-eye image and the right-eye image, a region corresponding to the arrangement pattern, according to any one of claims 1 to 7 and a display device for displaying toward the barrier section Image display device.
前記表示素子は、それぞれの前記左眼用画像および前記右眼用画像について表示する領域の形状を、前記配列パターンの変更に応じて変更する
請求項8に記載の画像表示装置。 In the barrier section, shutter elements that control whether or not to transmit light are formed in a matrix, and the arrangement pattern can be changed by controlling whether or not light is transmitted to each of the shutter elements,
The image display device according to claim 8 , wherein the display element changes a shape of a region to be displayed for each of the left-eye image and the right-eye image according to the change of the arrangement pattern.
請求項3に記載の画像表示装置。 The image display device according to claim 3, wherein the multi-viewpoint image generation unit generates the right-eye image and the left-eye image when an evaluation result in the image evaluation unit is equal to or lower than the predetermined level. .
前記画像評価部は、前記補間画像生成部が検出した前記対応点の数に基づいて、前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する
請求項3または10に記載の画像表示装置。 The interpolated image generation unit detects a plurality of the corresponding points where the same subject is imaged in the right image and the left image, and based on the corresponding points, the right-eye image for the plurality of viewpoints and Generating the image for the left eye,
The image evaluation unit evaluates the right-eye image and the left-eye image generated by the interpolation image generation unit based on the number of corresponding points detected by the interpolation image generation unit. 10. The image display device according to 10 .
前記画像評価部は、前記補間画像生成部が検出した前記対応点の分布に基づいて、前記補間画像生成部により生成される前記右眼用画像および前記左眼用画像を評価する
請求項3または10に記載の画像表示装置。 The interpolated image generation unit detects a plurality of the corresponding points where the same subject is imaged in the right image and the left image, and based on the corresponding points, the right-eye image for the plurality of viewpoints and Generating the image for the left eye,
The image evaluation unit evaluates the right-eye image and the left-eye image generated by the interpolation image generation unit based on the distribution of the corresponding points detected by the interpolation image generation unit. 10. The image display device according to 10 .
請求項11または12に記載の画像表示装置。 The image according to claim 11 or 12 , wherein the interpolation image generation unit does not generate the right-eye image and the left-eye image when an evaluation result in the image evaluation unit is equal to or lower than the predetermined level. Display device.
請求項3または10に記載の画像表示装置。 The image evaluation unit compares a maximum value of parallax between the plurality of sets of the right-eye image and the left-eye image generated by the interpolation image generation unit with a predetermined value, and performs the interpolation The image display device according to claim 3 or 10 , wherein the right eye image and the left eye image generated by an image generation unit are evaluated.
所定の2視点に対する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記左眼用画像および前記右眼用画像を生成する多視点画像生成段階と、
前記多視点画像生成段階で生成した前記左眼用画像および前記右眼用画像を、それぞれ対応する視点に向けて表示する表示段階と、
画像に含まれる被写体に基づいて、視点数を設定する被写体判定段階と
を備え、
前記多視点画像生成段階で、前記設定される視点数に応じて、それぞれの視点に対応する前記左眼用画像および前記右眼用画像を生成する
画像表示方法。 An image display method for displaying a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints,
A right image and a left image for two predetermined viewpoints are received, and the received right image and the left image are respectively shifted, thereby generating the left eye image and the right eye image for a plurality of viewpoints. Viewpoint image generation stage,
A display step of displaying the left-eye image and the right-eye image generated in the multi-viewpoint image generation step, respectively, toward a corresponding viewpoint;
A subject determination stage for setting the number of viewpoints based on the subject included in the image,
An image display method for generating the left-eye image and the right-eye image corresponding to each viewpoint according to the set number of viewpoints in the multi-viewpoint image generation step.
所定の2視点に対する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記左眼用画像および前記右眼用画像を生成する多視点画像生成段階と、
前記多視点画像生成段階で生成した前記左眼用画像および前記右眼用画像を、それぞれ対応する視点に向けて表示する表示段階と、
画像に含まれる被写体の距離情報を取得して、取得した前記被写体の距離情報に応じて、視点数を設定する距離取得段階と
を備え、
前記多視点画像生成段階で、前記設定される視点数に応じて、それぞれの視点に対応する前記左眼用画像および前記右眼用画像を生成する
画像表示方法。 An image display method for displaying a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints,
A right image and a left image for two predetermined viewpoints are received, and the received right image and the left image are respectively shifted, thereby generating the left eye image and the right eye image for a plurality of viewpoints. Viewpoint image generation stage,
A display step of displaying the left-eye image and the right-eye image generated in the multi-viewpoint image generation step, respectively, toward a corresponding viewpoint;
A distance acquisition step of acquiring distance information of a subject included in an image and setting the number of viewpoints according to the acquired distance information of the subject,
An image display method for generating the left-eye image and the right-eye image corresponding to each viewpoint according to the set number of viewpoints in the multi-viewpoint image generation step.
所定の2視点に対する右画像および左画像を受け取り、受け取った前記右画像および前記左画像の全体をそれぞれシフトすることで、複数の視点に対する前記左眼用画像および前記右眼用画像を生成する多視点画像生成段階と、
前記多視点画像生成段階で生成した前記左眼用画像および前記右眼用画像を、それぞれ対応する視点に向けて表示する表示段階と、
前記右画像および前記左画像における対応点の関係に基づいて、前記多視点画像生成段階とは別に、前記複数の視点に対する前記右眼用画像および前記左眼用画像を生成する補間画像生成段階と、
前記補間画像生成段階により生成される前記右眼用画像および前記左眼用画像を評価する画像評価段階と
を備え、
前記表示段階で、前記画像評価段階における評価結果が予め定められたレベル以下の場合に、前記多視点画像生成段階で生成した前記右眼用画像および前記左眼用画像を表示する
画像表示方法。 An image display method for displaying a plurality of sets of right-eye images and left-eye images toward corresponding viewpoints,
A right image and a left image for two predetermined viewpoints are received, and the received right image and the left image are respectively shifted, thereby generating the left eye image and the right eye image for a plurality of viewpoints. Viewpoint image generation stage,
A display step of displaying the left-eye image and the right-eye image generated in the multi-viewpoint image generation step, respectively, toward a corresponding viewpoint;
An interpolated image generating step for generating the right eye image and the left eye image for the plurality of viewpoints separately from the multi-view image generating step based on the relationship between corresponding points in the right image and the left image; ,
An image evaluation stage for evaluating the right eye image and the left eye image generated by the interpolation image generation stage, and
An image display method for displaying the right-eye image and the left-eye image generated in the multi-viewpoint image generation step when an evaluation result in the image evaluation step is equal to or lower than a predetermined level in the display step.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009234646A JP5663857B2 (en) | 2009-10-08 | 2009-10-08 | Image display device and image display method |
CN201080045445.1A CN102714030B (en) | 2009-10-08 | 2010-09-17 | Image display device and image display method |
KR1020127010124A KR101427491B1 (en) | 2009-10-08 | 2010-09-17 | Image display device and image display method |
PCT/JP2010/005701 WO2011043022A1 (en) | 2009-10-08 | 2010-09-17 | Image display device and image display method |
TW099133663A TWI517136B (en) | 2009-10-08 | 2010-10-04 | Image display device and image display method |
US13/441,921 US20120194905A1 (en) | 2009-10-08 | 2012-04-09 | Image display apparatus and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009234646A JP5663857B2 (en) | 2009-10-08 | 2009-10-08 | Image display device and image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011081272A JP2011081272A (en) | 2011-04-21 |
JP5663857B2 true JP5663857B2 (en) | 2015-02-04 |
Family
ID=43856507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009234646A Active JP5663857B2 (en) | 2009-10-08 | 2009-10-08 | Image display device and image display method |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120194905A1 (en) |
JP (1) | JP5663857B2 (en) |
KR (1) | KR101427491B1 (en) |
CN (1) | CN102714030B (en) |
TW (1) | TWI517136B (en) |
WO (1) | WO2011043022A1 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5492311B2 (en) | 2011-02-08 | 2014-05-14 | 富士フイルム株式会社 | Viewpoint image generation apparatus, viewpoint image generation method, and stereoscopic image printing apparatus |
WO2012108405A1 (en) * | 2011-02-08 | 2012-08-16 | 富士フイルム株式会社 | Stereoscopic image printing device and stereoscopic image printing method |
JP5708395B2 (en) * | 2011-09-16 | 2015-04-30 | 株式会社Jvcケンウッド | Video display device and video display method |
EP2645724A4 (en) * | 2011-11-11 | 2014-08-06 | Sony Corp | Transmitting apparatus, transmitting method, receiving apparatus and receiving method |
CA2861868A1 (en) * | 2012-01-25 | 2013-08-01 | Lumenco, Llc | Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses |
KR20130111991A (en) * | 2012-04-02 | 2013-10-11 | 삼성전자주식회사 | Multiple point image display apparatus for image enhancement and method thereof |
TWI485654B (en) * | 2012-06-28 | 2015-05-21 | Imec Taiwan Co | Imaging system and method |
KR101983369B1 (en) * | 2013-01-11 | 2019-05-28 | 엘지디스플레이 주식회사 | Multiview image generation method and stereoscopic image display device using the same |
KR101980352B1 (en) * | 2013-01-16 | 2019-05-20 | 엘지디스플레이 주식회사 | Stereoscopic image display device and method for driving the same |
JP2014230251A (en) * | 2013-05-27 | 2014-12-08 | ソニー株式会社 | Image processing apparatus and image processing method |
BR112016029335A2 (en) * | 2014-06-19 | 2017-08-22 | Koninklijke Philips Nv | apparatus for generating a three-dimensional output image, auto-stereoscopic three-dimensional monitor, method for generating a three-dimensional output image, and computer program product |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3311832B2 (en) * | 1992-10-14 | 2002-08-05 | テルモ株式会社 | 3D image display device |
DE69434685T2 (en) * | 1993-08-04 | 2006-09-14 | Canon K.K. | Image processing method and apparatus |
JPH08205201A (en) * | 1995-01-31 | 1996-08-09 | Sony Corp | Pseudo stereoscopic vision method |
JP3826236B2 (en) * | 1995-05-08 | 2006-09-27 | 松下電器産業株式会社 | Intermediate image generation method, intermediate image generation device, parallax estimation method, and image transmission display device |
JP3516774B2 (en) * | 1995-06-14 | 2004-04-05 | 三菱電機株式会社 | 3D image display device |
JP3477023B2 (en) * | 1996-04-05 | 2003-12-10 | 松下電器産業株式会社 | Multi-view image transmission method and multi-view image display method |
JP2000020707A (en) * | 1998-07-07 | 2000-01-21 | Dainippon Screen Mfg Co Ltd | Image generating method and recording medium for image generation program |
JP2000057350A (en) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | Image processor, image processing method and image transmitting method |
JP2002159022A (en) * | 2000-11-17 | 2002-05-31 | Fuji Xerox Co Ltd | Apparatus and method for generating parallax image |
JP2005091447A (en) * | 2003-09-12 | 2005-04-07 | Canon Inc | Stereoscopic display device |
KR100786862B1 (en) * | 2004-11-30 | 2007-12-20 | 삼성에스디아이 주식회사 | Barrier device, three dimensional image display using the same and method thereof |
KR100560464B1 (en) * | 2005-03-30 | 2006-03-13 | (주)디노스 | Multi-view display system with viewpoint adaptation |
CN101390131B (en) * | 2006-02-27 | 2013-03-13 | 皇家飞利浦电子股份有限公司 | Rendering an output image |
JP5515301B2 (en) * | 2009-01-21 | 2014-06-11 | 株式会社ニコン | Image processing apparatus, program, image processing method, recording method, and recording medium |
CN103607585A (en) * | 2009-01-21 | 2014-02-26 | 株式会社尼康 | Image processing apparatus, and image processing method |
JP5396877B2 (en) * | 2009-01-21 | 2014-01-22 | 株式会社ニコン | Image processing apparatus, program, image processing method, and recording method |
JP2010259017A (en) * | 2009-04-28 | 2010-11-11 | Nikon Corp | Display device, display method and display program |
-
2009
- 2009-10-08 JP JP2009234646A patent/JP5663857B2/en active Active
-
2010
- 2010-09-17 KR KR1020127010124A patent/KR101427491B1/en active IP Right Grant
- 2010-09-17 CN CN201080045445.1A patent/CN102714030B/en active Active
- 2010-09-17 WO PCT/JP2010/005701 patent/WO2011043022A1/en active Application Filing
- 2010-10-04 TW TW099133663A patent/TWI517136B/en active
-
2012
- 2012-04-09 US US13/441,921 patent/US20120194905A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20120194905A1 (en) | 2012-08-02 |
CN102714030A (en) | 2012-10-03 |
WO2011043022A1 (en) | 2011-04-14 |
TWI517136B (en) | 2016-01-11 |
JP2011081272A (en) | 2011-04-21 |
KR101427491B1 (en) | 2014-08-07 |
KR20120053536A (en) | 2012-05-25 |
TW201137854A (en) | 2011-11-01 |
CN102714030B (en) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5663857B2 (en) | Image display device and image display method | |
JP4657313B2 (en) | Stereoscopic image display apparatus and method, and program | |
US8681174B2 (en) | High density multi-view image display system and method with active sub-pixel rendering | |
JP6412690B2 (en) | Method for obtaining depth information and display device | |
JP4925354B2 (en) | Image processing apparatus, image display apparatus, imaging apparatus, and image processing method | |
JP5450330B2 (en) | Image processing apparatus and method, and stereoscopic image display apparatus | |
JP4928476B2 (en) | Stereoscopic image generating apparatus, method thereof and program thereof | |
JP2013521686A (en) | Disparity distribution estimation for 3DTV | |
US9933626B2 (en) | Stereoscopic image | |
CN106170086B (en) | Method and device thereof, the system of drawing three-dimensional image | |
JP2011081269A (en) | Image display device and image display method | |
JP6717576B2 (en) | Video rendering apparatus and method | |
JP2013005135A (en) | Image processing apparatus and method, and program | |
US20120120068A1 (en) | Display device and display method | |
Alam et al. | Viewing-angle-enhanced integral imaging display system using a time-multiplexed two-directional sequential projection scheme and a DEIGR algorithm | |
KR102128336B1 (en) | 3d image distortion correction system and method | |
JP2013090129A (en) | Image processing apparatus, image processing method and program | |
KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
KR20140101559A (en) | Occlusion removal method for three dimensional integral image | |
JP6045280B2 (en) | Imaging device | |
JP5871113B2 (en) | Stereo image generation apparatus, stereo image generation method, and stereo image generation program | |
KR101907127B1 (en) | Stereoscopic video zooming and foreground and background detection in a video | |
JP2013250757A (en) | Image processing device, image processing method, and program | |
JP2011102993A (en) | Stereoscopic image display device and method, and program | |
JP2012080469A5 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140930 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20141008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5663857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |