JP4432462B2 - Imaging apparatus and method, imaging system - Google Patents
Imaging apparatus and method, imaging system Download PDFInfo
- Publication number
- JP4432462B2 JP4432462B2 JP2003378967A JP2003378967A JP4432462B2 JP 4432462 B2 JP4432462 B2 JP 4432462B2 JP 2003378967 A JP2003378967 A JP 2003378967A JP 2003378967 A JP2003378967 A JP 2003378967A JP 4432462 B2 JP4432462 B2 JP 4432462B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye
- parallax image
- imaging
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、所望の撮影対象につき撮像した画像を例えば立体視ディスプレイ等に表示するためにこれを再構成する撮像装置及び方法、撮像システムに関するものである。 The present invention relates to an image pickup apparatus and method, and an image pickup system for reconstructing an image picked up for a desired photographing target so as to display the image on a stereoscopic display or the like.
従来より、複眼撮像装置を用いた立体視撮像表示法が提案されている。これは2つの撮像光学系を基線長で与えられる間隔で左右に配置して、2視点からの画像の撮像を行うものである。 Conventionally, a stereoscopic imaging display method using a compound eye imaging device has been proposed. In this method, two imaging optical systems are arranged on the left and right sides at intervals given by the base line length, and images are taken from two viewpoints.
人間の左右の眼は、平均して65mm程の距離があるとされ、立体視撮像表示においても2つの撮像光学系の基線長を65mmとすることが基準となっている。このように、左右の2視点から所望の被写体を撮像した場合、それぞれの撮像系で撮像される画像中の被写体の位置や輝度レベルが互いに異なってくる。即ちこれが視差であり、この視差をステレオ視することにより、ユーザは立体感のある画像を視認することができる。 The left and right eyes of humans are said to have an average distance of about 65 mm, and the baseline length of the two imaging optical systems is set to 65 mm even in stereoscopic imaging display. As described above, when a desired subject is imaged from the two left and right viewpoints, the position and the luminance level of the subject in the image captured by each imaging system are different from each other. That is, this is parallax, and the user can view a stereoscopic image by viewing the parallax in stereo.
ちなみに、この左右の2視点で得られた画像をステレオ視するためには、ディスプレイ上に左右それぞれの画像を左右交互に出力する。ユーザ側では、その左右画像の表示切り替えに同期して左右のシャッターの切換を行う液晶シャッター眼鏡でこれを視認することにより、立体画像を味わうことができる。 Incidentally, in order to stereoscopically view the images obtained from the two left and right viewpoints, the left and right images are alternately output on the display. On the user side, a stereoscopic image can be tasted by visually recognizing it with liquid crystal shutter glasses that switch the left and right shutters in synchronization with the left and right image display switching.
また、得られた画像をステレオ視する他の方法として、左右2枚の画像を、予め作成しておいた1枚の立体視画像の領域に水平方向の1ラインおきに交互に配置することにより、左右2画像からなるストライプ上の画像を生成する方法がある。この方法では、生成した立体視画像と同様に水平方向の1ラインおきに偏光方向が交互に変化する偏光板をディスプレイ上に設け、偏光方向を互いにストライプ状に異ならせた画像を表示させる。これにより、右の撮像光学系に撮像された画像がある方向の偏光成分だけが透過して表示され、左の撮像光学系で撮像された画像は他の方向の偏光成分のみが透過して表示されることになる。ユーザは、左右それぞれにつき、ディスプレイ上に表示される画像と同じ偏光成分のみ透過する機能を備えた偏光眼鏡を着用することにより、立体画像を味わうことができる。 Further, as another method of viewing the obtained image in stereo, two images on the left and right are alternately arranged in every other line in the horizontal direction in a region of one stereoscopic image prepared in advance. There is a method of generating an image on a stripe composed of two left and right images. In this method, similarly to the generated stereoscopic image, a polarizing plate whose polarization direction is alternately changed every other line in the horizontal direction is provided on the display, and an image in which the polarization directions are different from each other in a stripe shape is displayed. As a result, only the polarization component in one direction is transmitted and displayed on the image captured by the right imaging optical system, and only the polarization component in the other direction is transmitted and displayed on the image captured by the left imaging optical system. Will be. The user can enjoy a stereoscopic image by wearing polarized glasses having a function of transmitting only the same polarization component as that of the image displayed on the display for each of the left and right sides.
以上のように、立体視撮像表示では、異なる視点から撮像される画像の視差を利用している。即ち、ユーザは視差を有する2つの画像を、所望の被写体との関係において重ね合わせることにより、立体感のある画像を作り出す。 As described above, stereoscopic imaging display uses the parallax of images captured from different viewpoints. That is, the user creates an image with a stereoscopic effect by superimposing two images having parallax in relation to a desired subject.
ところで、このような立体視撮像表示では、ユーザに対して眼鏡の着用を常時義務付けるものであるため、煩わしさを感じさせるという問題点があった。このため、特に近年において、専用眼鏡が不要な立体視ディスプレイとして、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させるディスプレイが提案されている。 By the way, in such a stereoscopic imaging display, the user is always obliged to wear spectacles, so that there is a problem that the user feels bothered. Therefore, particularly in recent years, as a stereoscopic display that does not require dedicated glasses, a display has been proposed in which optical elements are combined on a liquid crystal panel to display different left-eye parallax images and right-eye parallax images.
このような複眼立体視を可能とする立体視ディスプレイでは、パララックスバリア法に基づくダブルイメージスプリッタ方式を採用し、スリットを連続して並べた細い縦縞状のバリア板の裏側に左右両眼分の視差がある左眼用視差画像と右眼用視差画像とを交互に縦縞状に表示させることにより、ステレオグラムを構成する。この左眼用視差画像と右眼用視差画像を実際に表示させる場合には、立体視における視差、表示方向、透過度及び輝度レベル(RGB)等を撮影対象に応じて可変とする。 In such a stereoscopic display that enables compound eye stereoscopic vision, a double image splitter method based on the parallax barrier method is adopted, and the left and right eye parts are arranged on the back side of a thin vertical striped barrier plate in which slits are continuously arranged. A stereogram is formed by alternately displaying a parallax image for the left eye and a parallax image for the right eye having a parallax in the form of vertical stripes. When the parallax image for the left eye and the parallax image for the right eye are actually displayed, the parallax, the display direction, the transparency, the luminance level (RGB), and the like in the stereoscopic view are made variable according to the shooting target.
なお、このような立体視ディスプレイでは、図10(a)に示すように、視点を固定させたカメラにより、互いに異なる撮影方向で同一の撮影対象Xを撮像した場合において、かかる撮影対象Xに対する各カメラの相対的な位置関係が、図10(b)に示すように、立体視ディスプレイを視認するユーザの左眼、右眼の視点位置における相対的な位置関係に合致する場合のみ立体視が実現されることになる。 Note that, in such a stereoscopic display, as shown in FIG. 10A, when the same shooting target X is captured in different shooting directions by a camera with a fixed viewpoint, each of the shooting targets X is displayed. As shown in FIG. 10B, stereoscopic viewing is realized only when the relative positional relationship of the cameras matches the relative positional relationship between the viewpoint positions of the left and right eyes of the user viewing the stereoscopic display. Will be.
しかしながら、ユーザの視点位置が、図11(a)に示すように立体視ディスプレイから離れる場合や、図11(b)に示すように立体視ディスプレイに対してより接近する場合、更には図11(c)に示すように立体視ディスプレイに対して左右に移動する場合等には、仮想的に表示した撮影対象X’との相対的な位置関係から外れることになり、視差のズレが生じてしまう。かかる場合には、ユーザに対して不自然な画像が表示されることになり、違和感や眼精疲労を与えてしまうことになる。 However, when the viewpoint position of the user is away from the stereoscopic display as shown in FIG. 11A, or closer to the stereoscopic display as shown in FIG. As shown in c), when moving to the left and right with respect to the stereoscopic display, the relative positional relationship with the virtually displayed photographing target X ′ will be deviated, resulting in a shift in parallax. . In such a case, an unnatural image will be displayed to the user, which will give a sense of discomfort and eye strain.
このため、立体視ディスプレイに対するユーザの視点の相対的な位置関係に応じて、仮想的な画像を生成し、これを表示する手法が従来において提案されている(例えば、特許文献1参照。)。 For this reason, conventionally, a method of generating a virtual image according to the relative positional relationship of the user's viewpoint with respect to the stereoscopic display and displaying the image has been proposed (for example, see Patent Document 1).
しかしながら、上述した特許文献1における開示技術では、あくまで直線検出をベースにした画像間対応付けを行った上で、左眼用視差画像と右眼用視差画像を仮想的に生成するものである。このため、かかる画像間対応付けにつき高精度に実行するためには、所望の撮影対象を撮像するための複数台のカメラを直線状に配置する必要があり、さらに各カメラの撮像面が当該直線に対して平行となるように配置する必要があるため、システム全体が大型化、複雑化してしまうという問題点があった。
However, in the disclosed technique in the above-described
またユーザの視点位置、視線方向を高精度に検出することが困難であったため、実際に、左眼用視差画像と右眼用視差画像とを仮想的に生成する場合において、視差のズレ等を解消することができず、違和感を与えてしまうという問題点もあった。 In addition, since it was difficult to detect the user's viewpoint position and line-of-sight direction with high accuracy, in the case of actually generating the left-eye parallax image and the right-eye parallax image, the parallax deviation or the like There was also a problem that it could not be solved and gave a sense of incongruity.
そこで、本発明は、上述した課題に鑑みて案出されたものであり、その目的とするところは、立体視ディスプレイに対するユーザの視点の相対的な位置関係に応じて仮想的な画像を生成する際において、ユーザの頭部における3次元位置から特定した視点位置に基づき、視差のズレを精度よく解消することができる撮像装置及び方法、撮像システムを提供することにある。 Therefore, the present invention has been devised in view of the above-described problems, and an object of the present invention is to generate a virtual image according to the relative positional relationship of the user's viewpoint with respect to the stereoscopic display. At the same time, it is an object to provide an imaging apparatus and method, and an imaging system capable of accurately eliminating a parallax shift based on a viewpoint position specified from a three-dimensional position on a user's head.
本発明は、上述した課題を解決するために、撮影対象を互いに異なる視点から撮像し、撮像した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、表示画面を視認するユーザの頭部を撮像する複数のカメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定し、推定した表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成し、互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成してこれを表示画面上に表示させる。 In order to solve the above-described problems, the present invention captures images of photographing targets from different viewpoints, associates the captured images with each photographing position while associating the captured images with each other, and visually recognizes the display screen. Refers to statistical measurement data on the relative positional relationship between the human head and both eyes based on the three-dimensional position and size of the head detected from images captured by multiple cameras that capture the human head Then, the left eye position and the right eye position of the user are estimated, and relative position information in which the left eye position and the right eye position of the user viewing the estimated display screen are relatively identified in relation to the display screen is generated. Then, a left-eye parallax image and a right-eye parallax image are generated from the pixel position and the luminance component associated with each other according to the generated relative position information, and displayed on the display screen. To.
即ち、本発明を適用した撮像装置は、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段と、上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、立体視ディスプレイの表示画面を視認するユーザの頭部を撮像する複数のカメラを有し、該カメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定部と、上記両眼位置推定部により推定された立体視ディスプレイの表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記立体視ディスプレイの表示画面上に表示させる表示制御手段とを備える。 That is, an imaging apparatus to which the present invention is applied associates an imaging unit including a plurality of cameras that capture an imaging target from different viewpoints, and an image captured by each camera in the imaging unit with the imaging target. While having a matching means for associating each pixel position and a plurality of cameras for capturing the head of the user viewing the display screen of the stereoscopic display , a three-dimensional view of the head detected from the captured image of the camera A binocular position estimator that estimates a user's left eye position and right eye position with reference to statistical measurement data on the relative positional relationship between the human head and both eyes based on the position and size based on the left eye position and a right eye position of a user viewing the display screen of the stereoscopic display estimated by the binocular position estimation unit, a left-eye position and a right eye position of the user In accordance with the generated relative position information, information generating means for generating relative position information relatively identified in relation to the display screen, and pixel positions and luminance components associated with each other by the matching means. image generating means for generating respectively a parallax image and a right-eye parallax image for the left eye and the display screen of the stereoscopic display and the generated left-eye parallax image and the right-eye parallax image by the image generating means Display control means for displaying on the top.
また、本発明を適用した撮像方法は、複数のカメラを含む撮像手段で撮影対象を互いに異なる視点から撮像する撮像ステップと、上記撮像手段における各カメラにより撮像した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、表示画面を視認するユーザの頭部を撮像する複数のカメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定ステップと、上記両眼位置推定部により推定された表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成ステップと、上記マッチングステップにおいて互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成ステップと、上記画像生成ステップにおいて生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示ステップとを有する。 The imaging method according to the present invention, and an imaging step you captured from different viewpoints captured subject by the imaging means including a plurality of cameras, among the images captured by the cameras in the imaging means, the photographing A matching step for associating each pixel position with each other while associating with a target, and a three-dimensional position and size in the head detected from captured images of a plurality of cameras that capture the head of the user viewing the display screen A binocular position estimation step for estimating a user's left eye position and right eye position with reference to statistical measurement data relating to the relative positional relationship between the human head and both eyes, and the binocular position estimation based on the left eye position and a right eye position of a user viewing the display screen which is estimated by the part, relative in relation to the display screen the left eye position and a right eye position of the user From the information generation step for generating the identified relative position information and the pixel positions and the luminance components associated with each other in the matching step, the left-eye parallax image and the right-eye image are generated according to the generated relative position information. An image generation step for generating a parallax image, and a display step for displaying the left-eye parallax image and the right-eye parallax image generated in the image generation step on the display screen.
また、本発明を適用した撮像システムは、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段と、上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段とを有する撮像装置と、表示画面を視認するユーザの頭部を撮像する複数のカメラを有し、該カメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定部と、上記両眼位置推定部により推定された表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記撮像装置におけるマッチング手段からネットワークを介して受信した互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備える。 In addition, an imaging system to which the present invention is applied associates an imaging unit including a plurality of cameras that capture an imaging target from different viewpoints, and each image captured by each camera in the imaging unit with the imaging target. While having an imaging device having a matching unit that associates each pixel position and a plurality of cameras that capture the head of the user viewing the display screen, three-dimensional in the head detected from the captured image of the camera Binocular position estimator that estimates the left eye position and right eye position of a user by referring to statistical measurement data related to the relative positional relationship between the human head and both eyes based on the specific position and size If, on the basis of the left eye position and a right eye position of a user viewing the display screen which is estimated by the binocular position estimation unit, Seki the left eye position and a right eye position of the user with the display screen The relative position information generated from the information generating means for generating the relative position information relatively identified in the above, the pixel positions associated with each other received via the network from the matching means in the imaging device, and the luminance component thereof And a left-eye parallax image and a right-eye parallax image generated by the image generation unit on the display screen. And an electronic device having display control means for displaying.
また、本発明を適用した撮像システムは、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段を有する撮像装置と、上記撮像装置におけるマッチング手段からネットワークを介して受信した各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、表示画面を視認するユーザの頭部を撮像する複数のカメラを有し、該カメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定部と、上記両眼位置推定部により推定された表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備える。 In addition, an imaging system to which the present invention is applied captures an image by an imaging apparatus having an imaging unit including a plurality of cameras that capture an imaging target from different viewpoints, and each camera received via a network from a matching unit in the imaging apparatus. A matching means for associating each image position with each other, and a plurality of cameras for capturing the head of the user viewing the display screen. The left eye position and the right eye position of the user with reference to statistical measurement data regarding the relative positional relationship between the human head and both eyes based on the three-dimensional position and size in the head detected from binocular position estimation unit that estimates a, based on the left eye position and a right eye position of a user viewing the display screen which is estimated by the binocular position estimation unit, the user And information generating means for generating a relatively identified relative position information left eye position and a right eye positions in relation with the display screen, the pixel position and luminance components are associated with each other by the matching unit, the generated Image generating means for generating a left-eye parallax image and a right-eye parallax image according to the relative position information, a left-eye parallax image and a right-eye parallax image generated by the image generating means, And an electronic device having display control means for displaying on the display screen.
即ち本発明は、撮影対象を互いに異なる視点から撮像し、撮像した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、表示画面を視認するユーザの頭部を撮像する複数のカメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定し、推定した表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成し、互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成してこれを表示画面上に表示させる。 That is, according to the present invention, a plurality of photographic subjects are imaged from different viewpoints, and each captured image is associated with each photographic subject while being associated with each photographic subject, and a plurality of images of the head of the user viewing the display screen is captured . Based on the three-dimensional position and size in the head detected from the captured image of the camera, the user's left eye position is referenced with reference to statistical measurement data regarding the relative positional relationship between the human head and both eyes. In addition, the right eye position is estimated, and the left eye position and the right eye position of the user who visually recognizes the estimated display screen are relatively identified in relation to the display screen to generate relative position information, and the pixels associated with each other From the position and its luminance component, a left-eye parallax image and a right-eye parallax image are generated according to the generated relative position information, and displayed on the display screen.
このため、本発明では、頭部位置につき特定した座標と、識別したユーザ頭部のサイズに基づき、統計的な計測データを参照しつつ、ユーザの左眼位置の座標並びに右眼位置の座標を推定することにより、立体視ディスプレイの中心座標に基づいた左眼位置の座標並びに右眼位置の座標を相対的に求めることが可能となる。したがって、本発明では、ユーザの視点位置が、立体視ディスプレイから離れる場合や、接近する場合、更には立体視ディスプレイに対して左右に移動する場合であっても、視差のズレを高精度かつスムーズに解消することができるため、ユーザに対して自然な立体画像を常時提供することが可能となる。 For this reason, in the present invention, the coordinates of the left eye position and the right eye position of the user are obtained while referring to statistical measurement data based on the coordinates specified for the head position and the identified size of the user head. By estimating, it is possible to relatively obtain the coordinates of the left eye position and the coordinates of the right eye position based on the center coordinates of the stereoscopic display. Therefore, according to the present invention, even when the user's viewpoint position moves away from or approaches the stereoscopic display, or even when the user moves to the left or right with respect to the stereoscopic display, the shift in parallax is highly accurate and smooth. Therefore, it is possible to always provide a natural stereoscopic image to the user.
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
本発明を適用した撮像システムは、例えば図1に示すように、複数台のカメラで所望の撮影対象5につき撮像して、得られた画像につき複眼立体視を可能とすべく処理を施して、これを立体視ディスプレイ20に表示するシステムである。
The imaging system to which the present invention is applied, for example, as shown in FIG. 1, captures a desired shooting target 5 with a plurality of cameras, and performs processing to enable compound eye stereoscopic viewing on the obtained image. This is a system for displaying this on the
即ち、この撮像システム1は、互いに異なる撮影方向から同一の撮影対象5を撮像する8台のカメラ11_1〜11_8と、接続された各カメラ11_1〜11_8より撮像された画像が供給される画像補正部12_1〜12_8と、各画像補正部12_1〜12_8における画像補正に必要なパラメータを供給するためのカメラ補正パラメータ供給部13と、接続された各画像補正部12_1〜12_8から供給される各画像につき互いに対応付けをとるためのマッチング部14と、立体視ディスプレイ20を視認するユーザの頭部位置を検出し、これに基づいてユーザの相対的な視点位置を推定するための両眼位置推定部15と、両眼位置推定部15により推定されたユーザの視点位置に応じて、立体視ディスプレイ20に対するユーザの視点位置における相対的な位置関係を示す相対位置情報を生成する情報生成部16と、マッチング部14並びに情報生成部16にそれぞれ接続されてなり、ユーザの左眼により視認される左眼用視差画像と、ユーザの右眼により視認される右眼用視差画像とを生成する仮想視点画像生成部18と、仮想視点画像生成部18により生成された左眼用視差画像と右眼用視差画像とを、接続された立体視ディスプレイ20上へ表示させるための表示制御部19とを備えている。
That is, the
カメラ11_1〜11_8は、図示しないカメラ制御部から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、このカメラ11_1〜11_8は、撮像した撮影対象の光学像を、そのままCCDへ入射させることにより、これを電気信号に変換する。このカメラ11_1〜11_8は、変換した電気信号により表される画像をそれぞれ画像補正部12_1〜12_8へ供給する。ちなみに、カメラ11_1〜11_8は、所望の撮影対象5に応じて撮影方向、撮影画角が固定された状態で設置されるが、固定視点である場合に限定されるものではなく、例えば、ユーザから入力される情報に基づき、これら撮影方向、撮影画角を自在に変更するようにしてもよい。 The cameras 11_1 to 11_8 execute an automatic aperture control operation, an automatic focus control operation, and the like based on an operation signal supplied from a camera control unit (not shown). In addition, the cameras 11_1 to 11_8 convert the captured optical image to the CCD as it is by making it incident on the CCD as it is. The cameras 11_1 to 11_8 supply images represented by the converted electric signals to the image correction units 12_1 to 12_8, respectively. Incidentally, the cameras 11_1 to 11_8 are installed in a state where the shooting direction and the shooting angle of view are fixed according to the desired shooting target 5, but are not limited to a fixed viewpoint, for example, from the user Based on the input information, the shooting direction and the shooting angle of view may be freely changed.
図2は、この撮影対象5を互いに異なる撮影方向から撮像するカメラ11_1〜11_8の配置例を示している。この図2に示すように、カメラ11_1〜11_8は、固定視点とする場合において、撮影対象5を中心として互いに円弧を描くように配設される。これにより、各カメラ11_1〜11_8の光軸を同一の撮影対象5における同一位置に合わせる場合においても、撮像距離を揃えることができ、後段における画像内挿により生成される画像の違和感を解消することができる。ちなみに、このカメラ11_1〜11_8は、図2の如く1列に並べて配設する場合のみならず、2列以上に並べてもよい。また、このカメラ11_1〜11_8の台数は8台に限定されるものではなく、複数台であれば何台で構成してもよい。 FIG. 2 shows an arrangement example of the cameras 11_1 to 11_8 that capture the imaging object 5 from different imaging directions. As shown in FIG. 2, the cameras 11_1 to 11_8 are arranged so as to draw an arc with respect to the shooting target 5 when the fixed viewpoint is used. Accordingly, even when the optical axes of the cameras 11_1 to 11_8 are aligned with the same position in the same photographing target 5, the imaging distance can be made uniform, and the uncomfortable feeling of the image generated by the image interpolation in the subsequent stage can be eliminated. Can do. Incidentally, the cameras 11_1 to 11_8 may be arranged in two or more rows as well as in the case where they are arranged in one row as shown in FIG. Further, the number of the cameras 11_1 to 11_8 is not limited to eight, and any number of cameras may be used as long as they are plural.
画像補正部12_1〜12_8は、カメラ11_1〜11_8からそれぞれ供給される画像を、カメラ補正パラメータ供給部13から送信される制御情報に基づいて補正する。この各画像補正部12_1〜12_8は、少なくとも上記カメラカメラ11_1〜11_8における幾何学的な位置関係に基づいて供給される各画像を補正する。このカメラ11_1〜11_8の幾何学的な位置関係は、カメラ補正パラメータ供給部13においていかなる形でパラメータ化されていてもよい。このとき、カメラ補正パラメータ供給部13は、同様にカメラ11_1〜11_8の各レンズにおける色収差や歪み、光軸のずれをパラメータ化し、これらを各画像補正部12_1〜12_8に送信するようにしてもよい。
The image correction units 12_1 to 12_8 correct the images respectively supplied from the cameras 11_1 to 11_8 based on the control information transmitted from the camera correction
ちなみに、カメラ補正パラメータ供給部13は、これらのパラメータを図示しないROMやRAMへ格納しておくことにより、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラ補正パラメータ供給部13は、上記カメラ11_1〜11_8から画像が供給される度にこれらのパラメータを求めることにより、各画像補正部12_1〜12_8において精度の高い補正処理を実現することができる。
Incidentally, by storing these parameters in a ROM or RAM (not shown), the camera correction
なお、本発明を適用した撮像システム1では、この画像補正部12_1〜12_8並びにカメラ補正パラメータ供給部13からなる構成を省略してもよい。
In the
マッチング部14は、画像補正部12_1〜12_8において補正処理された各画像が供給される。マッチング部14は、これら供給された各画像につき、互いに対応付けを行う。この対応付けは、撮影対象5を構成する同一の箇所を特徴点として抽出した場合にはかかる箇所にある画素位置と輝度成分を、互いに隣接するカメラにより撮像された画像間において対応をとるようにする。
The matching
例えば図3に示すように、カメラ11_1により撮像された画像Fr1上にある画素位置P11に対して、カメラ11_2により撮像された画像Fr2上において同一の箇所に存在する画素位置P11’をその対応点として特定する。同様に、画像Fr1上にある画素位置P12に対して、画像Fr2上において同一の箇所に存在する画素位置P12’をその対応点として特定する。 For example, as shown in FIG. 3, with respect to the pixel position P11 on the image Fr1 imaged by the camera 11_1, the pixel position P11 ′ existing at the same location on the image Fr2 imaged by the camera 11_2 is the corresponding point. As specified. Similarly, for the pixel position P12 on the image Fr1, the pixel position P12 'existing at the same location on the image Fr2 is specified as the corresponding point.
即ち、このマッチング部14では、互いに隣接するカメラにより撮像された画像間において、撮影対象5と関連させつつ、画素位置毎に対応付けを行う。ちなみにマッチング部14は、この対応付けにつき特徴抽出した画像領域に限定して実行してもよいし、全ての画像領域につき実行してもよい。
That is, the matching
両眼位置推定部15は、立体視ディスプレイ20を視認するユーザの頭部における3次元的な位置やサイズを、当該立体視ディスプレイ20との間で相対的に検出する。この両眼位置推定部15は、例えばステレオ視方式やレンジファインダ方式に基づいてリアルタイムな位置検出を行う距離計測装置等により適用される。この両眼位置推定部15は、検出したユーザの頭部における3次元的な位置やサイズに基づき、三次元空間座標の下、ユーザの左眼位置並びに右眼位置を推定する。この両眼位置の推定については、例えば、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照しつつリアルタイムに実行するようにしてもよい。
The binocular
情報生成部16は、両眼位置推定部15において推定された、ユーザの左眼位置並びに右眼位置をパラメータ化した相対位置情報を生成し、これを仮想視点画像生成部18へ送信する。
The
仮想視点画像生成部18は、マッチング部14により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部18は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部16より生成された相対位置情報に応じて、新たに生成すべき左眼用視差画像並びに右眼用視差画像を構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部18は、求めた画素位置並びにその輝度成分により構成される左眼用視差画像並びに右眼用視差画像をそれぞれ表示制御部19へ送信する。
The virtual viewpoint
表示制御部19は、仮想視点画像生成部18により生成された左眼用視差画像と右眼用視差画像につき、立体視ディスプレイ20における表示方法に応じて、各画素位置における輝度レベル(RGB)を割り当てる。
The
立体視ディスプレイ20は、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させる表示面であり、ユーザに対して専用眼鏡の着用を義務付ける必要がない点において優れている。このような複眼立体視を可能とする立体視ディスプレイ20では、例えば図4(a)に示すようにパララックスバリア法に基づくダブルイメージスプリッタ方式を採用し、スリットを連続して並べた細い縦縞状のバリア板25の裏側に左右両眼分の視差がある左眼用視差画像と右眼用視差画像とを交互に縦縞状に表示させる。これにより、ユーザは、左眼のみで左眼用視差画像を視認し、右眼のみに右眼用視差画像を視認することができるため、リアルな臨場感を感じることができ、3次元形状および3次元構造の前後関係を容易に認識することができる。
The
ちなみに、この立体視ディスプレイ20は、ダブルイメージスプリッタ方式を採用する場合に限定されるものではなく、例えば、図4(b)に示すようなレンチキュラー方式を採用してもよい。このレンチキュラー方式では、左右両眼分の視差に応じて、鋭い指向性を持つレンチキュラー板26を立体視ディスプレイ20の表面に配設する。これによってもユーザは、左眼のみで左眼用視差画像を視認し、右眼のみに右眼用視差画像を視認することができるため、立体視が実現されることになる。
Incidentally, the
次に、この端末装置2における具体的な動作につき説明をする。
Next, a specific operation in the
撮影対象5は、カメラ11_1〜11_8により互いに異なる視点から撮影される。その結果、カメラ11_1〜11_8により生成される撮影対象5を写した画像は、その輝度成分や各面の向き等が互いに異なる状態となる。 The photographing object 5 is photographed from different viewpoints by the cameras 11_1 to 11_8. As a result, the images of the photographing object 5 generated by the cameras 11_1 to 11_8 are in a state in which the luminance component, the orientation of each surface, and the like are different from each other.
このカメラ11_1〜11_8からの画像は、それぞれ各画像補正部12_1〜12_8へ供給され、カメラ補正パラメータ13により予め求められた各カメラ11_1〜11_8のレンズ歪みや画像中心等のパラメータに基づき、画像の歪みや画像中心がずれないように補正を行う。
The images from the cameras 11_1 to 11_8 are respectively supplied to the image correction units 12_1 to 12_8, and based on parameters such as lens distortion and image center of the cameras 11_1 to 11_8 obtained in advance by the
例えば図5に示すように、カメラ11_1並びにカメラ11_2により3次元空間における既知の撮影対象5のM点撮像を行うと、各カメラ11の撮像面に対して平行な画像がそれぞれ生成される。ここでカメラ11_1により生成された画像を画像I1とし、カメラ11_2により生成された画像を画像I2とする。画像補正部12_1並びに画像補正部12_2は、この生成された画像I1、画像I2につき、互いの画像面が平行となるように幾何学的正規化する。この幾何学的正規化は、カメラ補正パラメータ13により予め求められた射影行列P1,P2を用いて、カメラ内部パラメータA1,A2、回転行列R1,R2、転移行列T1,T2を推定することにより実現する。
For example, as illustrated in FIG. 5, when M points of the known imaging target 5 in the three-dimensional space are captured by the camera 11_1 and the camera 11_2, images parallel to the imaging surface of each
その結果、画像I1は、画像I1’に変換され、また画像I2は、画像I2’に変換されることになる。この正規化された画像I1’と画像I2’の光軸は、互いに平行となり、また、これらは互いに同一平面上に位置することになる。 As a result, the image I1 is converted into the image I1 ', and the image I2 is converted into the image I2'. The optical axes of the normalized image I1 'and image I2' are parallel to each other, and they are located on the same plane.
なお、カメラ11_3〜カメラ11_8により撮像された各画像についても各画像補正部12_3〜12_8において同様に幾何学的正規化される。また、これら各画像補正部12_1〜12_8において互いに平行な画像面となるように幾何学的正規化された画像I1’,I2’は、マッチング部14へ供給される。
Note that the respective images captured by the cameras 11_3 to 11_8 are also geometrically normalized in the image correction units 12_3 to 12_8. Further, the images I1 'and I2' geometrically normalized so as to be parallel to each other in the image correcting units 12_1 to 12_8 are supplied to the
なお、この各画像補正部12_3〜12_8における補正処理を行うためのカメラパラメータ取得方法に関しては、例えば特開2000−350239号公報や、特開平11−53549号公報に示されているカメラキャリブレーション手法をそのまま適用してもよい。 In addition, regarding the camera parameter acquisition method for performing the correction process in each of the image correction units 12_3 to 12_8, for example, a camera calibration method disclosed in Japanese Patent Application Laid-Open No. 2000-350239 and Japanese Patent Application Laid-Open No. 11-53549. May be applied as is.
上述の如き正規化された画像I1’,I2’につき、このマッチング部14において対応付けを行う場合において、例えば画像I1’のエピポーララインL1上にある画素m1’の対応点については、画像I2’のエピポーララインL2上に存在することとなり、その直線L2上を探索することにより、対応点としての画素m2’を検出することができる。
When the normalized images I1 ′ and I2 ′ as described above are associated in the
即ち、この画像I1’と画像I2’は、前段の画像補正部12において幾何学的正規化が施されているため、各画素間の対応付けを効率よく行うことができる。これは、スキャンするエピポーララインL1上の各画素が、エピポーララインL2上の各画素に対応するため、各列に配された画素の対応付けは、Dynamic Programmingによる最短経路探索問題として解くことができるからである。このマッチング部14では、画像間の輝度差dg(x,y)と、カラー情報の差異dI(x,y)を用いることにより、以下の式(1)で示されるマッチングコスト関数MC(x,y)を求める。
MC(x,y)=(1−α)・dg(x,y)+α・dI(x,y)・・・・・・(1)
ここで、αは、重み付け係数であり、0≦α≦1の値である。マッチング部14では、この求めたマッチングコスト関数MC(x,y)に基づいて、対応点を検出することになるが、かかる場合において対応付け精度を更に向上させるべく、各補正処理部12から入力される各画像に応じて、オクリュージョンコストを適切に調整するようにしてもよい。
That is, since the image I1 ′ and the image I2 ′ are geometrically normalized in the
MC (x, y) = (1−α) · dg (x, y) + α · dI (x, y) (1)
Here, α is a weighting coefficient and is a value of 0 ≦ α ≦ 1. The matching
即ち、本発明を適用した撮像システム1では、このマッチング部14において上述したマッチング処理を実現するため、各画素間の対応付けを正確に、かつスムーズに行うことが可能となる。ちなみに、このマッチング部14により互いに対応付けされた画素位置並びにその輝度成分は、それぞれ仮想視点画像生成部18へ出力される。
That is, in the
仮想視点画像生成部18では、互いに対応付けされた画素位置並びに、情報生成部16から送信される相対位置情報k(ここで0<k≦1とする)に基づき、以下に説明する方法に基づいて左眼用視差画像(右眼用視差画像)Iv’を構成する画素位置並びにその輝度成分を求める。例えばマッチング部14において、図5に示すように、画像I1’上にある画素m1’の対応点として、画像I2’上に存在する画素m2’が特定されていた場合に、かかる画素m1’の座標を(x1,y1)とし、また画素m2’の座標を(x2,y2)とする。仮想視点画像生成部18は、かかる画素m1’,画素m2’に対応する左眼用視差画像(右眼用視差画像)上の画素mv’の座標(xt,yt)を、相対位置情報kに基づいて以下の式(2)により決定することができる。
(xt,yt)=k×(x1,y1)+(1−k)×(x2,y2)・・・(2)
また画素m1’,画素m2’における輝度成分をそれぞれJ1’, J2’としたときに、かかる左眼用視差画像(右眼用視差画像)上の画素mv’における輝度成分Ptを以下の式(3)により決定することができる。
The virtual viewpoint
(Xt, yt) = k × (x1, y1) + (1−k) × (x2, y2) (2)
When the luminance components in the pixel m1 ′ and the pixel m2 ′ are J1 ′ and J2 ′, respectively, the luminance component Pt in the pixel mv ′ on the left-eye parallax image (right-eye parallax image) is expressed by the following formula ( It can be determined by 3).
Pt=k×J1’+(1−k)×J2’・・・・・・(3)
このように仮想視点画像生成部18は、左眼用視差画像(右眼用視差画像)を構成する各画素の座標並びにその輝度成分を、相対位置情報kに応じて決定することができる。
Pt = k × J1 ′ + (1-k) × J2 ′ (3)
As described above, the virtual viewpoint
ちなみに相対位置情報kは、立体視ディスプレイ20を視認するユーザの視点位置に応じて、以下の手順により生成されることになる。
Incidentally, the relative position information k is generated according to the following procedure according to the viewpoint position of the user viewing the
図6(a)は、点線で示される撮影対象5に対する各カメラ11の相対的な位置関係を、実線で示される立体視ディスプレイ20に対するユーザの視点の位置関係にそのまま重ね合わせて表示したものである。立体視ディスプレイ20では、この撮影対象5に対する各カメラ11の光学中心の相対的な位置関係が、立体視ディスプレイ20を視認するユーザの左眼、右眼の視点位置の位置関係に合致する場合のみ立体視が実現されることになる。
FIG. 6A shows the relative positional relationship of each
ここで、座標(0,0,0)上に位置する撮影対象5のM点へカメラ11_1〜11_8の光軸を合わせて撮像を行う場合に、これに立体視ディスプレイ20の中心を重ね合わせることにより、その中心の座標が原点(0,0,0)に位置するように設定する。また両眼位置推定部15により計測されたユーザの頭部位置の座標(xn,yn,zn)をこの原点座標(0,0,0)に基づき特定する。ちなみにユーザの頭部位置をいかに定義するかについては、撮像システム1側において任意に決定することができるが、例えば、ユーザの眉間中心を頭部位置として定義するようにしてもよい。
Here, when imaging is performed by aligning the optical axes of the cameras 11_1 to 11_8 to the M point of the imaging target 5 located on the coordinates (0, 0, 0), the center of the
仮にユーザの頭部が位置Aにあるとき、両眼位置推定部15はその座標(xa,ya,za)を特定する。またユーザの頭部が位置Bにあるとき、両眼位置推定部15はその座標(xb,yb,zb)を特定する。またユーザの頭部が位置Cにあるとき、両眼位置推定部15はその座標(xc,yc,zc)をそれぞれ特定する。ちなみに両眼位置推定部15は、かかる座標の特定と同時に、ユーザの頭部のサイズを同時に識別する。
If the user's head is at position A, the binocular
両眼位置推定部15は、これら特定したユーザの頭部位置(xn,yn,zn)の座標に基づき、ユーザの左眼位置並びに右眼位置を推定する。この推定は、例えば頭部位置Aにつき特定した座標(xa,ya,za)と、識別したユーザ頭部のサイズに基づき、統計的な計測データを参照しつつ、図6(b)に示すように、ユーザの左眼位置の座標(xaL,yaL,zaL)並びに右眼位置の座標(xaR,yaR,zaR)を推定する。これにより、立体視ディスプレイ20の中心座標(0,0,0)に基づいた左眼位置の座標(xaL,yaL,zaL)並びに右眼位置の座標(xaR,yaR,zaR)を相対的に求めることが可能となる。ちなみに、この左眼位置の座標(xaL,yaL,zaL)並びに右眼位置の座標(xaR,yaR,zaR)は、ユーザが任意の値に設定できるようにしてもよい。
The binocular
ちなみに、推定した左眼位置の座標(xaL,yaL,zaL)と、右眼位置の座標(xaR,yaR,zaR)が、それぞれ図6(a)の点線で示されるカメラ11_1〜11_8の光学中心に位置している場合には、かかるカメラから取得される画像をそのまま左眼用視差画像と右眼用視差画像とすれば立体視が実現されることになる。しかし、それ以外の場合には、撮影対象5に対する各カメラ11の相対的な位置関係から外れることになり、ユーザによる立体視の実現が困難となる。
Incidentally, the estimated coordinates of the left eye position (xaL, yaL, zaL) and the coordinates of the right eye position (xaR, yaR, zaR) are the optical centers of the cameras 11_1 to 11_8 respectively indicated by dotted lines in FIG. 6 (a). If the image acquired from the camera is directly used as the left-eye parallax image and the right-eye parallax image, stereoscopic vision is realized. However, in other cases, the relative positional relationship of each
ここで、推定した左眼位置の座標(xaL,yaL,zaL)と、右眼位置の座標(xaR,yaR,zaR)が、カメラ11_1〜11_8の光学中心以外に位置している場合であって、かつ図6(a)に示すカメラ11間の光学中心を結ぶラインLc上に位置している場合には、左眼用視差画像(右眼用視差画像)を構成することのみで、かかる位置関係の調整を図る。
Here, the estimated coordinates of the left eye position (xaL, yaL, zaL) and the coordinates of the right eye position (xaR, yaR, zaR) are located outside the optical center of the cameras 11_1 to 11_8. And when it is located on the line Lc connecting the optical centers between the
例えば図7(a)に示すように、ユーザの頭部が位置Dにあり、また推定した左眼位置,右眼位置がそれぞれVcL1,VcR1にあるとき、このVcL1,VcR1に仮想的にカメラを設置して撮影対象5のM点(立体視ディスプレイ20の中心座標(0,0,0)に相当する)を撮像した結果得られる画像が左眼用視差画像(右眼用視差画像)となるように調整する。 For example, as shown in FIG. 7 (a), when the user's head is at position D and the estimated left eye position and right eye position are at VcL1 and VcR1, respectively, a virtual camera is placed on VcL1 and VcR1. The left eye parallax image (right eye parallax image) is obtained as a result of installation and imaging of the M point of the subject 5 (corresponding to the center coordinates (0, 0, 0) of the stereoscopic display 20). Adjust as follows.
かかる場合において、情報生成部16は、上述の如く両眼位置推定部15により推定された左眼位置VcL1,右眼位置VcR1をそれぞれ取得する。そして、この取得した左眼位置VcL1を仮想的にカメラを設置する仮想位置WL1とし、これを実際に撮影対象5との間で相対的な位置関係を保ちつつ設置されているカメラ11_1〜カメラ11_8の位置関係に当てはめる。同様にして、取得した右眼位置VcR1を仮想的にカメラを設置する仮想位置WR1とし、これを実際に撮影対象5との間で相対的な位置関係を保ちつつ設置されているカメラ11_1〜カメラ11_8の位置関係に当てはめる。
In such a case, the
例えば7(a)に示すように、左眼位置VcL1,右眼位置VcR1の双方がカメラ11_4、11_5の間にある場合に、情報生成部16は、カメラ11_4、11_5に対する左眼位置VcL1並びに右眼位置VcR1の位置関係を相対的に識別し、これに応じた相対位置情報としてkL1、kR1をそれぞれ生成する。この相対位置情報としてのkL1は、仮想位置WL1が、カメラ11_4から11_5にかけてkL1:1−kL1の位置にあることを意味している。同様に、この相対位置情報としてのkR1は、仮想位置WR1が、カメラ11_4から11_5にかけてkR1:1−kR1の位置にあることを意味している。即ち、この相対位置情報としてのkL1、kR1が小さくなるにつれて、仮想位置WL1,仮想位置WR1はカメラ11_4に近づき、またこの相対位置情報としてのkL1、kR1が大きくなるにつれて仮想位置WL1,仮想位置WR1はカメラ11_5に近づくことになる。
For example, as illustrated in FIG. 7A, when both the left eye position VcL1 and the right eye position VcR1 are between the cameras 11_4 and 11_5, the
このため仮想視点画像生成部18において、式(2)に基づいて決定される左眼用視差画像(右眼用視差画像)上の画素mv’の座標(xt,yt)は、仮想位置WL1(仮想位置WR1)がカメラ11_4に近づくにつれて(x1,y1)に近づき、また仮想位置WL1(仮想位置WR1)がカメラ11_5に近づくにつれて(x2,y2)に近づくことになる。
Therefore, in the virtual viewpoint
また、式(3)に基づいて決定される左眼用視差画像(右眼用視差画像)上の画素mv’における輝度成分Ptは、仮想位置WL1(仮想位置WR1)がカメラ11_4に近づくにつれてJ1’に近づき、また仮想位置WL1(仮想位置WR1)がカメラ11_5に近づくにつれてJ2’に近づくことになる。 Further, the luminance component Pt at the pixel mv ′ on the left-eye parallax image (right-eye parallax image) determined based on Expression (3) is J1 as the virtual position WL1 (virtual position WR1) approaches the camera 11_4. Approaching J2 'as the virtual position WL1 (virtual position WR1) approaches the camera 11_5.
特に、カメラ11_4とカメラ11_5は互いに撮影方向が異なるため、座標(xt,yt)と、座標(x2,y2)との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのk(kL1,kR1)に応じて輝度成分Ptを線形に増減させることにより、左眼用視差画像(右眼用視差画像)上の画素mv’の輝度成分を決定することが可能となる。 In particular, since the shooting directions of the camera 11_4 and the camera 11_5 are different from each other, the luminance component is different between the coordinates (xt, yt) and the coordinates (x2, y2). By either increasing or decreasing the luminance component Pt linearly according to k (k L1, k R1 ) as relative position information so that one of the different luminance components is the minimum value and the other is the maximum value. The luminance component of the pixel mv ′ on the left-eye parallax image (right-eye parallax image) can be determined.
即ち、この仮想視点画像生成部18は、撮影対象を互いに異なる視点で撮像した結果得られる複数枚の画像から、推定したユーザの左眼位置並びに右眼位置より生成された相対位置情報に応じて画像内挿を行うことにより、新たに左眼用視差画像(右眼用視差画像)を生成することができる。
In other words, the virtual viewpoint
得られた左眼用視差画像(右眼用視差画像)は、VcL1(VcR1)に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部19を介して立体視ディスプレイ20へ表示させることにより、推定した左眼位置,右眼位置VcL1,VcR1にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。このため、推定した左眼位置,右眼位置に応じた立体視を実現することができる。なお、識別したユーザの頭部位置が他のカメラ11の間にくる場合においても同様の処理が実行されることになる。
The obtained left-eye parallax image (right-eye parallax image) corresponds to an image obtained as a result of virtually installing a camera on VcL1 (VcR1). By displaying these on the
図8は、これら左眼用視差画像(右眼用視差画像)の構成例につき示している。仮に撮影対象5が人物の顔である場合において、カメラ11_4,11_5においてこれを撮影する。かかる場合にカメラ11_4は、撮影範囲の右端付近において捉えた撮影対象5としての人物を撮像し、またカメラ11_5は、撮影範囲の左端付近において捉えた撮影対象5としての人物を、カメラ11_4と異なる視点から撮像することになる。その結果、カメラ11_4により撮像される画像は、図8に示すように右端付近において右側を向いている人物が示されている状態となり、またカメラ11_5により撮像される画像は、左端付近において左側を向いている人物が示されている状態となる。 FIG. 8 shows a configuration example of these left-eye parallax images (right-eye parallax images). If the subject 5 is a person's face, the camera 11_4, 11_5 captures this. In such a case, the camera 11_4 images a person as the shooting target 5 captured near the right end of the shooting range, and the camera 11_5 differs from the camera 11_4 for a person as the shooting target 5 captured near the left end of the shooting range. The image is taken from the viewpoint. As a result, the image captured by the camera 11_4 is in a state where a person facing the right side is shown near the right end as shown in FIG. 8, and the image captured by the camera 11_5 is the left side near the left end. The person who is facing is shown.
相対位置情報としてのkが小さい場合(k1の場合)において、仮想位置WL1a(仮想位置WR1a)は、カメラ11_4により近くなる。またこの仮想位置WL1aにつき、上記(2),(3)式から求められる左眼用視差画像(右眼用視差画像)は、カメラ11_4に近い内容となる。 When k as the relative position information is small (in the case of k1), the virtual position WL1a (virtual position WR1a) is closer to the camera 11_4. Further, for this virtual position WL1a, the left-eye parallax image (right-eye parallax image) obtained from the equations (2) and (3) has a content close to that of the camera 11_4.
また相対位置情報がk2からk4へと徐々に大きくなるにつれて、仮想位置は、WL1b(仮想位置WR1b)からWL1d(仮想位置WR1d)へと、徐々にカメラ11_5へ近くなる。これに伴って、左眼用視差画像(右眼用視差画像)に示される画像は、右端付近から左端付近へ徐々に移り、また人物が向いている方向も右から左へ徐々に変化することになる。 Further, as the relative position information gradually increases from k2 to k4, the virtual position gradually approaches the camera 11_5 from WL1b (virtual position WR1b) to WL1d (virtual position WR1d). Along with this, the image shown in the left-eye parallax image (right-eye parallax image) gradually moves from the vicinity of the right end to the vicinity of the left end, and the direction in which the person faces gradually changes from right to left. become.
ちなみに、この仮想視点画像生成部18は、画像内挿を行う場合に限定されるものではない。例えば図7(a)に示すように、ユーザの頭部が位置Eにあり、また推定した左眼位置,右眼位置がそれぞれVcL2,VcR2にあるときには、右眼用視差画像については、画像外挿を行うことにより生成してもよい。
Incidentally, the virtual viewpoint
次に、推定した左眼位置の座標(xaL,yaL,zaL)と、右眼位置の座標(xaR,yaR,zaR)が、ラインLc上に位置してない場合における処理につき説明する。かかる場合において撮像システム1は、構成した左眼用視差画像(右眼用視差画像)の視野を拡大又は縮小することにより位置関係の調整を図る。
Next, processing when the estimated left eye position coordinates (xaL, yaL, zaL) and right eye position coordinates (xaR, yaR, zaR) are not located on the line Lc will be described. In such a case, the
なお、本発明を適用した撮像システム1では、立体視ディスプレイ20に対してユーザの視点位置が遠近方向に移動する場合においても立体視を実現させることができる。図7(b)に示すように、立体視ディスプレイ20から左眼位置VcL1,右眼位置VcR1に至るまでの距離をzとし、立体視ディスプレイ20からラインLcに至るまでの距離をz0とするとき、z<z0となるような位置Fにおいてユーザの頭部を識別した場合に、以下に説明する処理を実行する。
In the
先ず、識別した位置Fに基づき推定した左眼位置,右眼位置がそれぞれVcL1,VcR1にあるとき、このVcL1とM点を結ぶ延長線とラインLcとの交点をVcL1’とし、VcR1とM点を結ぶ延長線とラインLcとの交点をVcR1’とする。そして、このVcL1’,VcR1’に仮想的にカメラを設置して撮影対象5のM点(立体視ディスプレイ20の中心座標(0,0,0)に相当する)を撮像した結果得られる画像が、左眼用視差画像(右眼用視差画像)となるように調整する。 First, when the left eye position and the right eye position estimated based on the identified position F are at VcL1 and VcR1, respectively, the intersection of the extension line connecting the VcL1 and the M point and the line Lc is defined as VcL1 ′, and the VcR1 and the M point Let VcR1 ′ be the intersection of the extension line connecting the lines Lc and the line Lc. An image obtained as a result of imaging a point M (corresponding to the center coordinates (0, 0, 0) of the stereoscopic display 20) of the imaging target 5 by virtually installing a camera on the VcL1 ′ and VcR1 ′. Then, the left eye parallax image (right eye parallax image) is adjusted.
かかる場合においても同様に、推定した左眼位置VcL1’並びに右眼位置VcR1’の双方がカメラ11_4、11_5の間にある場合に、情報生成部16は、カメラ11_4、11_5に対する左眼位置VcL1’並びに右眼位置VcR1’の位置関係を相対的に識別し、これに応じた相対位置情報kを生成する。
Similarly, in this case, when both the estimated left eye position VcL1 ′ and right eye position VcR1 ′ are between the cameras 11_4 and 11_5, the
次に、式(2),(3)に基づき、相対位置情報としてのkに応じて左眼用視差画像(右眼用視差画像)を生成する。得られた左眼用視差画像(右眼用視差画像)は、VcL1’(VcR1’)に仮想的にカメラを設置した結果得られる画像に相当する。 Next, based on equations (2) and (3), a left-eye parallax image (right-eye parallax image) is generated according to k as relative position information. The obtained left-eye parallax image (right-eye parallax image) corresponds to an image obtained as a result of virtually installing a camera on VcL1 '(VcR1').
次にこれら左眼用視差画像(右眼用視差画像)をVcL1,VcR1に仮想的にカメラを設置した結果得られる画像となるまで視野を拡大する。かかる場合において、両眼位置推定部15は、上述した距離の比z/z0に応じて左眼用視差画像(右眼用視差画像)を拡大する。ちなみにこの距離zの計測については、両眼位置推定部19により、頭部位置を計測する時に実行してもよい。
Next, the field of view is expanded until these left-eye parallax images (right-eye parallax images) become images obtained as a result of virtually installing cameras on VcL1 and VcR1. In such a case, the binocular
この視野につき拡大された左眼用視差画像(右眼用視差画像)は、VcL1(VcR1)に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部19を介して立体視ディスプレイ20へ表示させることにより、推定した左眼位置VcL1,右眼位置VcR1に仮想的にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。このため、推定した左眼位置,右眼位置に応じた立体視を実現することができる。
The left-eye parallax image (right-eye parallax image) enlarged per field of view corresponds to an image obtained as a result of virtually installing a camera on VcL1 (VcR1). By displaying these on the
ここで図7(c)に示すように、z>z0となるような位置Gにおいてユーザの頭部を識別した場合には、以下に説明する処理を実行する。 Here, as shown in FIG. 7C, when the user's head is identified at a position G such that z> z 0 , processing described below is executed.
先ず、識別した位置Fに基づき推定した左眼位置,右眼位置がそれぞれVcL1,VcR1にあるとき、このVcL1とM点を結ぶ線とラインLcとの交点をVcL1’とし、VcR1とM点を結ぶ線とラインLcとの交点をVcR1’とする。そして、このVcL1’,VcR1’に仮想的にカメラを設置して撮影対象5のM点(立体視ディスプレイ20の中心座標(0,0,0)に相当する)を撮像した結果得られる画像が左眼用視差画像(右眼用視差画像)となるように調整する。 First, when the left eye position and the right eye position estimated on the basis of the identified position F are at VcL1 and VcR1, respectively, the intersection of the line connecting VcL1 and the M point and the line Lc is defined as VcL1 ', and the VcR1 and the M point are defined as VcL1'. Let VcR1 ′ be the intersection of the connecting line and the line Lc. An image obtained as a result of imaging a point M (corresponding to the center coordinates (0, 0, 0) of the stereoscopic display 20) of the imaging target 5 by virtually installing a camera on the VcL1 ′ and VcR1 ′. It adjusts so that it may become a parallax image for left eyes (parallax image for right eyes).
かかる場合においても同様に、推定した左眼位置VcL1’,右眼位置VcR1’の双方がカメラ11_4、11_5の間にある場合に、情報生成部16は、カメラ11_4、11_5に対する左眼位置VcL1’並びに右眼位置VcR1’の位置関係を相対的に識別し、これに応じた相対位置情報kを生成する。
Similarly, in this case, when both the estimated left eye position VcL1 ′ and right eye position VcR1 ′ are between the cameras 11_4 and 11_5, the
次に、式(2),(3)に基づき、相対位置情報としてのkに応じて左眼用視差画像(右眼用視差画像)を生成する。得られた左眼用視差画像(右眼用視差画像)は、VcL1’(VcR1’)に仮想的にカメラを設置した結果得られる画像に相当する。 Next, based on equations (2) and (3), a left-eye parallax image (right-eye parallax image) is generated according to k as relative position information. The obtained left-eye parallax image (right-eye parallax image) corresponds to an image obtained as a result of virtually installing a camera on VcL1 '(VcR1').
次にこれら左眼用視差画像(右眼用視差画像)をVcL1,VcR1に仮想的にカメラを設置した結果得られる画像となるまで視野を縮小する。かかる場合において、両眼位置推定部15は、上述した距離の比z/z0に応じて左眼用視差画像(右眼用視差画像)を縮小する。
Next, the visual field is reduced until these left-eye parallax images (right-eye parallax images) become images obtained as a result of virtually installing cameras on VcL1 and VcR1. In such a case, the binocular
この視野につき縮小された左眼用視差画像(右眼用視差画像)は、VcL1(VcR1)に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部19を介して立体視ディスプレイ20へ表示させることにより、推定した左眼位置VcL1,右眼位置VcR1に仮想的にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。このため、推定した左眼位置,右眼位置に応じた立体視を実現することができる。
The left-eye parallax image (right-eye parallax image) reduced per field of view corresponds to an image obtained as a result of virtually installing a camera on VcL1 (VcR1). By displaying these on the
即ち、本発明を適用した撮像システム1では、ユーザの視点がラインLc上に位置してない場合においてもこれに応じた左眼用視差画像(右眼用視差画像)の視野の拡大、縮小を行うことができる。これにより、立体視ディスプレイ20を視認するユーザの視点位置に支配されることなく、視差のズレを高精度かつスムーズに解消することができるため、ユーザに対して自然な立体画像を常時提供することが可能となる。
That is, in the
特に本発明を適用した撮像システム1では、有限の固定視点のカメラ11_1〜11_8から、無限数の視点における画像情報を理論上得ることができるため、相対的に少ないカメラ数を用いて左眼用視差画像(右眼用視差画像)の生成が可能となり、システム全体の大幅な小型化、低コスト化を図ることができる。
In particular, in the
ちなみに視野の拡大や縮小を行う場合には、図9に示す撮像システム2の構成を採用するようにしてもよい。この撮像システム2において、図1に示す撮像システム1と同一の構成については説明を省略するが、仮想視点画像部18から出力された左眼用視差画像(右眼用視差画像)の視野の拡大、縮小を施すための倍率処理部21が新たに設けられる。この倍率処理部21は、情報生成部16から、距離z、z0に関する情報を受信し、これに応じて上述した視野の拡大や縮小を行う。
Incidentally, when the field of view is enlarged or reduced, the configuration of the
なお、本発明を適用した撮像システム1は、上述した実施の形態に限定されるものではなく、立体視ディスプレイ20のバリア板25の背面において、光学素子の配置方法にバリエーションを持たせるようにしてもよい。
Note that the
ダブルイメージスプリッタ方式を採用する立体視ディスプレイ20では、複眼立体視を可能とする専用眼鏡の役割をディスプレイ側に持たせることにより、立体視を実現するものであるが、ユーザの視点位置によっては、交互に縦縞状に表示される左眼用視差画像と右眼用視差画像をそれぞれ左眼、右眼のみで視認できない場合もある。かかる不都合を防止すべく、スリットの間隔に応じて配置する光学素子の間隔や配置数等を調整するようにしてもよい。
The
また、本発明を適用した撮像システム1は、少なくともカメラ11_1〜11_8を含む撮像装置と、この撮像装置から例えばインターネット網を介したネットワークを介して信号を受信し、少なくとも両眼位置推定部15,情報生成部16,仮想視点画像生成部18,表示制御部19を含む電子機器とにより構成されていてもよい。即ち、撮像システム1全体をネットワークを介して分割構成することにより、例えば放送局側に配設された撮像装置により撮影対象5を撮像し、これを各家庭に設けられた電子機器へネットワークを介して配信するサービスを提供することができる。ちなみに、マッチング部14の構成については、撮像装置側に設けるようにしてもよいし、電子機器側に設けるようにしてもよい。
The
1 撮像システム、5 撮影対象、11 カメラ、12 画像補正部、13 カメラ補正パラメータ供給部、14 マッチング部、15 両眼位置推定部、16 情報生成部、18 仮想視点画像生成部、19 表示制御部、20 立体視ディスプレイ
DESCRIPTION OF
Claims (11)
上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
立体視ディスプレイの表示画面を視認するユーザの頭部を撮像する複数のカメラを有し、該カメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定部と、
上記両眼位置推定部により推定された立体視ディスプレイの表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、
上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記立体視ディスプレイの表示画面上に表示させる表示制御手段とを備える撮像装置。 An imaging means including a plurality of cameras for imaging the imaging object from different viewpoints;
Matching means for associating each image position with each other between the images captured by each camera in the imaging means,
A plurality of cameras that capture the head of a user viewing the display screen of the stereoscopic display, and based on the three-dimensional position and size of the head detected from the captured image of the camera, A binocular position estimation unit that estimates a user's left eye position and right eye position with reference to statistical measurement data regarding the relative positional relationship between both eyes,
Based on the left eye position and right eye position of the user viewing the display screen of the stereoscopic display estimated by the binocular position estimation unit , the user's left eye position and right eye position are relative to each other in relation to the display screen. Information generating means for generating the identified relative position information,
Image generation means for generating a left-eye parallax image and a right-eye parallax image according to the generated relative position information from the pixel position and the luminance component associated with each other by the matching means;
Said image generation means that an imaging device and a display control unit that the generated parallax image and the right-eye parallax image for the left eye is displayed on the display screen of the stereoscopic display by.
上記表示制御手段は、上記画像サイズ調整手段によりサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる請求項1記載の撮像装置。 Image size adjusting means for further enlarging or reducing the left-eye parallax image and right-eye parallax image generated by the image generating means according to the relative position information;
It said display control means, the image pickup apparatus 請 Motomeko 1, wherein the size adjusted parallax image and a right eye parallax image for the left eye by the image size adjustment unit Ru is displayed on the display screen.
上記撮像手段における各カメラにより撮像した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
立体視ディスプレイの表示画面を視認するユーザの頭部を撮像する複数のカメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定ステップと、
上記両眼位置推定部により推定された表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成ステップと、
上記マッチングステップにおいて互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成ステップと、
上記画像生成ステップにおいて生成された左眼用視差画像と右眼用視差画像とを上記立体視ディスプレイの表示画面上に表示させる表示ステップとを有する撮像方法。 And an imaging step you captured from different viewpoints captured subject by the imaging means including a plurality of cameras,
A matching step for associating each image position with each other between each image captured by each camera in the image capturing means ,
Based on the three-dimensional position and size of the head detected from images captured by a plurality of cameras that capture the head of the user viewing the display screen of the stereoscopic display, the relative relationship between the human head and both eyes A binocular position estimating step for estimating the left eye position and the right eye position of the user with reference to statistical measurement data regarding the positional relationship;
Based on the left eye position and right eye position of the user viewing the display screen estimated by the binocular position estimation unit , the user's left eye position and right eye position are relatively identified in relation to the display screen. An information generation step for generating relative position information;
An image generation step for generating a left-eye parallax image and a right-eye parallax image according to the generated relative position information from the pixel positions and the luminance components associated with each other in the matching step;
That IMAGING METHOD having a display step for the generated parallax image and the right-eye parallax image for the left eye is displayed on the display screen of the stereoscopic display in the image generation step.
上記表示ステップでは、上記画像サイズ調整ステップにおいてサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる請求項4記載の撮像方法。 An image size adjustment step of further enlarging or reducing the left-eye parallax image and the right-eye parallax image generated in the image generation step according to the relative position information;
The imaging method according to claim 4 , wherein in the display step, the parallax image for the left eye and the parallax image for the right eye that have been adjusted in the image size adjustment step are displayed on the display screen.
表示画面を視認するユーザの頭部を撮像する複数のカメラを有し、該カメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定部と、上記両眼位置推定部により推定された表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記撮像装置におけるマッチング手段からネットワークを介して受信した互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備える撮像システム。 An imaging unit that includes a plurality of cameras that capture an image of a shooting target from different viewpoints, and a matching unit that associates each image captured by each camera in the imaging unit for each pixel position in association with the shooting target. An imaging device comprising:
A plurality of cameras that capture the head of a user who visually recognizes the display screen, and the relative relationship between the human head and both eyes based on the three-dimensional position and size of the head detected from the captured image of the camera A binocular position estimator that estimates a user's left eye position and right eye position with reference to statistical measurement data relating to a general positional relationship, and a user who views the display screen estimated by the binocular position estimator Information generating means for generating relative position information that relatively identifies the left eye position and right eye position of the user in relation to the display screen based on the left eye position and right eye position of the user, and matching in the imaging device The left-eye parallax image and the right-eye parallax image are respectively generated from the pixel positions and their luminance components received from the means via the network according to the generated relative position information. Image generating means for generating, an imaging system that includes a electronic device and a display control means for displaying the left-eye parallax image and the right-eye parallax image generated by said image generating means on said display screen .
上記表示制御手段は、上記画像サイズ調整手段によりサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる請求項7記載の撮像システム。 The electronic apparatus includes an image size adjusting unit that further enlarges or reduces the left-eye parallax image and the right-eye parallax image generated by the image generation unit according to the relative position information.
The imaging system according to claim 7 , wherein the display control unit displays the left-eye parallax image and the right-eye parallax image adjusted by the image size adjusting unit on the display screen.
上記撮像装置におけるマッチング手段からネットワークを介して受信した各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、表示画面を視認するユーザの頭部を撮像する複数のカメラを有し、該カメラの撮像画像から検出した頭部における3次元的な位置とサイズとに基づき、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照して、ユーザの左眼位置並びに右眼位置を推定する両眼位置推定部と、上記両眼位置推定部により推定された表示画面を視認するユーザの左眼位置並びに右眼位置に基づき、該ユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備える撮像システム。 An image pickup apparatus having an image pickup unit including a plurality of cameras for picking up a shooting target from different viewpoints;
Matching means for associating each image position with each other between the images captured by each camera received from the matching means in the imaging device via the network, and a user viewing the display screen Statistical analysis of the relative positional relationship between the human head and both eyes based on the three-dimensional position and size of the head detected from the image captured by the camera having a plurality of cameras that capture the head Binocular position estimation unit that estimates the user's left eye position and right eye position with reference to the measurement data, and the user's left eye position and right eye that visually recognizes the display screen estimated by the binocular position estimation unit based on the position, the information generating means for a left eye position and a right eye position of the user to generate a relatively identified relative position information in relation with the display screen, the matching Image generation means for generating a left-eye parallax image and a right-eye parallax image according to the generated relative position information from the pixel positions and their luminance components associated with each other by the stage, and the image generation an imaging system that includes an electronic device and generated left-eye parallax image and the right-eye parallax image and a display control means for displaying on said display screen by means.
上記表示制御手段は、上記画像サイズ調整手段によりサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる請求項10記載の撮像システム。 The electronic apparatus includes an image size adjusting unit that further enlarges or reduces the left-eye parallax image and the right-eye parallax image generated by the image generation unit according to the relative position information.
The imaging system according to claim 10 , wherein the display control unit displays the left-eye parallax image and the right-eye parallax image adjusted by the image size adjusting unit on the display screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003378967A JP4432462B2 (en) | 2003-11-07 | 2003-11-07 | Imaging apparatus and method, imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003378967A JP4432462B2 (en) | 2003-11-07 | 2003-11-07 | Imaging apparatus and method, imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005142957A JP2005142957A (en) | 2005-06-02 |
JP4432462B2 true JP4432462B2 (en) | 2010-03-17 |
Family
ID=34689195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003378967A Expired - Fee Related JP4432462B2 (en) | 2003-11-07 | 2003-11-07 | Imaging apparatus and method, imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4432462B2 (en) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006349921A (en) * | 2005-06-15 | 2006-12-28 | Mitsubishi Electric Corp | Image display device |
JP4958233B2 (en) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | Multi-view image creation system and multi-view image creation method |
JP5009847B2 (en) | 2008-03-28 | 2012-08-22 | 富士フイルム株式会社 | Stereo image generating apparatus and method, and program |
US20090282429A1 (en) * | 2008-05-07 | 2009-11-12 | Sony Ericsson Mobile Communications Ab | Viewer tracking for displaying three dimensional views |
KR101296900B1 (en) | 2009-01-07 | 2013-08-14 | 엘지디스플레이 주식회사 | Method of controlling view of stereoscopic image and stereoscopic image display using the same |
JP2010220067A (en) * | 2009-03-18 | 2010-09-30 | Toshiba Corp | Apparatus and method for capturing three-dimensional image |
JP2011090400A (en) * | 2009-10-20 | 2011-05-06 | Sony Corp | Image display device, method, and program |
DE102010009737A1 (en) * | 2010-03-01 | 2011-09-01 | Institut für Rundfunktechnik GmbH | Method and arrangement for reproducing 3D image content |
CA2696925A1 (en) * | 2010-03-19 | 2011-09-19 | Bertrand Nepveu | Integrated field-configurable headset and system |
CN101909219B (en) * | 2010-07-09 | 2011-10-05 | 深圳超多维光电子有限公司 | Stereoscopic display method, tracking type stereoscopic display |
JP4937390B2 (en) * | 2010-08-24 | 2012-05-23 | 株式会社東芝 | 3D image display device and 3D image glasses |
JP5812716B2 (en) * | 2010-08-27 | 2015-11-17 | キヤノン株式会社 | Image processing apparatus and method |
JP5695395B2 (en) * | 2010-11-19 | 2015-04-01 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Stereoscopic image generation method and apparatus |
WO2012090813A1 (en) * | 2010-12-28 | 2012-07-05 | コニカミノルタホールディングス株式会社 | Video processing device and video processing system |
JP5087163B1 (en) | 2011-08-31 | 2012-11-28 | 株式会社東芝 | Stereoscopic image display device |
JP5956732B2 (en) * | 2011-09-01 | 2016-07-27 | キヤノン株式会社 | Imaging system |
JP2013143736A (en) * | 2012-01-12 | 2013-07-22 | Toshiba Corp | Information processor and display control method |
JP6196017B2 (en) | 2012-01-13 | 2017-09-13 | サターン ライセンシング エルエルシーSaturn Licensing LLC | Information processing apparatus, information processing method, and computer program |
JP5957893B2 (en) | 2012-01-13 | 2016-07-27 | ソニー株式会社 | Information processing apparatus, information processing method, and computer program |
EP2804372A4 (en) | 2012-01-13 | 2015-09-16 | Sony Corp | Information processing device and information processing method, as well as computer program |
-
2003
- 2003-11-07 JP JP2003378967A patent/JP4432462B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005142957A (en) | 2005-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4432462B2 (en) | Imaging apparatus and method, imaging system | |
JP5014979B2 (en) | 3D information acquisition and display system for personal electronic devices | |
JP5507797B2 (en) | Head-mounted imaging display device and image generation device | |
JP4069855B2 (en) | Image processing apparatus and method | |
CN211128024U (en) | 3D display device | |
CN101636747A (en) | Two dimensional/three dimensional digital information obtains and display device | |
CN112929639B (en) | Human eye tracking device and method, 3D display equipment, method and terminal | |
KR20110124473A (en) | 3-dimensional image generation apparatus and method for multi-view image | |
KR101960897B1 (en) | Stereoscopic image display device and displaying method thereof | |
US20130050187A1 (en) | Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device | |
TWI788739B (en) | 3D display device, 3D image display method | |
JP2002232913A (en) | Double eye camera and stereoscopic vision image viewing system | |
JP2011141381A (en) | Stereoscopic image display device and stereoscopic image display method | |
TWI589150B (en) | Three-dimensional auto-focusing method and the system thereof | |
KR101634225B1 (en) | Device and Method for Multi-view image Calibration | |
WO2013046833A1 (en) | Image display device, disparity adjustment display method therefor, and image capturing device | |
KR100906784B1 (en) | Plug-in module for stereographic imaging program and stereographic imaging method | |
JP5582101B2 (en) | Image processing apparatus, program thereof, and image processing method | |
JP2001016619A (en) | Image pickup device, its convergence distance decision method, storage medium and optical device | |
JPH08116556A (en) | Image processing method and device | |
JP2000152282A (en) | Stereoscopic picture photographing device | |
JP2011182003A (en) | Panorama camera and 360-degree panorama stereoscopic video system | |
JP2014112887A (en) | Head-mounted displaying device, virtual image generating device, system provided therewith, and control method | |
CN214756700U (en) | 3D display device | |
KR200421166Y1 (en) | kind of a three dimensional and curve-railed digital camera whose convergence and convergence distance are automatically adjusted at a same time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091214 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |