JP2950160B2 - Stereoscopic image display device - Google Patents

Stereoscopic image display device

Info

Publication number
JP2950160B2
JP2950160B2 JP22336194A JP22336194A JP2950160B2 JP 2950160 B2 JP2950160 B2 JP 2950160B2 JP 22336194 A JP22336194 A JP 22336194A JP 22336194 A JP22336194 A JP 22336194A JP 2950160 B2 JP2950160 B2 JP 2950160B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
display
image
unit
means
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22336194A
Other languages
Japanese (ja)
Other versions
JPH0888870A (en )
Inventor
森村  淳
謙也 魚森
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、立体映像を表示観察する分野で有効に利用でき、TVゲームや3Dテレビ、C The present invention relates to, effectively can be used in the field to display observing a three-dimensional video, TV games and 3D TV, C
AD、芸術、航空管制など多くの分野で利用可能な立体映像表示装置に関する。 AD, art, about the three-dimensional image display apparatus that can be used in many fields such as air traffic control.

【0002】 [0002]

【従来の技術】従来より、立体映像を表示する装置は種々提案されている。 Conventionally, apparatus for displaying a stereoscopic image have been proposed. その一例として、日商エレクトロニクス株式会社(開発元:米国ステレオグラフィックス社)のカタログ(Crystal EYES VR System)に記載の立体映像表示装置は、表示部分は固定し、一定範囲内で人間の頭部(眼鏡)を追跡し、頭部の移動とともに映像の表示内容(視点)を変換し、あたかも物体がそこに存在するようなバーチャルリアリティの表示を実現しようとしている。 As an example, Nissho Electronics: stereoscopic image display device according to the catalog (Crystal EYES VR System) of (developer U.S. stereo graphics, Inc.), the display portion is fixed, human head within a predetermined range track (glasses), and converts the display contents of the image (viewpoint) with the movement of the head, and as if trying to realize a display of virtual reality as present therein object.

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、上記した従来の構成では、表示部分は固定であり、任意の方向(例えば横方向)からの映像は観察できない。 [SUMMARY OF THE INVENTION However, in the conventional configuration described above, the display portion is fixed, can not be observed in the image from any direction (e.g., horizontal direction). また斜め方向であっても表示面が固定であるため、視点変換を受けた画像が頭と表示面のなす角度で変形され、物体がそこに存在する印象が非常に低下する。 Since the display surface even oblique direction is fixed, an image that has received the viewpoint conversion is deformed at an angle of the display surface and the head, impression object present therein is greatly reduced.

【0004】更に表示部の装置外形が表示内容とともに観察され、立体の表現範囲が表示装置の外形に強く影響され、立体の表現が非常に制限される課題があった。 [0004] is further observed with devices external display contents of the display unit, is strongly influenced by the contour of the representation range of the three-dimensional display device has a problem that the three-dimensional representation is very limited.

【0005】本発明は、上記課題を解決するもので、あたかもそこにほんとうの物体が存在するように表示するものである。 [0005] The present invention is intended to solve the above problem, in which if it were to display therein as object real exists. この目的を実現するため、さらに以下の2 To achieve this objective, two more of the following
つの目的を同時に高いレベルで実現する。 One purpose to achieve at the same time a high level. その1つは、 One of them is,
どの方向からでも立体の映像が観察できる構成とし、視点変換された画像が頭と表示面のなす角度で変形を受けない構成とする。 Which direction a structure in which a stereoscopic image can be observed even from the viewpoint conversion image is configured not deformed at an angle of the display surface and the head. もう1つは表示装置自身の外形を観察できない構成とする。 The other is a configuration that can not be observed the profile of the display device itself. そうしてこの2つの特徴により、 Then this two features,
立体表示された映像が、表示装置自身の外形形状により立体表現範囲を狭められず、またそこに表示装置があることを認識させず、さらに全ての方向から立体表現範囲の広い立体映像を表示することができ、観察位置が移動した場合にも頭と表示面のなす角度により、視点変換された画像の変形が発生せず、あたかもそこにほんとうの物体が存在するように表示することを目的とする。 Stereoscopic display video is not narrowed stereoscopic representation range by the outer shape of the display device itself, also there without recognizing that there is a display device to display a wide solid image stereoscopic representation range further from all directions you can, if the viewing position is moved to as a head by an angle of the display surface, without generating deformation of the viewpoint conversion image, and if it were intended to display therein as object true is present to.

【0006】 [0006]

【課題を解決するための手段】本発明は上記目的を達成するため、観察者の体や顔または目の位置を検出する検出部と、前記観察者の観察位置に応じた位置の映像を合成する映像合成部と、合成された立体映像を表示する表示部と、検出された観察者の方向に前記表示部の正面を向ける表示制御部と、前記表示部と前記表示制御部をおおう覆い手段より構成され、前記覆い手段は光透過時に光を一部減衰させ、前記表示部と表示制御部は光を多く吸収する構成である。 Since the present invention SUMMARY OF] is to achieve the above object, combining a detecting unit for detecting the observer's body or face or eye position, the image of the position corresponding to the observation position of the observer a video synthesis unit for a display unit for displaying the synthesized stereoscopic image, detected a display control unit in the direction of the observer directs a front of the display unit, covering means for covering said display control unit and the display unit be more structure, the covering means is partially attenuate light at the light transmission, the display unit and the display control unit is configured to absorb more light.

【0007】 [0007]

【作用】本発明によれば、どの方向からでも立体の映像が観察することが可能となり、また頭と表示面のなす角がほぼ一定に制御され、観察位置の移動にともなう画像の変形がない。 According to the present invention, which direction it is possible to three-dimensional image is observed from any, also is controlled to be constant substantially forms angle of the display surface and the head, there is no deformation of the image due to the movement of the observation position . 更に表示装置自身の外形を観察できない構成としているため、立体表示された映像が、表示装置自身の外形形状により立体表現範囲を狭められない。 Because you are configured to further not be observed the profile of the display device itself, the stereoscopic display video is not narrowed stereoscopic representation range by the outer shape of the display device itself. そうしてこの2つの特徴を同時にもたすことにより、全ての方向から観察しても自然で立体表現範囲の広い立体映像を表示することが可能となり、3次元物体が非常にリアルに、あたかもそこに物体が実在するかのように表示が可能になる。 Then by Motas these two features simultaneously be observed from all directions it is possible to display a wider stereo image natural stereoscopic representation range, very realistic three-dimensional object, as if display is possible as there? object is real.

【0008】 [0008]

【実施例】以下、本発明の実施例について、図面を参照しながら説明する。 EXAMPLES The following examples of the present invention will be described with reference to the drawings. 図1は本発明の第1の実施例の立体表示装置の外形を示すもので、図中1は観察者の体や顔または目の位置を計測するための位置センサー手段、2 Figure 1 shows the outline of a first embodiment of a stereoscopic display device of the present invention, position sensor means for drawing 1 is for measuring a body and face or eye position of the observer, 2
は立体画像を表示する表示部、3は表示部2を上下方向に動くように支持する支持表示部上下支持手段、4は表示部2を左右方向に動くように支持する表示部左右支持手段で、検出された観察者の方向に表示部2の正面を向けるように制御される。 Display unit for displaying a stereoscopic image, 3 supporting the display unit vertical support means for supporting for movement a display unit 2 in the vertical direction, 4 denotes a display portion lateral support means for supporting for movement a display unit 2 in the lateral direction It is controlled to direct the front of the display unit 2 in the direction of the detected observer. さらに、表示部2と表示部上下支持手段3、表示部左右支持手段4は光を多く吸収する構成となっている。 Further, the display unit 2 and the display unit vertical support means 3, the display unit lateral support means 4 has a structure that absorbs more light. 5は表示部2と表示部上下支持手段3、表示部左右支持手段4をおおう覆い手段で、覆い手段5は光透過時に光を一部減衰させ、覆い手段5の外側から見たときその内部が観察されづらい構成となっている。 5 the display unit 2 and the display unit vertical support means 3, in covering means covering the display portion lateral support means 4, the inner case covering means 5 is partially attenuate light during light transmission, as seen from the outside of the covering means 5 There has been made with the observed difficult configuration.

【0009】図2は本実施例の信号処理のブロック図で、図中11は位置計測処理手段、12は表示部2を動かす表示駆動部をドライブする表示部ドライバー手段、 [0009] Figure 2 is a block diagram of a signal processing of this embodiment, reference numeral 11 is a position measurement processing unit, 12 display unit driver means for driving the display drive unit to move the display unit 2,
13は表示部2を動かす表示部駆動手段、14は表示部2の回転を計測する回転計測手段、15、16は信号の加算手段、17は回転指示の操作を回転角にする回転角指示手段、18は物体のデータを回転角に応じて回転させ画像の表示面での投影像を計算するCG合成手段、1 Display drive means for moving the display unit 2 13, rotation measuring means for measuring the rotation of the display unit 2 is 14, the signal adding means 15 and 16, the rotational angle indicating means for the rotation angle of the operation of the rotary instructions 17 , CG synthesizing means for calculating a projection image on the display surface of the image is rotated in accordance with data of the object to the rotation angle of 18, 1
9は物体のデータを蓄える物体データ蓄積手段である。 9 is an object data storage means for storing data of the object.
以上の様に構成された立体表示装置について以下その各部の動作を説明する。 The operation of the respective units will be described below stereoscopic display apparatus constructed as described above.

【0010】位置計測処理手段11では位置センサー手段1からの信号を用い、以下に示す処理を行う。 [0010] Using the signal from the position measurement processing unit 11, the position sensor unit 1 performs the following processing. 位置センサー手段1を上からみた配置を、図3に示す。 The arrangement viewed from above a position sensor means 1, shown in FIG. 図3において、33、34は指向性をもつ赤外センサー、35 3, the infrared sensor 33 and 34 with directivity, 35
は赤外CCD(カメラ)センサーである。 Is infrared CCD (camera) sensor. 赤外センサー33、34の信号は水平方向センサー入力端子20に接続される。 Signal of the infrared sensor 33, 34 is connected to the horizontal sensor input terminal 20. 表示部2を観察するとき、観察者は赤外発光のLEDを付け、そのLEDから放射された赤外光を赤外センサー33、34で受ける。 When observing the display section 2, the observer with the LED of infrared emission, receiving the infrared light emitted from the LED in the infrared sensor 33. この時の赤外センサーの指向性をCL、CRで示す。 Shows the directivity of the infrared sensor when the CL, with CR. V1からV4で示す位置から放射された赤外光をPL,PRの位置で受光した場合の信号レベルを図4に示す。 The infrared light emitted from the position indicated by V1 in V4 PL, the signal level when received by the location of the PR shown in FIG. センサーの指向性により、位置の変化を信号レベルに変換する。 The sensor of the directivity, for converting a change in position on the signal level.

【0011】位置計測処理手段11では、この信号のレベル差を用い、赤外センサー33、34の信号をEp [0011] In the position measurement processing unit 11, using the level difference of this signal, Ep signals of the infrared sensors 33 and 34
l、EprとするとEpl−Eprが正のとき観察者(LED保持者)は左側におり、Epl−Eprが負のとき観察者(LED保持者)は右側にいる。 l, when the Epr observer when EPL-Epr is positive (LED holder) is cage on the left side, when EPL-Epr is negative observer (LED holder) Are right. このようして位置計測処理手段11では左右方向の位置を計測する。 This was to measure the position measuring means 11 in the lateral direction position. 上下方向は上記説明したものを垂直方向に回転させれば実現できる。 Vertical direction can be realized is rotated those described above in the vertical direction. 赤外CCDセンサー35は、ほぼ正面にある観察者(LED保持者)を1画素単位で計測する。 Infrared CCD sensor 35 measures observer located substantially in front of the (LED holder) on a pixel-by-pixel basis. 赤外センサー33、34で十分な精度がとれる場合には用いなくてよい。 It may not used when the infrared sensor 33 and 34 take sufficient accuracy. このようにして観察者が正面になるまで左右上下の位置計測処理結果を表示部ドライバー手段12に出力する。 In this way, the viewer is output to the display unit driver unit 12 to horizontally and vertically position measurement processing results until the front.

【0012】表示部ドライバー手段12は左右上下方向に対応した正負信号を増幅し、表示部駆動手段13のモーターの駆動電力を供給する。 [0012] The display unit driver unit 12 amplifies the positive and negative signals corresponding to the horizontal and vertical directions, for supplying driving power of the motor of the display unit drive means 13. 表示部駆動手段13は供給された電力により表示部上下支持手段3、表示部左右支持手段4を回転させ表示部2を必要な位置に回転移動させる。 The display unit driving means 13 display vertical support means 3 by supplied power, rotationally moves to the position required to display unit 2 by rotating the display portion lateral support means 4. この時の回転量を回転計測手段14で上下、左右の角度に変換する。 Vertical rotation amount at this time by the rotation measuring means 14, for converting the left and right angles. また観察者からの画像回転指令が入力端子22、23から入力された場合、これを回転角指示手段17で回転角に変換し、回転計測手段14の信号と合成し、CG合成手段18に入力する。 In the case where the image rotation command from the viewer is inputted from the input terminal 22 and 23, which was converted to the rotation angle at a rotation angle instruction means 17, combined with the signal of the rotation measuring means 14, the input to the CG synthesizing means 18 to. 画像の回転指令は観察者が覆い手段5を直接回転させるか、スイッチ等のマンマシンインターフェイスによって、左右上下の回転指令を与える。 Rotation command of the image or to rotate the means 5 covers the observer directly, by man-machine interface such as a switch, gives the rotation command of the horizontal and vertical.

【0013】CG合成手段18では物体データ蓄積手段19に蓄積されている物体の座標データから、定められた視点と物体の位置及びスクリーンの位置と上記方法により求められた物体の回転角より、スクリーン上に透視される画像を合成する。 [0013] from the object coordinate data stored in the object data storing means 19 in the CG synthesizing means 18, the rotation angle of the object obtained by the determined viewpoint position and the position and the method of screen objects, screen synthesizing an image to be transparent above. この画像の合成は、一般にコンピュータグラフィックス(CG)の手法として知られているものであるが、簡単にその概要を説明する。 Synthesis of the image is one in which generally known as a technique of Computer Graphics (CG), briefly explaining the outline.

【0014】図5(a)において、xyz座標で原点E [0014] In FIG. 5 (a), the origin xyz coordinate E
を視点とする。 A and point of view. スクリーンをZ軸に垂直にとり、スクリーン上の座標をXYZ座標でZ軸はz軸と同じ方向である。 Taken perpendicular to the screen in the Z-axis, Z-axis coordinates on the screen in XYZ coordinates is the same direction as the z-axis. 物体の頂点をPQRとし、P(x,y,z)はYZ The apex of the object as PQR, P (x, y, z) is YZ
平面(yz平面)にあるとすると、点Pのスクリーン上での透視点P'は図5(b)より、(1)式のように表され、xz平面でも同様にして、(2)式のように表され、点Q,Rについても同様に求められる。 When lying in the plane (yz plane), perspective point P on the screen of the point P 'than FIG. 5 (b), the expressed as equation (1), in the same manner in the xz plane, (2) so represented as point Q, obtained Similarly for R. Y=y・a/(z+a) ・・・ (1) X=x・a/(z+a) ・・・ (2) また、物体PQRの回転は、回転マトリックスReを用い、原点と点(l,m,n)を通る軸を中心にθだけ回転させるとき、(数1)となる。 Y = y · a / (z + a) ··· (1) X = x · a / (z + a) ··· (2) Further, the rotation of the object PQR uses the rotation matrix Re, origin and (l, m, when rotating by θ about an axis through the n), the equation (1).

【0015】 [0015]

【数1】 [Number 1]

【0016】ここでHは同次座標系とするための追加座標であり、Tは(数2)であらわされる回転の変換マトリックスである。 [0016] Here H is an additional coordinate for the homogeneous coordinate system, T is a transformation matrix of the rotation represented by equation (2). ここでReは以下の(数3)である。 Here Re is the following (number 3).

【0017】 [0017]

【数2】 [Number 2]

【0018】 [0018]

【数3】 [Number 3]

【0019】ここで回転軸がx軸となす角をα、y軸となす角をβ、z軸となす角をγとすると nx=cos [0019] Here, the rotation axis x-axis and the angle alpha, the y-axis and the angle beta, when the z-axis and the angle and gamma nx = cos
α ny=cosβ nz=cosγで指定する。 Specified in the α ny = cosβ nz = cosγ.

【0020】このようにして物体に、観察点の移動による任意の回転を上記の方法でCG合成手段18で計算する。 [0020] object this way, any rotation due to the movement of the observation point is calculated by CG synthesizing means 18 in the manner described above. 計算方法の詳細は、増田千尋著「3次元ディスプレイ」産業図書P69からp88に詳しく解説されているので、詳細な説明は教科書に譲りここでの説明は省略する。 For more information on the calculation method, since they are described in detail from Chihiro Masuda al., "A three-dimensional display" industry books P69 to p88, a description of the here inheritance in the detailed description is omitted textbook.

【0021】CG合成手段18a〜nは、両眼間隔もしくはその数分の1程度の間隔で、観察者の視点を移動させた画像をあらかじめ合成しておく。 The CG synthesizing means 18a~n is a distance between both eyes or, fractions of intervals that, in advance synthesized image moving the observer's viewpoint. これは表示部2を観察者の視点の移動にあわせて回転移動させるようにしているが、表示部2の物理的な回転が観察者の視点移動に間に合わない場合が発生する。 This is so that rotationally moves according to the movement of the observer's viewpoint the display section 2, if the physical rotation of the display unit 2 is not in time to the viewpoint movement of the observer occurs. この時観察者は立体表示されたものと、実際の存在する物体の違いを違和感として感じ、立体表示であることに気が付くことになる。 In this case the viewer to that three-dimensional display, feel the actual difference between an object existing as a sense of discomfort, would notice that a three-dimensional display.
このときすでに視点移動した画像を合成し、視点を移動した点にあらかじめ表示しておくことにより、高速な視点移動があった場合にも、物体と立体表示の違いの違和感が発生せず、非常に実在感の高い立体表示を可能とすることができる。 This time combining images already viewpoint movement, by previously displayed in advance on the point obtained by moving the viewpoint, even if there is a fast viewpoint movement, without the occurrence of discomfort difference between the object and the three-dimensional display, very it is possible to enable the high three-dimensional display of real feeling.

【0022】このようにして合成された複数視点の画像を、表示部2に出力する。 [0022] The image of the thus plurality of viewpoints that have been synthesized, and outputs to the display unit 2. 表示部2の詳細を図6に示す。 The details of the display unit 2 shown in FIG. 図6において、40はレンチキュラースクリーン、 6, 40 lenticular screen,
41〜45は画像投影手段、46は観察者である。 41-45 image projection means 46 is observer. レンチキュラースクリーン40により画像投射手段41からaの方向に投射された画像は、観察者46の手前のaa Image projected by the lenticular screen 40 from the image projection unit 41 in the direction of a, before the aa of the observer 46
の方向にその像を結ぶ。 Direction connecting the image of. また、画像投射手段45からe Moreover, e from the image projecting means 45
の方向に投射された画像は、eeの方向にその像を結ぶ。 The image projected in the direction of the line connecting the image in the direction of the ee. このように、aからeの方向に投射されたそれぞれの画像は、観察者46の手前のaa、bb,cc,d Thus, each of the image projected from a direction of e is short of aa observer 46, bb, cc, d
d,eeの方向にそれぞれその像を結ぶことになる。 d, respectively thus connecting its image in the direction of the ee.

【0023】図6の場合、aaとccのペア、bbとd [0023] In the case of Figure 6, aa and cc of the pair, bb and d
dのペア、ccとeeのペアがステレオペアとなり、観察者の両眼に入射し、立体的な画像が観察者の頭の中で再合成される。 d pairs, cc and ee pair becomes a stereo pair, incident on both eyes of the viewer, stereoscopic images are re-synthesized in the observer's head. ステレオペアのとりかたをaaとbb、 A-taking of the stereo pair aa and bb,
bbとcc,・・・ddとeeとした場合、ペア数が増え立体に見える範囲が増えるが、画像の変わり目の変化が大きくなり、自然さが低下する。 If you have a bb and cc, ··· dd and ee, but increase the range visible to the three-dimensional increase in the number of pairs, change the turn of the image is increased, the decrease in naturalness. また、ステレオペアのとりかたをaaとdd、bbとeeとした場合、画像の変わり目の変化が少なくなるが、ステレオペアの数が減少し、立体的に見える範囲が少なくなる。 Further, when the how to take the stereo pairs of the aa and dd, bb and ee, although the change in turn of the image is reduced, decreased number of stereo pairs, the range is less visible stereoscopically. 理想的には画像の変わり目の変化を少なくし、画像投射手段を多くして立体的に見える範囲を増やすのが良い。 Ideally reduces the change in the turn of the image, is better to increase the range by increasing the image projection means appear stereoscopically. このようして、一定の範囲で立体的に見える表示部2を持つことにより、視点追跡に多少の遅れがあった場合においても、 Thus to, by having the display unit 2 that looks three-dimensional to a certain extent, even in the case where there is some delay in eye tracker,
立体表示であることの違和感が全く発生しない。 Incongruity of it is a three-dimensional display is not generated at all. このため、あたかもそこにものが存在するような、立体表示が可能となる。 Thus, though such that there are things therein, thereby enabling stereoscopic display.

【0024】また画像表示装置全体を黒い光の吸収体とし、さらに装置の覆い自体を光を一部吸収するND系のガラス(プラスティック)とすることにより、表示装置自体を見えにくくする。 Further to the absorber of black light the whole image display apparatus, further by the covering itself of the apparatus to ND glass of absorbing a part of light (plastic), less visible the display device itself. このような構成により、立体表示された画像が画像の周囲に存在する実際の立体構造(表示部の周囲のパネル枠など)が見えなくなり、これらの実在する構造物の影響により、立体表示された画像の周辺が狭くなる制約を受けることがなくなる。 With this configuration, the three-dimensional displayed image (such as a panel frame surrounding the display section) the actual three-dimensional structure present around the image becomes invisible, due to the influence of these real structures, was displayed stereoscopically it is no longer restricted to the periphery of the image becomes narrower. これらの構成により、初めにCG合成部18で計算された、意図した通りの表示が可能となる。 With these configurations, calculated in CG synthesizing unit 18 initially, it becomes possible to display as intended.

【0025】以上の構成により、観察者の移動や表示指示された全ての方向の画像が表示可能となる。 [0025] With the above configuration, all directions of the image is moved and displayed indication of the observer can be displayed. このため観察者が移動し見る位置を替わった場合でも、両眼視差による立体感だけでなく、運動(モーション)による自然な奥行き感(観察者の顔が動くことにより、対象物の位置関係が変化し、この対象物の位置関係の変化が自然な奥行き感に重要である。)を得ることができる。 Even if this order observer replaced the viewing position moves, not only the stereoscopic effect due to binocular parallax, by moving the face of natural sense of depth (the observer due to the motion (motion), the positional relationship of the object change, change in the positional relationship of the object is important for natural depth feeling.) can be obtained. また観察位置が移動しても頭と表示面のなす角がほぼ一定に保たれ画像の変形を受けない。 Nor deformed image is kept substantially constant angle of the display surface and the head even if the observation position is moved. このため、いままでの表示装置では実現できなかった、非常に自然な立体表示装置を実現できる。 For this reason, it could not be realized by the display device up to now, a very natural three-dimensional display device can be realized.

【0026】次に本発明の第2の実施例について説明する。 The following describes a second embodiment of the present invention. 第2の実施例の構成図を図7に示す。 A block diagram of a second embodiment shown in FIG. 第1の実施例の構成を示す図2と同じ構成部分は同じ番号を付け、説明は省略する。 The same components as in FIG. 2 showing the configuration of the first embodiment are denoted by the same numbers, and description thereof is omitted. 図2と異なるのは、観察者の位置を計算する位置演算手段50、回転計測手段14のデータから減算する減算手段51、52、回転変換手段53、透視変換手段54、CG描写手段55を備えた構成である。 The difference from FIG. 2, provided with a position calculating means 50, subtraction means 51, 52 for subtracting the data of the rotation measuring means 14, rotation conversion means 53, a perspective transformation unit 54, CG depiction unit 55 to calculate the position of the observer and is a configuration.

【0027】この第2の実施例の目的は、観察者の素早い動きに対応するための手法を実現し、表示された立体画像が更に実際の物体に近い存在感の高いものにするものである。 [0027] The purpose of this second embodiment is to realize a method for corresponding to rapid movement of the observer, is displayed three-dimensional image is intended to have high presence near the further real object . この目的の実現には位置計測処理手段11の信号を用い、観測者の位置を回転計測手段14とは独立に演算する。 The use of a signal of the position measuring means 11 to achieve this purpose, calculates independently of the rotation measuring means 14 the position of the observer. 表示部の回転位置とは独立に観察者の位置を得ることにより、表示部の回転遅れに依存しない表示を実現する。 By obtaining the observer position independently of the rotational position of the display unit, to realize a display that does not depend on the rotation lag of the display unit.

【0028】まず、位置演算手段50は、それぞれの方向センサーの出力レベル(図4に示す)PRとPLのレベル差より観察者の位置を角度で求める。 [0028] First, the position calculating means 50, the output level of each direction sensor (shown in FIG. 4) determine the observer position at an angle from the level difference between the PR and PL. これと同時にCCDセンサー(赤外線を用いるのがよい)を用い、観察者の顔の重心を求める。 At the used CCD sensor (better to use an infrared) simultaneously obtains the center of gravity of the observer's face. 方向センサーで角度0近辺で十分な精度がないとき、CCDセンサーの画素単位の位置を角度に変換し用いる。 When there is not enough precision angle 0 around in the direction sensor is used to convert the position of the pixel unit of the CCD sensor at an angle.

【0029】このようにして求められた角度に観察者からの表示画像の回転指令を回転角に変換し、加算手段1 [0029] converting the rotation command of the display image from the viewer thus the angle obtained by the rotation angle, summing means 1
5、16で加算する。 Adding at 5 and 16. このようにして最終的に得られた角度により、回転変換手段53により物体データの回転変換を行う。 The finally obtained angle this way, the rotation transformation of an object data by the rotation conversion means 53. 図8(a)で物体をSTとする。 The object and ST in FIG. 8 (a). 現在の視点Aから視点Bまで移動したとすると、視点と物体の角度を変換するために、物体の座標データをα−β=θ度だけ回転させる。 When moved from the current point of view A to the viewpoint B, and to convert the angle of the viewpoint and the object, rotate object coordinate data by α-β = θ degrees. また観察者の位置と表示手段の位置の差(表示手段の正面から観察者までの角度)を減算手段51、52で求め、透視変換手段54にその角度θを入力する。 The difference between the position of the position display means of the observer (angle from the front of the display means to the observer) determined in the subtraction means 51 and 52, and inputs the angle θ to the perspective transformation means 54. 透視変換手段54では、図8(a)に示すように想定スクリーン面(物体が視点から透視されるときの透視投影される面)をVからUにθ度回転させ、実際の表示部2の位置がUであった場合、回転遅れのない仮想的なVのスクリーン面から実際の回転遅れがあるスクリーンの位置Uにスクリーン面を変換し、CG描写手段5 The perspective transformation means 54, assuming the screen surface as shown in FIG. 8 (a) is rotated θ degrees in the U a (object surface to be perspective projection as it is projected from the viewpoint) from V, the actual display section 2 position if it was U, it converts the screen surface at the position U of the screen where there is actual rotational delay from the screen surface with no rotational delay imaginary V, CG depiction unit 5
5で表示する画像として合成する。 Synthesizing an image to be displayed by five.

【0030】分かりやすくするために、視点を固定した図を図8(b)に示す。 [0030] For clarity, the diagram obtained by fixing the viewpoint shown in Figure 8 (b). 回転変換、透視変換をする前の状態を点線で示し、変換後の状態を実線で示す。 Rotation transformation, a state before the perspective transformation indicated by a dotted line shows a state after the conversion by the solid line. このように視点が急速に動き、表示面がこれに追従できない一瞬の状態の透視変換を行うスクリーン面の位置を、表示部の回転計測手段14と位置演算手段50との差として求め、透視変換を行う想定スクリーンをこの状態に合わせる。 Thus perspective rapid motion, the position of the screen surface that performs perspective transformation of the moment is the display surface can not follow thereto state, calculated as the difference between the rotational measuring means 14 and the position calculating means 50 of the display unit, perspective transformation adjust the assumed screen to perform in this state. このようにして表示面の応答の遅れをカバーして過渡状態を吸収し、観察者に違和感を与えないようにする。 Thus to absorb transient state covers a delay in response of the display surface, so as not to give a sense of discomfort to the observer. この構成をとることにより、観察者の素早い動きに対しても遅れることなく画像を変換することが可能となる。 By adopting this configuration, it is possible to convert the image without delays that even for quick-moving observer. 従って立体表示された物体が、本当に物体がそこに存在するのと代わりなく自然に表示することができる。 Therefore stereoscopic displayed objects, can really be instead without naturally view and be present therein object.

【0031】以上のように本発明の第2の実施例によれば、観察者の素早い動きに対しても応答でき、視点の移動に対する違和感が一切発生せず、本当に物体がそこに存在するのと代わりなく自然に表示することができ、その実用的価値は高い。 According to a second embodiment of the [0031] As described above, the present invention also can respond to viewer with fast motion, without generating any discomfort to the movement of the viewpoint, really present therein object alternative no can be naturally displayed, its practical value is high.

【0032】また表示部の外側の覆い手段5であるが、 [0032] In addition is a covering means 5 of the outside of the display unit,
観察者が与える回転指令に応じて、表示される画像だけでなく覆い手段5を同時に回転させることにより、表示された画像と覆い手段5が一体になっているような感覚を与えることも可能である。 Depending on the rotation command the viewer gives, by rotating the cover unit 5 not only images are displayed simultaneously, the means 5 covers the displayed image is also possible to provide a feeling of being integral is there. また覆い手段5を回転させて、表示画像の回転指令を与える場合、回転角の大きさや信号処理量の大きさにより、覆い手段5の回転負荷を変化させても、物体がそこに存在する感覚を与える補助になる。 Also by rotating the cover means 5, when giving the rotation command of the display image, the size of the size and amount of signal processing of the rotation angle, even by changing the rotational load of the covering means 5, sensations present therein object It will assist to give.

【0033】尚、表示部2は5枚の視差のある画像をレンチキュラースクリーンを用いて表示する形態のものを用いたが、視差画像の枚数はこれに限る必要はない。 [0033] Incidentally, although the display unit 2 using the form to display an image with five parallax using a lenticular screen, the number of parallax images is not necessarily limited thereto. また表示する形態もレンチキュラーに限る必要はなく、I The form also be displayed need not be limited to the lenticular, I
P(インテグラルフォトグラフ)や液晶などの光変調素子を用いた干渉波面再現による動画ホログラムでもよい。 P may be a video hologram by interference wavefront reproduction using an optical modulation element, such as a (integral Photographs) or a liquid crystal. このとき動画ホログラムは画像の観察範囲が狭くても良く、動画ホログラムとして非常に実現しやすい形態となる。 At this time video holograms may be narrow observation range of the image, a very realization form easy as video holograms.

【0034】また観察者の追尾には赤外線とTVカメラを用いるものを示したが、この方式に限定する必要はなく、速度と精度の条件を満たすものであれば良い。 [0034] Although the tracking of the observer showed those using infrared and TV camera need not be limited to this method, as long as the speed and accuracy satisfies the condition.

【0035】また画像の合成にはCGを用いて任意の方向の画像を出力できるものを示したが、これはあらかじめ必要な方向の画像を合成し、蓄積したものを読み出す方式を用いてもよい。 [0035] Although the synthesis of the image showed that can output the image at an arbitrary direction using the CG, which may be used a method of reading out ones by combining the direction of the image that previously required, and accumulated . この時はカメラで撮像した画像を蓄積し読み出すことも可能である。 This time it is also possible to read out and storing images photographed by the camera.

【0036】 [0036]

【発明の効果】以上のように本発明によれば、観察者の移動したすべての点や表示指示された全ての方向の画像が表示可能となる。 According to the present invention as described above, according to the present invention, all directions of images all points and display instructions to move the observer can be displayed. このため観察者が移動し見る位置を替わった場合でも、両眼視差による立体感だけでなく、 Even if this order observer replaced the viewing position moves, not only the stereoscopic effect due to binocular parallax,
運動(モーション)による自然な奥行き感(観察者の顔が動くことにより、対象物の位置関係が変化し、この対象物の位置関係の変化が自然な奥行き感に重要である。)を得ることができる。 Movement natural sense of depth due to (motion) (by the viewer's face moves, the positional relationship is changed in the object, the change in the positional relationship of the object is important for natural depth feeling.) To obtain can. また観察位置が移動したとき、観察者の頭(目)と表示面のなす角が一定に保たれ、表示された画像が観察者の見る位置による変形を受けず、自然な物体の存在感を提示できる。 Also when the observation position is moved, kept at an angle of the display surface and the observer's head (eyes) is constant, the displayed image without being deformed by the view of the observer position, the presence of a natural object It can be presented.

【0037】同時に画像の表示装置全体が、それ自体見えない構成とすることにより、現実の構造物(表示装置の外形)の影響を受けずに、意図した構成の立体像の提示観察が可能となる。 The entire display image at the same time, by configuring invisible itself, without being affected by the realities of the structure (the outer shape of the display device), and can be presented observation of stereoscopic images of the intended configuration Become.

【0038】この2つの条件を同時に満たすことにより、いままでの表示装置では実現できなかった、非常に自然な立体表示装置を実現できる。 [0038] By satisfying the two conditions at the same time, it could not be realized in the display device so far, a very natural stereoscopic display apparatus can be realized.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施例の立体画像表示装置の構成を示す図 Illustrates a configuration of a stereoscopic image display device of the first embodiment of the present invention; FIG

【図2】本発明の第1の実施例の立体画像表示装置の信号処理の構成を示すブロック図 Block diagram showing a configuration of a signal processing of the stereoscopic image display device of the first embodiment of the present invention; FIG

【図3】本実施例における位置センサーを示す図 It shows a position sensor in FIG. 3 embodiment

【図4】本実施例における位置センサーの信号レベル特性図 Signal level characteristic diagram of the position sensor in this embodiment [Fig. 4]

【図5】(a),(b)は本実施例に用いるCGの透視変換を示す図 [5] (a), (b) is a diagram showing a perspective transformation of the CG used in this embodiment

【図6】本実施例の表示部の構成を示す図 6 is a diagram showing a configuration of a display unit of the present embodiment

【図7】本発明の第2の実施例の立体画像表示装置の信号処理の構成を示すブロック図 FIG. 7 is a block diagram showing a configuration of a signal processing of the stereoscopic image display device of the second embodiment of the present invention

【図8】(a),(b)は本発明の第2の実施例の立体画像表示装置の動作を示す図 8 (a), (b) is a diagram showing an operation of the stereoscopic image display apparatus of the second embodiment of the present invention

【符号の説明】 DESCRIPTION OF SYMBOLS

1 位置センサー手段 2 表示部 3 表示部上下支持手段 4 表示部左右支持手段 5 覆い手段 11 位置計測処理手段 12 表示部ドライバー手段 13 表示部駆動手段 14 回転計測手段 17 回転角指示手段 18 CG合成手段 1 position sensor means 2 display unit 3 display unit vertical support means 4 display the left and right supporting means 5 covering means 11 the position measurement processing unit 12 display unit driver unit 13 display unit drive means 14 rotates the measuring means 17 the rotational angle indicating means 18 CG synthesizing means

Claims (5)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】観察者の体や顔または目の位置を検出する検出部と、前記観察者の観察位置に応じた位置の映像を合成する映像合成部と、合成された立体映像を表示する表示部と、検出された観察者の方向に前記表示部の正面を向ける表示制御部と、前記表示部と前記表示制御部をおおう覆い手段より構成され、前記覆い手段は光透過時に光を一部減衰させ、前記表示部と表示制御部は光を多く吸収する構成としたことを特徴とする立体画像表示装置。 And 1. A viewer detecting unit for detecting the body and face, or eye position, displays a video synthesis unit for synthesizing the image of the position corresponding to the observation position of the observer, the synthesized stereoscopic image one display unit, a display control unit in the direction of the detected observer directs a front of the display unit, is constituted by covering means for covering said display control unit and the display unit, the covering means is a light at the light transmission part attenuated, the display unit and the display control unit stereoscopic image display apparatus being characterized in that a structure to absorb more light.
  2. 【請求項2】表示部は、視差の異なる2枚の画像を左右の目にそれぞれ独立に観察できるようにする構造を持つことを特徴とする請求項1記載の立体映像表示装置。 Wherein the display unit, the stereoscopic image display apparatus according to claim 1, characterized by having a structure that can be observed the two images having different parallaxes independently to the left and right eyes.
  3. 【請求項3】表示部は、視差の異なる2枚以上の映像を映像が表示される面上にレンズや透過・遮断部をもつ光学系により、左右の目にそれぞれ独立に観察できるようにする構造を持つことを特徴とする請求項1記載の立体映像表示装置。 Wherein the display unit is an optical system having two or more lenses or transmission and locking part image on a plane image is displayed with different parallax, to be observed independently on the left and right eyes stereoscopic image display apparatus according to claim 1, characterized by having the structure.
  4. 【請求項4】覆い手段は、上下左右に動かせる可動構造とし、この上下左右の動きまたはスイッチなどのマンマシンインターフェイスを通しての人間の意図に対応して表示物体の角度または表示物体の角度と前記覆い手段を同時に変更さすよう映像合成部を制御することを特徴とする請求項1記載の立体映像表示装置。 4. A covering means, vertically and horizontally and movable structures move in, the angle between the covering angle or the display object human display object corresponding to the intention of the through man-machine interface, such as the vertical and horizontal movement or switch stereoscopic image display apparatus according to claim 1, wherein the controlling the image combining unit to refer changing means simultaneously.
  5. 【請求項5】観察者の手動入力により映像を表示する方向を任意の方向に入力し指定できることを特徴とする請求項1記載の立体映像表示装置。 5. The observer manual input stereoscopic image display apparatus according to claim 1, characterized in that can be specified by entering the direction of displaying an image in any direction by.
JP22336194A 1994-09-19 1994-09-19 Stereoscopic image display device Expired - Fee Related JP2950160B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22336194A JP2950160B2 (en) 1994-09-19 1994-09-19 Stereoscopic image display device

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP22336194A JP2950160B2 (en) 1994-09-19 1994-09-19 Stereoscopic image display device
DE1995624332 DE69524332D1 (en) 1994-09-19 1995-09-14 A device for three-dimensional image reproducing
EP19950114487 EP0702494B1 (en) 1994-09-19 1995-09-14 Three-dimensional image display apparatus
DE1995624332 DE69524332T2 (en) 1994-09-19 1995-09-14 A device for three-dimensional image reproducing
US08528715 US5742331A (en) 1994-09-19 1995-09-15 Three-dimensional image display apparatus

Publications (2)

Publication Number Publication Date
JPH0888870A true JPH0888870A (en) 1996-04-02
JP2950160B2 true JP2950160B2 (en) 1999-09-20

Family

ID=16796954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22336194A Expired - Fee Related JP2950160B2 (en) 1994-09-19 1994-09-19 Stereoscopic image display device

Country Status (1)

Country Link
JP (1) JP2950160B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
US6317141B1 (en) 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US9224145B1 (en) 2006-08-30 2015-12-29 Qurio Holdings, Inc. Venue based digital rights using capture device with digital watermarking capability

Also Published As

Publication number Publication date Type
JPH0888870A (en) 1996-04-02 application

Similar Documents

Publication Publication Date Title
US5495576A (en) Panoramic image based virtual reality/telepresence audio-visual system and method
US6111597A (en) Stereo image forming apparatus
US6045229A (en) Method and apparatus for displaying real space and virtual space images
US5287437A (en) Method and apparatus for head tracked display of precomputed stereo images
US6088006A (en) Stereoscopic image generating system for substantially matching visual range with vergence distance
US20130326364A1 (en) Position relative hologram interactions
US6151009A (en) Method and apparatus for merging real and synthetic images
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US20140176591A1 (en) Low-latency fusing of color image data
US6151060A (en) Stereoscopic video display apparatus which fuses real space image at finite distance
US20110285622A1 (en) Rendition of 3d content on a handheld device
Azuma A survey of augmented reality
US20100110069A1 (en) System for rendering virtual see-through scenes
US20110243388A1 (en) Image display apparatus, image display method, and program
US4984179A (en) Method and apparatus for the perception of computer-generated imagery
US5446834A (en) Method and apparatus for high resolution virtual reality systems using head tracked display
US5394202A (en) Method and apparatus for generating high resolution 3D images in a head tracked stereo display system
US6985168B2 (en) Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US6690338B1 (en) Apparatus and method for providing images of real and virtual objects in a head mounted display
US6559844B1 (en) Method and apparatus for generating multiple views using a graphics engine
EP1462762A1 (en) Circumstance monitoring device of a vehicle
US20070247457A1 (en) Device and Method for Presenting an Image of the Surrounding World
JP2005335410A (en) Image display device
JP2000276613A (en) Device and method for processing information
US6836286B1 (en) Method and apparatus for producing images in a virtual space, and image pickup system for use therein

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990608

LAPS Cancellation because of no payment of annual fees