JP3089306B2 - Stereoscopic imaging and display device - Google Patents

Stereoscopic imaging and display device

Info

Publication number
JP3089306B2
JP3089306B2 JP19643094A JP19643094A JP3089306B2 JP 3089306 B2 JP3089306 B2 JP 3089306B2 JP 19643094 A JP19643094 A JP 19643094A JP 19643094 A JP19643094 A JP 19643094A JP 3089306 B2 JP3089306 B2 JP 3089306B2
Authority
JP
Japan
Prior art keywords
image
parallax
unit
position
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP19643094A
Other languages
Japanese (ja)
Other versions
JPH07167633A (en
Inventor
謙也 魚森
Original Assignee
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP5-211531 priority Critical
Priority to JP21153193 priority
Priority to JP26375393 priority
Priority to JP5-263753 priority
Application filed by 松下電器産業株式会社 filed Critical 松下電器産業株式会社
Priority to JP19643094A priority patent/JP3089306B2/en
Publication of JPH07167633A publication Critical patent/JPH07167633A/en
Application granted granted Critical
Publication of JP3089306B2 publication Critical patent/JP3089306B2/en
Anticipated expiration legal-status Critical
Application status is Expired - Fee Related legal-status Critical

Links

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、立体画像を撮影して表示する立体画像撮像および表示装置に関するものである。 The present invention relates to relates to stereoscopic imaging and display apparatus for displaying to shoot a three-dimensional image.

【0002】 [0002]

【従来の技術】従来の立体画像撮像装置としては、例えば図21の様なものがある。 As a conventional stereoscopic imaging apparatus, there is for example such as Figure 21. これは、本来2台のカメラを2台の雲台の上にそれぞれ固定した物であり、この2 This is obtained by fixing each original two cameras on the two camera platform, the 2
台のカメラが人間の左右の眼に相当する。 The base of the camera corresponds to the eye of the left and right of human beings. 各々のカメラは回転制御部4a,4bに固定されており、それぞれ水平方向に回転可能になっている。 Each camera is fixed rotation control unit 4a, the 4b, respectively is rotatable in the horizontal direction. また、カメラ間隔制御部5により、2台のカメラの間隔を変化出来るようにもなっており、カメラ全体は三脚6に固定されている。 Also, the camera interval control unit 5, serves also to be able to vary the distance between the two cameras, the entire camera is fixed to a tripod 6. ここで、この従来の立体画像撮像装置の平面図を図22 Here, FIG. A plan view of the conventional stereoscopic image pickup apparatus 22
(a)及び(b)に示す。 Shown in (a) and (b).

【0003】図22(a)は、カメラの光軸を平行にする平行撮影の場合、図22(b)は、カメラの光軸を傾け、2つの光軸が交わるようにする輻輳撮影の場合である。 [0003] FIG. 22 (a) is the case of parallel shooting to collimate the optical axis of the camera, FIG. 22 (b), tilting the optical axis of the camera, when the congestion shooting to make two optical axes intersect it is. 前述の回転制御部4a,4bの動きにより、2台のカメラを回転し平行撮影、輻輳撮影に対応する。 The aforementioned rotation control unit 4a, by the movement of 4b, rotation parallel shooting two cameras, corresponding to the congestion shooting. また、 Also,
カメラ間隔はWcを変化させることにより変更が可能になっている。 Camera interval is in a can be changed by changing the Wc. さて、立体画像の撮像において、輻輳点までの距離dxとカメラ間隔Wcは、立体画像の画質に大きく影響する。 Now, in the imaging of the three-dimensional image, the distance dx and the camera interval Wc up convergence point greatly affects the image quality of the stereoscopic image. カメラ間隔Wcは、表示された被写体の大きさと、再現される水平視差の大きさに影響する。 Camera interval Wc is the size of the displayed object, it affects the magnitude of the horizontal parallax to be reproduced. 輻輳点までの距離dxは、水平視差の大きさ(観察者の両眼融合範囲に影響する)と撮像画像の歪に大きく関係する。 The distance dx to the convergence point, (affects the binocular fusional range of the viewer) the size of the horizontal parallax to be related strain larger of the captured image. 従来の立体画像撮像においては、この輻輳点までの距離dxとカメラ間隔Wcを撮影者が経験によって、撮影された画像を観察者が見た場合にきれいに見えるように設定していた。 In the conventional stereoscopic imaging, the photographer experienced distances dx and camera spacing Wc up to this point of convergence, the observer an image taken has set to look beautiful when viewed. ここで、主に、「きれいにみえるように」とは、観察者が見た時に観察者の融合範囲内に立体画像の水平視差が入るようにすることを指す。 Here, mainly, the "as appear clean" refers to to enter the horizontal parallax of the stereoscopic image in the fusion range of the viewer when the viewer saw.

【0004】次に、融合範囲について更に詳しく説明する。 [0004] Next, will be described in more detail below the fusion range. 図23は立体画像撮像装置により記録された立体画像信号を再生する従来の立体画像表示装置の概略図である。 Figure 23 is a schematic diagram of a conventional stereoscopic image display apparatus for reproducing a stereoscopic image signal recorded by the stereoscopic image pickup apparatus. これは、立体画像撮像装置で撮像された左右2種類の画像をプロジェクタ9、10で再生し、互いに垂直の偏光方向を持った偏光板11で偏光し、これをスクリーン12に結像する。 This left and right two images captured by the stereoscopic image pickup apparatus reproduces the projector 9 and 10, and polarizing by the polarizing plate 11 having the polarization direction perpendicular to each other to form an image it on the screen 12. 観察者は偏光メガネ13を装着し、 Observer wearing the polarized glasses 13,
右目用の画像は観察者の右目のみに、左目用の画像は観察者の左目にそれぞれ投影される。 Image for the right eye only the right eye of the viewer, the image for the left eye are respectively projected to the left eye of the observer.

【0005】図24は、立体画像表示装置のスクリーン部分の平面図である。 [0005] Figure 24 is a plan view of a screen portion of the stereoscopic image display apparatus. 立体画像撮像装置により得られた点画像が右目用、左目用でそれぞれIR,ILであるとすると、両眼間隔Weの観察者は視線の交点C1に仮想的に被写体が存在すると知覚する。 Stereoscopic image pickup image for the right eye that is obtained by the device, IR, respectively for the left eye, when an IL, the distance between both eyes We observer perceives a virtually object exists in the line of sight intersections C1. この様にして、観察者は両眼立体視を用いて表示される画像の奥行きを知覚することが出来る。 In this way, the viewer can perceive the depth of the image displayed using the binocular stereoscopic vision. また、図25の様に、スクリーンを用いずに2つの直交する偏光板24を付したCRT21,2 Further, as in FIG. 25, denoted by the polarizing plate 24 of the two orthogonal without a screen CRT21,2
2の画像をハーフミラー23で合成し、これに対応する偏光板を付した眼鏡25をつけて観察するような従来の立体画像の表示方法などもあるが、観察者が奥行きを知覚する原理はどれも同じである。 By combining two images by the half mirror 23, there is also a display method of a conventional stereoscopic image as observed with the glasses 25 denoted by the polarizing plate corresponding thereto, the principles viewer perceives a depth none is the same.

【0006】次に、奥行き知覚について更に図20を用いて詳しく説明する。 [0006] Next, further described in detail with reference to FIG. 20 for depth perception. これは、両眼視差による観察者の奥行き知覚の成立について説明した図であり、A,B, This is a diagram for explaining the establishment of a viewer's depth perception by binocular parallax, A, B,
Pは被写体(点)、CLは観察者の左目26の回転中心、CRは観察者の右目27の回転中心であり、FL,F P is the subject (point), CL is the center of rotation, CR of the observer's left eye 26 is a rotating center of the viewer's right eye 27, FL, F
Rはそれぞれ観察者の左目、右目の中心窩(網膜上で最も解像度の高い部分で、人間は物体を注視する際、中心窩に物体の像を結像させる)である。 Each R observer's left eye, (the highest resolution portion on the retina, a human when gazing object, fovea forming an image of an object to) the fovea of ​​the eye is. 観察者が点Pを注視したとする。 Observer and was gazing at the point P. この時、左右の眼球は中心窩FL,FRに点Pの像を結像する様に向く。 In this case, the left and right eye fovea FL, oriented so as to form an image of the point P in the FR. この時、注視点Pよりも近い点Aの像は左右眼の網膜上のAL,ARに結像する。 At this time, the image of the point A closer than the fixation point P is AL on the retina of the right and left eyes to form an image on AR.
同様に注視点Pよりも遠い点Bの像は、左右眼の網膜上のBL,BRに結像する。 Similarly the image of the distant point B than gaze point P, BL on the retina of the right and left eyes to form an image on BR. この時、各眼の点Aの像と点B At this time, the image and the point B to point A in each eye
の網膜像との距離ALBLとARBRは異なる。 The distance ALBL and ARBR the retinal image differ. この距離の差は点Aと点Bの奥行き方向の距離と対応している。 This difference in distance corresponds to the distance in the depth direction of the points A and B. また、これを角度で言い替えれば、点Aと点B間の両眼視差PBAは、δBA=γB−γAで表され、この大きさが点A Further, in other words it at an angle, the binocular disparity PBA between point A and point B, δBA = represented by .gamma.B-.gamma.A, this size is the point A
と点Bの奥行き方向の距離に対応し、人間は脳内でこの差分を計算し被写体の奥行き位置を知覚する。 Corresponds to the distance in the depth direction of the preparative point B, the human perceives depth position of the object to calculate the difference in the brain. 即ちLAB That LAB
を知覚する。 I perceive. また、人間は被写体までの距離が遠いと、 In addition, if the person has a far distance to the subject,
点Aもしくは点Bの絶対距離LA,LBの知覚感度は低く、相対距離LABの知覚感度が高い。 Absolute distance LA of the point A or the point B, the perceived sensitivity of the LB is low, the perceived sensitivity of the relative distance LAB is high.

【0007】 [0007]

【発明が解決しようとする課題】しかしながら、上記の様な構成では、実際の画像は表示スクリーン12(図2 [SUMMARY OF THE INVENTION However, in the such a structure described above, the actual image display screen 12 (FIG. 2
4)上に結像されるのにもかかわらず、観察者はC1の位置に被写体があると知覚する。 4) Despite being imaged on the viewer perceives that there is an object at the position of C1. 即ち、実際の画像と見える画像では、眼のピント位置が異なる状況である。 That is, in the image viewed from the actual image, the focus of the eye is different situations. 言い換えれば、観察者の輻輳(寄り眼になること、即ち近い位置C1に両目を向けること)と調節(眼のピント) In other words, the observer of congestion (to become more eye, directing the eyes to the words close C1) and adjusting (focus of the eye)
が矛盾した状態になっている。 There has been in an inconsistent state. この矛盾量が大きくなると、人間は左右の画像を一つのものと知覚出来なくなり、2重像の知覚になってしまう。 If this discrepancy amount increases, humans will not be perceived as the left and right images of one, it becomes the perception of double image. または、2重像にならなくても、非常に違和感の大きな立体画像になり、観賞しても気分が悪くなったりする。 Or, even if not become a double image, it becomes very large three-dimensional image of discomfort, even if the ornamental mood may become worse.

【0008】更に詳しく説明すると、図20において、 [0008] In more detail, in FIG. 20,
観察者が点Pを注視した時、人間がこの奥行きを計算できる両眼視差δの大きさの範囲はおおよそ±0.5゜であり、それ以上奥行き距離が大きくなると(両眼視差δ When the observer gazes the point P, humans have size range approximately ± 0.5 ° binocular parallax δ can be calculated the depth, more when the depth distance increases (binocular parallax δ
の絶対値が大きくなると)、奥行き方向の距離感が減少し、更に大きくなると物体が2重に観察され、奥行きが分かりにくくなると同時に非常に観察しづらくなる。 If the absolute value is large), it decreases the sense of distance depth direction, observed in the larger becomes the object double, consisting becomes difficult to very observed simultaneously obscure depth. また、図20において、点A,B,Pを図25の3次元画像表示装置で表示したとし、再現される立体像の位置が、画像を表示しているCRT表面の位置28から離れると、眼のレンズの焦点調節位置(CRT表面)と表示画像の奥行き位置のずれが大きくなる。 Further, in FIG. 20, the displayed points A, B, and P in the three-dimensional image display apparatus of FIG. 25, the position of the stereoscopic image to be reproduced, away from the position 28 of the CRT surface displaying an image, deviation of the depth position of the focusing position (CRT surface) and the display image of the eye of the lens becomes large. この、CRT表面の位置と立体画像提示位置のずれにも人間には許容範囲があり、これを越えると、両眼の中心窩に意図する被写体を結像することが出来なくなり、観察者は2重像を知覚する。 This, in humans the deviation of the position and the three-dimensional image presentation position of the CRT surface have a tolerance, beyond which, no longer able to form an object intended to fovea of ​​both eyes, the observer 2 to perceive a heavy image.

【0009】以上のことを考慮すると、両眼立体視による人間の奥行き知覚範囲は、注視点Pを中心として、ある限られた範囲しかないことがわかる。 [0009] In view of the above, the human depth perception range of the binocular stereoscopic vision, about the gaze point P, it can be seen that there is only a limited range. 人間は、より広い3次元世界を知覚するために、注視点Pを奥行き方向にも移動し、それぞれの注視点の位置で、その周りの3 Humans, in order to perceive the wider three-dimensional world, the fixation point P is also moved in the depth direction, at a position of each of the focus point, 3 around it
次元構造を知覚し、それを合成する。 Perceive the dimension structure, to synthesize it. しかしながら、従来の3次元画像表示装置では、眼のレンズの焦点調節位置(CRT表面)と表示画像の奥行き位置のずれの許容範囲があるため、被写体の全空間を観察することができない。 However, in the conventional three-dimensional image display apparatus, since it is allowable range of the deviation of the depth position of the focusing position (CRT surface) and the display image of the eye lens, it is impossible to observe the entire space of the subject. さらに、眼のレンズの焦点調節位置(CRT表面)と表示画像の奥行き位置のずれが存在するために、 Furthermore, in order to shift the depth position of the focusing position (CRT surface) and the display image of the eye lens is present,
注視点を迅速に移動することが困難になり、これらの原因が重なって、従来の3次元画像表示装置は、疲れ易い、見にくい画像表示であった。 Gazing point quickly it becomes difficult to move, overlap these causes, the conventional three-dimensional image display apparatus, easily tired, it was hard to see the image displayed.

【0010】また、この様な欠点を改善するため、従来の立体画像撮像装置では、撮影者が、この様な状態になるべくならない様に、撮影現場において撮影距離を測定し、これを表示する立体画像表示装置の大きさや観客の視距離を想定し、図22のWcとdxを決定していたが、 [0010] In order to improve such a drawback, the conventional stereoscopic image pickup apparatus, the photographer is, as not possible to such a state, by measuring the photographing distance in shooting, and displays the stereoscopic assuming viewing distance of the size and audience of the image display device, which had been determined Wc and dx of Figure 22,
その計算はおおまかな撮影距離や撮影者の経験に頼ったものであり、正確ではなかったり、1つの被写体について注目し、これが無理なく両眼立体視出来るようにカメラパラメータを設定していた。 The calculation are those that rely on rough shooting distance and the photographer's experience, or not as accurate, and attention for one of the subject, which has set the camera parameters so that it can be reasonably binocular stereopsis. また、被写体が奥行き方向に移動する場合など、再現するべき奥行きが時間的に変化する場合については最適にWcとdxを決定することは出来なかった。 Further, the subject is a case of moving in the depth direction, for the case where the depth to be reproduced changes with time were not able to determine the optimal Wc and dx.

【0011】本発明は、上記のような従来の課題を考慮し、観察者が観賞する際、見やすく、疲れにくい立体画像を得ることができる立体画像撮像及び表示装置を提供することを目的とするものである。 [0011] The present invention is, considering the conventional problems as described above, when the observer viewing, clarity, and an object thereof is to provide a stereoscopic imaging and display apparatus capable of obtaining a fatigue stereoscopic image it is intended.

【0012】 [0012]

【課題を解決するための手段】本発明は、複数の視点において被写体を撮像する撮像部と、その撮像部の輻輳角を変化させる輻輳角移動機構部と、各々の撮像部から画像データを抽出する信号処理部と、その信号処理部の出力を用いて画像の視差を計算する視差計算部と、その視差計算部の出力のうち最小値(最も近い被写体の視差) Means for Solving the Problems The present invention provides extraction and imaging unit that captures a subject at a plurality of viewpoints, and convergence angle moving mechanism for varying the convergence angle of the imaging unit, the image data from each of the imaging unit signal processing unit and the parallax calculating unit and the minimum value of the output of the parallax calculation section for calculating a parallax of the image by using the output of the signal processing unit for (a parallax of the nearest object)
を検出する視差処理部と、その視差処理部の出力を用いて撮像された画像が立体画像表示装置で表示された場合に再生される最も近点の被写体の奥行き位置を計算する奥行き表示位置計算部と、その奥行き表示位置計算部の出力を用いて、これが再生画像を観賞する観察者の融合許容範囲内あるかどうか判断する融合範囲確認部と、その融合範囲確認部の出力を用いて、最も近点の被写体が観察者の融合許容範囲内になるように輻輳角移動機構部を制御する輻輳角制御部とを備えた立体画像撮像装置である。 A parallax processor for detecting the depth display position calculation image captured calculates the depth position of the nearest point of the object to be played when it is displayed in the stereoscopic image display device using the output of the parallax processing section and parts, using the output of the depth display position calculator, which uses a fusing range checking unit to determine whether the fusion tolerance of the observer to appreciate the reproduced image, the output of the fusing range checking unit, nearest point of the object is a stereoscopic image pickup apparatus and a convergence angle control unit for controlling the convergence angle moving mechanism such that the fusion tolerance of the observer.

【0013】また本発明は、少なくとも2方向から被写体を撮像した時の画像を用いて、被写体の両眼視差または3次元位置を計算する視差計算部と、その視差計算部の出力から被写体の奥行き位置を計算する注視点計算部と、その注視点計算部の出力で示される奥行き位置を3 [0013] The present invention uses the image at the time of imaging a subject from at least two directions, and the parallax calculation section for calculating binocular parallax or three-dimensional position of the object, the depth of the object from the output of the parallax calculation section a gazing point calculator for calculating a position, a depth position indicated by the output of the gazing point calculator 3
次元立体画像表示部の表面もしくは表面から指定された奥行き距離に再現するように前記画像を平行移動する視差制御部とを備えた立体画像表示装置である。 It is a three-dimensional image display device and a parallax control unit translating the image so as to reproduce the specified depth distance from the surface or surface dimension stereoscopic image display unit.

【0014】また本発明は、請求項1〜4のいずれかの立体画像撮像装置と、請求項5〜8のいずれかの立体画像表示装置とを備えた立体画像撮像及び表示装置である。 [0014] The present invention comprises any one of the stereoscopic image pickup apparatus according to claim 1 to 4, a three-dimensional imaging and display apparatus equipped with any one of the stereoscopic image display apparatus according to claim 5-8.

【0015】 [0015]

【作用】本発明は、撮像画像の両眼視差を検出し、これから観察者が観察する最も近点の被写体の奥行き位置を計算し、これが再生画像を観賞する観察者の融合許容範囲内になるように輻輳角移動機構部を制御する。 DETAILED DESCRIPTION OF THE INVENTION The present invention detects the binocular parallax of the captured image, calculates the depth position of the nearest point of the object now viewer is observed, which is within the fusion tolerance of the observer to appreciate the reproduced image controlling the convergence angle moving mechanism so.

【0016】また本発明は、画像の両眼視差から観察者が最も広い範囲で被写体の奥行き世界を知覚可能である最適注視点を計算し、これが立体画像表示部の表面もしくは表面から指定された距離に再現するように制御する。 [0016] The present invention, an optimal fixation point viewer is perceptible depth world object in the broadest range of binocular parallax of an image calculated, which is designated from the surface or the surface of the stereoscopic image display unit distance is controlled so as to reproduce.

【0017】また本発明は、請求項1〜4のいずれかの立体画像撮像装置により得られた撮像画像を用いて、請求項5〜8のいずれかの立体画像表示装置に立体画像を表示する。 [0017] The present invention uses the captured image obtained by any of the stereoscopic image pickup apparatus of claim 1, displays a stereoscopic image to one of the stereoscopic image display apparatus according to claim 5 to 8 .

【0018】 [0018]

【実施例】以下に、本発明をその実施例を示す図面に基づいて説明する。 EXAMPLES Hereinafter, the explanation of the present invention based on the drawings showing its embodiments.

【0019】図1は、本発明にかかる第1の実施例の立体画像撮像装置の構成図である。 [0019] FIG. 1 is a configuration diagram of a stereoscopic image pickup apparatus of a first embodiment according to the present invention. 図1において、1,2 In Figure 1, 1 and 2
はレンズ、3a,3bはカメラ本体、4a,4bは輻輳角移動機構部である回転制御部、5はカメラ間隔制御部であり、これらは従来の技術と同様な物である。 Lens, 3a, 3b is rotated controller camera body, 4a, is 4b is convergence angle moving mechanism, 5 denotes a camera interval control unit, they are similar to those of the conventional art. 14a ,1 14a, 1
4b はカメラ本体からの信号を輝度信号に変換する信号処理部、15は左右の画像から水平視差を計算する視差計算部、16は最小の視差を検出する視差処理部、17 4b is a signal processing unit for converting a signal from the camera body to the luminance signal, 15 parallax calculating section for calculating a horizontal parallax from left and right images, 16 parallax processor for detecting the smallest disparity, 17
は観察者に最も近い被写体の空間位置を計算する奥行き表示位置計算部、18は観察者に最も近い被写体の空間位置が観察者の融合範囲内にあるかどうかをチェックする融合範囲確認部、19は観察者に最も近い被写体の空間位置が観察者の融合範囲内に入るように回転制御部4 The depth display position calculator, 18 fusing range checking unit to check whether the spatial position of the closest object to the observer is within the fusion range of the viewer to calculate the spatial position of the closest object to the observer, 19 rotation control unit 4 such that the space position of the closest object to the observer is within the fusion range of the viewer
a,4bを制御する輻輳角制御部である。 a, a convergence angle control unit for controlling 4b. ここで、レンズ1,2及びカメラ本体3a,3bが、撮像部を構成している。 The lens 1 and the camera body 3a, 3b constitute the imaging unit.

【0020】以上のように構成された本実施例の立体画像撮像装置について、以下その動作を説明する前に、撮像系と表示系のモデル理論と、観察者の両眼融合範囲に関する特性について説明する。 [0020] The stereoscopic image pickup apparatus of the present embodiment constructed as described above, following the operation Before describing the model theory of the display system and the imaging system, the characteristics relating to the binocular fusing range of a viewer Description to.

【0021】まず、撮像系と表示系のモデルについて、 [0021] First, a display-based model of the imaging system,
図2を用いて説明する。 It will be described with reference to FIG. 図2(a)は撮像系のモデルである。 2 (a) is a model of the imaging system. 撮影カメラは左右対称に、輻輳点F(0,dx, Shoot camera in the left-right symmetry, the point of convergence F (0, dx,
0)に光軸が向いている。 Optical axes are aligned to 0). この時座標原点を2台のカメラの中心にとり、2台のカメラを並べる方向をx軸、奥行き方向をy軸、高さ方向をz軸とする。 Take this time coordinate origin at the center of the two cameras, x-axis direction of arranging the two cameras, a depth direction y-axis, the height direction and z-axis. 左右のレンズ1,2はx軸上のそれぞれ(−Wc,0,0),(Wc, Right and left lenses 1 and 2 respectively on the x-axis (-Wc, 0,0), (Wc,
0,0)に位置し、撮像面(撮像素子またはフイルムの位置)7,8に対するレンズの焦点距離はfである。 Located in 0,0), the focal length of the imaging surface (the lens with respect to the imaging device or film position) 7,8 is f. この時dx =∽にすると、2台のカメラの光軸は平行になる(図2(a)、破線)。 With this case dx = ∽, the optical axis of the two cameras is parallel (FIG. 2 (a), the dashed line).

【0022】図2(b)は表示系のモデル(立体画像表示装置のモデル)である。 [0022] FIG. 2 (b) is a display system model (model of the three-dimensional image display device). 表示系の座標は観察者の両眼の中心を原点として、両眼の中心を結ぶ線をX軸、奥行き方向をY軸、高さ方向をZ軸とする。 The coordinates of the display system as the origin the center of both eyes of the observer, the line X-axis connecting the centers of both eyes, the depth direction Y-axis, the height direction is Z axis. この時、観察者から立体画像表示スクリーン12までの距離はds、左右眼はそれぞれ(−We,0,0),(We,0,0)に位置し、再現される点画像の位置が右目用がPr、左目用がPlであるとすると、観察者はPrと(We,0, At this time, the distance from the observer to the stereoscopic image display screen 12 ds, respectively right and left eyes (-We, 0,0), (We, 0,0) located in, the position of the point image to be reproduced right When use is Pr, for the left eye is to be Pl, observer and Pr (We, 0,
0)を結ぶ線分とPlと(−We,0,0)を結ぶ線分の交点Pに点画像があると知覚する。 0) and a line segment connecting the Pl (-We, 0,0) perceives that there is a point image on the intersection P of a line connecting the. 一般的に、図2 Generally, FIG. 2
(b)の様な平面のスクリーンを用いた立体画像表示装置を用いると、dx =∽でかつ、無限遠点を撮像した位置(撮像画像の中心位置)が、図2(b)で左右画像それぞれNL(−We,ds,0),NR(We,ds,0)の位置に表示されると、撮像空間のx方向は歪なく再生される。 With a stereoscopic image display apparatus using the screen such plane (b), dx = ∽ a and infinity were captured position (center position of the captured image) is, left and right images in Figure 2 (b) each NL (-We, ds, 0), NR (it, ds, 0) when it is displayed at the position of, x direction of the image pickup space is reproduced without distortion. また、撮像空間のy方向は(数1)の時、歪なく再生される。 Further, when the y-direction of the imaging space of (Equation 1), is reproduced without distortion.

【0023】 [0023]

【数1】 [Number 1]

【0024】ここでMは、撮像面7,8上の像の大きさと表示スクリーン12上の像の大きさの比である(但し、Y軸上に観察者の中心がある場合)。 [0024] where M is the size ratio of the image size and the display screen 12 on the image on the imaging surface 7,8 (However, if there is the center of the observer on the Y axis). この場合、無限遠点の再生画像を観察する場合は、図2(b)で両眼の視線が破線の様に平行になる。 In this case, when observing the reproduced image of the point at infinity is the line of sight of both eyes are parallel as in broken lines in FIG. 2 (b). 被写体が無限遠点から0の距離の間に存在することより、観察者の2つの視線は平行か、内側を向くことになり、外側に向くことはなくなる。 From the subject is present between the point at infinity distance 0, or parallel two line of sight of the observer, will be facing the interior will not be directed to the outside. 人間の特性として、2つの視線が平行より外側に向くことはありえないため、この条件は立体画像の再生範囲が最も広くなる条件である。 As human characteristics, because two gaze impossible be directed outward from the parallel, this condition the reproduction range of the stereoscopic image is the most widely made conditions.

【0025】この無歪再生条件の内、図2(a)のdx [0025] Among the undistorted reproduction conditions, dx shown in FIG. 2 (a)
=∽の条件が成立しない場合、即ちdx が有限の値を持つときは、再生される立体画像は空間的に必ず歪むため、なるべくdx =∽の条件で撮像し、再生される立体画像が観察者の融合範囲内に無い場合のみdx を変化させて観察者が融合出来る様にする。 = If ∽ condition is not satisfied, i.e., when dx has a finite value, the three-dimensional image to be reproduced for distorted spatially always possible captured by dx = ∽ conditions, the three-dimensional image to be reproduced is observed dx is varied only if not within the fusion range of who the observer is in the way can be fusion. この時、再生される立体画像の歪を最小限に抑えるため、dx はなるべく大きな値を持つように設定する。 At this time, in order to minimize the distortion of the three-dimensional image to be reproduced, dx is set to have a largest possible value. 実際のdx の制御については後述する。 It will be described later control of the actual dx. この時、立体画像再生側では、立体画像の再生範囲を最大にするために、無限遠点の画像を図2 At this time, the stereoscopic image reproduction side, in order to maximize the playback range of a stereoscopic image, 2 images point at infinity
(b)のNL,NRに再生する。 NL of (b), to play NR. このためには、図2 For this purpose, FIG. 2
(a)の撮像面7,8上での無限遠点の水平方向の座標はf×Wc/dx であることを用いて、(数2)の関係が成立する様にΔSを設定し、右画像をΔSだけ右に平行移動、左画像をΔSだけ左に平行移動して左右画像を表示する。 The horizontal coordinate of the point at infinity on the image pickup plane 7, 8 of (a) with that the f × Wc / dx, set the ΔS so as to establish the relationship of equation (2), right right translating the image by [Delta] S, and displays the left and right images by moving parallel to the left to the left image by [Delta] S.

【0026】 [0026]

【数2】 [Number 2]

【0027】次に、人間の両眼融合特性について説明する。 [0027] Next, a description will be given of the human binocular fusion characteristics. 本発明は、立体画像表示装置で立体画像を表示した時に、観察者が左右の画像を融合できる範囲内に立体画像を表示出来るように、撮像装置のパラメータdx を制御するため、図2(b)において観察者が両眼融合できる条件を知っておく必要がある。 The present invention, when displaying a stereoscopic image in the stereoscopic image display apparatus, within which the observer can fuse the left and right images to be displaying a stereoscopic image, in order to control the parameters dx of the image pickup device, FIG. 2 (b should the observer to know the binocular fusion can condition in). 例えば図2(b)で、 In example FIG. 2 (b), the
点Pの位置を観察者が注視しているとする。 The position of the point P observer to be watching. ここで、実際の画像は表示スクリーン12上に結像される。 Here, the actual image is imaged on the display screen 12. しかしながら、両眼の視線は点Pに向いている。 However, the line of sight of both eyes are oriented to point P. この様に近い点を見るために両眼を内転することを輻輳眼球運動、P Congestion eye movement that adduction of both eyes in order to see the point close in this manner, P
点を輻輳点というが、この輻輳眼球運動は、眼のピント情報と点Pの網膜投影位置情報を用いて制御されている。 Refers to an point and point of convergence, the convergence eye movement is controlled using a retinal projection position information of the focus information and the point P of the eye.

【0028】この場合、ピント情報と網膜情報は矛盾しているため、観察者側に負担がかかる。 [0028] In this case, since the focus information and the retina information is contradictory, it takes the burden on the viewer's side. この矛盾が小さな範囲ならば観察者は許容できるが、矛盾が大きくなると、観察者は左右の画像をひとつの画像として融合できなくなり、ついには二重像の知覚になってしまう。 This contradiction observer if a small range is acceptable, the inconsistency increases, the viewer will not be able to fuse the left and right images as a single image, eventually becomes the perception of double image. 二重像の知覚にならなくても、視覚系に負担がかかり、疲労を招く。 May not be the perception of a double image, it takes a burden on the visual system, leading to fatigue. この眼のピント位置(調節という)と、網膜投影位置による輻輳点の位置(輻輳という)の許容範囲を測定した結果がある(日経エレクトリニクスvol.444,p205-214(1 This focus position of the eye (as adjusted), there is a result of measuring the allowable range of the position (called congestion) congestion point by retinal projection position (Nikkei Electrically Nix vol.444, p205-214 (1
988))より)。 988)) than). これを図3に示す。 This is shown in Figure 3. 横軸の輻輳は、両眼の視線の交点と観察者の距離、縦軸の調節は、眼球の水晶体のピントを合わせている位置と観察者の距離(単位はD、ジオプタで、距離の逆数)である。 Congestion on the horizontal axis, the distance of the intersection point between the observer's both eyes gaze, adjustment of vertical axis, the distance of position and observer to focus the lens of the eye (unit D, in diopters, the reciprocal of the distance ) it is. 右上がりの4 Rising to the right 4
5度の直線上が、輻輳と調節の一致する条件であり、斜線部は眼の焦点深度内の許容範囲、αは画像を0.5秒表示したときの融合限界線である。 5 ° straight line is the matching condition adjusting the congestion, the hatched portion is the allowable range of the depth of focus of the eye, alpha is a fusion limit line in displaying the image 0.5 seconds. この上下の融合限界線の間の領域では、観察者は立体画像を融合でき、2重像になることはない。 In the area between the upper and lower fusing limit line, the viewer can fuse the stereoscopic image, it does not become a double image. そこで図2のdx を、この融合可能な領域に全ての立体画像が再現される様な条件でかつ、なるべく大きな値を持つように制御して撮像する。 Therefore the dx in Figure 2, and a such condition all of the three-dimensional image is reproduced in the fusible region is controlled to imaging to have as large a value as possible.

【0029】まず、初期値としてdx =∽(十分大きな値)とする。 Firstly, the initial value dx = ∽ (sufficiently large value). 図1において、視差計算部15は信号処理部14a,bの出力である左右眼用の画像から、視差地図(3次元地図)を計算する。 In Figure 1, the parallax calculation section 15 signal processing section 14a, the image for the right and left eyes is the output of b, computing a parallax map (three-dimensional map). 計算方法は左右画像の輝度パターンの相関を計算する相関マッチング法や左右画像のエッジ情報のマッチングを行う方法等、多くの方法が提案されているが、ここでは例として輝度パターンの相関を計算する相関マッチング法を用いる方法を説明する。 Calculation method for performing matching edge information of the correlation matching method or the left and right images to calculate the correlation of the luminance pattern of the left and right images, many methods have been proposed, wherein the calculating the correlation of the luminance pattern as an example a method using a correlation matching method will be described. 図4を用いて視差計算部15の詳細な動作を説明する。 Explaining the detailed operation of the parallax calculation section 15 with reference to FIG. 図4において、大きさN×Mの左右画像を考える。 4, consider the left and right images of size N × M.
左画像でn×n画素(図では3×3画素)のブロック窓を考える。 (In FIG. 3 × 3 pixels) n × n pixels in the left image considering the block window. このブロック窓と同じ画像を右画像で同じサイズの窓を用いて探し、この時の左右のブロック位置のずれを示すベクトル(Δx,Δy)の水平成分Δxが、 Looking with windows of the same size the same image as the block window in the right image, the horizontal component [Delta] x of the vector indicating the displacement of the block positions of the left and right when the ([Delta] x, [Delta] y) is,
そのブロック窓の中心座標での左右画像の両眼視差となる。 The binocular parallax of the left and right images at the center coordinates of the block window. 基準となる左画像のブロック窓の位置を全画面に渡って平行移動し、全ての場合において右画像の対応するブロックの位置(両眼視差)を求めれば、画面全体の視差地図(画面の各場所での奥行き距離を示したもの)が求められる。 The position of the block window of the left image as a reference is translated over the entire screen, by obtaining the position of the corresponding block in the right image in all cases (binocular parallax), the disparity map (the screen of the entire screen It shows the depth distance of a place) can be obtained. ここで画像の座標(x,y)における左右画像のずれ、即ち両眼視差(Δx,Δy)は、(数3) Wherein the image coordinates (x, y) the deviation of the left and right images in, that the binocular disparity ([Delta] x, [Delta] y) is (the number 3)
で示される。 In shown.

【0030】 [0030]

【数3】 [Number 3]

【0031】ここで、 [0031] In this case,

【0032】 [0032]

【数4】 [Number 4]

【0033】である。 [0033] a. ただし(数3)のΣは、n×nのブロック窓内について座標xk,ykを変化させて絶対値内の総和をとることを示す。 However Σ of equation (3) is the coordinates xk for the block in the window of n × n, indicating that the total sum of the absolute value by changing the yk. Nはブロック窓内の画素数である。 N is the number of pixels in the block window. 両眼視差Δx,Δyの内、奥行き位置を直接示すのはΔxである。 Binocular disparity [Delta] x, of the [Delta] y, indicate the depth position directly is [Delta] x. 左画像を基準とした場合、両眼視差の値が正の時は、基準画像に対して右画像は右側、左画像は左側に位置し、両眼視差0の奥行き位置より奥側を示し、両眼視差の値が負の時は両眼視差0の奥行き位置より手前側に被写体が存在することを示す。 If relative to the left image, when the value of the binocular parallax is positive, the right image to the reference image the right, the left image is located on the left side shows the back side of the depth position of the binocular disparity 0, when the value of the binocular parallax is negative it indicates that the subject on the front side of the depth position of the binocular disparity 0 are present.

【0034】以上の様にして得られた視差地図(画面全体について各座標における視差Δxを計算したもの)を元にして、視差処理部16は、画像全体の視差の最小値(最も観察者に近い位置に再生される被写体の視差)を抽出し、これをΔxmin とする。 The above in parallax map thus obtained (for the entire screen that calculated parallax Δx at each coordinate) as based on the parallax processing section 16, the minimum value of the parallax of the entire image (the most viewer extracting parallax) of the object to be reproduced close, this is a Derutaxmin. 次に、Δxmin を元にして、図5に示した立体画像表示における立体画像の奥行き再生位置Ypminは奥行き表示位置計算部17により計算されるが、計算式は(数5)で示される。 Then, based on the Derutaxmin, although the depth reproduction position Ypmin of the stereoscopic image in the stereoscopic image display shown in FIG. 5 are calculated by the depth display position calculator 17, the calculation formula is represented by (Equation 5).

【0035】 [0035]

【数5】 [Number 5]

【0036】Ypminは表示座標系の原点から注目している被写体の位置までの距離のY座標を表す。 [0036] Ypmin represents the Y coordinate of the distance to the position of the object of interest from the origin of the display coordinate system. ここで、図5は図2(b)の表示モデルに図3の観察者の両眼融合範囲を重ねて書いた物である。 Here, FIG. 5 is one in which wrote overlapping binocular fusion range of the viewer in FIG. 3 on a display model of FIG. 2 (b). 斜線部分は観察者の両眼融合可能領域である。 Hatched portion is a binocular fusible region of the viewer.

【0037】ここでF(ds)minは、図3において下側の曲線で与えられる。 [0037] Here, F (ds) min is given by the lower curve in FIG. たとえば、スクリーンまでの視距離ds =71cmの時、F(ds)min=29cmとなり、観察者は無限遠から29cmのところまでの範囲内で両眼融合可能である。 For example, when the viewing distance ds = 71cm to the screen, F (ds) min = 29cm, and the observer can be binocular fusion in the range of up to the infinity 29cm. 図3より、視距離が71cm以上の時には観察者は、無限遠からF(ds)minの範囲まで両眼融合可能である。 Than 3, the viewer when the viewing distance is more than 71cm, it is possible binocular fusion to a range of infinity to F (ds) min. 視距離が71cm以下の場合には、図3の上側の曲線も両眼融合範囲を制限し、F(d If the viewing distance is less than 71cm also limits the binocular fusing range upper curve in FIG. 3, F (d
s)max〜F(ds)minまでの距離が両眼融合範囲となる。 s) max~F (ds) distance to the min is binocular fusing range. 以下では、視距離が71cm以上の場合について説明する。 In the following, the viewing distance is described for the case of more than 71cm. ここで、Ypminが、両眼融合範囲の境界にあるかどうかを融合範囲確認部17が判断する。 Here, Ypmin Whether the fusion range confirmation unit 17 determines the boundary of the binocular fusing range. 判断の基準は、(数6)が成立するかどうかを評価する。 Criteria evaluates whether established (6).

【0038】 [0038]

【数6】 [6]

【0039】ここで、ΔFは任意の小さな値である。 [0039] In this case, ΔF is an arbitrary small value.
(数6)が成立する場合には、立体画像の再生表示位置は両眼融合範囲内にあるので、融合範囲確認部18は輻輳角制御部19に現在のdx の値をそのまま輻輳角制御部19に出力する。 If (6) is satisfied, since the reproduction display position of the stereoscopic image is within the binocular fusing range, the fusing range confirmation unit 18 as convergence angle control unit the current value of dx the convergence angle control unit 19 and outputs it to the 19. また、Ypminが、(数7)を満たす場合、Ypminの再生表示位置は両眼融合範囲内に完全に入っているため、融合範囲確認部18は現在のdxにΔ Further, Ypmin is if it satisfies the equation (7), since the reproduction display position of Ypmin is fully within the binocular fusing range, the fusing range checking unit 18 to the current dx delta
dxだけ加算した値を新たなdxとして輻輳角制御部19 dx only convergence angle control unit 19 the added value as a new dx
に出力する。 And outputs it to.

【0040】 [0040]

【数7】 [Equation 7]

【0041】但し、後述のθ(図6参照)が0に近くなれば、後述のカメラ光軸角度θはほとんど変化しないので、dx は更新しなくてもよい。 [0041] However, if close to theta (see FIG. 6) is 0 will be described later, does not substantially change the camera optical axis angle theta below, dx may not be updated. また、図5に示すように、Ypminが(数8)を満たす場合には、Ypminに再生された画像は観察者にとって両眼融合できない画像である。 Further, as shown in FIG. 5, when the Ypmin satisfies equation (8) is reproduced image in Ypmin is an image that can not be binocular fusion to the viewer.

【0042】 [0042]

【数8】 [Equation 8]

【0043】この場合、現在のdxからΔdxだけ減算してこれを新たなdxとする。 [0043] In this case, it is subtracted only Δdx from the current dx to a new dx. このdxからΔFを減算した値が、dx0(後述、>0)よりも小さい場合には、dx0 The value obtained by subtracting ΔF from the dx is, dx0 (described later,> 0) is smaller than the, dx0
を新たなdxとする。 It is referred to as the new dx. ここで、dx0 の計算について説明する。 Here will be described the calculation of dx0. 融合範囲確認部18は、Ypminのy座標を、図5 Fusing range checking unit 18, the y-coordinate of Ypmin, 5
のF(ds)minにする条件でのdxをdx0として計算する。 The F (ds) dx in conditions that min calculated as dx0. dxの計算式は(数5)と(数2)により、ΔSを消去し、Yp=F(ds)minとし、更にdxで解くと得られ、(数9)となる。 Formula for dx by (5) and (Equation 2), erases the [Delta] S, and Yp = F (ds) min, further obtained and solved by dx, the (9).

【0044】 [0044]

【数9】 [Equation 9]

【0045】この様にして得られるdxを用いて、輻輳角制御部19は回転制御部4a,4bを制御し、カメラ本体3a,3bが図(a)に示した輻輳点にカメラの光軸が向くように制御する。 [0045] Using the dx obtained in this way, the convergence angle control unit 19 controls the rotation control unit 4a, 4b, camera 3a, 3b camera optical axis to the convergence point shown in FIG. (A) It is controlled so as to face. この時のカメラの制御角度θの定義を図6(a)に示す。 The definition of the control angle θ at this time of the camera shown in Figure 6 (a). θ=0の時、2台のカメラの光軸は平行となる。 When theta = 0, the optical axes of the two cameras are parallel. ここで、dxの更新はΔdxずつとしたが、(数8)の条件の場合、(数9)で示されるdx_0 Here, the update of dx is set to one by Derutadx, if the condition (8), represented by equation (9) Dx_0
の値をdxに直接代入しても良い。 Value may be directly substituted into dx of. また、dxを制御する代わりに、(数8)が成立する場合のみ、カメラ間隔W Further, instead of controlling the dx, only when established (8), a camera distance W
cをWc−△Wc(△Wcは任意の小さな値)に変化させ、 c The Wc- △ Wc (△ Wc small values ​​any) is changed to,
(数6)が成立するまで、これを繰り返してもよい。 Until the (number 6) is established, it may be repeated this.

【0046】以上の様にすれば、被写体の、観察者から最も近い点Ypminが融合範囲の限界近点であるF(d [0046] If above, an object closest point Ypmin from the observer is a point near the limit of the fusing range F (d
s)minになるように制御される。 s) is controlled to the min. この時、Ypminが、カメラ本体3a,3bの光軸が平行になる条件で両眼融合範囲にある場合には、2台のカメラの光軸は平行に保たれる。 When this, Ypmin is, when the camera body 3a, under the condition that the optical axis is parallel to the 3b in binocular fusing range, the optical axes of the two cameras are kept parallel.

【0047】以上の様に、本実施例によれば、撮像画面の視差を計算し、これの最小値を観察者の融合範囲内に再現するように立体撮像カメラの光軸を制御することにより、再生表示された立体画像を観察者が最も広い範囲で融合できる画像を撮像することができる。 [0047] As described above, according to this embodiment, by then calculating the parallax of the image screen, and controls the optical axes of the stereoscopic imaging camera to reproduce the minimum value of which within the fusion range of the viewer , it is possible to capture an image that can be fused in the broadest range observer stereoscopic image reproduced displayed.

【0048】また、第1の実施例の図6(b)で、θ= [0048] Further, in FIG. 6 (b) of the first embodiment, theta =
0近辺ではdx の変化範囲が大きいので、dxがdx_∽ 0 because there is a large range of variation of dx is in the vicinity, dx is dx_∽
のところで、θを0にしてもよい。 In place of, the θ may be set to 0. この時dxの初期値はdx_∽にする。 The initial value of this time dx is to dx_∽. また、図6(b)の曲線を直線近似してもよい。 Moreover, the curve shown in FIG. 6 (b) may be linearly approximated. また、(数6)〜(数8)の条件判断式において、Ypmin にオフセットYp_offを加算し、判断条件をY軸方向にシフトしてYpminの位置が融合範囲内(斜線領域)内に入るように調節してもよい。 Further, in equation (6) condition determination expression through (8), by adding an offset Yp_off to Ypmin, so that the position of Ypmin is within the fusion range (hatched region) by shifting the judgment condition in the Y-axis direction it may be adjusted to.

【0049】図7は、本発明にかかる第2の実施例の立体画像撮像装置の構成図である。 [0049] Figure 7 is a block diagram of a stereoscopic image pickup apparatus of the second embodiment according to the present invention. 図7において、1,2 7, 1, 2
はレンズ、3a,3bはカメラ本体、4a,4bは回転制御部、5はカメラ間隔制御部、17は観察者に最も近い被写体の空間位置を計算する奥行き表示位置計算部、19 Rotation control unit lens, 3a, 3b denotes a camera body, 4a, the 4b, 5 camera interval control unit, 17 a depth display position calculator for calculating a spatial position of the closest object to the observer, 19
は観察者に最も近い被写体の空間位置が観察者の融合範囲内に入るように回転制御部4a,4bを制御する輻輳角制御部であり、これらは従来の技術と同様な物である。 Is a convergence angle control unit for controlling the rotation control unit 4a, 4b as the spatial position of the closest object to the observer is within the fusion range of the viewer, they are the ones similar to the prior art.
本発明の第1の実施例と異なる点は、奥行き表示位置計算部17の入力を、最も近い被写体の座標x0,y0を直接用いている点と、観察者に最も近い被写体の空間位置を観察者の融合範囲内入れるためのdxの値を計算する融合範囲決定部20が用いられている点である。 Differs from the first embodiment of the present invention, observing the input of the depth display position calculator 17, and that it uses the coordinates x0, y0 nearest object directly, the spatial position of the closest object to the observer the value of dx for containing the fusion range calculating a fusing range determiner 20 is the point which is used for business.

【0050】以上の様に構成された第2の実施例の立体画像撮像装置について、以下その動作を説明する。 [0050] The stereoscopic image pickup apparatus of the second embodiment constructed as described above, operation is described below.

【0051】図2(a)の撮像条件において、被写体の内、最もカメラから近い距離にある点の座標をN(x [0051] In the imaging condition of FIG. 2 (a), of the subject, the coordinates of a point from the most camera close distance N (x
0,y0,z0 )とする。 0, y0, z0) to. 撮影者はこの距離を撮影前に測定し、x0,y0を奥行き表示位置計算部17に入力する。 Photographer measures this distance before shooting inputs x0, y0 the depth display position calculator 17. 入力方法は、計算機のキーボードのようなもの等、 Input methods are those such as computer keyboards,
数値データを入力できる物なら何でもよい。 Anything good if the ones in which you can enter the numerical data. これを元にして、奥行き表示位置計算部17は、図2(b)における立体画像再生表示座標系における点Nの表示位置のY This was based on the depth display position calculator 17, Y of the display position of the point N in the stereoscopic image reproduction display coordinate system in FIG. 2 (b)
座標を計算する。 To calculate the coordinates. 計算式は(数10)で示される。 Formula is represented by the equation (10).

【0052】 [0052]

【数10】 [Number 10]

【0053】ここで(数10)のΔSは、本発明の第1 [0053] ΔS here (number 10), the first of the present invention
の実施例と同様に、(数2)によって決定される。 Similar to the embodiment, is determined by the equation (2). ここで最初はdx=∽(2台のカメラ光軸が平行条件)条件でYpminを計算する。 Here first dx = ∽ (2 cameras optical axes parallel condition) calculating the Ypmin the condition. 次に、このYpmin を用いて、融合範囲決定部20は、実際のカメラの輻輳点dxを決定する。 Next, using this Ypmin, fusing range determiner 20 determines the convergence point dx a real camera. 決定方法は、もし(数11)が満足されれば、d Determination method, if if (number 11) is satisfied, d
x=∽(十分大きな値)とし、そうで無ければ数9で示されるdx_0 を計算し、これを新たなdxとする。 x = a ∽ (sufficiently large value), to calculate the dx_0 represented by the number 9 Otherwise, this as new dx.

【0054】 [0054]

【数11】 [Number 11]

【0055】このようにして得られたdx を元にして、 [0055] based on the dx obtained in this way,
輻輳角制御部19は2台のカメラの光軸の角度θを計算する。 Convergence angle control unit 19 calculates the angle θ of the optical axis of the two cameras. θは図6に示した物と同じである。 θ is the same as that shown in FIG. この様にして決定されたθの値になるように、回転制御部4a,4bはカメラの光軸を制御する。 So that the value of θ determined in this manner, the rotation control unit 4a, 4b controls the optical axis of the camera.

【0056】以上の様に、本実施例によれば、カメラから最も近い被写体の位置を入力として、観察者の融合範囲内にこれを再現するような輻輳点dx を決定し、これに合わせて立体撮像カメラの光軸を制御することにより、再生表示された立体画像を観察者が最も広い範囲で融合できる画像を撮像することができる。 [0056] As described above, according to this embodiment, as the input position of the nearest object from the camera, to determine the convergence point dx as to reproduce it in the fusing range of a viewer, in accordance with this by controlling the optical axis of the three-dimensional imaging camera can capture an image that can be fused in the broadest range observer stereoscopic image reproduced displayed.

【0057】ここで本発明の第2の実施例において、撮影者が奥行き表示位置計算部17に、x0,y0を直接入力したが、これは超音波センサ等の距離測定装置を用いて自動的に入力しても良い。 [0057] In a second embodiment of the present invention where the photographer depth display position calculator 17 has been entered the x0, y0 directly, which automatically using the distance measuring device such as an ultrasonic sensor it may be input to. また、x0=一定の条件に固定して、y0の値のみ入力しても良い。 Furthermore, x0 = fixed to certain conditions, may be input only the value of y0.

【0058】図8は、本発明にかかる第3の実施例の立体画像撮像装置の構成図である。 [0058] Figure 8 is a block diagram of a stereoscopic image pickup apparatus of the third embodiment according to the present invention. ブロック構成は図1と同じである。 Block configuration is the same as FIG. 図8において、1,2はレンズ、3a,3b 8, the lens 1, 2, 3a, 3b
はカメラ本体、4a,4bは回転制御部、5はカメラ間隔制御部、14a,14bはカメラ本体からの信号を輝度信号に変換する信号処理部、15は左右の画像から水平視差を計算する視差計算部、16は最大の視差を検出する視差処理部、17は観察者に最も遠い被写体の空間位置を計算する奥行き表示位置計算部、18は観察者に最も遠い被写体の空間位置が観察者の融合範囲内にあるかどうかをチェックする融合範囲確認部である。 Camera, 4a, 4b are rotation control unit, the signal processing unit 5 is the camera interval control unit, 14a, 14b is to convert the signal from the camera body into a luminance signal, parallax 15 to calculate the horizontal parallax from left and right images calculation unit, 16 parallax processor for detecting the maximum disparity, 17 the depth display position calculator for calculating a spatial position of the farthest object to the observer, 18 is the spatial position of the farthest object to the observer observer it is a fusion range confirmation unit to check whether there is within the fusion range. 19は観察者に最も遠い被写体の空間位置が観察者の融合範囲内に入るように回転制御部4a,4bを制御する輻輳角制御部である。 19 is a convergence angle control unit for controlling rotation control section 4a, and 4b as the spatial position of the farthest object to the observer is within the fusion range of the viewer.

【0059】第1の実施例と異なる点は、視差処理部1 [0059] The difference from the first embodiment, the disparity processing unit 1
6が視差の最大値を計算する点と、奥行き表示位置計算部17が観察者に最も遠い被写体の空間位置を計算する点と、融合範囲確認部18が観察者に最も遠い被写体の空間位置が観察者の融合範囲内にあるかどうかをチェックする点である。 And that 6 calculates the maximum value of the disparity, and that the depth display position calculator 17 calculates the spatial position of the farthest object to the observer, the fusing range checking unit 18 the spatial position of the farthest object to the observer is a point to check whether there is within the fusing range of the viewer. 第1の実施例では、視差の最小値、最も近い被写体について制御した。 In the first embodiment, the minimum value of the parallax, and the control for the nearest object.

【0060】以上の様に構成された第3の実施例の立体画像撮像装置について、以下その動作を説明する。 [0060] The stereoscopic image pickup apparatus of the third embodiment constructed as described above, operation is described below.

【0061】本発明の第1、2の実施例では、観察者の視距離ds >71cmの場合であり、両眼融合範囲は∽ [0061] In the first and second embodiment of the present invention is the case of the observer viewing distance ds> 71cm, binocular fusion range ∽
〜F(ds)minであり、F(ds)min を観察者の両眼融合範囲に入るようにdsを制御した。 A to F (ds) min, was controlled ds to enter the binocular fusional range of the viewer to F (ds) min. ここで、ds<71 Here, ds <71
cmの場合には前述の通り、F(ds)max〜F(ds)m As described above in the case of cm, F (ds) max~F (ds) m
inまでの距離が両眼融合範囲となり、F(ds)minを融合範囲に入れるように制御するためには、本発明の第1 Distance to the in becomes binocular fusion range, in order to control to put F a (ds) min in the fusion range, first of the present invention 1
の実施例と同じ動作でよいが、本発明の第3の実施例では、F(ds)maxを両眼融合範囲に入れるように制御する。 May the same operation as in Example, in the third embodiment of the present invention, to control F a (ds) max to take into binocular fusing range.

【0062】まず、初期値としてdx =∽(十分大きな値)とする。 [0062] First, an initial value dx = ∽ (sufficiently large value). 次に、本発明の第1の実施例と同様に、カメラ本体3a,3b、信号処理部14a,14bにより得られた画像信号を用いて、視差計算部15は視差地図を計算する。 Then, as in the first embodiment of the present invention, the camera body 3a, 3b, the signal processing section 14a, by using the image signal obtained by 14b, the parallax calculating unit 15 calculates the parallax map. 計算の方法は本発明の第1の実施例と全く同じである。 The method of calculation is identical to that of the first embodiment of the present invention. この視差地図をもとに、視差処理部16は、視差の最大値Δxmax (カメラから最も遠い距離にある被写体の視差)を計算する。 The disparity map based on the parallax processing section 16 calculates a maximum value Δxmax parallax (parallax of the subject in the farthest distance from the camera). 次に奥行き表示位置計算部1 Then the depth display position calculator 1
7は、(数5)を用いて、最も遠い位置にある被写体が再生表示される位置を計算する。 7, using the equation (5), calculates the position of the subject is reproduced and displayed at the farthest. 座標系は図2(b)に示す立体画像表示座標系と同じ物である。 Coordinate system is the same as the three-dimensional image display coordinate system shown in FIG. 2 (b). ここで、図9 Here, FIG. 9
は図2(b)の表示モデルに図3の観察者の両眼融合範囲を重ねて書いた物である。 Are the ones written superimposed binocular fusion range of the viewer in FIG. 3 on a display model of FIG. 2 (b). 斜線部分は観察者の両眼融合可能領域である。 Hatched portion is a binocular fusible region of the viewer. ここでF(ds)maxは、図3において上側の曲線で与えられる。 Here F (ds) max is given by the upper curve in FIG.

【0063】この時、融合範囲確認部18は、Ypmaxの値と観察者の遠点の両眼融合限界点F(ds)maxの値の関係より、(数12)の関係が満たされる場合には、立体画像の再生表示位置は両眼融合範囲内にあるので、融合範囲確認部18は現在のdxの値をそのまま輻輳角制御部19に出力する。 [0063] At this time, the fusing range checking unit 18, from the relationship between the value of the binocular fusion limit point F (ds) max of the observer's far point to the value of Ypmax, when it is satisfied the relationship of equation (12) the reproduction display position of the stereoscopic image since in binocular fusing range, the fusing range checking unit 18 outputs the value of the current dx as the convergence angle control unit 19.

【0064】 [0064]

【数12】 [Number 12]

【0065】また、Ypmaxが(数13)を満たす場合、 [0065] In addition, if the Ypmax satisfies the (number 13),

【0066】 [0066]

【数13】 [Number 13]

【0067】Ypmax の再生表示位置は両眼融合範囲内に完全に入っているため、現在のdxからΔdx だけ減算してこれを新たなdxとする。 [0067] Since the reproduction display position of Ypmax is fully within the binocular fusing range, it is subtracted by Δdx from the current dx as a new dx. このdxからΔFを減算した値が、dx1(後述、>0)よりも小さい場合には、 The value obtained by subtracting ΔF from the dx is, dx1 (described later,> 0) is smaller than the
dx1を新たなdxとする。 As a new dx the dx1.

【0068】ここで、dx1の計算について説明する。 [0068] Here, a description will be given of the calculation of the dx1. 融合範囲確認部18は、Ypmaxのy座標を、図9のF(d Fusing range checking unit 18, the y-coordinate of Ypmax, F in FIG. 9 (d
s)max にする条件でのdxをdx1として計算する。 s) to calculate the dx in the conditions to max as dx1. dxの計算式は本発明の第1の実施例と同じように、(数5) Formula for dx is the same as the first embodiment of the present invention, (5)
と(数2)により、ΔSを消去し、Yp=F(ds)min By the equation (2), erases the ΔS, Yp = F (ds) min
とし、更にdxで解くと得られ、(数14)となる。 And then, further obtained and solved by dx, the (number 14).

【0069】 [0069]

【数14】 [Number 14]

【0070】また、図9に示すようにYpmaxが、(数1 [0070] Further, the Ypmax as shown in FIG. 9, (number 1
5)を満たす場合には、Ypmaxに再生された画像は観察者にとって両眼融合できない画像である。 When satisfying 5), the image reproduced on Ypmax is an image that can not be binocular fusion to the viewer.

【0071】 [0071]

【数15】 [Number 15]

【0072】この場合、融合範囲確認部18は現在のd [0072] In this case, the fusion range checking unit 18 is currently d
xにΔdxだけ加算した値を新たなdxとして輻輳角制御部19に出力する。 The value obtained by adding Δdx the x outputs the convergence angle control unit 19 as a new dx. 但し、後述のθ(図6)が0に近くなれば、後述のカメラ光軸角度θはほとんど変化しないので、dx は更新しなくてもよい。 However, if close to theta (FIG. 6) is 0 will be described later, does not substantially change the camera optical axis angle theta below, dx may not be updated.

【0073】この様にして得られるdxを用いて、輻輳角制御部19は、回転制御部4a,4bを制御し、カメラ本体3a,3b が図2(a)に示した輻輳点にカメラの光軸が向くように制御する。 [0073] Using the dx obtained in this way, the convergence angle control unit 19, the rotation control unit 4a, and controls the 4b, camera 3a, 3b of the camera congestion points shown in FIGS. 2 (a) controlled so as to face the optical axis. この時のカメラの制御角度θの定義は本発明の第1の実施例の図6(a)と同じであり、θ=0の時、2台のカメラの光軸は平行となる。 Definition of the control angle theta at this time of the camera is the same as FIG. 6 of the first embodiment of the present invention (a), when the theta = 0, the optical axes of the two cameras are parallel.
ここで、dxの更新はΔdxずつとしたが、(数15)の条件の場合、(数14)で示されるdx_1の値をdxに直接代入しても良い。 Here, the updating of dx was by Derutadx, if the condition of equation (15) may be directly substituted values ​​of dx_1 represented by equation (14) dx.

【0074】以上の様にすれば、被写体の、観察者から最も遠い点Ypmaxが融合範囲の限界遠点であるF(d [0074] If above, an object, point farthest Ypmax from the observer is the point far limit of the fusing range F (d
s)maxになるように制御される。 s) is controlled so as to be max. この時、Ypmaxが、カメラ本体3a,3bの光軸が平行になる条件でも両眼融合範囲にない場合には、2台のカメラの光軸は平行のまま保たれる。 When this, Ypmax is, when not in binocular fusing range in conditions where the camera body 3a, the optical axis of the 3b are parallel, the optical axes of the two cameras are kept remain parallel. また、dxを制御する代わりに、(数15) Further, instead of controlling the dx, (number 15)
が成立する場合のみ、カメラ間隔WcをWc−△Wc(△ If it is to be established only, the camera interval Wc Wc- △ Wc (△
Wcは任意の小さな値)に変化させ、(数12)が成立するまで、これを繰り返してもよい。 Wc is varied to a small value) any, (up to several 12) is satisfied, it may be repeated.

【0075】以上の様に、本実施例によれば、撮像画面の視差を計算し、これの最大値を観察者の融合範囲内に再現するように立体撮像カメラの光軸を制御することにより、再生表示された立体画像を観察者が広い範囲で融合できる画像を撮像することができる。 [0075] As described above, according to this embodiment, by then calculating the parallax of the image screen, and controls the optical axes of the stereoscopic imaging camera to reproduce the maximum value of which within the fusion range of the viewer , it is possible to capture an image that can be fused in the observer a wide range stereoscopic image reproduced displayed.

【0076】また、本発明の第1〜第3の実施例において、視差計算部15の出力は被写体の状態によっては雑音が混入するため、視差計算部15の出力に時空間低域通過フィルタを施して雑音を低減しても良いし、2台のカメラの制御はゆっくりでよいため、急激な動作を防ぐため、視差処理部16の出力Δxmin または融合範囲確認部18の出力dxや融合範囲決定部20の出力dxに、 [0076] Further, in the first to third embodiments of the present invention, since the output of the parallax calculation section 15 that the noise is mixed in the state of the object, space-time low-pass filter to the output of the parallax calculation section 15 may be reduced noise by performing, for it is the control of the two cameras slowly, to prevent abrupt operation, the output dx and fusion range determination output Δxmin or fusing range checking unit 18 of the parallax processing section 16 the output dx parts 20,
時間方向の低域通過フィルタを施しても良い。 It may be subjected to a low-pass filter in the time direction.

【0077】図10は、本発明にかかる第4の実施例の立体画像表示装置の構成図を示すものである。 [0077] Figure 10 shows a block diagram of a stereoscopic image display device of the fourth embodiment according to the present invention. 図10において、29は視差計算部、30は注視点計算部、31 10, 29 parallax calculator, 30 is gazing point calculation unit, 31
は視差制御部、32は画像表示部である。 The parallax control unit, 32 denotes an image display unit.

【0078】以上のように構成された本実施例の立体画像表示部について、以下その動作を説明する。 [0078] The stereoscopic image display unit of this embodiment constructed as described above, operation is described below. まず、視差計算部29は左右眼用の画像から、視差地図(3次元地図)を計算する。 First, the parallax calculating unit 29 from the image for the right and left eyes, to compute the disparity map (three-dimensional map). 計算方法は前述の本発明の第1の実施例と同様であり、左右画像の輝度パターンの相関を計算する相関マッチング法等を用いる。 Calculation method is the same as in the first embodiment of the invention described above, use of the correlation matching method or the like to calculate the correlation of the luminance pattern of the left and right images. 即ち、図4において、左画像でn×n画素(図では3×3画素)のブロック窓を考え、このブロック窓と同じ画像を右画像で同じサイズの窓を用いて探し、この時の左右のブロック位置のずれ(Δx,Δy)の水平ずれ成分Δxが、そのブロック窓の中心座標での左右画像の両眼視差となる。 That is, in FIG. 4, consider a block window n × n pixels in the left image (3 × 3 pixels in the figure), looking using a window of the same size the same image as the block window in the right image, left and right when the horizontal shift component [Delta] x of the displacement of the block position ([Delta] x, [Delta] y) becomes the binocular parallax of the left and right images at the center coordinates of the block window. 基準となる左画像のブロック窓の位置を全画面に渡って平行移動し、全ての場合において右画像の対応するブロックの位置(両眼視差)を求めれば、画面全体の視差地図(画面の各場所での奥行き距離を示したもの)が求められる。 The position of the block window of the left image as a reference is translated over the entire screen, by obtaining the position of the corresponding block in the right image in all cases (binocular parallax), the disparity map (the screen of the entire screen It shows the depth distance of a place) can be obtained. 計算式は第1の実施例に示した、 Formula is shown in the first embodiment,

【0079】 [0079]

【数16】 [Number 16]

【0080】ここで、 [0080] In this case,

【0081】 [0081]

【数17】 [Number 17]

【0082】である。 [0082] a.

【0083】以上の様にして得られた視差地図(画面全体について各座標における視差Δxを計算したもの)を元にして、注視点計算部30は、画像全体の視差の平均値または画面中央部分に重みをかけた加重平均値Δxav [0083] or more (as calculated parallax Δx at each coordinate on the entire screen) disparity map obtained in the manner based on the fixation point calculator 30, the average value or the screen central portion of the parallax of the entire image the weighted average value multiplied by the weight to Δxav
e を算出する。 To calculate the e. 図11は画面の位置と重み係数の例である。 Figure 11 is an example of a position weight factor of the screen. 図11は単純に、画面の大きさX×Yの半分の大きさの領域の重み係数をK2、それ以外の係数をK1としたものである。 Figure 11 is simply the weight coefficient of half the size of a region of size X × Y screen K2, in which the coefficients other than it was K1. 領域の形は他の形、例えば円形でもかまわないし、周辺から中心に向かって連続的に重み係数を変化させてもよい。 The shape of the region other forms, for example, to may be a circular shape, may be changed continuously weighting factor toward the center from the periphery. この時平均値Δxaveは、(数1 In this case the average value Δxave is (number 1
8)となる。 8) and a.

【0084】 [0084]

【数18】 [Number 18]

【0085】但し K= K2(領域A)、K=K1(領域B)、 [0085] However K = K2 (region A), K = K1 (region B),
K1=K2の場合、画面全体の単純平均を取ることになる。 For K1 = K2, takes a simple average of the entire screen.

【0086】この、両眼視差の平均値Δxave を用いて、視差制御部31は、左右画像の水平読み出しタイミングを制御し、画像を水平方向に平行移動する。 [0086] This uses the average value Δxave binocular parallax, the parallax control unit 31 controls the horizontal read timing of the left and right images, moving parallel to the horizontal direction image. 図12 Figure 12
は、映像信号の水平走査期間を示した物である。 Are those showing a horizontal scanning period of the video signal. 点A Point A
L,ARはそれぞれ左画像、右画像における同一被写体の同一位置を示しているとする。 L, AR the left image, respectively, and show the same position of the same object in the right image. 前述の、位置Aでの両眼視差Δxを図中に示してある。 Described above, it is shown binocular parallax Δx at position A in FIG. この図に示すように、両眼視差の平均Δxave 分だけ、これをキャンセルする方向に右画像をシフトする(画像の水平読み出しタイミングをΔxave分ずらす)。 As shown in this Figure, only the average Δxave amount of binocular disparity, (shifting the horizontal read timing of the image Δxave min) to shift the right image in the direction of canceling this. この様にすれば、両眼視差がΔxaveの画像部分が画像表示部32の表示ディスプレイ表面に再生されることになる(左右画像の同一位置に再生される)。 If in this manner, the binocular parallax image portion Δxave is (are reproduced at the same position of the left and right images) it to become to be reproduced on the display the display surface of the image display unit 32. ここで画像全体を平行移動するが、図2 Here translating the entire image, but FIG. 2
0において前述した通り、これはLA,LBを動かすことに相当し、制御する両眼視差量が小さければ観察者はあまりこの変化に気づかない。 As described above at 0, which LA, equivalent to moving the LB, the observer when the binocular disparity amount is smaller to control not notice much this change. また、Δxave の値の変化が時間的に速すぎて、表示画面が頻繁に運動するときには、この信号に低域ろ波処理を行い、ゆっくりとした動きのみを用いて表示画像を制御しても良い。 In addition, it changes too fast temporal values ​​Derutaxave, when the display screen is moving frequently performs low-pass filtering process on this signal, and control the display image using only motion a slow good.

【0087】また、注視点計算部30は、画像全体の視差の平均値のかわりに、視差の最大値を計算し、これが正の値の時には、視差制御部31が画像表示部32の表示面上での左右画像のずれ量を、その最大値が観察者の両眼間隔(約65mm)を越えないように設定すれば、観察者の視線が平行より広がることがなくなり、表示画像を両眼融合範囲内になるように制御できる。 [0087] Further, the fixation point calculator 30, instead of the average value of the parallax of the entire image, calculate the maximum value of the disparity, which is at a positive value, the display surface of the parallax control unit 31 is an image display unit 32 the shift amount of the left and right images above, be set such that the maximum value does not exceed the observer's both eyes intervals (about 65 mm), the line of sight of the observer is no longer be spread from parallel, the display image binocular It can be controlled to be within the fusion range. 更に、注視点計算部30は、画像全体の視差の平均値のかわりに、 Furthermore, the gaze point calculation unit 30, instead of the average value of the disparity of the overall image,
視差の最小値を計算し、これが負の値の時には視差制御部31が画像表示部32の表示面上での左右画像のずれ量を、その最小値が、ある所定の大きさβ以下にならないように設定すれば、観察者の視点が非常に近い位置になり3次元画像表示面からの目のピント情報と視線の輻輳角の大きな不一致状態をなくすことが出来、観察者が表示画像を両眼融合しやすくなるように左右画像を制御できる。 Calculate the minimum value of the parallax, which is the shift amount of the left and right images of the parallax control unit 31 on the display surface of the image display unit 32 when a negative value, the minimum value, does not fall below a certain predetermined size β is set as the observer's point of view can be eliminated a large mismatch condition convergence angle of the eye focus information and line-of-sight from three-dimensional image display surface becomes very close, the viewer display image both It can be controlled right and left images so easily eye fusion.

【0088】また、表示画像のずらし量を、ΔxaveからΔxave−α(αは任意の値)に変更すれば、Δxave [0088] Further, the shift amount of the display image, by changing the Δxave-α (α arbitrary value) from Δxave, Δxave
が示す視差の部分をある一定の両眼視差値αに設定できる。 It can be set to a certain binocular disparity value α with the portion of the parallax shown. α=0の場合が画像ディスプレイ表面位置を示し、αの値によってこの位置が画像ディスプレイ表面に対して手前側もしくは後ろ側になる。 For alpha = 0 represents an image display surface position, this position is on the front side or the rear side of the image display surface by the value of alpha. この時、一画面で一つの両眼視差平均値を用いて制御したが、動画の場合、それぞれの画面(NTSC画像で1フレーム)での両眼視差平均値を求め、これを時系列データとし時間軸方向に低域ろ波した信号を用いて画像表示部を制御しても良い。 When this has been controlled using one of the binocular disparity average in one screen, when the moving image, obtains a binocular disparity average at each screen (one frame in the NTSC image), which was the time-series data it may control the image display unit with a low-filtered signal in the time axis direction.

【0089】また、第4の実施例では、右画像のみシフトしたが、右画像を制御すべき半分のずれ量だけシフトし、左画像をその反対方向に同じだけシフトしても良い。 [0089] In the fourth embodiment has been shifted only the right image, shifted by shift amount of half to be controlled the right image may be shifted by the same left image in the opposite direction. また、平均両眼視差のかわりに、中央値(メディアン処理フィルタ)を施しても良い。 Further, instead of the average binocular parallax may be subjected to median (median processing filter).

【0090】更に、本実施例では、水平視差によるずれΔxave を用いて表示画像を水平方向のみに制御したが、視差計算部29で計算される両眼視差Δyも用いてΔyave を計算し、垂直方向の画像読みだし位置も制御すれば垂直方向の視差を小さくした3次元画像を表示することが出来、更に観賞しやすい3次元画像になる(左右画像の垂直方向のずれは、観賞者の両眼融合機能に対して非常に大きな妨害となる)。 [0090] Further, in this embodiment, to control the display image only in the horizontal direction by using the shift Δxave by the horizontal parallax, also Δyave calculated using binocular parallax Δy calculated by the parallax calculating section 29, a vertical position reading direction of the image can also be displayed three-dimensional image having a small vertical parallax is controlled, vertical displacement of which become more ornamental easy three-dimensional image (the left and right images, both of the viewer a very large disturbance to the eye fusion function).

【0091】以上の様に、本実施例によれば、両眼視差の平均値(おそらく視差地図の中心付近の奥行き位置) [0091] As described above, according to this embodiment, the average value of the binocular parallax (perhaps depth position near the center of the disparity map)
が示す立体画像を表示ディスプレイ表面上もしくは所定の位置に制御でき、常に、観察者が最も広い範囲で被写体の奥行き世界を知覚可能になる。 Can be controlled on the display the display surface or on a predetermined position of the three-dimensional image shown is always the observer becomes perceptible depth world object in the broadest range.

【0092】図13は、本発明にかかる第5の実施例の立体画像表示装置の構成図である。 [0092] Figure 13 is a configuration diagram of a stereoscopic image display device of the fifth embodiment according to the present invention. 図13において、2 13, 2
9は視差計算部、31は視差制御部、32は画像表示部であり、これらは本発明の図10のものと同じ物である。 9 parallax calculator, 31 is the parallax control unit, 32 denotes an image display unit, which are the same as those in FIG. 10 of the present invention. 図10の構成と異なるのは視線センサ部33、視線検出部34、注視点判定部35により表示画像の観察者が見ている画像の場所を示す視線を測定する機能と、視差計算部29の出力と観察者の視線情報を用いて両眼視差量を制御量計算部36により制御する機能を付加した点である。 Configuration is different from the line-of-sight sensor unit 33 of FIG. 10, the line-of-sight detection section 34, a function of measuring the vision that indicates the location of the image being viewed by the observer of the displayed image by the gaze point determination unit 35, the parallax calculation section 29 a point obtained by adding the function of controlling the control amount calculating section 36 binocular parallax amount using the sight line information and output the observer.

【0093】以上の様に構成された第5の実施例の立体画像表示装置について、以下その動作を説明する。 [0093] The stereoscopic image display device of the fifth embodiment constructed as described above, operation is described below.

【0094】まず、本発明の第4の実施例と同様に、視差計算部29は左右眼用の画像から、視差地図(3次元地図)を計算する。 [0094] First, similarly to the fourth embodiment of the present invention, the parallax calculating unit 29 from the image for the right and left eyes, to compute the disparity map (three-dimensional map). 計算方法については、第4の実施例と同じ物でよく、例えば図4で示す様なアルゴリズムの、左右画像の輝度パターンの相関を計算する相関マッチング法を用いることが出来る。 For calculation method, well the same as the fourth embodiment, for example, algorithms such as shown in Figure 4, the correlation matching method of calculating the correlation of the luminance pattern of the left and right images may be used. 以上の様にして得られた視差地図(画面全体について各座標における視差Δx Parallax Δx at each coordinate on global disparity map (screen obtained as described above
を計算したもの)と、画像表示部32の表示面において観察者の見ている場所(注視点)を入力として制御量計算部36は、視差制御部31の入力信号である左右画像の水平読み出しタイミングのずれ量を計算する。 And those calculated), the control amount calculation unit 36 ​​observer looking and location (gazing point) as an input in the display surface of the image display unit 32, a horizontal reading of the left and right images are input signals of the parallax control unit 31 calculating a shift amount of timings.

【0095】ここで、観察者の注視点(注視している場所)の検出方法について説明する。 [0095] In this case, the detection method of the observer's gaze point (where you are watching) will be described. まず、視覚センサ部33と視線検出部34により、人間の眼球の光軸の方向を検出する。 First, the visual sensor unit 33 and the line-of-sight detection section 34 detects the direction of the optical axis of the human eye. 検出方法としては、強膜反射法・角膜反射法・TVカメラで眼の部分を撮影する方法等多々あるが、どれを採用してもよいが、ここでは強膜反射法について説明する。 Detection methods, there are many such methods for capturing a portion of the eye with the scleral reflection method, the corneal reflection method · TV camera, which may be employed, but will be described here scleral reflection method. 図14は強膜反射法における視線センサ部33の原理図である。 Figure 14 illustrates the principle of a line-of-sight sensor unit 33 in the scleral reflection method. 同図(a)は、眼球の正面図、 FIG. (A) is a front view of the eyeball,
同図(b)は横から見た図である。 FIG (b) is a view as seen from the side. 水平方向の眼球運動は同図(a)に示す様に、赤外LED により、弱い赤外光を眼球に照射し、フォト・ダイオードにより眼球からの赤外光の反射光を測定する。 As the eye movement in the horizontal direction shown in FIG. 6 (a), by an infrared LED, a weak infrared light is irradiated to the eyeball, measuring the reflected light of the infrared light from the eyeball by a photo diode. この時、フォト・ダイオードの指向性を点線の様に、黒目の横の両側にセットし、 In this case, as indicated by the dotted line the directivity of the photo-diode, and set on both sides of the side of the black eye,
フォト・ダイオードの出力の差分を演算増幅器で計算すれば、水平眼球運動が検出できる。 By calculating the difference between the output of the photo diode in the operational amplifier, it can be detected horizontal eye movement. 垂直眼球運動については、同図(b)に示す様に、赤外光を眼球の下側に当て、その反射光を黒目の下部分に指向性を向けたフォト・ダイオードを用いて検出する。 The vertical eye movement, as shown in FIG. (B), against the infrared light on the lower side of the eyeball, is detected using a photo-diode with its directivity in black under the eye portion of the reflected light. 以上の様にして得られた水平・垂直眼球運動信号は、視線検出部34により、 Horizontal and vertical eye movements signal obtained as described above, the sight line detection unit 34,
視線の角度(視線信号)に変換される。 It is converted to an angle (line of sight signal) of the line of sight. 即ち、予め決められた基準点に対して、水平ax度、水平ay度の角度に視線がある(観察者の眼球の光軸がその角度の方向を向いている)ことが測定される。 That is, for a predetermined reference point, the horizontal ax degree, there is a line of sight angle of the horizontal ay degrees (optical axis of the observer's eye is directed to the direction of the angle) that is measured.

【0096】次に、注視点判定部35は、視線信号を元にして、画像表示部32のどの部分を観察者が注視しているかを計算する。 [0096] Next, the fixation point determining unit 35, based on the line of sight signal, the observer the portion of the image display unit 32 throat calculates how gazing. 具体的には、図15に示す様に、観察者と画像表示部32のディスプレイ面との距離をLとし、前記基準点をディスプレイ面の中心にとり、これを原点とする2次元座標系x,yを定義すればディスプレイ面の2次元座標系で表される視点F(x,y)は、視線信号(ax,ay)を用いて次式(数19)で示される。 Specifically, as shown in FIG. 15, the distance between the viewer and the display surface of the image display unit 32 is L, take the reference point at the center of the display surface, a two-dimensional coordinate system x whose origin it, viewpoint represented by a two-dimensional coordinate system of the display surface by defining a y F (x, y) is the line of sight signal (ax, ay) using expressed by the following equation (equation 19).

【0097】 [0097]

【数19】 [Number 19]

【0098】但し、観察者はディスプレイ面中心の正面に位置し、ディスプレイ面は観察者に対して傾いていないと仮定する。 [0098] However, it is assumed that the observer is located in front of the display surface center, not the display face is inclined to the observer.

【0099】この様にして得られた画面上における観察者の注視点(観察者が注視している画像の位置)を用いて、更に注視点判定部35は、観察者が長く同一場所を見ている点を計算する。 [0099] Using the viewer's gaze point in such a manner resulting screen (the position of the image to the observer is gazing), further fixation point determining unit 35, viewed same location long observer point to calculate the are. 図16(a)は、視点Fのx成分の時間変化例を示した物である。 FIG. 16 (a) shows a time variation of the x component of the viewpoint F. この様に、観察者がx1〜x5の位置まで順番に見て行ったとすると、人間の眼球運動はx1からx2、x2からx3等へと視点が変化する際の動きは非常に速く、跳躍運動(サッカード)と呼ばれている。 In this way, when the observer and went to look in order to the position of x1~x5, human eye movements move very fast when the viewpoint is changed to x3, etc. from x1 from x2, x2, jumping exercise It has been called (saccade). また、観察者が瞬きをした時は視点測定が不可能になり、瞼の高速な動きにより波形が激しく変化する。 Also, when the observer blinks becomes impossible to sight measuring, waveform changes violently by fast motion of the eyelids. 注視点判定部35は、この様な過渡状態を取り除き、観察者がx1〜x5の位置を見ている状態(注視状態)を検出する。 Fixation point determining unit 35 removes such a transient state, the viewer detects a state (gaze state) looking at the position of X1 to X5. 検出方法は、図16(b)に示すように、視点の移動速度を計算し、これがあるしきい値β以下の場合には観察者が注視状態にあるとすればよい(図16(b)※印部分)。 Detection method, as shown in FIG. 16 (b), calculates the movement speed of the viewpoint may be the observer is in the gaze state when it is less than or equal to the threshold β in (FIG. 16 (b) ※ marked part). ここでは視点のx成分のみを用いたが、x,y両方の成分を用いて2次元的な速度を用いて注視状態を検出してもよい。 It is used here only x component of the viewpoint, x, may detect the gaze condition using a two-dimensional velocity using the components of both y. この様にして抽出された観察者の注視点の時間的変化を図16(c) Figure 16 a temporal change of the viewer's gaze points extracted in this way (c)
に示す。 To show.

【0100】次に、図16(d)に示す様に、注視点位置のデータを0次ホールドし、注視点データのない時間を補間する。 Next, as shown in FIG. 16 (d), the data of the fixation point position is 0-order hold, interpolating no fixation point data time. その後、図16(e)に示すように、低域ろ波フィルタを用いて、検出された注視点の時間変化をなめらかにする。 Thereafter, as shown in FIG. 16 (e), using the Teiikiroha filter to smooth a time variation of the detected gazing point. 以上の様にして、注視点判定部35 In the above manner, the fixation point determination unit 35
は、観察者が注視している表示画像位置を検出し、注視点信号として制御量計算部36に出力する。 Detects the image location display the observer gazes, and outputs the control amount calculating section 36 as the fixation point signal. ここで、注視点信号は単眼の視線方向について処理したが、左右両眼の視線方向を検出し、それの平均値を用いて注視点信号を計算してもよい。 Here, the fixation point signal has been processed for monocular viewing direction, to detect the gaze direction of the left and right eyes, a gaze point signal may be calculated using the average value of it.

【0101】以上の様にして得られた視差地図と注視点信号を元にして、制御量計算部36は視差制御部31の左右画像の水平読み出しタイミングの制御量を決定する。 [0102] based on the gazing point signal parallax map obtained in the above manner, the control amount calculation unit 36 ​​determines the control amount in the horizontal read timing of the left and right images of the parallax control unit 31. これを図17を用いて説明する。 This will be described with reference to FIG. 17. Fはある時刻での注視点信号が示す観察者の注視位置を示す。 F denotes the observer gaze position gaze point signal at a certain time is shown. この位置を中心として、M×M画素の範囲の視差地図で示される両眼視差Δxを平均する。 Around this position, averages the binocular parallax Δx represented by the disparity map in the range of M × M pixels. これを本発明の第4の実施例で説明した両眼視差の平均値Δxave とする。 This is the average Δxave binocular parallax described in the fourth embodiment of the present invention. これを用いて、視差制御部31は、左右画像の水平読み出しタイミングを制御し、画像を水平方向に平行移動する。 Using this, the parallax control unit 31 controls the horizontal read timing of the left and right images, moving parallel to the horizontal direction image. 制御方法は本発明の第4の実施例における図12で説明したものと同じ方法を用いる。 Control method using the same method as that described in FIG. 12 in the fourth embodiment of the present invention. 即ち、両眼視差の平均Δxave That is, the average Δxave of binocular disparity
分だけ、右画像をシフトする(画像の水平読み出しタイミングをΔxave分ずらす)。 Min only (shifting Δxave min the horizontal read timing of the image) to shift the right image.

【0102】また、本発明の第5の実施例では、制御量計算部36は注視位置を中心とした正方形状内の両眼視差を平均したが、第4の実施例の図11の例の様に、中心の重みが高い重み付き平均計算を行ってもよい。 [0102] In the fifth embodiment of the present invention, the control amount calculation unit 36 ​​has been averaged binocular disparity in the form a square around the gaze position, the example of FIG. 11 in the fourth embodiment as, the weight of the center may be performed by a high weighted average calculation.

【0103】また、視線信号を観賞者の眼球の光軸方向のみから検出したが、この場合は人間が頭をあまり動かさない場合に対して有効である。 [0103] In addition, it was detected only from the direction of the optical axis of the eye of the viewer's line-of-sight signal, human beings in this case is valid for the case not so much move the head. 更に自由な観賞状態を考慮すると、人間の視線は眼球の方向と頭部の向いている方向の合成値として与えられる。 In view of the more free viewing conditions, the human visual axis is given as a combined value in a direction facing the direction the head of the eye. この様な頭部運動・ Such head movement -
眼球運動を統合した視線検出については、TVカメラで観察者の頭部を撮像する方法や、特願平4−18222 For line-of-sight detection that integrates the eye movement, and method for imaging the observer's head at the TV camera, Japanese Patent Application No. 4-18222
6に示されているような磁界発生装置と頭部に装着された磁界検出器を用いた方法があるが、どの方法を採用してもよい。 6 there is a magnetic field generating apparatus and method using the loaded magnetic field detector in the head as shown in, but any method may be employed.

【0104】以上の様に、本実施例によれば、観察者が現在見ようとしている画像の位置における両眼視差を0 [0104] As described above, according to this embodiment, the binocular parallax in the position of the image viewer is going to see the current 0
(ディスプレイ表面上の位置に画像が再生される)またはある所定の値にすることが出来、常に、観察者が意図する画像の位置を中心として立体画像を構成するので、 (Image position on the display surface is being reproduced) it can be or is predetermined value, always so constituting a stereoscopic image around the position of the image viewer is intended,
広い範囲で被写体の奥行き世界を観賞可能になる。 It is possible appreciate the depth world of the subject in a wide range.

【0105】図18は本発明にかかる第6の実施例の立体画像表示装置の構成図である。 [0105] Figure 18 is a block diagram of a stereoscopic image display device of the sixth embodiment according to the present invention. 同図(a)は立体画像撮像記録部、同図(b)は立体画像表示部である。 FIG (a) is stereoscopic imaging recording unit, FIG. (B) is a stereoscopic image display unit. 図1 Figure 1
8において、29は視差計算部、31は視差制御部、3 In 8, 29 parallax calculator, 31 is the parallax control unit, 3
2は画像表示部、36は制御量計算部であり、これらは本発明の第5の実施例(図13)と同じ物である。 2 the image display unit, 36 denotes a control amount calculating section, they are the same as the fifth embodiment of the present invention (FIG. 13). 第5 Fifth
の実施例と異なるのは、立体撮像カメラ37、信号記録部である記録装置38、注視意図指定部39、再生部である再生装置40が追加された点である。 The difference from the embodiment, a stereoscopic image pickup camera 37, a signal recording section in a recording apparatus 38, gaze intended specifying unit 39, in that the reproducing device 40 is added which is a reproduction unit.

【0106】以上のように構成された第6の実施例の表示部について、以下その動作を説明する。 [0106] The display unit of the sixth embodiment configured as described above, operation is described below.

【0107】まず、図18(a)において、撮影者は立体撮像カメラ37を用いて撮影をする。 [0107] First, in FIG. 18 (a), the photographer is shooting with a stereo imaging camera 37. 立体撮像カメラ37は、従来のビデオカメラを2台、同じ雲台に左右に並べた従来の立体カメラであっても、本発明の第1の実施例で示されたような立体画像撮像装置であってもよい。 Stereoscopic imaging camera 37, two conventional video cameras, be a conventional solid camera side by side in the same pan head, in the stereoscopic image pickup apparatus such as that shown in the first embodiment of the present invention it may be. この撮像画像を記録装置38(従来のVTRを2台同期させた物)で記録する。 The captured image is recorded by the recording device 38 (those in synchronization two conventional VTR). この時、撮影者は注視意図指定部39により、観賞者に注視して欲しいと意図する画像の位置(注視意図信号)を入力する。 At this time, the photographer by gazing intended designation unit 39, and inputs the position of the image intended want gazing the viewer (gaze intended signal). 注視意図信号は、マウスやタブレット等の既存のポインティング装置を入力装置として入力し、撮影している画像中の、ある1点を示す信号で、時間的に変化する信号であり、ある時刻のtにおける注視意図信号は、Fix(xt,yt )で示される。 Gaze intent signal, to enter an existing pointing devices such as a mouse or a tablet as an input device, in an image being photographed, a signal indicating a certain point, a time varying signal, t at a certain time gaze intent signal in is represented by Fix (xt, yt). ここで、xt,ytは時刻tにおけるポインティング装置の出力即ち撮影画像上の2次元座標値である。 Here, xt, yt is the 2-dimensional coordinate values ​​on the output or captured image of the pointing device at time t. この注視意図信号を、記録装置38(VTR)を用いて、撮影された画像と一緒に記録する。 The gaze intent signal, using a recording device 38 (VTR), and records together with captured image. 具体的には、 In particular,
注視意図信号を1/60秒毎のフィールド周波数で標本化し、画像信号の垂直帰線期間(垂直ブランキング期間)にこれを挿入する。 Gaze intent signal and sampled at the field frequency for each 1/60 second, to insert it in the vertical blanking interval of the image signal (vertical blanking period). また、この注視意図指定部39 In addition, this gaze intention designating unit 39
は、編集器やVTRに装着し、撮影された画像を編集する際に注視意図信号を記録しても良い。 Is attached to editor or VTR, may be recorded gaze intent signal when editing an image taken.

【0108】以上の様にして記録された画像信号と注視意図信号は図18(b)に示した立体画像表示部により処理され、3次元画像が表示される。 [0108] The above image signal and the gaze intended signal recorded in the manner of being processed by the stereoscopic image display unit shown in FIG. 18 (b), is displayed three-dimensional image. 再生装置40(V Reproducing apparatus 40 (V
TR)は画像信号と注視意図信号を再生する。 TR) reproduces the gaze intent signal and image signal. その後の動作は本発明の第5の実施例(図13)において、注視点信号を再生装置40から得られる注視意図信号に置き換えたものと同じである。 The subsequent operation in the fifth embodiment of the present invention (FIG. 13) are the same as those obtained by replacing the gaze intent signal obtained by the gaze point signal from the reproducing apparatus 40. 即ち、視差計算部29により計算された視差地図と、再生装置40により再生された注視意図信号を元にして、制御量計算部36は視差制御部31の左右画像の水平読み出しタイミングの制御量を決定する。 That is, the parallax maps calculated by the parallax calculating unit 29, based on the gaze intent signal reproduced by the reproducing apparatus 40, the control amount calculation unit 36 ​​sets the control amount of the horizontal read timing of the left and right images of the parallax control unit 31 decide. この場合も図17に示した様に、注視意図信号が示す観察者に注視させたい画像位置を中心として、 Again as shown in FIG. 17, around the image position desired to be gazing observer indicated gaze intended signal,
M×M画素の範囲の視差地図で示される両眼視差Δxを平均し、これを本発明の第4の実施例で説明した両眼視差の平均値Δxave とする。 Average binocular parallax Δx represented by the disparity map in the range of M × M pixels, which is the average Δxave binocular parallax described in the fourth embodiment of the present invention. これを用いて、視差制御部31は、左右画像の水平読み出しタイミングを制御し、 Using this, the parallax control unit 31 controls the horizontal read timing of the left and right images,
画像を水平方向に平行移動する。 Translated horizontally image. 制御方法は第4の実施例の図12で説明したものと同じ方法を用いる。 Control method using the same method as that described in FIG. 12 of the fourth embodiment. 即ち、 In other words,
両眼視差の平均Δxave 分だけ、右画像をシフトする(画像の水平読み出しタイミングをΔxave分ずらす)。 Only the average Δxave amount of binocular disparity, (shifting Δxave min the horizontal read timing of the image) to shift the right image.

【0109】また、図18において、注視意図信号を再生装置40で再生するかわりに、注視意図指定部39の出力を直接、制御量計算部36に入力し、直接再生画像を観賞者が観賞しながら注視意図信号を入力しても良い。 [0109] Further, in FIG. 18, instead of reproducing the gaze intent signal reproducing apparatus 40, the output of the gaze intended designation unit 39 directly inputs the control amount calculation unit 36, and viewers ornamental directly reproduced image while may be input gaze intended signal.

【0110】なお、第4〜第6の実施例においては2眼式立体画像についてのみの例を説明したが、多眼式立体画像表示装置についても、観賞者の左右眼に投影される2つの画像に付いて同様の処理を行うことができる。 [0110] In the fourth to sixth embodiments a description has been given of an example of only the binocular stereoscopic image, for the multiview stereoscopic image display apparatus, two projected right and left eyes of the viewer it is possible to perform the same processing with the image. 但し、この場合には、一度に観賞される左右眼用の画像の対が複数存在するため、それら全てについて同じ処理を施す必要がある。 However, in this case, since the pair of images for right and left eyes are viewing at a time there are a plurality, it is necessary for all those subjected to the same treatment.

【0111】以上の様に、本実施例によれば、注視意図信号を用いて立体画像の読みだし位置を制御することにより、映像番組制作者、撮影者や、観賞者が意図した部分の画像の再生位置をディスプレイ表面上の位置またはある所定の位置に制御することが出来、常に、観察者が意図する画像の位置を中心として融合範囲の広い立体画像を構成するので、広い範囲で被写体の奥行き世界を観賞可能になる。 [0111] As described above, according to this embodiment, by controlling the position reading of the three-dimensional image using a gaze intent signal, the video program producer, photographer or viewer an image of the intended parts reproduction position can be controlled to a position or a predetermined position on the display surface always so constitute a wide solid images fusing range around the position of the image observed by the intended object in a wide range the depth world become possible viewing.

【0112】図19は本発明にかかる第7の実施例の立体画像撮像および表示装置の構成図である。 [0112] Figure 19 is a block diagram of a stereoscopic image pickup and display apparatus of the seventh embodiment according to the present invention. 図19において、1,2はレンズ、3a,3bはカメラ本体、4a, 19, a lens 1, 2, 3a, 3b denotes a camera body, 4a,
4bは回転制御部、5はカメラ間隔制御部、14a,14 4b is a rotation control unit, 5 denotes a camera interval control unit, 14a, 14
bはカメラ本体からの信号を輝度信号に変換する信号処理部、15は左右の画像から水平視差を計算する視差計算部、16は最小の視差を検出する視差処理部、17は観察者に最も近い被写体の空間位置を計算する奥行き表示位置計算部、18は観察者に最も近い被写体の空間位置が観察者の融合範囲内にあるかどうかをチェックする融合範囲確認部、19は観察者に最も近い被写体の空間位置が観察者の融合範囲内に入るように回転制御部4 b is a signal processing unit for converting a signal from the camera body to the luminance signal, 15 parallax calculating section for calculating a horizontal parallax from left and right images, the parallax processor for detecting the smallest parallax 16, 17 most observers the depth display position calculator for calculating a spatial position of the near object, 18 fusing range checking unit to check whether the spatial position of the closest object to the observer is within the fusion range of the viewer, 19 most observers rotation control unit 4 such that the space located near the subject is within the fusion range of the viewer
a,4bを制御する輻輳角制御部であり、これらは本発明における立体画像撮像装置のの構成(図1)と同じものである。 a, a convergence angle control unit for controlling 4b, which are the same as the configuration of the stereoscopic imaging apparatus according to the present invention (FIG. 1). また、30は注視点計算部、31は視差制御部、32は画像表示部であり、これらは本発明の第4の実施例の立体画像表示装置(図10)と同様なものである。 Moreover, 30 gazing point calculation unit, 31 is the parallax control unit, 32 denotes an image display unit, they are fourth embodiment of a stereoscopic image display device that (FIG. 10) and similar to the present invention.

【0113】即ち、本実施例は、撮像部と表示部両方を制御し、表示される立体画像が観察者の両眼融合範囲内に入るように制御するものである。 [0113] That is, this embodiment is to control the display unit both the imaging unit, performs control such a three-dimensional image to be displayed is within the binocular fusing range of the viewer.

【0114】以上のように構成された第7の実施例を示す立体画像撮像および表示装置について、以下その動作を説明する。 [0114] For stereoscopic imaging and display device showing a seventh embodiment constructed as described above, operation is described below. まず、図2(a)で示されるdx を、この融合可能な領域に全ての立体画像が再現される様な条件でかつ、なるべく大きな値を持つように制御して撮像する。 First, dx shown in FIG. 2 (a), and all of such conditions stereoscopic image is reproduced in the fusible region is controlled to imaging to have as large a value as possible. この動作は、上記第1の実施例と全く同じであるが、これについて概略を説明する。 This operation, above, but first is exactly the same as the embodiment of this will be described schematically. このために、初期値としてdx =∽(十分大きな値)とする。 For this, the initial value dx = ∽ (sufficiently large value). 図19において、視差計算部15は信号処理部14a,14bの出力である左右眼用の画像から、視差地図(画面全体について各座標における視差Δxを計算した3次元地図)を計算する。 19, the parallax calculating section 15 signal processing section 14a, the image for the right and left eyes is the output of 14b, calculates a parallax map (three-dimensional map of calculation of the parallax Δx at each coordinate on the entire screen). この視差地図を元にして、視差処理部16は、画像全体の視差の最小値(最も観察者に近い位置に再生される被写体の視差)を抽出し、これをΔxminとする。 And the disparity map based on the parallax processing unit 16, the minimum value of the parallax of the entire image (parallax of an object to be reproduced at a position closest to the viewer) is extracted, which is referred to as Derutaxmin.
次に、Δxminを元にして、図5に示した立体画像表示における立体画像の奥行き再生位置Ypminを奥行き表示位置計算部17により、(数20)のように計算する。 Then, based on the Derutaxmin, the depth display position calculator 17 the depth reproduction position Ypmin of the stereoscopic image in the stereoscopic image display shown in FIG. 5, it is calculated as (number 20).

【0115】 [0115]

【数20】 [Number 20]

【0116】このYpminが、両眼融合範囲の境界領域にあれば、dx は現在の値のままにセットし、そうでない場合には、(数21)の場合、dxに微小な値Δdxを加算し、 [0116] The Ypmin is, if the boundary area of ​​the binocular fusion range, dx is set to leave the current value, otherwise, if the (number 21), adding a small value Δdx to dx and,

【0117】 [0117]

【数21】 [Number 21]

【0118】(数22)の場合は、dxから微小な値Δ [0118] In the case of (Expression 22), small value from dx delta
dxを減算する。 Subtracting the dx.

【0119】 [0119]

【数22】 [Number 22]

【0120】これらの計算方法は上記第1の実施例と全く同じである。 [0120] These calculation method is the same as that in the first embodiment. この様にして得られるdx を用いて、輻輳角制御部19は、回転制御部4a,4bを制御する。 Using dx obtained in this way, the convergence angle control unit 19 controls the rotation control unit 4a, 4b. 以上の様にして、被写体の、観察者から最も近い点Ypmin In the above manner, the subject, the closest point from the viewer Ypmin
が融合範囲の限界近点であるF(ds)minになるように制御される。 There is controlled to be a point near the limit of the fusing range F (ds) min.

【0121】また、視差計算部15の出力を用いて、注視点計算部30は、画像全体の視差の平均値または重みづけ平均値Δxaveを求め、視差制御部31がこのΔxave [0121] Further, by using the output of the parallax calculation section 15, the fixation point calculation unit 30 calculates an average value or weighted average value Δxave of parallax of the entire image, the parallax control unit 31 is the Δxave
分だけの左右画像のずれを無くすように左右画像をスクロールする。 Right and left images so as to eliminate the deviation of the amount corresponding to the left and right images to scroll the. この処理は、本発明の第4の実施例と同じものである。 This process is the same as the fourth embodiment of the present invention.

【0122】以上の様にすることにより、画像表示部3 [0122] By the above manner, the image display unit 3
2で表示される立体画像が観察者の両眼融合範囲に入るように、撮像部の輻輳点および表示画像位置が制御される。 As a three-dimensional image to be displayed in 2 enters the binocular fusional range of the viewer, the convergence point and the display image position of the imaging unit is controlled. これによって、観察者は常に両眼融合範囲の広い立体画像を観賞することができ、観賞時の眼性疲労が少なくなる。 Thus, the observer can always watch wide solid image binocular fusion range, eye fatigue is reduced at the time of viewing.

【0123】なお、上記第7の実施例では、輻輳角制御部19の動作と視差制御部31の動作が同時に行なわれるように説明したが、システム全体の動作の安定の為、 [0123] Incidentally, in the seventh embodiment, although operations of the parallax control unit 31 of the convergence angle control unit 19 has been described as occurring simultaneously, for stable operation of the entire system,
これら2つの制御部が交互に、または片方が安定した後にもう片方が動作するようにしてもよい。 These two control unit alternately or may be the other works after one has stabilized. また、上記第7の実施例では、第1の実施例の立体画像撮像装置を撮像部に用いる構成としたが、これに代えて、第2又は第3の実施例の立体撮像装置を用いてもよい。 Further, in the seventh embodiment, the stereoscopic image pickup apparatus of the first embodiment has a configuration for use in the imaging unit, instead of this, by using the three-dimensional imaging apparatus of the second or third embodiment it may be.

【0124】 [0124]

【発明の効果】以上述べたところから明らかなように本発明は、画像の両眼視差を検出し、これから観察者が最も広い範囲で被写体の奥行き世界を知覚可能となるカメラの最適輻輳点を計算し、その輻輳点にカメラの光軸が向くように制御し、また、表示画像の両眼融合範囲が広くなるように表示画像を制御することにより、見やすく眼性疲労の少ない立体画像を表示することが出来るという長所を有する。 The present invention, as is apparent from the above description, according to the present invention detects the binocular parallax image, the camera becomes perceivable depth world object in the broadest range of future observer optimal convergence point calculated, controlled so as to face the optical axis of the camera to the convergence point, also, by controlling the display image as the binocular fusing range is widened in the display image, display stereoscopic images having small legible eye fatigue It has the advantage that it can be.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明にかかる第1の実施例の立体画像撮像装置の構成図である。 1 is a configuration diagram of a stereoscopic image pickup apparatus of a first embodiment according to the present invention.

【図2】立体画像の撮像座標系と表示座標系の説明図である。 Figure 2 is an illustration of the display coordinate system imaging coordinate system of the three-dimensional image.

【図3】人間の調節機構と輻輳機構の許容範囲の説明図である。 Figure 3 is an illustration of the allowable range of human regulatory mechanisms and congestion mechanism.

【図4】視差の計算方法の説明図である。 4 is an explanatory diagram of a method of calculating the parallax.

【図5】立体画像表示装置における両眼融合範囲の説明図である(視距離>71cm)。 5 is an explanatory diagram of a binocular fusional range of the stereoscopic image display device (viewing distance> 71cm).

【図6】同図(a)は、輻輳点までの距離dxと、光軸の回転角θの定義を説明する図、同図(b)は、輻輳点までの距離dxと、光軸の回転角θの関係を示す図である。 [6] FIG. (A) is the distance dx to the convergence point, diagram for explaining a definition of the rotation angle θ of the optical axis, FIG. (B) is the distance dx to the convergence point of the optical axis is a diagram showing the relationship between the rotational angle theta.

【図7】本発明にかかる第2の実施例の立体画像撮像装置の構成図である。 7 is a block diagram of a stereoscopic image pickup apparatus of the second embodiment according to the present invention.

【図8】本発明にかかる第3の実施例の立体画像撮像装置の構成図である。 8 is a configuration diagram of a stereoscopic image pickup apparatus of the third embodiment according to the present invention.

【図9】立体画像表示装置における両眼融合範囲の説明図である(視距離<71cm)。 9 is an explanatory view of the binocular fusing range in the stereoscopic image display device (viewing distance <71cm).

【図10】本発明にかかる第4の実施例の立体画像表示装置の構成図である。 10 is a configuration diagram of a stereoscopic image display device of the fourth embodiment according to the present invention.

【図11】重みをかけた視差平均値を求める手法の説明図である。 11 is an explanatory diagram of a method of obtaining the disparity average value multiplied by the weight.

【図12】同第4の実施例における視差制御部12の動作を説明する図である。 12 is a diagram for explaining the operation of the parallax control unit 12 in the same fourth embodiment.

【図13】本発明にかかる第5の実施例の立体画像表示装置の構成図である。 13 is a configuration diagram of a stereoscopic image display device of the fifth embodiment according to the present invention.

【図14】同図(a)及び(b)は、同第5の実施例における視線センサ部14の動作を説明する図である。 [14] FIG. (A) and (b) are diagrams for explaining the operation of the line-of-sight sensor unit 14 in the same fifth embodiment.

【図15】表示画像上の注視点座標計算方法の説明図である。 15 is an explanatory diagram of the gazing point coordinate calculation method of the display image.

【図16】同図(a)〜(e)は、注視点位置の計算方法の説明図である。 [16] FIG. (A) ~ (e) are explanatory views of a method of calculating the gaze point position.

【図17】左右画像の水平読み出しタイミングの制御量の計算手法の説明図である。 17 is an explanatory diagram of a control amount of the calculation method of the horizontal read timing of the left and right images.

【図18】同図(a)及び(b)は、本発明にかかる第6の実施例の立体画像撮像及び表示装置の構成図である。 [18] FIG. (A) and (b) is a block diagram of a stereoscopic image pickup and display apparatus of the sixth embodiment according to the present invention.

【図19】本発明にかかる第7の実施例の立体画像撮像及び表示装置の構成図である。 19 is a block diagram of a stereoscopic image pickup and display apparatus of the seventh embodiment according to the present invention.

【図20】両眼視差による観察者の奥行き知覚の成立についての説明図である。 FIG. 20 is an explanatory diagram of the establishment of the observer's depth perception by binocular parallax.

【図21】従来の立体画像撮像装置の概略図である。 21 is a schematic diagram of a conventional stereoscopic image pickup apparatus.

【図22】同図(a)は、従来の立体画像撮影方法(平行撮影)の説明図、同図(b)は、従来の立体画像撮影方法(輻輳撮影)の説明図である。 [22] FIG. (A) is an explanatory view of a conventional stereoscopic imaging method (parallel imaging), FIG. (B) are explanatory views of a conventional stereoscopic imaging method (congestion shooting).

【図23】従来の立体画像表示装置の概略図である。 Figure 23 is a schematic diagram of a conventional stereoscopic image display apparatus.

【図24】立体画像表示位置の説明図である。 FIG. 24 is an explanatory diagram of a stereoscopic image display position.

【図25】従来の3次元画像表示装置の外観図である。 Figure 25 is an external view of a conventional three-dimensional image display device.

【符号の説明】 DESCRIPTION OF SYMBOLS

1、2 レンズ 3a、3b カメラ本体 4a、4b 回転制御部 5 カメラ間隔制御部 12 スクリーン 14a、14b 信号処理部 15、29 視差計算部 16 視差処理部 17 奥行き表示位置計算部 18 融合範囲確認部 19 輻輳角制御部 20 融合範囲決定部 30 注視点計算部 31 視差制御部 33 視線センサ部 34 視線検出部 35 注視点判定部 36 制御量計算部 38 記録装置 39 注視意図指定部 40 再生装置 Second lenses 3a, 3b camera 4a, 4b rotation controller 5 camera interval control unit 12 screen 14a, 14b the signal processing unit 15, 29 parallax calculating section 16 parallax processing section 17 the depth display position calculator 18 fusing range checking section 19 convergence angle control unit 20 fusing range determiner 30 gaze point calculation unit 31 parallax control unit 33 line-of-sight sensor 34 line of sight detection unit 35 fixation point determination unit 36 ​​control amount calculating section 38 recording device 39 gaze intended specifying unit 40 reproducing apparatus

Claims (14)

    (57)【特許請求の範囲】 (57) [the claims]
  1. 【請求項1】 複数の視点において被写体を撮像する撮像部と、その撮像部の輻輳角を変化させる輻輳角移動機構部またはカメラ間隔を変化させるカメラ間隔制御機構部と、各々の撮像部から画像データを抽出する信号処理部と、その信号処理部の出力を用いて画像の視差を計算する視差計算部と、その視差計算部の出力のうち最小値(最も近い被写体の視差)を検出する視差処理部と、その視差処理部の出力を用いて撮像された画像が立体画像表示装置で表示された場合に再生される最も近点の被写体の奥行き位置を計算する奥行き表示位置計算部と、その奥行き表示位置計算部の出力を用いて、これが再生画像を観賞する観察者の融合許容範囲内あるかどうか判断する融合範囲確認部と、その融合範囲確認部の出力を用いて、最も近点の被 1. A imaging unit that captures a subject at a plurality of viewpoints, and the camera interval control mechanism for changing the convergence angle moving mechanism portion or the camera interval changing the convergence angle of the imaging unit, an image from each of the imaging unit a signal processing unit for extracting data, disparity detecting a parallax calculating section for calculating a parallax of the image, the minimum value of the output of the parallax calculation section (parallax of the nearest object) by using the output of the signal processing unit a processing unit, a depth display position calculator image captured by using an output of the disparity processing unit calculates the depth position of the nearest point of the object to be played when it is displayed in the stereoscopic image display device, the using the output of the depth display position calculator, which the fusing range checking unit to determine whether the fusion tolerance of the observer to appreciate the reproduced image by using an output of the fusing range checking unit, the closest point the 写体が観察者の前記融合許容範囲内になるように輻輳角移動機構部を制御する輻輳角制御部 Convergence angle control unit Utsushitai controls said fusion allowable convergence angle moving mechanism portion to be within the scope of the viewer
    または前記カメラ間隔制御機構部を制御するカメラ間隔制御部とを備えたことを特徴とする立体画像撮像装置。 Or stereoscopic imaging apparatus characterized by comprising a camera interval control unit for controlling the camera interval control mechanism.
  2. 【請求項2】 視差処理部は、前記視差計算部の出力のうち最大値(最も遠い被写体の視差)を検出し、前記奥行き表示位置計算部は、前記視差処理部の出力を用いて、撮像された画像が立体画像表示装置で表示された場合に再生される最も遠点の被写体の奥行き位置を計算し、前記輻輳角制御部又はカメラ間隔制御部は、前記融合範囲確認部の出力を用いて、最も遠点の被写体が観察者の前記融合許容範囲内になるように輻輳角移動機構部又はカメラ間隔制御機構部を制御することを特徴とする請求項1記載の立体画像撮像装置。 2. A parallax processing section, the detected maximum value of the output of the parallax calculation section (parallax farthest object), the depth display position calculator uses the output of the parallax processing unit, imaging image calculates the depth position of the object of farthest point to be played when it is displayed in the stereoscopic image display apparatus, the convergence angle control unit or the camera interval control unit uses the output of said fusing range checking unit Te, stereoscopic imaging apparatus according to claim 1, wherein the controlling the convergence angle moving mechanism portion or the camera interval control mechanism so that the subject of the most far point is within the fusion tolerance of the observer.
  3. 【請求項3】 複数の視点において被写体を撮像する撮像部と、その撮像部の輻輳角を変化させる輻輳角移動機構部またはカメラ間隔を変化させるカメラ間隔制御機構部と、撮像される被写体のうち最も近い被写体の位置データを用いて、撮像画像が立体画像表示装置で表示された場合に再生される最も近点の被写体の奥行き位置を計算する奥行き表示位置計算部と、その奥行き表示位置計算部の出力を用いて、観察者の両眼融合範囲内に前記近点の被写体の再生表示画像が入る条件を計算する融合範囲決定部と、その融合範囲確認部の出力を用いて輻輳角移動機構部を制御する輻輳角制御部または前記カメラ間隔制御機構部を制御するカメラ間隔制御部とを備えたことを特徴とする立体画像撮像装置。 3. A imaging unit that captures a subject at a plurality of viewpoints, and the camera interval control mechanism for changing the convergence angle moving mechanism portion or the camera interval changing the convergence angle of the imaging unit, out of the subject photographed using the position data of the closest object, the depth display position calculator that captured image to calculate the depth position of the nearest point of the object to be played when it is displayed in the stereoscopic image display apparatus, the depth display position calculator using the output of the observer of the fusing range determiner for calculating a reproduced display image enters conditions of the subject of the near point within the binocular fusing range, the convergence angle moving mechanism using the output of the fusing range checking unit stereoscopic imaging apparatus characterized by comprising a camera interval control unit for controlling the convergence angle control unit or the camera interval control mechanism for controlling the parts.
  4. 【請求項4】 奥行き表示位置計算部は、撮像される被写体のうち最も遠い被写体の位置データを用いて、撮像画像が立体画像表示装置で表示された場合に再生される最も遠点の被写体の奥行き位置を計算し、前記融合範囲決定部は、前記奥行き表示位置計算部の出力を用いて、 Wherein the depth display position calculator uses the position data of the farthest object of the subject photographed, the captured image of the subject of the most far point to be played when it is displayed in the stereoscopic image display device the depth position calculated, the fusion range determination unit uses the output of the depth display position calculator,
    観察者の両眼融合範囲内に前記遠点の被写体の再生表示画像が入る条件を計算し、前記輻輳角制御部又はカメラ間隔制御部は、前記融合範囲確認部の出力を用いて輻輳角移動機構部又はカメラ間隔制御機構部を制御することを特徴とする請求項3記載の立体画像撮像装置。 The reproduction display image enters conditions of the far-point object in binocular fusional range of the viewer is calculated, the convergence angle control unit or the camera interval control unit, the convergence angle moved using an output of said fusing range checking unit stereoscopic image pickup apparatus according to claim 3, wherein the controlling the mechanism section or the camera interval control mechanism.
  5. 【請求項5】 少なくとも2方向から被写体を撮像した時の画像を用いて、被写体の両眼視差または3次元位置を計算する視差計算部と、その視差計算部の出力から被写体の奥行き位置を計算する注視点計算部と、その注視点計算部の出力で示される奥行き位置を3次元立体画像表示部の表面もしくは表面から指定された奥行き距離に再現するように前記画像を平行移動する視差制御部とを備えたことを特徴とする立体画像表示装置。 5. Using the image when capturing a subject from at least two directions, and the parallax calculation section for calculating binocular parallax or three-dimensional position of the object, the depth position location of the object from the output of the parallax calculation section a gaze point calculation unit for calculating parallax control by which to translate the image to be reproduced to a specified depth distance from the surface or the surface of the three-dimensional image display section the depth position indicated by the output of the gazing point calculator three-dimensional image display device is characterized in that a part.
  6. 【請求項6】 注視点計算部は、前記視差計算部の出力のうち、画面全体または画像中の小領域を平均、または画面の中心に大きな重みを付加した加重平均により前記視差制御部で制御されるべき奥行き位置を計算することを特徴とする請求項5記載の立体画像表示装置。 6. Note viewpoint calculation unit is configured of the output from the disparity calculation unit, controls the small area of ​​the whole or a video frame average or the weighted average obtained by adding a large weight to the center of the screen in the parallax control unit the stereoscopic image display apparatus according to claim 5, wherein the calculating the depth position to be.
  7. 【請求項7】 注視点計算部は、前記視差計算部の出力のうち、画面全体または画像中の小領域における最大値もしくは最小値を計算することにより前記視差制御部で制御されるべき奥行き位置を計算することを特徴とする請求項5記載の立体画像表示装置。 7. A fixation point calculation unit, of the output of said parallax calculation section, the depth position to be controlled by the parallax control unit by calculating the maximum value or minimum value in the small area in the whole screen or image the stereoscopic image display apparatus according to claim 5, wherein calculating a.
  8. 【請求項8】 注視点計算部は、観察者の視線を検出する視線検出部と、その視線検出部の出力から前記観察者の表示画像中の注視位置を検出する注視点判定部と、前記視差計算部の出力と前記注視点判定部の出力から必要とされる表示画像位置の両眼視差の平均値を計算する制御量計算部とを備えたことを特徴とする請求項5記載の立体画像表示装置。 8. Note viewpoint calculation unit includes a sight line detector for detecting the observer's line of sight, and gazing point determination unit for detecting a gaze position in the display image of the observer from the output of the visual line detection part, wherein solid according to claim 5, characterized in that a control amount calculating section for calculating a mean value of the binocular parallax of the image location display that is required from the output of the output and the gazing point determination unit of the parallax calculation section image display device.
  9. 【請求項9】 注視点判定部は、前記観察者の視線移動速度が小さい期間のみを抽出し、ホールド処理・低域ろ波処理を行って前記観察者の注視位置を検出することを特徴とする請求項8記載の立体画像表示装置。 9. fixation point determining portion includes wherein the viewer's line of sight moving speed extracting only a small period, to detect the gaze position of the observer performs hold processing and low-pass filter process the stereoscopic image display device of claim 8.
  10. 【請求項10】 制御量計算部は、前記注視点判定部の出力が示す前記観察者の表示画像上の注視点を中心とした、ある所定の範囲内の前記視差計算部の出力を平均することにより前記視差制御部で制御されるべき奥行き位置を計算することを特徴とする請求項8記載の立体画像表示装置。 10. A control amount calculation unit, around the fixation point on the observer of the display image output of the gaze point determination unit indicates, averages the output of the parallax calculation unit within a predetermined range the stereoscopic image display apparatus according to claim 8, wherein the calculating a depth position to be controlled by the parallax control unit by.
  11. 【請求項11】 撮影者が、観察者に注視してほしいと意図する撮影画像部分を指定する注視意図指定部と、その注視意図指定部の出力と、少なくとも2方向から被写体を撮像した時の画像を記録する信号記録部と、撮影された画像と注視意図信号を再生する再生部と、被写体の両眼視差または3次元位置を計算する視差計算部と、その視差計算部の出力と前記注視意図信号を用いて注視意図信号が示す画像部分を3次元立体画像表示部の表面もしくは表面から指定された奥行き距離に再現するように制御する視差制御部とを備えたことを特徴とする立体画像表示装置。 11. photographer, and gaze intention designating unit for designating a captured image portion intended want gazing to the viewer, and the output of the gaze intention designating unit, when imaging an object from at least two directions a signal recording unit that records an image, the gaze a reproducing unit for reproducing the gaze intent signal and the photographed image, and a parallax calculating section for calculating binocular parallax or three-dimensional position of the subject, and the output of the parallax calculation section stereoscopic image, characterized in that a parallax control unit which controls so as to reproduce the specified depth distance from the surface or the surface of the three-dimensional image display section an image portion indicated by the gaze intended signal with the intention signal display device.
  12. 【請求項12】 注視意図信号は、前記再生部により再生される注視意図信号の代わりに、前記注視意図指定部の出力を用いることを特徴とする請求項11記載の立体画像表示装置。 12. gaze intent signal, the instead of gaze intent signal reproduced by the reproduction unit, according to claim 11 three-dimensional image display apparatus, wherein using the output of the gaze intended designation unit.
  13. 【請求項13】 請求項1〜4のいずれかの前記立体画像撮像装置と、請求項5〜8のいずれかの前記立体画像表示装置とを備えたことを特徴とする立体画像撮像及び表示装置。 13. A one of the stereoscopic image pickup apparatus according to claim 1 to 4, the stereoscopic imaging and display device being characterized in that a one of the stereoscopic image display apparatus according to claim 5 to 8 .
  14. 【請求項14】 請求項1〜4のいずれかの前記立体画像撮像装置と、請求項11、又は12の前記立体画像表示装置とを備えたことを特徴とする立体画像撮像及び表示装置。 14. A one of the stereoscopic image pickup apparatus according to claim 1 to 4, the stereoscopic imaging and display apparatus comprising the said three-dimensional image display apparatus according to claim 11 or 12.
JP19643094A 1993-08-26 1994-08-22 Stereoscopic imaging and display device Expired - Fee Related JP3089306B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP5-211531 1993-08-26
JP21153193 1993-08-26
JP26375393 1993-10-21
JP5-263753 1993-10-21
JP19643094A JP3089306B2 (en) 1993-08-26 1994-08-22 Stereoscopic imaging and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19643094A JP3089306B2 (en) 1993-08-26 1994-08-22 Stereoscopic imaging and display device

Publications (2)

Publication Number Publication Date
JPH07167633A JPH07167633A (en) 1995-07-04
JP3089306B2 true JP3089306B2 (en) 2000-09-18

Family

ID=27327244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19643094A Expired - Fee Related JP3089306B2 (en) 1993-08-26 1994-08-22 Stereoscopic imaging and display device

Country Status (1)

Country Link
JP (1) JP3089306B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055291A (en) * 2004-08-18 2006-03-02 Olympus Corp Display control unit for stereo endoscope

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3771964B2 (en) 1996-03-12 2006-05-10 オリンパス株式会社 Three-dimensional image display apparatus
DE69706611D1 (en) 1996-06-27 2001-10-18 Toshiba Kawasaki Kk Stereoscopic display system and method
JP3771973B2 (en) * 1996-09-26 2006-05-10 オリンパス株式会社 Stereoscopic image display device
DE19836681B4 (en) * 1997-09-19 2008-03-27 Carl Zeiss Ag Stereoscopic recording and playback system
US6047633A (en) * 1998-06-23 2000-04-11 Khaytman; Yefim B. Shish kebab rotisserie
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP3978392B2 (en) 2002-11-28 2007-09-19 誠次郎 富田 Stereoscopic video signal generating circuit and a three-dimensional display device
WO2006087663A1 (en) * 2005-02-17 2006-08-24 Koninklijke Philips Electronics N.V. Autostereoscopic display
TW200818865A (en) * 2006-10-03 2008-04-16 Quanta Comp Inc Apparatus and method for generating stereoscopic image
JP5031494B2 (en) * 2007-09-07 2012-09-19 株式会社 ニコンビジョン Telescope system
JP4819834B2 (en) * 2008-03-03 2011-11-24 株式会社エヌ・ティ・ティ・ドコモ Stereoscopic video processing apparatus and a stereoscopic image processing method
JP5083052B2 (en) * 2008-06-06 2012-11-28 ソニー株式会社 Stereoscopic image generating apparatus, stereoscopic image generation method and a program
JP5284731B2 (en) * 2008-09-02 2013-09-11 オリンパスメディカルシステムズ株式会社 Three-dimensional imaging display system
KR101483471B1 (en) 2008-10-15 2015-01-16 삼성전자주식회사 Method for eye fatigueless glass type stereoscopic display and changeable shutter glasses for refraction
JP4775474B2 (en) 2009-03-31 2011-09-21 カシオ計算機株式会社 Imaging apparatus, imaging control method, and program
US20120242791A1 (en) * 2009-12-09 2012-09-27 Panasonic Corporation 3-d video processing device and 3-d video processing method
WO2011086636A1 (en) * 2010-01-13 2011-07-21 パナソニック株式会社 Stereo image capturing device, stereo image capturing method, stereo image display device, and program
JP5521608B2 (en) 2010-02-12 2014-06-18 ソニー株式会社 Image processing apparatus, image processing method, and program
JP5641200B2 (en) 2010-05-28 2014-12-17 ソニー株式会社 Image processing apparatus, image processing method and an image processing program and a recording medium
KR20120005328A (en) * 2010-07-08 2012-01-16 삼성전자주식회사 Stereoscopic glasses and display apparatus including the same
WO2012026185A1 (en) * 2010-08-24 2012-03-01 富士フイルム株式会社 Image pickup device and method for controlling operation thereof
CN103238337B (en) * 2010-11-23 2016-03-16 深圳超多维光电子有限公司 Stereoscopic image capture system and method
JP5963422B2 (en) 2010-12-17 2016-08-03 キヤノン株式会社 Imaging device, a display device, a computer program and stereoscopic display system
JP2012220874A (en) * 2011-04-13 2012-11-12 Nikon Corp Imaging device and program
JP5861293B2 (en) * 2011-07-20 2016-02-16 日産自動車株式会社 Vehicle video display apparatus
JP6113411B2 (en) * 2011-09-13 2017-04-12 シャープ株式会社 Image processing apparatus
JP5586788B2 (en) * 2011-09-30 2014-09-10 富士フイルム株式会社 The image display apparatus and image capturing apparatus
JP6233870B2 (en) * 2012-08-28 2017-11-22 稔 稲葉 Stereoscopic video receiver
WO2014057618A1 (en) 2012-10-09 2014-04-17 パナソニック株式会社 Three-dimensional display device, three-dimensional image processing device and three-dimensional display method
JP2016109710A (en) * 2014-12-02 2016-06-20 セイコーエプソン株式会社 Head-mounted display system, control method of head-mounted display system, and computer program
CN106325521B (en) 2016-08-31 2018-06-29 北京小米移动软件有限公司 Test virtual reality head significantly device software method and apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055291A (en) * 2004-08-18 2006-03-02 Olympus Corp Display control unit for stereo endoscope
JP4594673B2 (en) * 2004-08-18 2010-12-08 オリンパス株式会社 Stereoscopic endoscope display control device

Also Published As

Publication number Publication date
JPH07167633A (en) 1995-07-04

Similar Documents

Publication Publication Date Title
Wann et al. Natural problems for stereoscopic depth perception in virtual environments
US6246382B1 (en) Apparatus for presenting stereoscopic images
JP3157384B2 (en) Three-dimensional imaging device
JP4517664B2 (en) An image processing apparatus and method, program, and recording medium
EP1064783B1 (en) Wearable camera system with viewfinder means
US20020085843A1 (en) Wearable camera system with viewfinder means
JP4198054B2 (en) 3d video conference system
US9191658B2 (en) Head-mounted display and position gap adjustment method
JP3579162B2 (en) Stereoscopic cg image generating device
US4647965A (en) Picture processing system for three dimensional movies and video systems
US20050089212A1 (en) Method and apparatus for processing three-dimensional images
EP1489857B1 (en) 3-dimensional image processing method and device
US8094927B2 (en) Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US4870600A (en) Three-dimensional image display system using binocular parallax
US20100238270A1 (en) Endoscopic apparatus and method for producing via a holographic optical element an autostereoscopic 3-d image
JP2848291B2 (en) Three-dimensional tv equipment
US20110316987A1 (en) Stereoscopic display device and control method of stereoscopic display device
US8648876B2 (en) Display device
US8666241B2 (en) Stereo camera with automatic control of interocular distance based on lens settings
KR100519864B1 (en) Image information input device and method
EP0618471B1 (en) Image display apparatus
JP5679978B2 (en) Stereoscopic image registration device, image registration method for stereoscopic vision, and the program
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US6175379B1 (en) Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
US6389153B1 (en) Distance information generator and display device using generated distance information

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees