JPH0767024A - Compound eye type image pickup device - Google Patents
Compound eye type image pickup deviceInfo
- Publication number
- JPH0767024A JPH0767024A JP5211781A JP21178193A JPH0767024A JP H0767024 A JPH0767024 A JP H0767024A JP 5211781 A JP5211781 A JP 5211781A JP 21178193 A JP21178193 A JP 21178193A JP H0767024 A JPH0767024 A JP H0767024A
- Authority
- JP
- Japan
- Prior art keywords
- video camera
- subject
- camera
- camera unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、2台のビデオカメラを
用いた複眼撮像装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a compound eye image pickup device using two video cameras.
【0002】[0002]
【従来の技術】従来、この種の複眼撮像装置として特公
平5−3199号公報に開示された立体撮像ビデオカメ
ラ等がある、このカメラは2台のビデオカメラをほぼ同
方向に向けてカメラ本体に正対する被写体を異なる角度
から撮影してそこから得られた映像により立体映像を得
るものである。また、特開昭62−12493号公報に
開示された立体撮像合焦装置では、カメラ本体に正対し
ない被写体を撮影する為に、撮影したい被写体に赤外線
のスポット光を照射し、その反射光にレンズの光軸を向
けることが開示されている。2. Description of the Related Art Conventionally, as a compound-eye image pickup apparatus of this type, there is a stereoscopic image pickup video camera disclosed in Japanese Patent Publication No. 5-3199. This camera body has two video cameras oriented substantially in the same direction. A stereoscopic image is obtained from the images obtained by shooting the subject directly facing the camera from different angles. Further, in the stereoscopic image pickup focusing device disclosed in Japanese Patent Laid-Open No. 62-12493, in order to photograph an object that does not face the camera body, an infrared spot light is emitted to the object to be photographed and the reflected light is reflected. Orienting the optical axis of the lens is disclosed.
【0003】[0003]
【発明が解決しようとする課題】しかし、上記従来例の
うち、前者では映したい被写体を指定することが不可能
であるという問題点がある。また、後者の場合には、そ
の被写体の指定にかかわる機構が手動であり、観察者が
撮像しながら被写体を指定することは非常に困難である
という問題点がある。However, of the above-mentioned conventional examples, there is a problem that the former cannot specify a subject to be projected. In the latter case, the mechanism for designating the subject is manual, and it is very difficult for the observer to designate the subject while capturing an image.
【0004】本発明は上述したような従来の技術が有す
る問題点に鑑みてなされたものであって、立体撮影モー
ド時だけでなくパノラマ撮影モード時においても観察者
が撮影しながら簡単に被写体を指定及び選択することが
できる複眼撮像装置を実現することを目的とする。The present invention has been made in view of the problems of the above-mentioned conventional techniques, and an observer can easily photograph an object not only in the stereoscopic photographing mode but also in the panoramic photographing mode. An object is to realize a compound-eye imaging device that can be designated and selected.
【0005】[0005]
【課題を解決するための手段】本発明の複眼撮像装置
は、それぞれの絞り、フォーカス、ズームの撮像条件を
設定する機構が少なくともひとつのカメラ制御手段によ
り制御される第1のビデオカメラ部および第2のビデオ
カメラ部と、前記第1のビデオカメラ部と第2のビデオ
カメラ部を合体する合体手段と、前記第1のビデオカメ
ラ部と第2のビデオカメラ部の各光軸で求められる平面
に対して略水平となる面内において、前記第1と第2の
ビデオカメラ部の光軸方向を可変にする光軸方向可変手
段と、前記第1のビデオカメラ部と第2のビデオカメラ
部の光軸角を制御する光軸角制御手段と、前記第1のビ
デオカメラ部と第2のビデオカメラ部のうちの少なくと
もひとつのビデオカメラ部で撮像された映像を映しだす
ビューファインダと、前記ビューファインダに設けら
れ、前記ビューファインダ画面内の任意の被写体を選択
可能な被写体選択手段とを有する複眼撮像装置におい
て、前記被写体選択手段の出力に対応して前記第1のビ
デオカメラ部と第2のビデオカメラ部のうちの少なくと
もひとつのビデオカメラ部の光軸角を制御する。In the compound-eye image pickup apparatus of the present invention, the first video camera section and the first video camera section in which the mechanism for setting the image pickup condition of each aperture, focus and zoom is controlled by at least one camera control means. A second video camera unit, a unit for combining the first video camera unit and the second video camera unit, and a plane obtained by each optical axis of the first video camera unit and the second video camera unit. Optical axis direction varying means for varying the optical axis directions of the first and second video camera sections, and the first video camera section and the second video camera section in a plane that is substantially horizontal with respect to An optical axis angle control means for controlling the optical axis angle of the, and a viewfinder for displaying an image captured by at least one of the first video camera section and the second video camera section. In a compound-eye image pickup device provided in the viewfinder and having a subject selecting unit capable of selecting an arbitrary subject in the viewfinder screen, a first video camera unit and a first video camera unit corresponding to an output of the subject selecting unit. The optical axis angle of at least one of the two video camera units is controlled.
【0006】[0006]
【作用】前記被写体選択手段の出力に対応して前記第1
と第2のビデオカメラの内の少なくともひとつのビデオ
カメラの回動角を制御する構成にしたので、観察者が撮
影しながら簡単に被写体を指定及び選択することができ
る様になった。According to the output of the subject selection means, the first
Since the configuration is such that the rotation angle of at least one of the second video cameras is controlled, the observer can easily designate and select a subject while taking a picture.
【0007】[0007]
【実施例】次に、本発明の実施例について図面を参照し
て説明する。Embodiments of the present invention will now be described with reference to the drawings.
【0008】図1は、本発明による複眼撮像装置の一実
施例の構成を示すブロック図、図2は、本発明の一実施
例の外観斜視図を示している。FIG. 1 is a block diagram showing the construction of an embodiment of a compound eye image pickup apparatus according to the present invention, and FIG. 2 is an external perspective view of an embodiment of the present invention.
【0009】第1のビデオカメラ部Aと第2のビデオカ
メラ部Bはほぼ同一方向にほぼ並列に配置され、合体手
段Cにより一体化されている。第1および第2のビデオ
カメラ部A、Bは本体部、光学部、本体内部の電気回路
部などで構成され、撮像素子としてはCCDを用いた半
導体素子が使用されている。また本体にはそれぞれのビ
デオカメラに対応した撮像出力を各々対応するVTR等
の記憶装置に送り、また、外部からの電源供給を受け、
さらにはリモートコントロール信号を供給するためのコ
ネクタ部50、51が設けられている。またこの複眼撮
像装置には片方のビデオカメラの撮像出力を映し出すビ
ューファインダ24が合体手段Cに設けられている。The first video camera section A and the second video camera section B are arranged substantially in parallel in substantially the same direction and are integrated by a uniting means C. The first and second video camera sections A and B are composed of a main body section, an optical section, an electric circuit section inside the main body, etc., and a semiconductor element using a CCD is used as an image pickup element. In addition, the main body sends the image pickup output corresponding to each video camera to the corresponding storage device such as a VTR, and receives the power supply from the outside,
Furthermore, connector parts 50 and 51 for supplying a remote control signal are provided. Further, in this compound eye image pickup device, a viewfinder 24 for displaying the image pickup output of one of the video cameras is provided in the uniting means C.
【0010】ところで、第1、第2のビデオカメラ部
A、Bで撮像した画像を立体視するには、両方からの画
像をスクリーンあるいはブラウン管のスクリーンに重ね
あわせる必要がある。そして、重ねあわせたときに立体
効果を得る必要がある。そのためには、第1、第2のビ
デオカメラ部A、Bの光学軸を被写体側で交差させて撮
像する必要がある。ここで、両カメラの光学軸の交差位
置と被写体の位置との関係は立体効果に大きく影響す
る。たとえば交差位置と被写体が同一であると、立体画
像が表現される位置はスクリーン面とほぼ同じである。
しかし、交差位置が被写体の手前にあると立体の表現位
置はスクリーンの奥にある。逆に、交差位置が被写体の
奥にあると立体の表現位置はスクリーンの手前にあり、
スクリーンから飛び出した位置になる。By the way, in order to stereoscopically view the images picked up by the first and second video camera units A and B, it is necessary to superimpose the images from both on the screen or the screen of the cathode ray tube. And it is necessary to obtain a three-dimensional effect when they are superposed. For that purpose, it is necessary to cross the optical axes of the first and second video camera units A and B on the object side to capture an image. Here, the relationship between the intersecting position of the optical axes of both cameras and the position of the subject has a great influence on the stereoscopic effect. For example, if the intersecting position and the subject are the same, the position where the stereoscopic image is expressed is almost the same as the screen surface.
However, if the intersecting position is in front of the subject, the three-dimensional representation position is behind the screen. On the contrary, if the intersection position is behind the subject, the three-dimensional expression position is in front of the screen,
It will be in a position protruding from the screen.
【0011】このような立体効果を適切に得るために
は、被写体とカメラ間の距離に応じて、第1、第2のビ
デオカメラ部A、Bの光軸の交差位置を調整しなければ
ならない。本発明による複眼撮像装置においてもこの点
には留意した構成となっている。また、本発明による複
眼撮像装置においては、後述のようにSWを切り替える
ことにより、立体撮影だけでなくパノラマ撮影も可能と
なっている。次に、本発明による複眼撮像カメラの構成
を図2を元に具体的に説明する。In order to properly obtain such a stereoscopic effect, it is necessary to adjust the intersection position of the optical axes of the first and second video camera units A and B according to the distance between the subject and the camera. . The compound-eye imaging device according to the present invention is also configured with this point in mind. Further, in the compound-eye imaging device according to the present invention, not only stereoscopic shooting but also panoramic shooting is possible by switching the SW as described later. Next, the configuration of the compound-eye imaging camera according to the present invention will be specifically described with reference to FIG.
【0012】図2において、右眼用の光は、レンズ群1
を通して右ビデオカメラ部Aの内部の撮像素子2により
撮像され、右眼映像信号として出力される。一方、左眼
用の光は、レンズ群4を通して左ビデオカメラ部Bの内
部の撮像素子5により撮像され、左眼映像信号として出
力される。右眼映像信号および左眼映像信号のそれぞれ
は、後述の処理を経て出力端子50、51に出力され
る。In FIG. 2, the light for the right eye is the lens group 1
The image is picked up by the image pickup element 2 inside the right video camera section A through and output as a right-eye video signal. On the other hand, the light for the left eye is captured by the image sensor 5 inside the left video camera unit B through the lens group 4 and output as a left eye video signal. Each of the right-eye video signal and the left-eye video signal is output to output terminals 50 and 51 through the processing described below.
【0013】各レンズ群1、4を駆動するモータは、ズ
ーム用と合焦用が左右のカメラにそれぞれ設けられ、右
ズームモータ7、右合焦モータ8、及び、左ズームモー
タ9、左合焦モータ10が設けられている。また、各レ
ンズ群1、4には、撮像素子への受光量を調整する絞り
3、6がそれぞれ設けられている。さらに、ズームモー
タ、合焦モータに駆動されるレンズ位置を検出する位置
検出器11、12、13、及び14が設けられ、その出
力は制御部15へ入力されている。第1および第2のビ
デオカメラ部A、Bには、たとえば発光素子と受光素子
で構成され、被写体までの距離を測定して制御部15に
入力する距離検出器33、34が設けられている。この
距離検出器33、34のうちの少なくとも一方は、水平
方向に対して回転可能に構成されていて、制御部15の
命令により指定された方向の被写体の距離を測定するこ
とが可能となっている。16は撮像素子の感度のばらつ
きや左右のレンズ群の固体差、さらには、後述の2つの
カメラの角度や間隔の初期値を製造時に記憶させるEE
PROMである。Motors for driving the respective lens groups 1 and 4 are provided for the left and right cameras respectively for zooming and focusing, and a right zoom motor 7, a right focusing motor 8, a left zoom motor 9 and a left focusing motor are provided. A focus motor 10 is provided. Further, each of the lens groups 1 and 4 is provided with diaphragms 3 and 6 for adjusting the amount of light received by the image sensor. Further, position detectors 11, 12, 13, and 14 for detecting the lens positions driven by the zoom motor and the focus motor are provided, and the outputs thereof are input to the control unit 15. The first and second video camera units A and B are provided with distance detectors 33 and 34, which are composed of, for example, a light emitting element and a light receiving element, and measure the distance to the subject and input it to the control unit 15. . At least one of the distance detectors 33 and 34 is configured to be rotatable in the horizontal direction, and it is possible to measure the distance of the subject in the direction designated by the command of the control unit 15. There is. Reference numeral 16 denotes an EE that stores the variation in the sensitivity of the image sensor, the individual difference between the left and right lens groups, and the initial values of the angles and intervals of the two cameras described later at the time of manufacturing.
It is a PROM.
【0014】さらに、撮像素子2、5の受光面を略回動
中心として、カメラを水平方向で回動させる右輻輳角モ
ータ17、左輻輳角モータ18が設けられ、また左右の
カメラには回転角検出器19、20がそれぞれ設けら
れ、その出力は制御部15に入力されている。そして、
右ビデオカメラ部Aには、左右のカメラの間隔を調整す
る調整部21と、該調整部21を駆動する調整モータ2
2と、左右のカメラの間隔を検出する間隔検出器23と
が設けられ、その出力は制御部15に入力されている。Further, a right convergence angle motor 17 and a left convergence angle motor 18 for rotating the camera in the horizontal direction are provided with the light receiving surfaces of the image pickup devices 2 and 5 as substantially rotation centers, and the left and right cameras rotate. Angle detectors 19 and 20 are provided, and the outputs thereof are input to the control unit 15. And
The right video camera unit A has an adjusting unit 21 for adjusting the distance between the left and right cameras and an adjusting motor 2 for driving the adjusting unit 21.
2 and a gap detector 23 that detects the gap between the left and right cameras, and the output thereof is input to the control unit 15.
【0015】撮像素子2、5は、同期信号発生器36に
より同期して駆動され、素子より出力されるアナログ映
像信号は、不図示のアンプを経てデジタル映像信号に変
換するA/D変換器40、41にそれぞれ入力される。
A/D変換器40、41から出力されるデジタル映像信
号は、前記同期信号発生器36で読み込み及び読みだし
を制御される画像メモリ41、44にそれぞれ記憶さ
れ、画像相関処理部46により各画像メモリ41、44
に記憶されたデジタル映像信号から画像の相関演算を行
う。画像相関処理部46での演算結果は制御部15に入
力され、該演算結果によりメモリから読みだすアドレス
を変えたり、時間軸を変えたりする。47はパノラマ撮
影時に前記画像相関処理部44で得られた演算結果より
合成される画像合成処理部、42、45は、画像メモリ
41、44あるいは画像合成処理部47から出力される
デジタル信号をアナログ映像信号に変換するD/A変換
器で、D/A変換器45に出力される信号は立体−パノ
ラマ切替SW35により、入力を画像メモリ44あるい
は画像合成処理部47のいずれかに切り替えられる。The image pickup devices 2 and 5 are driven in synchronization by a synchronizing signal generator 36, and an analog video signal output from the device is converted into a digital video signal through an amplifier (not shown) and an A / D converter 40. , 41, respectively.
The digital video signals output from the A / D converters 40 and 41 are stored in the image memories 41 and 44 whose reading and reading are controlled by the synchronizing signal generator 36, respectively, and each image is processed by the image correlation processing unit 46. Memory 41, 44
The image correlation calculation is performed from the digital video signal stored in. The calculation result of the image correlation processing unit 46 is input to the control unit 15, and the address read from the memory or the time axis is changed according to the calculation result. Reference numeral 47 is an image composition processing unit that is composed from the calculation results obtained by the image correlation processing unit 44 at the time of panoramic photography, and 42 and 45 are analog signals obtained from the image memories 41 and 44 or the image composition processing unit 47. The signal output to the D / A converter 45, which is a D / A converter for converting into a video signal, has its input switched to either the image memory 44 or the image composition processing unit 47 by the stereoscopic / panorama switching SW 35.
【0016】24はビューファインダでD/A変換器4
2、45を経て得られるアナログ映像信号を見ることが
できるようになっている。またビューファインダ24
は、合体手段Cに回動可能に取りつけられ、この回動に
より右眼だけでなく、180゜回転させることでビュー
ファインダ24の接眼部をカメラ本体の反対側に移動さ
せることにより左眼でも見れるようになっている。ま
た、180゜回転させることでビューファインダ24は
上下逆さまになってしまうが、不図示の機構により回転
可能に構成されており、なんら不具合は発生しないよう
になっている。A viewfinder 24 is a D / A converter 4
An analog video signal obtained through 2, 45 can be viewed. Also the viewfinder 24
Is rotatably attached to the uniting means C, and this rotation causes not only the right eye but also the left eye by rotating the eyepiece part of the viewfinder 24 by rotating 180 ° to the side opposite to the camera body. You can see it. Further, although the viewfinder 24 is turned upside down by rotating it by 180 °, the viewfinder 24 is configured to be rotatable by a mechanism (not shown) so that no trouble occurs.
【0017】さらに、立体撮影時は、主カメラ選択SW
25によりビューファインダ24へ出力される信号を右
ビデオカメラ部Aからの信号と左ビデオカメラ部Bから
の信号とのどちらかを選択できるようになっている。つ
まり撮影者が右眼でビューファインダ24を覗いている
場合には、主となるカメラを右カメラに、また、左眼で
覗いている場合には主となるカメラを左カメラにするこ
とができる。そして、パノラマ撮影時は、本実施例では
左カメラに切り替えることによって左右のカメラで撮像
された信号から合成されたパノラマ画像をビューファイ
ンダ24で観察できるようになっている。また、ビュー
ファインダ24には視線検出器26が設けられ、視線の
位置を検出できるようになっている。Furthermore, during stereoscopic photography, the main camera selection switch
25, the signal output to the viewfinder 24 can be selected from either the signal from the right video camera unit A or the signal from the left video camera unit B. That is, when the photographer is looking through the viewfinder 24 with the right eye, the main camera can be the right camera, and when looking through the left eye, the main camera can be the left camera. . During panoramic photography, in this embodiment, by switching to the left camera, the panoramic image synthesized from the signals captured by the left and right cameras can be observed by the viewfinder 24. A line-of-sight detector 26 is provided in the viewfinder 24 so that the position of the line of sight can be detected.
【0018】また、カメラ本体には操作ボタンあるいは
SWとして、カメラスタンバイボタン27、ズーム操作
ボタン28、被写体選択ボタン29、被写体追尾ボタン
30、ステータス記憶ボタン31、立体−パノラマ切り
替えSW35、そして、初期状態選択SW32があり、
初期状態選択SW32はカメラスタンバイ時のカメラの
状態を初期化状態とするか、あるいは、ステータス記憶
ボタン31が押されたときのカメラの状態を記憶してお
いて、スタンバイ時に自動的にその状態へ復帰するもの
である。Further, as operation buttons or SW on the camera body, a camera standby button 27, a zoom operation button 28, a subject selection button 29, a subject tracking button 30, a status storage button 31, a stereoscopic / panorama switching SW 35, and an initial state. There is a selection SW32,
The initial state selection SW 32 sets the state of the camera in the camera standby state to the initialization state, or stores the state of the camera when the status storage button 31 is pressed, and automatically switches to that state in the standby state. It is something that will be restored.
【0019】次に、本実施例におけるズーム合焦系の説
明を行う。Next, the zoom focusing system in this embodiment will be described.
【0020】本実施例では、リアフォーカシングタイプ
のレンズシステムを採用しており、フォーカシングレン
ズ1−aに対して焦点距離の変化に伴う焦点面の移動を
補正する補正レンズの機能とフォーカシングレンズとし
ての機能の両方の機能を持たせている。すなわち、この
タイプのレンズシステムでは、補正レンズがフォーカシ
ングレンズを兼ね備えているので、ズーム中は被写体距
離によって補正レンズの移動軌跡が異なる。そこで上記
複数のフォーカシングレンズ移動軌跡を制御部15に記
憶させ、被写体距離によって軌跡を選択させてフォーカ
シングレンズ1−aを移動させている。In this embodiment, a rear focusing type lens system is adopted, and the function of the correction lens for correcting the movement of the focal plane due to the change of the focal length with respect to the focusing lens 1-a and the function of the focusing lens are as follows. It has both functions. That is, in this type of lens system, since the correction lens also serves as the focusing lens, the movement locus of the correction lens varies depending on the subject distance during zooming. Therefore, the plurality of focusing lens movement loci are stored in the control unit 15, and the loci are selected according to the subject distance to move the focusing lens 1-a.
【0021】また、左右のレンズ群のばらつき等により
画角の違いやズーム時の光軸のずれ、さらには、フォー
カシングのタイミングのずれが複眼撮像系の弱点ともな
るため、製造時にEEPROM16の画角と同一とする
ための左右のズームレンズ位置の対応データと、被写体
までの距離とその時の左右のフォーカシングレンズ位置
の対応データが書き込まれている。Further, the difference in the angle of view, the shift of the optical axis at the time of zooming due to the dispersion of the left and right lens groups, and the shift of the timing of focusing are also weak points of the compound-eye image pickup system. The correspondence data of the left and right zoom lens positions and the correspondence data of the distance to the subject and the left and right focusing lens positions at that time are written.
【0022】続いて、本実施例における視線検出系の説
明を行う。Next, the visual axis detection system in this embodiment will be described.
【0023】本実施例において、ビューファインダ24
には視線検出器が設けられている。視線検出の方法とし
ては、たとえば特開昭61−172552号公報におい
ては、光源からの平行光束を観察者の眼球の前眼部へ投
射し、角膜からの反射光による角膜反射像と瞳孔の結像
位置を利用して視軸を求めている。In the present embodiment, the viewfinder 24
Is equipped with a line-of-sight detector. As a method of detecting the line of sight, for example, in Japanese Patent Application Laid-Open No. 61-172552, a parallel light flux from a light source is projected onto the anterior segment of the eyeball of an observer, and a corneal reflection image and a pupil are combined by reflected light from the cornea. The visual axis is obtained using the image position.
【0024】図3は、視線検出の原理説明図で、(a)
は視線検出光学系の概略図、(b)は光電素子列66の
出力強度図である。FIG. 3 is a diagram for explaining the principle of line-of-sight detection.
Is a schematic view of the line-of-sight detection optical system, and (b) is an output intensity diagram of the photoelectric element array 66.
【0025】同図において、65は観察者に対して不感
の赤外光を放射する発光ダイオード等の光源であり、投
光レンズ63の焦点面に配置されている。光源65より
放射された赤外光は投光レンズ63により平行光とさ
れ、ハーフミラー62で反射し、眼球の角膜67を照明
する。このとき角膜67の表面で反射した赤外光の一部
による角膜反射像(虚像)dは、ハーフミラー62を透
過し、受光レンズ64により集光されて光電素子列66
上の位置Zd′に投影される。また虹彩69の端部a、
bからの光束は、受光レンズ64を介して光電素子列6
6上のa′、b′に該端部a′、b′の像を結像する。
受光レンズ64の光軸(光軸ア)に対する眼球の光軸イ
の回転角θが小さい場合、虹彩69の端部a、bのZ座
標をZa、Zbとすると瞳孔の中心位置cの座標Zc
は、 Zc≒(Za+Zb)/2 と表される。In the figure, reference numeral 65 denotes a light source such as a light emitting diode which emits infrared light insensitive to the observer, and is arranged on the focal plane of the light projecting lens 63. The infrared light emitted from the light source 65 is collimated by the light projecting lens 63, reflected by the half mirror 62, and illuminates the cornea 67 of the eyeball. At this time, a corneal reflection image (virtual image) d due to a part of the infrared light reflected on the surface of the cornea 67 passes through the half mirror 62, is condensed by the light receiving lens 64, and is photoelectrical device array 66.
The image is projected at the upper position Zd '. Also, the edge a of the iris 69,
The light flux from b passes through the light receiving lens 64 and the photoelectric element array 6
Images of the end portions a'and b'are formed on a'and b'on 6, respectively.
When the rotation angle θ of the optical axis a of the eyeball with respect to the optical axis (optical axis a) of the light receiving lens 64 is small, assuming that the Z coordinates of the ends a and b of the iris 69 are Za and Zb, the coordinate Zc of the central position c of the pupil is represented.
Is expressed as Zc≈ (Za + Zb) / 2.
【0026】また、角膜反射像dのZ座標と角膜67の
曲率中心OのZ座標とは一致するため、角膜反射像の発
生位置dのZ座標をZd、角膜67の曲率中心Oと瞳孔
の中心Cまでの距離をOcとすると眼球の光軸イ回転角
θは、 Oc×SINθ≒Zc−Zd・・・・・・(1) の関係式を満足する。このため演算処理装置60におい
て、図3(b)のごとく光電素子列66上に投影された
各特徴点(角膜反射像d及び虹彩の瑞部a、b)の位置
を検出することにより、眼球の光軸イの回転角θを求め
ることができる。この時、(1)式は、 γ×Oc×SINθ≒(Za′+Zb′)/2−Zd′・・・・・・(2) と書き換えられる。ただし、γは受光レンズ64に対す
る眼球の位置により決まる倍率である。Further, since the Z coordinate of the corneal reflection image d and the Z coordinate of the center of curvature O of the cornea 67 coincide with each other, the Z coordinate of the generation position d of the corneal reflection image is Zd, the center of curvature O of the cornea 67 and the pupil. Assuming that the distance to the center C is Oc, the rotation angle θ of the optical axis of the eyeball satisfies the relational expression of Oc × SINθ≈Zc−Zd (1). Therefore, the arithmetic processing unit 60 detects the positions of the respective feature points (corneal reflection image d and the iris ridges a and b) projected on the photoelectric element array 66 as shown in FIG. The rotation angle θ of the optical axis a can be obtained. At this time, the equation (1) can be rewritten as γ × Oc × SINθ≈ (Za ′ + Zb ′) / 2−Zd ′ ... (2). However, γ is a magnification determined by the position of the eyeball with respect to the light receiving lens 64.
【0027】さらに、観察者の眼球光軸の回転角θが算
出されると、眼球の光軸と視軸の補正をすることにより
観察者の視線が求められる。Further, when the rotation angle θ of the optical axis of the eyeball of the observer is calculated, the line of sight of the observer can be obtained by correcting the optical axis of the eyeball and the visual axis.
【0028】また図3においては、観察者の眼球がZ−
X平面(たとえば水平面)内で回転する例を示している
が、観察者の眼球がX−Y平面(たとえば垂直面)内で
回転する場合においても同様に検出可能である。Further, in FIG. 3, the observer's eyeball is Z-.
Although the example of rotating in the X plane (for example, horizontal plane) is shown, it can be similarly detected when the eyeball of the observer rotates in the XY plane (for example, vertical plane).
【0029】次に、本実施例による複眼撮像装置の動作
を説明する。Next, the operation of the compound-eye image pickup apparatus according to this embodiment will be described.
【0030】図4は、本実施例の制御部15による制御
動作を示すフローチャートである。図4に基づいて本実
施例の装置の初期化動作の説明を行う。FIG. 4 is a flow chart showing the control operation by the control unit 15 of this embodiment. The initialization operation of the apparatus of this embodiment will be described with reference to FIG.
【0031】制御部15は、カメラに電源が供給されて
スタンバイ状態となると(ステップS401)、初期状
態選択SW32、立体−パノラマ切替SW35の状態を
検出して、装置の動作モードが初期化モードか記憶モー
ドかを確認する(ステップS402)。初期化モードが
選択されている場合には、制御部15は立体撮影モード
かパノラマ撮影モードかをさらに確認する(ステップS
403)。When power is supplied to the camera and the camera enters a standby state (step S401), the control unit 15 detects the states of the initial state selection SW 32 and the stereoscopic / panoramic switching SW 35 to determine whether the operation mode of the apparatus is the initialization mode. It is confirmed whether it is the storage mode (step S402). When the initialization mode is selected, the control unit 15 further confirms whether the stereoscopic shooting mode or the panoramic shooting mode (step S).
403).
【0032】初期化モードと立体撮影モードが選択され
ている場合には、まず、2つのカメラのズーム光学系を
初期値に設定した後(ステップS409)、2つのカメ
ラの間隔を所定の初期値になるように調整モータ22を
駆動するカメラ間隔の初期化を行い(ステップS41
0)、さらに、2つのカメラがそれぞれの回転中心を結
ぶ線に垂直で、かつ、2つのカメラが平行になるように
駆動する左右のカメラ角度の初期化を行う(ステップS
411)。これらの状態設定は、製造時に角度検出器2
9、20の基準値から上記状態とするために測定され、
EEPROM16に書き込まれている角度オフセット値
に基づいて行われる。When the initialization mode and the stereoscopic photographing mode are selected, first, the zoom optical systems of the two cameras are set to the initial values (step S409), and the interval between the two cameras is set to a predetermined initial value. The camera interval for driving the adjustment motor 22 is initialized so that (step S41
0) Further, the left and right camera angles for driving the two cameras so as to be perpendicular to the line connecting the rotation centers of the two cameras and parallel to each other are initialized (step S).
411). These state settings are set by the angle detector 2 at the time of manufacture.
Measured from the reference value of 9 and 20 to the above state,
This is performed based on the angle offset value written in the EEPROM 16.
【0033】次に、主カメラ選択SW25により選択さ
れたカメラ、たとえば、右用の第1のビデオカメラ部A
の距離検出器31より右ビデオカメラ部Aの正面の被写
体までの距離およびカメラ角度θ0を測距して(ステッ
プS412,S413)撮影する(ステップS41
4)。Next, the camera selected by the main camera selection SW 25, for example, the right first video camera unit A
The distance to the object in front of the right video camera section A and the camera angle θ0 are measured from the distance detector 31 of (4), (steps S412, S413), and an image is taken (step S41).
4).
【0034】図4に示すように測距結果をl0、カメラ
間隔をe0とすると、カメラ角度θ0は、 θ0=ATAN(2×l0/e0) (以下、ATANはTANの逆関数を表すものとする) と求められ、制御部15によりそれぞれのカメラが被写
体に向けられ、そこでフォーカシングが行われる。すな
わち2つのカメラの回動中心を結ぶ線の垂直二等分線上
の被写体に自動的に向けられ合焦するのである。As shown in FIG. 4, assuming that the distance measurement result is 10 and the camera interval is e0, the camera angle θ0 is θ0 = ATAN (2 × 10 / e0) (Hereinafter, ATAN represents an inverse function of TAN. Then, the control unit 15 directs each camera to the subject, and focusing is performed there. That is, the object is automatically aimed and focused on the vertical bisector of the line connecting the rotation centers of the two cameras.
【0035】なお、本実施例ではカメラ間隔として、た
かだか10cm程度のものを想定しているため、前記垂
直二等分線上の被写体として右ビデオカメラ部Aに正対
する被写体を使用してもなんら問題はない。また、もっ
と大掛かりなシステムを想定した場合、たとえば、2つ
のカメラの間隔が数十センチあるいは数メートル離れた
場合でも、前記垂直二等分線上に向けた距離センサを別
に設けてもいいし、右ビデオカメラ部Aの発光素子の出
力を左ビデオカメラ部Bの受光素子で受光するような検
出モードを設定すれば、ほぼ同様な条件で測距できる。
さらに、精度が必要な場合には、2つのカメラの距離検
出器を前記垂直二等分線に対して対称に配置することに
よって実現できる。In the present embodiment, the camera interval is assumed to be about 10 cm at most, so there is no problem even if a subject facing the right video camera unit A is used as the subject on the vertical bisector. There is no. Also, assuming a larger system, for example, even when the distance between the two cameras is several tens of centimeters or several meters, a separate distance sensor may be provided on the vertical bisector. If the detection mode is set such that the light emitting element of the video camera unit A outputs the light from the light receiving element of the left video camera unit B, distance measurement can be performed under substantially the same conditions.
Further, if accuracy is required, it can be realized by arranging the distance detectors of the two cameras symmetrically with respect to the vertical bisector.
【0036】次に、初期化モードとパノラマ撮影モード
が選択されている場合について説明する。Next, the case where the initialization mode and the panoramic photography mode are selected will be described.
【0037】制御部15は、初期化モードと立体撮影モ
ードが選択されている場合と同様に、2つのカメラがそ
れぞれの回転中心を結ぶ線に垂直でかつ2つのカメラが
平行になるように駆動する(ステップS404〜S40
6)。そして、2つのカメラの画角が重なる部分(ここ
でも右カメラに正対する被写体を代用してさしつかえな
い)までの距離を測距し(ステップS407)、その値
に基づいて2つのカメラを合焦させて(ステップS40
8)撮影する(ステップS414)。As in the case where the initialization mode and the stereoscopic photographing mode are selected, the control unit 15 drives the two cameras so that the two cameras are perpendicular to the line connecting the respective rotation centers and are parallel to each other. Yes (steps S404 to S40)
6). Then, the distance to a portion where the angles of view of the two cameras overlap (again, the subject facing the right camera can be used instead) can be measured (step S407), and the two cameras can be focused based on the value. Let (Step S40
8) Take an image (step S414).
【0038】次に、記憶モードが選択されている場合に
は、ステータス記憶ボタン31が押された時点でのステ
ータスがEEPROM16に記憶されているかの確認を
行い(ステップS415)、ステータス記憶ボタン31
が押された時点での立体−パノラマ切替SWの状態、左
右のカメラの角度、間隔、ズーム位置を読み込み制御部
15により自動的に記憶された状態へ復帰して(ステッ
プS416)撮影する(ステップS414)。Next, when the storage mode is selected, it is confirmed whether the status at the time of pressing the status storage button 31 is stored in the EEPROM 16 (step S415), and the status storage button 31
When the button is pressed, the state of the stereoscopic / panorama switching SW, the angles, intervals, and zoom positions of the left and right cameras are automatically restored by the reading control unit 15 (step S416) and an image is taken (step S416). S414).
【0039】また、ステップS415にてEEPROM
16にステータスが記憶されていないことが確認された
場合には、ステップS403に移行し、自動的に初期化
モードに設定されるようになっている。Further, in step S415, the EEPROM is
If it is confirmed that the status is not stored in 16, the process proceeds to step S403, and the initialization mode is automatically set.
【0040】次に、本実施例の撮影時の動作について説
明する。Next, the operation of this embodiment at the time of photographing will be described.
【0041】本実施例では、立体撮影モードにおいて、
上記視線検出を利用して以下の2つの視線検出モードを
有している。すなわち、被写体選択モードと被写体追尾
モードである。In this embodiment, in the stereoscopic photographing mode,
It has the following two line-of-sight detection modes using the above line-of-sight detection. That is, the subject selection mode and the subject tracking mode.
【0042】まず、被写体選択モードについて図6
(a)〜(d)を用いて説明する。以下の説明において
は、主カメラを右ビデオカメラ部Aと選択したものとし
て説明する。First, the subject selection mode is shown in FIG.
A description will be given using (a) to (d). In the following description, it is assumed that the main camera is the right video camera section A.
【0043】図6(a)はビューファインダ24内の撮
像中の映像である。図6(b)は、右ビデオカメラ部A
と左ビデオカメラ部Bと被写体の関係を模式的に表した
もので、被写体70、71と右ビデオカメラ部Aを結ん
だ線を72、73、被写体70を通り線72に垂直な線
を74する。また、被写体70、71と左ビデオカメラ
部Bを結んだ線を75、76、被写体70を通り、線7
5に垂直な線を77とする。FIG. 6A shows a video image being captured in the viewfinder 24. FIG. 6B shows the right video camera unit A.
And the left video camera unit B and the subject are schematically shown. The lines connecting the subjects 70 and 71 and the right video camera unit A are 72 and 73, and the line passing through the subject 70 and perpendicular to the line 72 is 74. To do. In addition, lines 75, 76 connecting the subjects 70, 71 and the left video camera unit B pass through the subject 70, and a line 7
The line perpendicular to 5 is 77.
【0044】被写体70は左右のカメラの光軸の交差す
る位置にあるが、被写体71はそれ以外のところにある
ため、被写体71は右ビデオカメラ部Aで見た場合、画
面上で線73と74の交点78にある様に見える。一
方、左ビデオカメラ部Bで見た場合には、画面上で線7
6と77の交点79にある様に見える。すなわち、これ
らを重ねあわせてみると被写体71は、図6(a)の破
線で示される様に2重となっている。The subject 70 is located at a position where the optical axes of the left and right cameras intersect with each other, but the subject 71 is located at a position other than that. Appears to be at intersection 78 of 74. On the other hand, when viewed from the left video camera section B, the line 7
Appears to be at intersection 79 of 6 and 77. That is, when these are overlapped, the subject 71 is doubled as shown by the broken line in FIG.
【0045】この時に得られる立体視像はスクリーン上
に被写体70があり、スクリーンの奥側に被写体71が
あるように観察される。そこで、被写体71を注視した
状態で被写体選択ボタン29を押すと、被写体71の像
が左右のカメラで重なる様に左ビデオカメラ部Bの角度
が自動的に変更される。したがって、この時左右のカメ
ラで撮像されたものを重ねあわせると、今度は被写体7
0が2重となっている。The stereoscopic image obtained at this time is observed such that the subject 70 is on the screen and the subject 71 is on the back side of the screen. Therefore, if the subject selection button 29 is pressed while gazing at the subject 71, the angle of the left video camera unit B is automatically changed so that the images of the subject 71 are overlapped by the left and right cameras. Therefore, if the images captured by the left and right cameras are overlaid at this time, the subject 7
0 is doubled.
【0046】この動作を図6(c)を参照して説明す
る。図6(c)において図6(b)と重複するところは
同番号とし、説明は省略する。This operation will be described with reference to FIG. In FIG. 6C, the same parts as those in FIG.
【0047】右ビデオカメラ部Aと左ビデオカメラ部B
の回転中心を結ぶ線を80とし、中心間の距離をe1、
右ビデオカメラ部Aと左ビデオカメラ部Bと被写体70
までの距離をl1(被写体70が線80の垂直二等分線
上にあるとした)、右ビデオカメラ部Aと被写体71と
の距離をl2、左ビデオカメラ部Bと被写体71との距
離をl3、線80と線72、75のなす角をθ1、線7
3と線72のなす角をθ2、線76と線80のなす角を
θ3とし、被写体71を通り線74に平行な線を81、
また、被写体71を通り線77に平行な線を82とする
と、ビデオカメラ部Aで観察した場合の画面上での被写
体71の画面中心83からの水平方向の距離l4は、 l4=l2×SINθ2 と表すことができる(被写体70が画面の中心あること
から)。一方、ビデオカメラ部Bで観察した場合の画面
上での被写体71の画面中心84からの水平方向の距離
l5は、 l5=l3×SIN(θ1−θ3) と表すことができる。そこで、右ビデオカメラ部Aの被
写体71の像に左ビデオカメラ部Bの被写体71の像を
重ねあわせるためには、左ビデオカメラ部Bの画面を左
側にずらせば良い。そのずらし量l6は、 l6=l4−l5 となる。これを実際に行うには、左ビデオカメラ部Bを
図において、反時計回りにθ4だけ回転させれば良い。
その回転角θ4は、 θ4=ATAN(l6/(l3×SIN(θ1−θ3)) と得ることができ、この角度だけ左ビデオカメラ部Bを
左輻輳角モータ18により回転させることにより、被写
体71に注視している状態になる。Right video camera section A and left video camera section B
The line connecting the rotation centers of is 80, and the distance between the centers is e1,
Right video camera section A, left video camera section B, and subject 70
Up to l1 (assuming that the subject 70 is on the vertical bisector of the line 80), the distance between the right video camera unit A and the subject 71 is l2, and the distance between the left video camera unit B and the subject 71 is l3. , The angle between line 80 and lines 72 and 75 is θ1, line 7
The angle between the line 3 and the line 72 is θ2, the angle between the line 76 and the line 80 is θ3, and the line passing through the subject 71 and parallel to the line 74 is 81,
If the line passing through the subject 71 and parallel to the line 77 is 82, the horizontal distance l4 from the screen center 83 of the subject 71 on the screen when observed by the video camera unit A is: l4 = l2 × SINθ2 Can be expressed (because the subject 70 is at the center of the screen). On the other hand, the horizontal distance l5 from the screen center 84 of the subject 71 on the screen when observed by the video camera unit B can be expressed as l5 = l3 × SIN (θ1−θ3). Therefore, in order to superimpose the image of the subject 71 of the left video camera unit B on the image of the subject 71 of the right video camera unit A, the screen of the left video camera unit B may be shifted to the left. The shift amount 16 is 16 = 14-15. To actually perform this, the left video camera unit B may be rotated counterclockwise by θ4 in the figure.
The rotation angle θ4 can be obtained as θ4 = ATAN (16 / (13 × SIN (θ1-θ3)), and by rotating the left video camera unit B by the left convergence angle motor 18 by this angle, the subject 71 It will be in the state of gazing at.
【0048】ここで、e1は調整部21の間隔検出器の
データ、l1は距離検出器33、あるいは、距離検出器
34から得られ、またθ1は、角度検出器19あるい
は、角度検出器20から得られる。そしてθ2は視線検
出器26から、l2は距離検出器をθ2だけ回転させて
測距させることにより得られ、θ3はl2、θ1、θ2
及びe1より、 θ3=ATAN(l2×SIN(θ1+θ2/(e1+l2×COS(θ1+ θ2))・・・・・・(3) そして、l3はl2、θ1、θ2、θ3より、 l3=l2×SIN(θ1+θ2)/SINθ3・・・・・・(4) と求められるから、上記モードは容易に実施できる。Here, e1 is obtained from the distance detector of the adjusting unit 21, l1 is obtained from the distance detector 33 or the distance detector 34, and θ1 is obtained from the angle detector 19 or the angle detector 20. can get. Further, θ2 is obtained from the line-of-sight detector 26, l2 is obtained by rotating the distance detector by θ2 to measure the distance, and θ3 is obtained from l2, θ1 and θ2.
And e1, θ3 = ATAN (l2 × SIN (θ1 + θ2 / (e1 + l2 × COS (θ1 + θ2)) ... (3) and l3 = l2, θ1, θ2, θ3 Since (θ1 + θ2) / SINθ3 (4) is obtained, the above mode can be easily implemented.
【0049】このモードの実際の動作としては、ビュー
ファインダを覗いた状態で選択したい被写体を注視して
被写体選択ボタンを押すと、右ビデオカメラ部Aの距離
検出器33が視線検出器26から得られたθ2だけ回転
し、右ビデオカメラ部Aと被写体71との距離をl2を
測定し、それから、各検出器から得られるデータすなわ
ちe1、l1、l2、θ1、θ2より、θ3、l3、θ
4を求めてl2、l3に相当するフォーカシングデータ
をEEPROMl6から読みだして左右のカメラをとも
に合焦させたあと、得られたθ4に基づいて左ビデオカ
メラ部Bを回転させる。In the actual operation of this mode, the distance detector 33 of the right video camera unit A is obtained from the line-of-sight detector 26 by gazing at the subject to be selected while looking through the viewfinder and pressing the subject selection button. It rotates by θ2, and the distance l2 between the right video camera unit A and the subject 71 is measured. Then, from the data obtained from each detector, that is, e1, l1, l2, θ1, θ2, θ3, l3, θ
4, the focusing data corresponding to 12 and 13 are read from the EEPROM 16 to focus the left and right cameras together, and then the left video camera unit B is rotated based on the obtained θ4.
【0050】しかし、左右の画像の縦ずれをすべての撮
像条件にわたって機械的になくすのは不可能であるた
め、このように撮影された立体映像は、縦方向のずれを
含んでいる。そしてこの縦ずれが立体視を妨げる要因の
ひとつになっている。そこで、2つのカメラで撮像され
た信号はいったん画像メモリ41、44に記憶され、画
像相関処理部46により2つの画像の相関が演算され
る。相関演算の対象になる領域はたとえば画面を3×1
0の領域に分割し、その中で視線の検知された領域にお
いてのみ行えば良い。However, since it is impossible to mechanically eliminate the vertical displacement of the left and right images under all image capturing conditions, the stereoscopic image thus captured contains vertical displacement. And this vertical displacement is one of the factors that hinder stereoscopic viewing. Therefore, the signals captured by the two cameras are once stored in the image memories 41 and 44, and the image correlation processing unit 46 calculates the correlation between the two images. The area to be subjected to correlation calculation is, for example, 3 × 1 on the screen.
It is sufficient to divide into 0 regions and to perform only in the region where the line of sight is detected.
【0051】相関演算の手法としては様々あるが、本実
施例ではマッチング法を採用しており、左右のカメラで
撮像された信号のうちの同じ領域での画像信号を2値化
し、主カメラとして選択された右ビデオカメラ部Aで撮
像された信号から得られた2値画像を一定量s(たとえ
ば1画素分)を水平方向及び垂直方向に移動させて他方
の2値画像との差分δを求める。そしてその演算を順次
シフトさせて行い、差分δが最小となるシフト量X、Y
を求め、このY値を用いて縦ずれをなくすのである。Although there are various correlation calculation methods, the matching method is used in the present embodiment, and the image signals in the same region of the signals picked up by the left and right cameras are binarized and used as the main camera. The binary image obtained from the signal imaged by the selected right video camera unit A is moved by a fixed amount s (for example, one pixel) in the horizontal direction and the vertical direction, and the difference δ from the other binary image is calculated. Ask. Then, the calculation is sequentially shifted to perform the shift amounts X and Y that minimize the difference δ.
Then, the Y value is used to eliminate the vertical shift.
【0052】上記のように2つの画像がX、Yだけずれ
ていると、両画像の共通部分は撮像された領域より狭
い。すなわち、図7に示すように画像として有効な領域
pは非共通部分qと画角を変えないために削除する部分
rを除いた部分となる。この有効領域pを撮像されたす
べての領域に拡大する為には、水平方向ではメモリのデ
ータを同期信号発生器36により読み出す周期を遅く
し、垂直方向は補間をして読みだせば、選択された被写
体の左右の画像における縦ずれがなくなり、選択された
被写体の立体像がスクリーンの奥側からスクリーン上に
移動する様に見える。When the two images are shifted by X and Y as described above, the common part of both images is narrower than the imaged area. That is, as shown in FIG. 7, the area p that is effective as an image is a portion excluding the non-common portion q and the portion r to be deleted in order not to change the angle of view. In order to expand this effective area p to all the imaged areas, the cycle of reading the data of the memory by the synchronizing signal generator 36 in the horizontal direction is delayed, and in the vertical direction, it is selected by interpolation and reading. Vertical displacement in the left and right images of the subject disappears, and the stereoscopic image of the selected subject appears to move from the back side of the screen to the screen.
【0053】上記実施例では1画素ずつシフトして演算
するとして説明したが、たとえばこれを5画素ずつシフ
トして演算を行い、差分δの最小値が得られる位置の近
傍で補間を行ってX、Yを求める様にすれば演算時間を
短縮することができる。In the above embodiment, the calculation is performed by shifting by one pixel, but for example, the calculation is performed by shifting by 5 pixels, and interpolation is performed in the vicinity of the position where the minimum value of the difference δ is obtained. , Y, the calculation time can be shortened.
【0054】次に被写体追尾モードを図6(d)を参照
して説明する。図6(d)において、図6(b)と重複
するところは同番号として説明は省略する。Next, the subject tracking mode will be described with reference to FIG. 6 (d). In FIG. 6D, the same parts as those in FIG.
【0055】被写体71を通り、右ビデオカメラ部Aと
被写体71とを結ぶ線73と直交する線を85、また被
写体71を通り左ビデオカメラ部Bと被写体71とを結
ぶ線76と直交する線を86、右ビデオカメラ部Aと被
写体70とを結ぶ線72と線85との交点を87、左ビ
デオカメラ部Bと被写体70とを結ぶ線75と線86と
の交点を88とする。A line 85 passing through the subject 71 and orthogonal to a line 73 connecting the right video camera unit A and the subject 71 is orthogonal to a line 73 passing through the subject 71 and a line 76 connecting the left video camera unit B and the subject 71. 86, an intersection of a line 72 and a line 85 connecting the right video camera unit A and the subject 70 is 87, and an intersection of a line 75 and a line 86 connecting the left video camera unit B and the subject 70 is 88.
【0056】図6(b)の状態から被写体71を注視し
た状態で被写体追尾ボタン30を押すと、距離検出器3
3は、視線検出器26で得られた角度θ2だけ時計回り
に回転し、被写体71までの距離l2を得る。そこで左
ビデオカメラ部Bと右ビデオカメラ部Aの光軸が被写体
71で交差するための角度θ3を、(3)式から求め、
そして(4)式から得られるl3及びl2に相当するフ
オーカシングレンズの位置をEEPROMl6から読み
だし、両カメラとも被写体71に合焦させたあと、右ビ
デオカメラ部Aと左ビデオカメラ部Bを角度θ2、θ3
に基づいて時計回りに回転させる。これにより被写体7
1は自動的に画面中央に移動するのである。この時も前
述の様に縦ずれをなくす処理を行って映像を出力する。When the subject tracking button 30 is pressed in the state of gazing at the subject 71 from the state of FIG. 6B, the distance detector 3
3 rotates clockwise by the angle θ2 obtained by the line-of-sight detector 26 to obtain the distance l2 to the subject 71. Therefore, the angle θ3 for the optical axes of the left video camera unit B and the right video camera unit A to intersect with each other at the subject 71 is calculated from the equation (3),
Then, the positions of the focusing lenses corresponding to l3 and l2 obtained from the equation (4) are read from the EEPROM l6, and both cameras are focused on the subject 71, and then the right video camera unit A and the left video camera unit B are set. Angle θ2, θ3
Rotate clockwise based on. This makes the subject 7
1 automatically moves to the center of the screen. At this time as well, the processing for eliminating the vertical shift is performed as described above and the image is output.
【0057】本実施例では、カメラの測距手段として発
光素子と受光素子を用いたタイプの測距方式として説明
したが、この方式では被写体選択時にセンサを回転させ
る必要があるのでその回転機構がやや複雑になってい
る。測距手段の他の方式としては、位相差タイプとTV
信号検出タイプがあり、位相差タイプは異なる光路を通
って結像する複数の被写体像のずれ量から被写体の合焦
を行うものであるが、センサを回転させる機構は必要な
いが、視線を細かく検出しようとするとその数だけ検出
ユニットが必要になってしまうという問題もある。ま
た、TV信号検出タイプは、具体的には、視線を検出し
それに対応する領域でのビデオ信号の特定の高周波成分
(たとえば、1Mhz)を帯域通過フイルタによって取
り出し、この高周波成分の振幅が最大になるようにフオ
ーカシングレンズの位置を調整して焦点位置を合わせる
もので、検出系の信号処理回路が追加となるのと、合焦
検出までの時間が他の2方法に比ベて時間がかかるとい
う問題もある。In the present embodiment, the distance measuring method of the type using the light emitting element and the light receiving element as the distance measuring means of the camera has been described. It's a little complicated. Other methods of distance measuring means include phase difference type and TV
There is a signal detection type, and the phase difference type is for focusing the subject based on the amount of displacement of a plurality of subject images formed through different optical paths, but a mechanism for rotating the sensor is not required There is also a problem in that the number of detection units is required for detection. In the TV signal detection type, specifically, a line-of-sight is detected, and a specific high-frequency component (for example, 1 Mhz) of a video signal in a region corresponding to the line-of-sight is extracted by a bandpass filter, and the amplitude of this high-frequency component is maximized. The focus lens is adjusted by adjusting the position of the focusing lens so that the signal processing circuit of the detection system is added and the time until the focus detection is longer than the other two methods. There is also the problem of this.
【0058】以上3方式には、長所短所がそれぞれある
がどの方法を採用するかは任意である。Each of the above three methods has advantages and disadvantages, but which method is adopted is arbitrary.
【0059】次に、パノラマ撮影モードについて説明を
行う。Next, the panoramic shooting mode will be described.
【0060】パノラマ撮影時2つののカメラは2つのカ
メラの回転中心を結んだ線の垂直二等分線に対して回動
する様に設定され、アスペクト比変更ボタン37により
複数種のアスペクト比を選択できる様に構成されてお
り、その選択されたアスペクト比により両カメラで撮像
された映像の重なる度合いが決まるのである。During panoramic photography, the two cameras are set to rotate with respect to the vertical bisector of the line connecting the centers of rotation of the two cameras. It is configured to be selectable, and the degree of overlap between the images captured by both cameras is determined by the selected aspect ratio.
【0061】図8は、右ビデオカメラ部Aにおける重な
る領域を示したもので、ここでは4段階に変更できる様
に構成されている。ところで被写体までの距離がカメラ
間隔に対して十分大きければ、両カメラの画角のうちで
重なる領域の画角に対する比率κは、カメラのパノラマ
撮影モードの初期状態からのカメラ角度をα、ズーム倍
率から決まる水平画角の半分の角度をβとすると、 κ=1/(1+TANα×TAN(α+β))/(2×((1/(1十TAN α×TAN(α−β))−(COSα)^2))・・・・・・(5) と表され、被写体距離には関係なくズーム倍率とカメラ
角度で決まることが分かる。逆に比率κが選択され、そ
の時のズーム倍率が分かればカメラ角度は式(5)より
算出できるから、たとえばtypeIIが選択されるとその重
なる領域に対応するカメラ角度が算出され、2つのカメ
ラが回動させられてその重なる領域において合焦動作が
行われる。そして、撮像されたデジタル映像信号は画像
メモリ41、44にそれぞれ記憶され、画像相関処理部
46により各画像メモリ41、44に記憶されたデジタ
ル映像信号から画像の相関演算を行う。ここでは上記立
体撮影モード時と同様にマッチング法によりパノラマ撮
影時に重なる領域となる領域の画面に対する位置を測定
し、そこが重なる様に画像合成処理部47に記憶させ
る。FIG. 8 shows an overlapping area in the right video camera section A, and here, the overlapping area can be changed in four steps. By the way, if the distance to the subject is sufficiently large with respect to the camera distance, the ratio κ to the angle of view of the overlapping area of the angle of view of both cameras is α, which is the camera angle from the initial state of the panoramic shooting mode of the camera, and zoom ratio. Let β be a half angle of the horizontal angle of view determined by κ = 1 / (1 + TANα × TAN (α + β)) / (2 × ((1 / (1 ten TAN α × TAN (α-β))-(COSα ) ^ 2)) ······· (5), which means that it is determined by the zoom magnification and the camera angle regardless of the subject distance.Conversely, if the ratio κ is selected and the zoom magnification at that time is known. Since the camera angle can be calculated by the equation (5), for example, when typeII is selected, the camera angle corresponding to the overlapping area is calculated, and the two cameras are rotated to perform the focusing operation in the overlapping area. And The picked-up digital video signals are stored in the image memories 41 and 44, respectively, and the image correlation processing unit 46 performs image correlation calculation from the digital video signals stored in the image memories 41 and 44. Here, the stereoscopic shooting mode is used. Similar to the time, the position of the area to be overlapped at the time of panoramic photography with respect to the screen is measured by the matching method, and the position is stored in the image synthesizing processing unit 47 so as to be overlapped.
【0062】画像合成処理部47に記憶された画像情報
は通常の1画面分の情報より多く、水平方向ではメモリ
のデータが通常より多いため、これを通常のモニタで見
ようとすれば、同期信号発生器36により読み出す周期
を速くする、また、水平、垂直の倍率を同じにするため
には、垂直方向は画面の上下をトリミングし、かつ、圧
縮あるいは間引きなどをして読みだせば良い。The image information stored in the image synthesizing processing unit 47 is larger than the information for one normal screen, and the data in the memory is more than normal in the horizontal direction. In order to speed up the cycle of reading by the generator 36 and to make the horizontal and vertical magnifications the same, it is sufficient to trim the top and bottom of the screen in the vertical direction and read by compressing or thinning.
【0063】画像合成処理部47からの出力は、立体−
パノラマ切替SW35により切り替えられ、D/A変換
器45を経て、出力端子51に出力される。D/A変換
器45の出力はアナログ映像信号であるから、この信号
はビューファインダ24でも観察するkとおができるの
で、ビューファインダ24を観察しながらアスペクト比
を変更することも可能である。このときアスペクト比変
更ボタンを押すと、カメラ角度が設定され、合焦動作が
完了するまで画面は、画像合成処理部47に記憶された
画像が出力される様に構成されており、カメラの動作中
の乱れた映像は出力されない。The output from the image synthesis processing unit 47 is a stereoscopic image.
It is switched by the panorama switching SW 35, and is output to the output terminal 51 via the D / A converter 45. Since the output of the D / A converter 45 is an analog video signal, this signal can be regarded as k which is also observed by the viewfinder 24. Therefore, the aspect ratio can be changed while observing the viewfinder 24. At this time, when the aspect ratio change button is pressed, the camera angle is set, and the screen is configured to output the image stored in the image combining processing unit 47 until the focusing operation is completed. The disordered image inside is not output.
【0064】上記実施例では、被写体の選択方法として
視線検出を例として説明したが、選択方法としてはこれ
に限定されるものではない。たとえば、画面を3×10
の領域に分割し、その領域をボタン等で選択できる様に
すれば良い。この領域選択手段は、領域移動ボタンと選
択ボタンからなり、領域移動ボタンは、ビューファイン
ダに表示された3×10の領域を画面上で上下左右に移
動させるボタンで、選択ボタンは、そのボタンを押す事
によってその領域を選択可能に構成してもよい。In the above embodiment, the line-of-sight detection is taken as an example of the subject selection method, but the selection method is not limited to this. For example, if the screen is 3 × 10
The area may be divided into areas, and the area may be selected with a button or the like. This area selection means is composed of an area move button and a select button. The area move button is a button for moving the 3 × 10 area displayed in the viewfinder up, down, left and right on the screen, and the select button is the button. The area may be made selectable by pressing.
【0065】上記の様な手法によっても、前述の視線検
出を利用した場合と同様に、被写体選択モード及び被写
体追尾モードという機能を実施できる。With the above-described method, the functions of the subject selection mode and the subject tracking mode can be implemented as in the case of utilizing the visual axis detection described above.
【0066】また、画面上の領域をボタンで選択する方
法は、ビューファインダのみに適用されるものでは無
く、この複眼撮像装置のリモート端子50、51を利用
して、外部のモニタ等から被写体の選択を行ってカメラ
の輻輳角を制御する事も可能である。The method of selecting the area on the screen with the button is not applied only to the viewfinder, and the remote terminals 50 and 51 of this compound-eye image pickup apparatus are used to detect the subject from an external monitor or the like. It is also possible to make a selection to control the angle of convergence of the camera.
【0067】また、上記実施例では、視線検出は立体撮
影モード時のみ動作する様に説明したが、パノラマ撮影
モード時のアスペクト比を選択することにも利用でき
る。その適用の方法は3×10に分割された領域をより
少ない領域たとえば3×2の領域を1つにまとめ、全体
として1×5の領域に分割して、その領域を視線で選択
することにより、その領域を2つのカメラで重なって撮
像できる様にカメラの角度を変える様にすれば良い。Further, in the above embodiment, the visual axis detection is explained to operate only in the stereoscopic photographing mode, but it can also be used to select the aspect ratio in the panoramic photographing mode. The application method is to combine a region divided into 3 × 10 into a smaller region, for example, a 3 × 2 region into one, divide it into a 1 × 5 region as a whole, and select the region with a line of sight. The angle of the cameras may be changed so that the two cameras can overlap and capture the area.
【0068】また、上記実施例において、カメラを回動
させることにより光軸を被写体に向けることができると
説明したが、光学素子、たとえば可変頂角プリズム(以
下、VAPと称す)を用いることによりカメラを回動さ
せる機構を設けることなく光軸を被写体に向けることが
可能となる。Although the optical axis can be directed to the subject by rotating the camera in the above embodiment, it is possible to use an optical element such as a variable apex angle prism (hereinafter referred to as VAP). It is possible to direct the optical axis to the subject without providing a mechanism for rotating the camera.
【0069】VAPはベローズで連結された2枚のガラ
スの間に、たとえばシリコン系のオイルを封入し、その
2枚のガラスの相対的な角度を変えることにより頂角が
可変なプリズムが構成されている。そして、この2枚の
ガラスの角度を変えることにより、VAPを通過する光
束の屈折角を制御することが可能となっている。In VAP, a prism having a variable apex angle is constructed by encapsulating, for example, silicon-based oil between two glasses connected by bellows and changing the relative angle between the two glasses. ing. The angle of refraction of the light flux passing through the VAP can be controlled by changing the angle between the two glasses.
【0070】また、本提案では、2つのカメラの光軸を
水平面内で回動させればよいので、2枚のガラスのうち
1枚は固定され、1枚のガラスを光軸中心を享垂直方向
を回動軸として回動可能に支持し、光軸中心を通る水平
方向のガラスの端部にボイスコイルモータと角度検出器
を設け、所望の光軸角となる様にボイスコイルモータに
電流が供給されるのである。そしてこのVAPは撮像光
学系の一番被写体側に設けるのである。このようにカメ
ラの回動機構を廃止することで2台のカメラを隙間なく
併設できるので、装置をさらに小型化できるのである。Further, in the present proposal, since the optical axes of the two cameras can be rotated in the horizontal plane, one of the two glasses is fixed, and one glass is used as the center of the optical axis. It is rotatably supported about the direction of the rotation axis, and a voice coil motor and an angle detector are installed at the edge of the glass in the horizontal direction passing through the center of the optical axis. Is supplied. This VAP is provided on the most object side of the image pickup optical system. By thus eliminating the camera rotation mechanism, the two cameras can be installed side by side without a gap, and the device can be further downsized.
【0071】[0071]
【発明の効果】以上説明したように本発明によれば、そ
れぞれの絞り、フォーカス、ズームの撮像条件を設定す
る機構が少なくともひとつの制御手段により制御される
第一のビデオカメラ部及び、第二にビデオカメラ部と、
前記第一と第二のビデオカメラを合体する合体手段と、
前記第一と第二のビデオカメラの光軸で求められる平面
に対して略水平面内において、前記第一と第二のビデオ
カメラの光軸方向を可変とする光軸方向可変手段と、前
記第一と第二のビデオカメラの内の少なくともひとつの
ビデオカメラで撮像された映像を映しだすビューファイ
ンダと、前記ビューファインダに設けられ、前記ビュー
ファインダ画面内の任意の被写体を選択可能な被写体選
択手段とを有する複眼撮像装置において、前記被写体選
択手段の出力に対応して前記第一と第二のビデオカメラ
の内の少なくともひとつのビデオカメラの光軸角を制御
する構成にしたので、立体撮影モード時だけでなくパノ
ラマ撮影モード時においても観察者が撮影しながら簡単
に被写体を指定及び選択することができる様になった。As described above, according to the present invention, the first video camera section and the second video camera section in which the mechanism for setting the imaging conditions of each aperture, focus, and zoom are controlled by at least one control means. With the video camera section,
Uniting means for uniting the first and second video cameras,
Optical axis direction changing means for changing the optical axis directions of the first and second video cameras in a substantially horizontal plane with respect to a plane obtained by the optical axes of the first and second video cameras; A viewfinder displaying an image captured by at least one of the first and second video cameras, and a subject selecting unit provided in the viewfinder and capable of selecting an arbitrary subject in the viewfinder screen. In the compound-eye image pickup apparatus having the above-mentioned, since the optical axis angle of at least one of the first and second video cameras is controlled in accordance with the output of the subject selecting means, the stereoscopic shooting mode Not only the time, but also in the panoramic shooting mode, the observer can easily specify and select the subject while shooting.
【図1】本発明による複眼撮像装置の外観斜視図であ
る。FIG. 1 is an external perspective view of a compound eye imaging device according to the present invention.
【図2】本発明による複眼撮像装置の構成を示すブロツ
ク図である。FIG. 2 is a block diagram showing the configuration of a compound eye image pickup apparatus according to the present invention.
【図3】視線検出の原理図である。FIG. 3 is a principle diagram of line-of-sight detection.
【図4】本発明による複眼撮像装置に電源を投入したと
きの装置の初期化を示すフローチャートである。FIG. 4 is a flow chart showing initialization of the compound eye imaging apparatus according to the present invention when the apparatus is powered on.
【図5】立体撮影モードにおける初期のカメラ角度を設
定する為の摸式図である。FIG. 5 is a schematic diagram for setting an initial camera angle in a stereoscopic shooting mode.
【図6】本発明による複眼撮像装置に視線検出を採用し
た場合に実現できる2つの撮影モード説明する為の摸式
図である。FIG. 6 is a schematic diagram for explaining two shooting modes that can be realized when the visual axis detection is adopted in the compound eye imaging apparatus according to the present invention.
【図7】相関処理後の画像の切りだし位置を説明する図
である。FIG. 7 is a diagram illustrating a cutout position of an image after a correlation process.
【図8】パノラマ撮影モードにおけるアスベクト比の選
択を説明する図である。FIG. 8 is a diagram illustrating selection of an assect ratio in a panoramic shooting mode.
A 第1のビデオカメラ部 B 第2のビデオカメラ部 C 合体手段、 1,4 レンズ群 2,5 撮像素子 15 制御部 16 EEPROM l7,18 輻輳角モータ 19,20 角度検出器 24 ビューファインダ 26 視線検出器 33,34 距離検出器 35 立体ーパノラマ切り替えSW 36 同期信号発生器 41,44 画像メモリ 46 画像相関処理部 47 画像合成処理部 A first video camera section B second video camera section C combination means, 1,4 lens group 2,5 image sensor 15 control section 16 EEPROM 17, 18 convergence angle motor 19, 20 angle detector 24 viewfinder 26 line of sight Detector 33, 34 Distance detector 35 Stereoscopic / panorama switching SW 36 Synchronization signal generator 41, 44 Image memory 46 Image correlation processing unit 47 Image combining processing unit
Claims (1)
撮像条件を設定する機構が少なくともひとつのカメラ制
御手段により制御される第1のビデオカメラ部および第
2のビデオカメラ部と、 前記第1のビデオカメラ部と第2のビデオカメラ部を合
体する合体手段と、 前記第1のビデオカメラ部と第2のビデオカメラ部の各
光軸で求められる平面に対して略水平となる面内におい
て、前記第1と第2のビデオカメラ部の光軸方向を可変
にする光軸方向可変手段と、 前記第1のビデオカメラ部と第2のビデオカメラ部の光
軸角を制御する光軸角制御手段と、 前記第1のビデオカメラ部と第2のビデオカメラ部のう
ちの少なくともひとつのビデオカメラ部で撮像された映
像を映しだすビューファインダと、 前記ビューファインダに設けられ、前記ビューファイン
ダ画面内の任意の被写体を選択可能な被写体選択手段と
を有する複眼撮像装置において、 前記被写体選択手段の出力に対応して前記第1のビデオ
カメラ部と第2のビデオカメラ部のうちの少なくともひ
とつのビデオカメラ部の光軸角を制御することを特徴と
する複眼撮像装置。1. A first video camera unit and a second video camera unit in which a mechanism for setting an imaging condition of each aperture, focus, and zoom is controlled by at least one camera control unit, and the first video. A unit for joining the camera unit and the second video camera unit, and in a plane that is substantially horizontal to a plane required by each optical axis of the first video camera unit and the second video camera unit, Optical axis direction changing means for changing the optical axis directions of the first and second video camera sections, and optical axis angle control means for controlling the optical axis angles of the first video camera section and the second video camera section. A viewfinder for displaying an image captured by at least one video camera unit of the first video camera unit and the second video camera unit; and a viewfinder provided in the viewfinder, In a compound-eye image pickup device having a subject selecting unit capable of selecting an arbitrary subject in a viewfinder screen, in the first video camera unit and the second video camera unit corresponding to an output of the subject selecting unit. A compound-eye image pickup device, wherein an optical axis angle of at least one video camera unit is controlled.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5211781A JPH0767024A (en) | 1993-08-26 | 1993-08-26 | Compound eye type image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5211781A JPH0767024A (en) | 1993-08-26 | 1993-08-26 | Compound eye type image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0767024A true JPH0767024A (en) | 1995-03-10 |
Family
ID=16611498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5211781A Pending JPH0767024A (en) | 1993-08-26 | 1993-08-26 | Compound eye type image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0767024A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023199A (en) * | 1998-06-29 | 2000-01-21 | Canon Inc | Compound eye image pickup device |
JP2005024629A (en) * | 2003-06-30 | 2005-01-27 | Nippon Hoso Kyokai <Nhk> | Pan head device for stereo camera |
JP2008216513A (en) * | 2007-03-02 | 2008-09-18 | Fujifilm Corp | Photographing system and photographing method, and program |
WO2008117370A1 (en) * | 2007-03-23 | 2008-10-02 | Ntt Comware Corporation | Three-dimensional image segmenting position computing device, its program, three-dimensional image segmenting device, and its program |
WO2008126201A1 (en) * | 2007-03-23 | 2008-10-23 | Ntt Comware Corporation | Three-dimensional video image processing device and its program |
JP2010004465A (en) * | 2008-06-23 | 2010-01-07 | Fujinon Corp | Stereoscopic image photographing system |
JP2011524699A (en) * | 2008-06-13 | 2011-09-01 | レイセオン カンパニー | Optical devices with multiple operating modes |
KR20150117913A (en) * | 2014-04-11 | 2015-10-21 | 한화테크윈 주식회사 | Camera system and camera controlling method |
WO2016155074A1 (en) * | 2015-03-27 | 2016-10-06 | 宇龙计算机通信科技(深圳)有限公司 | Correcting and focusing method and system for included angle of optical axis, and dual-camera equipment |
-
1993
- 1993-08-26 JP JP5211781A patent/JPH0767024A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023199A (en) * | 1998-06-29 | 2000-01-21 | Canon Inc | Compound eye image pickup device |
JP2005024629A (en) * | 2003-06-30 | 2005-01-27 | Nippon Hoso Kyokai <Nhk> | Pan head device for stereo camera |
JP2008216513A (en) * | 2007-03-02 | 2008-09-18 | Fujifilm Corp | Photographing system and photographing method, and program |
WO2008117370A1 (en) * | 2007-03-23 | 2008-10-02 | Ntt Comware Corporation | Three-dimensional image segmenting position computing device, its program, three-dimensional image segmenting device, and its program |
WO2008126201A1 (en) * | 2007-03-23 | 2008-10-23 | Ntt Comware Corporation | Three-dimensional video image processing device and its program |
JP2011524699A (en) * | 2008-06-13 | 2011-09-01 | レイセオン カンパニー | Optical devices with multiple operating modes |
JP2010004465A (en) * | 2008-06-23 | 2010-01-07 | Fujinon Corp | Stereoscopic image photographing system |
KR20150117913A (en) * | 2014-04-11 | 2015-10-21 | 한화테크윈 주식회사 | Camera system and camera controlling method |
WO2016155074A1 (en) * | 2015-03-27 | 2016-10-06 | 宇龙计算机通信科技(深圳)有限公司 | Correcting and focusing method and system for included angle of optical axis, and dual-camera equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5864360A (en) | Multi-eye image pick-up apparatus with immediate image pick-up | |
JP6641470B2 (en) | Stereo camera and stereo camera control method | |
US7061532B2 (en) | Single sensor chip digital stereo camera | |
US5699108A (en) | Multi-eye image pickup apparatus with multi-function finder screen and display | |
KR100519864B1 (en) | Image information input device and method | |
US8305425B2 (en) | Solid-state panoramic image capture apparatus | |
JP3905736B2 (en) | Stereo image pickup device and automatic congestion adjustment device | |
JP2001218228A (en) | Optical system for stereoscopic image photographing, and stereoscopic image photographing device using the same | |
JPH10155104A (en) | Compound eye image pickup method and device and storage medium | |
JPH08194274A (en) | Stereoscopic image pickup device | |
JPH1090814A (en) | Compound eye camera and image processing method | |
JPH0767024A (en) | Compound eye type image pickup device | |
JPH06339155A (en) | Three-dimensional image pickup system | |
JPH0767023A (en) | Compound eye type image pickup device | |
JPH0767022A (en) | Compound eye type image pickup device | |
JP3478686B2 (en) | Compound eye imaging device | |
JP2018134712A (en) | Robot system and control method for robot system | |
JPH1066106A (en) | Double-eye camera system | |
JP2001016620A (en) | Image pickup device, its convergence distance decision method, storage medium and optical device | |
JP2000152282A (en) | Stereoscopic picture photographing device | |
JPH0715749A (en) | Compound-eye image pickup device | |
JP2006025340A (en) | Wide angle imaging apparatus, imaging system, and control method thereof | |
JPH0564061A (en) | Video camera | |
JPH07298308A (en) | Compound eye image pickup device | |
JP2005134617A (en) | Focus detector |