JP3976860B2 - 立体映像撮像装置 - Google Patents

立体映像撮像装置 Download PDF

Info

Publication number
JP3976860B2
JP3976860B2 JP33299597A JP33299597A JP3976860B2 JP 3976860 B2 JP3976860 B2 JP 3976860B2 JP 33299597 A JP33299597 A JP 33299597A JP 33299597 A JP33299597 A JP 33299597A JP 3976860 B2 JP3976860 B2 JP 3976860B2
Authority
JP
Japan
Prior art keywords
eye
range
calculating
display means
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33299597A
Other languages
English (en)
Other versions
JPH11168755A (ja
Inventor
滋 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP33299597A priority Critical patent/JP3976860B2/ja
Priority to US09/203,997 priority patent/US6762794B1/en
Priority to DE69830459T priority patent/DE69830459T2/de
Priority to EP98122894A priority patent/EP0921694B1/en
Publication of JPH11168755A publication Critical patent/JPH11168755A/ja
Priority to US10/763,756 priority patent/US20040150728A1/en
Application granted granted Critical
Publication of JP3976860B2 publication Critical patent/JP3976860B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、視差画像による立体映像を撮影、及び表示可能な立体映像撮像装置に関するものである。
【0002】
【従来の技術】
従来、立体映像撮像装置としては複数台のカメラによって異なる視差画像を取得するものがある。そして、雲台の上に複数台カメラを設置し撮影場面によって経験的にカメラ光軸間隔や輻輳角を手動で設定し実際にモニタで立体感を確認しながら撮影していた。
【0003】
【発明が解決しようとする課題】
しかしながら、このような経験的な作業では効率が悪く、また立体映像の撮影に詳しい人がいない場合は良好な撮影ができないといった不具合があった。
【0004】
本発明は、このような状況のもとでなされたもので、主被写体が融像可能範囲内にあるか否かを、撮影者が撮影時に容易に知ることのできる立体映像撮像装置を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
前記目的を達成するため、本発明では立体映像撮像装置を次の(1)〜(9)のとおりに構成する。
【0006】
(1)複数の視差画像を撮像するための撮像光学系と、視線検出手段を有する複数の画像表示手段と、前記視線検出手段からの出力値から所定の計算を行う演算手段と、前記演算手段の結果に応じて前記画像表示手段を制御する制御手段とを備え、前記画像表示手段は、右眼用,左眼用の表示手段と視線検出手段とをそれぞれ有し、前記演算手段は、右眼用視線検出手段からの出力値から右眼用表示手段の対応する右眼視線範囲を算出する右眼視線範囲算出手段と、左眼用視線検出手段からの出力値から左眼用表示手段の対応する左眼視線範囲を算出する左眼視線範囲算出手段と、該右眼,左眼視線範囲から被写体方向を示す右眼及び左眼方向ベクトルを算出する方向ベクトル算出手段と、該方向ベクトルから右眼方向ベクトルと左眼方向ベクトルの交点を算出する交点算出手段と、該交点と前記撮像光学系の所定の基準点との距離を算出する距離算出手段と、所定のパラメータから融像可能範囲を算出する融像可能範囲算出手段と、該融像可能範囲内に前記距離算出手段によって算出された距離があるかどうか比較する比較手段とを有することを特徴とする立体映像撮像装置。
(2)前記画像表示手段は、ヘッドマウントディスプレイであることを特徴とする前記(1)記載の立体映像撮像装置。
(3)前記画像表示手段は、LEDを有することを特徴とする前記(1)または(2)記載の立体映像撮像装置。
(4)前記制御手段は、前記比較手段からの出力結果に応じて、前記LEDの発光を制御することを特徴とする前記(3)記載の立体映像撮像装置。
(5)前記制御手段は、前記融像可能範囲算出手段からの出力結果を前記画像表示手段の表示画像として表示することを特徴とする前記(1)記載の立体映像撮像装置。
【0015】
【発明の実施の形態】
以下本発明の実施の態様を立体映像撮像装置の実施例により詳しく説明する。
【0016】
【実施例】
図1は、実施例である“立体映像撮像装置”の構成を示すブロック図である。図1において、1は複数の視差画像を取り込むための立体カメラであり、本実施例においては右眼用の視差画像を取り込むための光学系101と光電変換素子であるCCD103、左眼用の視差画像を取り込むための光学系102とCCD104を有している。該光学系101とCCD103、光学系102とCCD104は同一の光学スペックであればよく、光学スペックを限定するものでない。また、光学系101とCCD103と、光学系102とCCD104は互いの間隔(以下基線長という)と互いに光軸のなす角度(以下輻輳角という)は図示しない機構によって可変であり、輻輳角/基線長駆動制御手段11によって駆動制御される。本実施例においてはカメラ光軸が交差する交差式による撮影を行っているが、カメラ光軸が平行である平行式による撮影も可能である。10は輻輳角/基線長検出手段であり、立体カメラ1の基線長と輻輳角を図示しないエンコーダにより検出する。
【0017】
2は画像表示手段であり、右眼用表示手段201と左眼用表示手段202と、右眼用視線検出手段203と左眼用視線検出手段204とを有する。右眼用表示手段201と左眼用表示手段202はそれぞれ同一スペックであり、観察光学系を有する液晶またはCRT、またはLEDやレーザからの光ビームを網膜に照射しスキャニングすることで残像効果で映像を観察するいわゆる網膜ディスプレイである。本実施例の右眼用視線検出手段203と左眼用視線検出手段204はいわゆる角膜反射光により視線を検出する方式である。詳しくは特開平5−68188号公報に開示されているためここでは説明は省略する。しかしながら、本発明においてはこの方式に限定するものではなく、眼球の電位差を利用するEOG法や、強膜の白目と黒目の反射率の違いを利用するものや、コイルを埋め込んだコンタクトレンズを一様な磁界のもとで装着し眼球運動を計測するサーチコイル法を利用し視線を検出するものでもよい。また、画像表示手段2は固定タイプを想定しているが、これに限らず、ヘッドマウントディスプレイ(HMD)等の適宜のタイプの表示手段で実施できる。
【0018】
3は右眼用視線検出手段203と左眼用視線検出手段204からの出力値に応じて撮影可能範囲(融像可能範囲を指す)を演算する演算手段であり、右眼用視線範囲算出手段301と左眼用視線範囲算出手段302と方向ベクト算出手段303と距離算出手段305と撮影可能範囲算出手段304と比較手段306と交点算出手段307とを有する。
【0019】
4は画像制御手段であり、CCD103,104からの画像信号を所定の画像フォーマットに変換する右眼用,左眼用カメラプロセス手段5,6によって本実施例においてはビデオ信号によって駆動手段7,8に画像信号を送る。また画像モメリ9とデータのやり取りを行う。また、画像表示手段2内に設けられた図示しないLEDの発光/消灯を制御する信号をLED発光回路12に送る。前記画像メモリ9は本実施例においては媒体が磁気テープであるが、これに限定するものではなく、ICメモリ,光磁気ディスク,DVD,CD,PD等でもよい。
【0020】
次に本システムの一連の動作について説明する。
【0021】
図2に視線検出手段203,204から演算手段3に至る動作を示すフローチャートを示す。ここでステップ1は203,204に対応し、ステップ2,3は301,302に対応し、ステップ4は303に対応し、ステップ5,6,8,9,10は307に対応し、ステップ7は305に対応する。
【0022】
ステップ1は視線検出である。左眼及び右眼のそれぞれの角膜反射の座標を出力する。ステップ2でこの座標と対応する右眼及び左眼用のLCD上の座標を求める。ステップ3で対応する右眼及び左眼用のCCD上の座標を求める。ステップ4でこの各CCD上の座標と各光学系101,102の基準点を結ぶ直線の方向ベクトルを求める。
【0023】
ステップ5で右眼用方向ベクトルdR 、左眼用方向ベクトルdL が同一平面内にあるかどうか調べ、同一平面内であればステップ6へ進み、そうでなければステップ8に進む。ステップ6で右眼用方向ベクトルdR と左眼用方向ベクトルdL の交点の座標を求める。ステップ8で右眼用方向ベクトルdR と光学系102の基準点を通る平面Pを求める。ステップ9にて平面Pへの左眼用方向ベクトルdL の正射影したベクトルdL ′を求める。ステップ10にて右眼用方向ベクトルdR と左眼用方向ベクトルdL ′の交点の座標を求める。ステップ7で立体カメラ1の所定の基準点(右眼用光学系101の基準座標と左眼用光学系102の基準座標の中点)とステップ6またはステップ10にて求めた交点との距離と座標を求める。
【0024】
次に撮影可能範囲の算出について述べる。視差画像を人が融像できるのは、奥行き方向(表示画面よりも奥行方向)では表示画面上で、被写体の視差(ここでは画面上のズレ量)が人の瞳間隔(約65mm)以下であるときである。また手前方向(表示画面よりも手前方向)では目の前約20cm程度(明視距離ともいう)までである。これを利用して撮影可能範囲を決定する手順について説明する。
【0025】
図3に従い説明する。図3のy軸は奥行き方向を表す。z軸は天地方向を表わす。x軸は奥行き方向に垂直方向である。本図ではz座標は一定とする。
【0026】
L は左眼用光学系102の基準座標(光学系を1個の薄肉レンズとみなしたときのレンズ中心)、CR は右眼用光学系101の基準座標(光学系を1個の薄肉レンズとみなしたときのレンズ中心)、Bは左眼,右眼用光学系102,101の光軸中心の交点である。点Aは点Bに対して奥行方向の点、点Cは点Bに対して手前方向の点である。このとき点Bは左右光学系102,101の画面中心となり視差0の点であり、表示された立体映像では表示画面上の点になる。点Aは表示画面の奥の点、点Cは表示画面の手前の点として表示されることになる。点Aと点Cは、左眼,右眼用光学系102,101のレンズ画角2θw内にあるとするとする。ここで、各座標をA(0,A),B(0,B),C(0,C),CL (−k,0),CR (k,0)とする。
【0027】
また、∠BCL O=∠BCR O=θb
∠BCL A=∠BCR A=θa
∠BCL C=∠BCR C=θcとする。
【0028】
ここで、表示画面の水平方向の長さを2WS とすると、画面中心からの点Aのズレ量Da は以下の式で表わせる。
【0029】
a =WS ×tan(θa )÷tan(θW ) 式1
したがって、観察者の瞳間隔を2dh とすれば、以下の式が成り立つ。
【0030】
h ≧Da 式2
また、tan(θa +θb )=A÷k 式3
tan(θb )=B÷k 式4
だから、式1から式4により以下の式が成り立つ。
【0031】
Figure 0003976860
式5によって画面中心にB点がくるときの奥行き方向の融像可能範囲が算出される。すなわち、B点から奥行き方向の点で融像可能なのは式5の右式で計算される値よりもAが小さい事が条件となる。式5で、kとθbは輻輳角/基線長検出手段10によって取得される。また、θW はレンズデータより既知であり、WS は表示条件によって既知である。dh は本実施例においては所定の値(本実施例においては65mm/2)を使用するがこれに限定するものではない。
【0032】
次に点Cについて考える。上と同様にして、点Cの画面上でのズレ量DC は以下の式で表わせる。
【0033】
C =WS ×tan(θC )÷tan(θW ) 式6
画面からの飛び出し量を目の前からd、表示画面までの視距離dS とすると
C ≦dh ×(dS −d)÷d 式7
tan(θC )=k×(B−C)÷(k2 +B×C) 式8
以上より以下の式が成り立つ。
【0034】
C≧{d×W×tan(θ)−d×(d−d)×tan(θ)}*{W×d+tan(θ)×d×(d−d)×tan(θ)} 式9
式9によって画面中心に点Bがくるときの手前方向の融像可能範囲が算出される。すなわち、B点から手前方向の点で融像可能なのは式9の右式で計算される値よりもCが大きい事が条件となる。式9で、kとθは輻輳角/基線長検出手段10によって取得される。また、θはレンズデータより既知であり、W,dは表示条件によって既知である。d、dは本実施例においては所定の値(本実施例においてはd=65mm、d=200mm)を使用するがこれに限定するものでない。
【0035】
図4にこのフローチャートを示す。ステップ11にてθとkを読み込む。ステップ12にてW,d,d,dを読み込む。ステップ13にて式5にしたがって奥行き融像限界点A求める。ステップ14にて式9にしたがって手前融像限界点Cを求める。ステップ15にてステップ13,14とレンズ撮影画角θ、基線長k、輻輳角θから撮影可能範囲が決定される。次にステップで求められた視線対象までの距離と、ステップ15で決定された撮影可能範囲とを比較手段306にて比較する。すなわち視線対象が前記撮影可能範囲内か、範囲外であるか比較する。
【0036】
次に範囲内であるか、範囲外であるかを撮影者に知らせるように画像制御手段4へ指令する。
【0037】
本実施例においては、表示手段201か202、また両方の表示手段内にLEDを配置し、画像制御手段4からの信号にもとずいてLEDを点灯、または点滅させることでLEDからの光線を撮影者に観察させることで範囲内か範囲外であることを表示する。LEDが点灯のときは範囲外、LEDが消灯のときは範囲内としてもよいし、LEDが点滅のときは範囲外、LEDが消灯のときは範囲内としてもよい。また、前記撮影可能範囲からの出力結果を画像表示手段2に出力してもよい。
【0038】
以上説明したように、本実施例により主被写体が融像可能範囲(撮影可能範囲)内にあるか否かを撮影の際に容易に知ることができる。
【0039】
【発明の効果】
以上説明したように、本発明によれば、主被写体が融像可能範囲内にあるか否かを撮影者が撮影時に容易に知ることができるため、疲労感の小さい見やすい立体映像を撮影することができる。
【図面の簡単な説明】
【図1】 実施例の構成を示すブロック図
【図2】 実施例の動作を示すフローチャート
【図3】 実施例の説明図
【図4】 実施例の動作を示すフローチャート
【符号の説明】
1 立体カメラ
2 画像表示手段
3 演算手段

Claims (5)

  1. 複数の視差画像を撮像するための撮像光学系と、
    視線検出手段を有する複数の画像表示手段と、
    前記視線検出手段からの出力値から所定の計算を行う演算手段と、
    前記演算手段の結果に応じて前記画像表示手段を制御する制御手段とを備え
    前記画像表示手段は、右眼用,左眼用の表示手段と視線検出手段とをそれぞれ有し、
    前記演算手段は、右眼用視線検出手段からの出力値から右眼用表示手段の対応する右眼視線範囲を算出する右眼視線範囲算出手段と、左眼用視線検出手段からの出力値から左眼用表示手段の対応する左眼視線範囲を算出する左眼視線範囲算出手段と、該右眼,左眼視線範囲から被写体方向を示す右眼及び左眼方向ベクトルを算出する方向ベクトル算出手段と、該方向ベクトルから右眼方向ベクトルと左眼方向ベクトルの交点を算出する交点算出手段と、該交点と前記撮像光学系の所定の基準点との距離を算出する距離算出手段と、所定のパラメータから融像可能範囲を算出する融像可能範囲算出手段と、該融像可能範囲内に前記距離算出手段によって算出された距離があるかどうか比較する比較手段とを有することを特徴とする立体映像撮像装置。
  2. 前記画像表示手段はヘッドマウントディスプレイであることを特徴とする請求項記載の立体映像撮像装置。
  3. 前記画像表示手段はLEDを有することを特徴とする請求項1または2記載の立体映像撮像装置。
  4. 前記制御手段は、前記比較手段からの出力結果に応じて、前記LEDの発光を制御することを特徴とする請求項記載の立体映像撮像装置。
  5. 前記制御手段は、前記融像可能範囲算出手段からの出力結果を前記画像表示手段の表示画像として表示することを特徴とする請求項記載の立体映像撮像装置。
JP33299597A 1997-12-03 1997-12-03 立体映像撮像装置 Expired - Fee Related JP3976860B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP33299597A JP3976860B2 (ja) 1997-12-03 1997-12-03 立体映像撮像装置
US09/203,997 US6762794B1 (en) 1997-12-03 1998-12-01 Image pick-up apparatus for stereoscope
DE69830459T DE69830459T2 (de) 1997-12-03 1998-12-02 Stereoskopische Bildaufnahmevorrichtung
EP98122894A EP0921694B1 (en) 1997-12-03 1998-12-02 Stereoscopic image pick-up apparatus
US10/763,756 US20040150728A1 (en) 1997-12-03 2004-01-22 Image pick-up apparatus for stereoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33299597A JP3976860B2 (ja) 1997-12-03 1997-12-03 立体映像撮像装置

Publications (2)

Publication Number Publication Date
JPH11168755A JPH11168755A (ja) 1999-06-22
JP3976860B2 true JP3976860B2 (ja) 2007-09-19

Family

ID=18261127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33299597A Expired - Fee Related JP3976860B2 (ja) 1997-12-03 1997-12-03 立体映像撮像装置

Country Status (1)

Country Link
JP (1) JP3976860B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
KR100624431B1 (ko) 2004-08-03 2006-09-19 삼성전자주식회사 입체영상 관찰을 위한 주시거리 조정 방법 및 그 장치
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
WO2011108277A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
JP5444452B2 (ja) 2010-03-05 2014-03-19 パナソニック株式会社 立体撮像装置および立体撮像方法
US20120293630A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated Method and apparatus for multi-camera motion capture enhancement using proximity sensors

Also Published As

Publication number Publication date
JPH11168755A (ja) 1999-06-22

Similar Documents

Publication Publication Date Title
EP0921694B1 (en) Stereoscopic image pick-up apparatus
KR0153214B1 (ko) 입체화상촬상 및 표시장치
KR100519864B1 (ko) 화상정보입력장치및그방법
JP3089306B2 (ja) 立体画像撮像及び表示装置
EP0837603A2 (en) System for controlling the focus of variable-focus lenses by detection of the spatial relationship of the eyes of a person
JP2004309930A (ja) 立体観察システム
JPH11202256A (ja) 頭部搭載型画像表示装置
JP2011205358A (ja) ヘッドマウントディスプレイ装置
WO2006118057A1 (ja) 画像表示装置
JPH11102438A (ja) 距離画像生成装置及び画像表示装置
US6788274B2 (en) Apparatus and method for displaying stereoscopic images
JPH08194274A (ja) 立体撮像装置
JP4584408B2 (ja) 眼球画像解析システム
JP3976860B2 (ja) 立体映像撮像装置
KR101526557B1 (ko) 다중 카메라 기반 시선 추적 장치 및 방법
JPH06261913A (ja) 手術用顕微鏡の立体映像装置
JPH06235885A (ja) 立体映像表示装置
JP2741063B2 (ja) 広視野表示装置
JP2012227653A (ja) 撮像装置及び撮像方法
JP5331785B2 (ja) 立体画像分析装置
JPH10115878A (ja) 指向性スクリーンを用いる3次元画像投写システム
JP4235291B2 (ja) 立体映像システム
JP2001218231A (ja) 立体画像を表示する装置および方法
JPWO2017179280A1 (ja) 視線測定装置および視線測定方法
JPH0356047B2 (ja)

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees