JP3976860B2 - 立体映像撮像装置 - Google Patents
立体映像撮像装置 Download PDFInfo
- Publication number
- JP3976860B2 JP3976860B2 JP33299597A JP33299597A JP3976860B2 JP 3976860 B2 JP3976860 B2 JP 3976860B2 JP 33299597 A JP33299597 A JP 33299597A JP 33299597 A JP33299597 A JP 33299597A JP 3976860 B2 JP3976860 B2 JP 3976860B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- range
- calculating
- display means
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
本発明は、視差画像による立体映像を撮影、及び表示可能な立体映像撮像装置に関するものである。
【0002】
【従来の技術】
従来、立体映像撮像装置としては複数台のカメラによって異なる視差画像を取得するものがある。そして、雲台の上に複数台カメラを設置し撮影場面によって経験的にカメラ光軸間隔や輻輳角を手動で設定し実際にモニタで立体感を確認しながら撮影していた。
【0003】
【発明が解決しようとする課題】
しかしながら、このような経験的な作業では効率が悪く、また立体映像の撮影に詳しい人がいない場合は良好な撮影ができないといった不具合があった。
【0004】
本発明は、このような状況のもとでなされたもので、主被写体が融像可能範囲内にあるか否かを、撮影者が撮影時に容易に知ることのできる立体映像撮像装置を提供することを目的とするものである。
【0005】
【課題を解決するための手段】
前記目的を達成するため、本発明では立体映像撮像装置を次の(1)〜(9)のとおりに構成する。
【0006】
(1)複数の視差画像を撮像するための撮像光学系と、視線検出手段を有する複数の画像表示手段と、前記視線検出手段からの出力値から所定の計算を行う演算手段と、前記演算手段の結果に応じて前記画像表示手段を制御する制御手段とを備え、前記画像表示手段は、右眼用,左眼用の表示手段と視線検出手段とをそれぞれ有し、前記演算手段は、右眼用視線検出手段からの出力値から右眼用表示手段の対応する右眼視線範囲を算出する右眼視線範囲算出手段と、左眼用視線検出手段からの出力値から左眼用表示手段の対応する左眼視線範囲を算出する左眼視線範囲算出手段と、該右眼,左眼視線範囲から被写体方向を示す右眼及び左眼方向ベクトルを算出する方向ベクトル算出手段と、該方向ベクトルから右眼方向ベクトルと左眼方向ベクトルの交点を算出する交点算出手段と、該交点と前記撮像光学系の所定の基準点との距離を算出する距離算出手段と、所定のパラメータから融像可能範囲を算出する融像可能範囲算出手段と、該融像可能範囲内に前記距離算出手段によって算出された距離があるかどうか比較する比較手段とを有することを特徴とする立体映像撮像装置。
(2)前記画像表示手段は、ヘッドマウントディスプレイであることを特徴とする前記(1)記載の立体映像撮像装置。
(3)前記画像表示手段は、LEDを有することを特徴とする前記(1)または(2)記載の立体映像撮像装置。
(4)前記制御手段は、前記比較手段からの出力結果に応じて、前記LEDの発光を制御することを特徴とする前記(3)記載の立体映像撮像装置。
(5)前記制御手段は、前記融像可能範囲算出手段からの出力結果を前記画像表示手段の表示画像として表示することを特徴とする前記(1)記載の立体映像撮像装置。
【0015】
【発明の実施の形態】
以下本発明の実施の態様を立体映像撮像装置の実施例により詳しく説明する。
【0016】
【実施例】
図1は、実施例である“立体映像撮像装置”の構成を示すブロック図である。図1において、1は複数の視差画像を取り込むための立体カメラであり、本実施例においては右眼用の視差画像を取り込むための光学系101と光電変換素子であるCCD103、左眼用の視差画像を取り込むための光学系102とCCD104を有している。該光学系101とCCD103、光学系102とCCD104は同一の光学スペックであればよく、光学スペックを限定するものでない。また、光学系101とCCD103と、光学系102とCCD104は互いの間隔(以下基線長という)と互いに光軸のなす角度(以下輻輳角という)は図示しない機構によって可変であり、輻輳角/基線長駆動制御手段11によって駆動制御される。本実施例においてはカメラ光軸が交差する交差式による撮影を行っているが、カメラ光軸が平行である平行式による撮影も可能である。10は輻輳角/基線長検出手段であり、立体カメラ1の基線長と輻輳角を図示しないエンコーダにより検出する。
【0017】
2は画像表示手段であり、右眼用表示手段201と左眼用表示手段202と、右眼用視線検出手段203と左眼用視線検出手段204とを有する。右眼用表示手段201と左眼用表示手段202はそれぞれ同一スペックであり、観察光学系を有する液晶またはCRT、またはLEDやレーザからの光ビームを網膜に照射しスキャニングすることで残像効果で映像を観察するいわゆる網膜ディスプレイである。本実施例の右眼用視線検出手段203と左眼用視線検出手段204はいわゆる角膜反射光により視線を検出する方式である。詳しくは特開平5−68188号公報に開示されているためここでは説明は省略する。しかしながら、本発明においてはこの方式に限定するものではなく、眼球の電位差を利用するEOG法や、強膜の白目と黒目の反射率の違いを利用するものや、コイルを埋め込んだコンタクトレンズを一様な磁界のもとで装着し眼球運動を計測するサーチコイル法を利用し視線を検出するものでもよい。また、画像表示手段2は固定タイプを想定しているが、これに限らず、ヘッドマウントディスプレイ(HMD)等の適宜のタイプの表示手段で実施できる。
【0018】
3は右眼用視線検出手段203と左眼用視線検出手段204からの出力値に応じて撮影可能範囲(融像可能範囲を指す)を演算する演算手段であり、右眼用視線範囲算出手段301と左眼用視線範囲算出手段302と方向ベクトル算出手段303と距離算出手段305と撮影可能範囲算出手段304と比較手段306と交点算出手段307とを有する。
【0019】
4は画像制御手段であり、CCD103,104からの画像信号を所定の画像フォーマットに変換する右眼用,左眼用カメラプロセス手段5,6によって本実施例においてはビデオ信号によって駆動手段7,8に画像信号を送る。また画像モメリ9とデータのやり取りを行う。また、画像表示手段2内に設けられた図示しないLEDの発光/消灯を制御する信号をLED発光回路12に送る。前記画像メモリ9は本実施例においては媒体が磁気テープであるが、これに限定するものではなく、ICメモリ,光磁気ディスク,DVD,CD,PD等でもよい。
【0020】
次に本システムの一連の動作について説明する。
【0021】
図2に視線検出手段203,204から演算手段3に至る動作を示すフローチャートを示す。ここでステップ1は203,204に対応し、ステップ2,3は301,302に対応し、ステップ4は303に対応し、ステップ5,6,8,9,10は307に対応し、ステップ7は305に対応する。
【0022】
ステップ1は視線検出である。左眼及び右眼のそれぞれの角膜反射の座標を出力する。ステップ2でこの座標と対応する右眼及び左眼用のLCD上の座標を求める。ステップ3で対応する右眼及び左眼用のCCD上の座標を求める。ステップ4でこの各CCD上の座標と各光学系101,102の基準点を結ぶ直線の方向ベクトルを求める。
【0023】
ステップ5で右眼用方向ベクトルdR 、左眼用方向ベクトルdL が同一平面内にあるかどうか調べ、同一平面内であればステップ6へ進み、そうでなければステップ8に進む。ステップ6で右眼用方向ベクトルdR と左眼用方向ベクトルdL の交点の座標を求める。ステップ8で右眼用方向ベクトルdR と光学系102の基準点を通る平面Pを求める。ステップ9にて平面Pへの左眼用方向ベクトルdL の正射影したベクトルdL ′を求める。ステップ10にて右眼用方向ベクトルdR と左眼用方向ベクトルdL ′の交点の座標を求める。ステップ7で立体カメラ1の所定の基準点(右眼用光学系101の基準座標と左眼用光学系102の基準座標の中点)とステップ6またはステップ10にて求めた交点との距離と座標を求める。
【0024】
次に撮影可能範囲の算出について述べる。視差画像を人が融像できるのは、奥行き方向(表示画面よりも奥行方向)では表示画面上で、被写体の視差(ここでは画面上のズレ量)が人の瞳間隔(約65mm)以下であるときである。また手前方向(表示画面よりも手前方向)では目の前約20cm程度(明視距離ともいう)までである。これを利用して撮影可能範囲を決定する手順について説明する。
【0025】
図3に従い説明する。図3のy軸は奥行き方向を表す。z軸は天地方向を表わす。x軸は奥行き方向に垂直方向である。本図ではz座標は一定とする。
【0026】
CL は左眼用光学系102の基準座標(光学系を1個の薄肉レンズとみなしたときのレンズ中心)、CR は右眼用光学系101の基準座標(光学系を1個の薄肉レンズとみなしたときのレンズ中心)、Bは左眼,右眼用光学系102,101の光軸中心の交点である。点Aは点Bに対して奥行方向の点、点Cは点Bに対して手前方向の点である。このとき点Bは左右光学系102,101の画面中心となり視差0の点であり、表示された立体映像では表示画面上の点になる。点Aは表示画面の奥の点、点Cは表示画面の手前の点として表示されることになる。点Aと点Cは、左眼,右眼用光学系102,101のレンズ画角2θw内にあるとするとする。ここで、各座標をA(0,A),B(0,B),C(0,C),CL (−k,0),CR (k,0)とする。
【0027】
また、∠BCL O=∠BCR O=θb
∠BCL A=∠BCR A=θa
∠BCL C=∠BCR C=θcとする。
【0028】
ここで、表示画面の水平方向の長さを2WS とすると、画面中心からの点Aのズレ量Da は以下の式で表わせる。
【0029】
Da =WS ×tan(θa )÷tan(θW ) 式1
したがって、観察者の瞳間隔を2dh とすれば、以下の式が成り立つ。
【0030】
dh ≧Da 式2
また、tan(θa +θb )=A÷k 式3
tan(θb )=B÷k 式4
だから、式1から式4により以下の式が成り立つ。
【0031】
式5によって画面中心にB点がくるときの奥行き方向の融像可能範囲が算出される。すなわち、B点から奥行き方向の点で融像可能なのは式5の右式で計算される値よりもAが小さい事が条件となる。式5で、kとθbは輻輳角/基線長検出手段10によって取得される。また、θW はレンズデータより既知であり、WS は表示条件によって既知である。dh は本実施例においては所定の値(本実施例においては65mm/2)を使用するがこれに限定するものではない。
【0032】
次に点Cについて考える。上と同様にして、点Cの画面上でのズレ量DC は以下の式で表わせる。
【0033】
DC =WS ×tan(θC )÷tan(θW ) 式6
画面からの飛び出し量を目の前からd、表示画面までの視距離dS とすると
DC ≦dh ×(dS −d)÷d 式7
tan(θC )=k×(B−C)÷(k2 +B×C) 式8
以上より以下の式が成り立つ。
【0034】
C≧{d×WS×tan(θb)−dh×(dS−d)×tan(θW)}*{WS×d+tan(θb)×dh×(dS−d)×tan(θW)} 式9
式9によって画面中心に点Bがくるときの手前方向の融像可能範囲が算出される。すなわち、B点から手前方向の点で融像可能なのは式9の右式で計算される値よりもCが大きい事が条件となる。式9で、kとθbは輻輳角/基線長検出手段10によって取得される。また、θWはレンズデータより既知であり、WS,dSは表示条件によって既知である。dh、dは本実施例においては所定の値(本実施例においてはdh=65mm、d=200mm)を使用するがこれに限定するものでない。
【0035】
図4にこのフローチャートを示す。ステップ11にてθbとkを読み込む。ステップ12にてWS,dS,dh,dを読み込む。ステップ13にて式5にしたがって奥行き融像限界点A求める。ステップ14にて式9にしたがって手前融像限界点Cを求める。ステップ15にてステップ13,14とレンズ撮影画角θW、基線長k、輻輳角θbから撮影可能範囲が決定される。次にステップ7で求められた視線対象までの距離と、ステップ15で決定された撮影可能範囲とを比較手段306にて比較する。すなわち視線対象が前記撮影可能範囲内か、範囲外であるか比較する。
【0036】
次に範囲内であるか、範囲外であるかを撮影者に知らせるように画像制御手段4へ指令する。
【0037】
本実施例においては、表示手段201か202、また両方の表示手段内にLEDを配置し、画像制御手段4からの信号にもとずいてLEDを点灯、または点滅させることでLEDからの光線を撮影者に観察させることで範囲内か範囲外であることを表示する。LEDが点灯のときは範囲外、LEDが消灯のときは範囲内としてもよいし、LEDが点滅のときは範囲外、LEDが消灯のときは範囲内としてもよい。また、前記撮影可能範囲からの出力結果を画像表示手段2に出力してもよい。
【0038】
以上説明したように、本実施例により主被写体が融像可能範囲(撮影可能範囲)内にあるか否かを撮影の際に容易に知ることができる。
【0039】
【発明の効果】
以上説明したように、本発明によれば、主被写体が融像可能範囲内にあるか否かを撮影者が撮影時に容易に知ることができるため、疲労感の小さい見やすい立体映像を撮影することができる。
【図面の簡単な説明】
【図1】 実施例の構成を示すブロック図
【図2】 実施例の動作を示すフローチャート
【図3】 実施例の説明図
【図4】 実施例の動作を示すフローチャート
【符号の説明】
1 立体カメラ
2 画像表示手段
3 演算手段
Claims (5)
- 複数の視差画像を撮像するための撮像光学系と、
視線検出手段を有する複数の画像表示手段と、
前記視線検出手段からの出力値から所定の計算を行う演算手段と、
前記演算手段の結果に応じて前記画像表示手段を制御する制御手段とを備え、
前記画像表示手段は、右眼用,左眼用の表示手段と視線検出手段とをそれぞれ有し、
前記演算手段は、右眼用視線検出手段からの出力値から右眼用表示手段の対応する右眼視線範囲を算出する右眼視線範囲算出手段と、左眼用視線検出手段からの出力値から左眼用表示手段の対応する左眼視線範囲を算出する左眼視線範囲算出手段と、該右眼,左眼視線範囲から被写体方向を示す右眼及び左眼方向ベクトルを算出する方向ベクトル算出手段と、該方向ベクトルから右眼方向ベクトルと左眼方向ベクトルの交点を算出する交点算出手段と、該交点と前記撮像光学系の所定の基準点との距離を算出する距離算出手段と、所定のパラメータから融像可能範囲を算出する融像可能範囲算出手段と、該融像可能範囲内に前記距離算出手段によって算出された距離があるかどうか比較する比較手段とを有することを特徴とする立体映像撮像装置。 - 前記画像表示手段は、ヘッドマウントディスプレイであることを特徴とする請求項1記載の立体映像撮像装置。
- 前記画像表示手段は、LEDを有することを特徴とする請求項1または2記載の立体映像撮像装置。
- 前記制御手段は、前記比較手段からの出力結果に応じて、前記LEDの発光を制御することを特徴とする請求項3記載の立体映像撮像装置。
- 前記制御手段は、前記融像可能範囲算出手段からの出力結果を前記画像表示手段の表示画像として表示することを特徴とする請求項1記載の立体映像撮像装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33299597A JP3976860B2 (ja) | 1997-12-03 | 1997-12-03 | 立体映像撮像装置 |
US09/203,997 US6762794B1 (en) | 1997-12-03 | 1998-12-01 | Image pick-up apparatus for stereoscope |
DE69830459T DE69830459T2 (de) | 1997-12-03 | 1998-12-02 | Stereoskopische Bildaufnahmevorrichtung |
EP98122894A EP0921694B1 (en) | 1997-12-03 | 1998-12-02 | Stereoscopic image pick-up apparatus |
US10/763,756 US20040150728A1 (en) | 1997-12-03 | 2004-01-22 | Image pick-up apparatus for stereoscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33299597A JP3976860B2 (ja) | 1997-12-03 | 1997-12-03 | 立体映像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11168755A JPH11168755A (ja) | 1999-06-22 |
JP3976860B2 true JP3976860B2 (ja) | 2007-09-19 |
Family
ID=18261127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33299597A Expired - Fee Related JP3976860B2 (ja) | 1997-12-03 | 1997-12-03 | 立体映像撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3976860B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8085293B2 (en) * | 2001-03-14 | 2011-12-27 | Koninklijke Philips Electronics N.V. | Self adjusting stereo camera system |
KR100624431B1 (ko) | 2004-08-03 | 2006-09-19 | 삼성전자주식회사 | 입체영상 관찰을 위한 주시거리 조정 방법 및 그 장치 |
US9128367B2 (en) | 2010-03-05 | 2015-09-08 | Panasonic Intellectual Property Management Co., Ltd. | 3D imaging device and 3D imaging method |
WO2011108277A1 (ja) | 2010-03-05 | 2011-09-09 | パナソニック株式会社 | 立体撮像装置および立体撮像方法 |
JP5444452B2 (ja) | 2010-03-05 | 2014-03-19 | パナソニック株式会社 | 立体撮像装置および立体撮像方法 |
US20120293630A1 (en) * | 2011-05-19 | 2012-11-22 | Qualcomm Incorporated | Method and apparatus for multi-camera motion capture enhancement using proximity sensors |
-
1997
- 1997-12-03 JP JP33299597A patent/JP3976860B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11168755A (ja) | 1999-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0921694B1 (en) | Stereoscopic image pick-up apparatus | |
KR0153214B1 (ko) | 입체화상촬상 및 표시장치 | |
KR100519864B1 (ko) | 화상정보입력장치및그방법 | |
JP3089306B2 (ja) | 立体画像撮像及び表示装置 | |
EP0837603A2 (en) | System for controlling the focus of variable-focus lenses by detection of the spatial relationship of the eyes of a person | |
JP2004309930A (ja) | 立体観察システム | |
JPH11202256A (ja) | 頭部搭載型画像表示装置 | |
JP2011205358A (ja) | ヘッドマウントディスプレイ装置 | |
WO2006118057A1 (ja) | 画像表示装置 | |
JPH11102438A (ja) | 距離画像生成装置及び画像表示装置 | |
US6788274B2 (en) | Apparatus and method for displaying stereoscopic images | |
JPH08194274A (ja) | 立体撮像装置 | |
JP4584408B2 (ja) | 眼球画像解析システム | |
JP3976860B2 (ja) | 立体映像撮像装置 | |
KR101526557B1 (ko) | 다중 카메라 기반 시선 추적 장치 및 방법 | |
JPH06261913A (ja) | 手術用顕微鏡の立体映像装置 | |
JPH06235885A (ja) | 立体映像表示装置 | |
JP2741063B2 (ja) | 広視野表示装置 | |
JP2012227653A (ja) | 撮像装置及び撮像方法 | |
JP5331785B2 (ja) | 立体画像分析装置 | |
JPH10115878A (ja) | 指向性スクリーンを用いる3次元画像投写システム | |
JP4235291B2 (ja) | 立体映像システム | |
JP2001218231A (ja) | 立体画像を表示する装置および方法 | |
JPWO2017179280A1 (ja) | 視線測定装置および視線測定方法 | |
JPH0356047B2 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |