JPH07167633A

JPH07167633A - 立体画像撮像及び表示装置

Info

Publication number: JPH07167633A
Application number: JP19643094A
Authority: JP
Inventors: Kenya Uomori; 謙也魚森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-08-26
Filing date: 1994-08-22
Publication date: 1995-07-04
Anticipated expiration: 2015-09-18
Also published as: JP3089306B2

Abstract

(57)【要約】【目的】観賞時に見やすく疲労の少ない立体画像を表
示できる立体画像撮像及び表示装置を提供すること。【構成】視差計算部１５により計算された被写体の両
眼視差から、視差処理部１６によりその最小値を計算
し、奥行き表示位置計算部１７により立体画像再生時に
おける再生位置を計算し、融合範囲確認部１８により観
察者の両眼融合範囲内に画像の再生位置が入るように輻
輳点ｄx を決定することによりカメラの光軸の向きを制
御する。また、視差計算部１５の出力から被写体の奥行
き位置の画面全体の平均値を注視点計算部３０で計算
し、視差制御部３１により、注視点計算部３０の出力で
示される奥行き位置を画像表示部３２の表面もしくは表
面から指定された距離に再現するように制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、立体画像を撮影して表
示する立体画像撮像および表示装置に関するものであ
る。

【０００２】

【従来の技術】従来の立体画像撮像装置としては、例え
ば図２１の様なものがある。これは、本来２台のカメラ
を２台の雲台の上にそれぞれ固定した物であり、この２
台のカメラが人間の左右の眼に相当する。各々のカメラ
は回転制御部４ａ，４ｂに固定されており、それぞれ水
平方向に回転可能になっている。また、カメラ間隔制御
部５により、２台のカメラの間隔を変化出来るようにも
なっており、カメラ全体は三脚６に固定されている。こ
こで、この従来の立体画像撮像装置の平面図を図２２
（ａ）及び（ｂ）に示す。

【０００３】図２２（ａ）は、カメラの光軸を平行にす
る平行撮影の場合、図２２（ｂ）は、カメラの光軸を傾
け、２つの光軸が交わるようにする輻輳撮影の場合であ
る。前述の回転制御部４ａ，４ｂの動きにより、２台の
カメラを回転し平行撮影、輻輳撮影に対応する。また、
カメラ間隔はＷcを変化させることにより変更が可能に
なっている。さて、立体画像の撮像において、輻輳点ま
での距離ｄxとカメラ間隔Ｗcは、立体画像の画質に大き
く影響する。カメラ間隔Ｗcは、表示された被写体の大
きさと、再現される水平視差の大きさに影響する。輻輳
点までの距離ｄxは、水平視差の大きさ（観察者の両眼
融合範囲に影響する）と撮像画像の歪に大きく関係す
る。従来の立体画像撮像においては、この輻輳点までの
距離ｄxとカメラ間隔Ｗcを撮影者が経験によって、撮影
された画像を観察者が見た場合にきれいに見えるように
設定していた。ここで、主に、「きれいにみえるよう
に」とは、観察者が見た時に観察者の融合範囲内に立体
画像の水平視差が入るようにすることを指す。

【０００４】次に、融合範囲について更に詳しく説明す
る。図２３は立体画像撮像装置により記録された立体画
像信号を再生する従来の立体画像表示装置の概略図であ
る。これは、立体画像撮像装置で撮像された左右２種類
の画像をプロジェクタ９、１０で再生し、互いに垂直の
偏光方向を持った偏光板１１で偏光し、これをスクリー
ン１２に結像する。観察者は偏光メガネ１３を装着し、
右目用の画像は観察者の右目のみに、左目用の画像は観
察者の左目にそれぞれ投影される。

【０００５】図２４は、立体画像表示装置のスクリーン
部分の平面図である。立体画像撮像装置により得られた
点画像が右目用、左目用でそれぞれＩR，ＩLであるとす
ると、両眼間隔Ｗeの観察者は視線の交点Ｃ1に仮想的に
被写体が存在すると知覚する。この様にして、観察者は
両眼立体視を用いて表示される画像の奥行きを知覚する
ことが出来る。また、図２５の様に、スクリーンを用い
ずに２つの直交する偏光板２４を付したＣＲＴ２１，２
２の画像をハーフミラー２３で合成し、これに対応する
偏光板を付した眼鏡２５をつけて観察するような従来の
立体画像の表示方法などもあるが、観察者が奥行きを知
覚する原理はどれも同じである。

【０００６】次に、奥行き知覚について更に図２０を用
いて詳しく説明する。これは、両眼視差による観察者の
奥行き知覚の成立について説明した図であり、Ａ，Ｂ，
Ｐは被写体（点）、ＣLは観察者の左目２６の回転中
心、ＣRは観察者の右目２７の回転中心であり、ＦL，Ｆ
Rはそれぞれ観察者の左目、右目の中心窩（網膜上で最
も解像度の高い部分で、人間は物体を注視する際、中心
窩に物体の像を結像させる）である。観察者が点Ｐを注
視したとする。この時、左右の眼球は中心窩ＦL，ＦRに
点Ｐの像を結像する様に向く。この時、注視点Ｐよりも
近い点Ａの像は左右眼の網膜上のＡL，ＡRに結像する。
同様に注視点Ｐよりも遠い点Ｂの像は、左右眼の網膜上
のＢL，ＢRに結像する。この時、各眼の点Ａの像と点Ｂ
の網膜像との距離ＡLＢLとＡRＢRは異なる。この距離の
差は点Ａと点Ｂの奥行き方向の距離と対応している。ま
た、これを角度で言い替えれば、点Ａと点Ｂ間の両眼視
差ＰBAは、δBA＝γB−γAで表され、この大きさが点Ａ
と点Ｂの奥行き方向の距離に対応し、人間は脳内でこの
差分を計算し被写体の奥行き位置を知覚する。即ちＬAB
を知覚する。また、人間は被写体までの距離が遠いと、
点Ａもしくは点Ｂの絶対距離ＬA，ＬBの知覚感度は低
く、相対距離ＬABの知覚感度が高い。

【０００７】

【発明が解決しようとする課題】しかしながら、上記の
様な構成では、実際の画像は表示スクリーン１２（図２
４）上に結像されるのにもかかわらず、観察者はＣ1の
位置に被写体があると知覚する。即ち、実際の画像と見
える画像では、眼のピント位置が異なる状況である。言
い換えれば、観察者の輻輳（寄り眼になること、即ち近
い位置Ｃ1に両目を向けること）と調節（眼のピント）
が矛盾した状態になっている。この矛盾量が大きくなる
と、人間は左右の画像を一つのものと知覚出来なくな
り、２重像の知覚になってしまう。または、２重像にな
らなくても、非常に違和感の大きな立体画像になり、観
賞しても気分が悪くなったりする。

【０００８】更に詳しく説明すると、図２０において、
観察者が点Ｐを注視した時、人間がこの奥行きを計算で
きる両眼視差δの大きさの範囲はおおよそ±０．５゜で
あり、それ以上奥行き距離が大きくなると（両眼視差δ
の絶対値が大きくなると）、奥行き方向の距離感が減少
し、更に大きくなると物体が２重に観察され、奥行きが
分かりにくくなると同時に非常に観察しづらくなる。ま
た、図２０において、点Ａ，Ｂ，Ｐを図２５の３次元画
像表示装置で表示したとし、再現される立体像の位置
が、画像を表示しているＣＲＴ表面の位置２８から離れ
ると、眼のレンズの焦点調節位置（ＣＲＴ表面）と表示
画像の奥行き位置のずれが大きくなる。この、ＣＲＴ表
面の位置と立体画像提示位置のずれにも人間には許容範
囲があり、これを越えると、両眼の中心窩に意図する被
写体を結像することが出来なくなり、観察者は２重像を
知覚する。

【０００９】以上のことを考慮すると、両眼立体視によ
る人間の奥行き知覚範囲は、注視点Ｐを中心として、あ
る限られた範囲しかないことがわかる。人間は、より広
い３次元世界を知覚するために、注視点Ｐを奥行き方向
にも移動し、それぞれの注視点の位置で、その周りの３
次元構造を知覚し、それを合成する。しかしながら、従
来の３次元画像表示装置では、眼のレンズの焦点調節位
置（ＣＲＴ表面）と表示画像の奥行き位置のずれの許容
範囲があるため、被写体の全空間を観察することができ
ない。さらに、眼のレンズの焦点調節位置（ＣＲＴ表
面）と表示画像の奥行き位置のずれが存在するために、
注視点を迅速に移動することが困難になり、これらの原
因が重なって、従来の３次元画像表示装置は、疲れ易
い、見にくい画像表示であった。

【００１０】また、この様な欠点を改善するため、従来
の立体画像撮像装置では、撮影者が、この様な状態にな
るべくならない様に、撮影現場において撮影距離を測定
し、これを表示する立体画像表示装置の大きさや観客の
視距離を想定し、図２２のＷcとｄxを決定していたが、
その計算はおおまかな撮影距離や撮影者の経験に頼った
ものであり、正確ではなかったり、１つの被写体につい
て注目し、これが無理なく両眼立体視出来るようにカメ
ラパラメータを設定していた。また、被写体が奥行き方
向に移動する場合など、再現するべき奥行きが時間的に
変化する場合については最適にＷcとｄxを決定すること
は出来なかった。

【００１１】本発明は、上記のような従来の課題を考慮
し、観察者が観賞する際、見やすく、疲れにくい立体画
像を得ることができる立体画像撮像及び表示装置を提供
することを目的とするものである。

【００１２】

【課題を解決するための手段】本発明は、複数の視点に
おいて被写体を撮像する撮像部と、その撮像部の輻輳角
を変化させる輻輳角移動機構部と、各々の撮像部から画
像データを抽出する信号処理部と、その信号処理部の出
力を用いて画像の視差を計算する視差計算部と、その視
差計算部の出力のうち最小値（最も近い被写体の視差）
を検出する視差処理部と、その視差処理部の出力を用い
て撮像された画像が立体画像表示装置で表示された場合
に再生される最も近点の被写体の奥行き位置を計算する
奥行き表示位置計算部と、その奥行き表示位置計算部の
出力を用いて、これが再生画像を観賞する観察者の融合
許容範囲内あるかどうか判断する融合範囲確認部と、そ
の融合範囲確認部の出力を用いて、最も近点の被写体が
観察者の融合許容範囲内になるように輻輳角移動機構部
を制御する輻輳角制御部とを備えた立体画像撮像装置で
ある。

【００１３】また本発明は、少なくとも２方向から被写
体を撮像した時の画像を用いて、被写体の両眼視差また
は３次元位置を計算する視差計算部と、その視差計算部
の出力から被写体の奥行き位置の中心位置を計算する注
視点計算部と、その注視点計算部の出力で示される奥行
き位置を３次元立体画像表示部の表面もしくは表面から
指定された奥行き距離に再現するように制御する視差制
御部とを備えた立体画像表示装置である。

【００１４】また本発明は、請求項１〜４のいずれかの
立体画像撮像装置と、請求項５〜８のいずれかの立体画
像表示装置とを備えた立体画像撮像及び表示装置であ
る。

【００１５】

【作用】本発明は、撮像画像の両眼視差を検出し、これ
から観察者が観察する最も近点の被写体の奥行き位置を
計算し、これが再生画像を観賞する観察者の融合許容範
囲内になるように輻輳角移動機構部を制御する。

【００１６】また本発明は、画像の両眼視差から観察者
が最も広い範囲で被写体の奥行き世界を知覚可能である
最適注視点を計算し、これが立体画像表示部の表面もし
くは表面から指定された距離に再現するように制御す
る。

【００１７】また本発明は、請求項１〜４のいずれかの
立体画像撮像装置により得られた撮像画像を用いて、請
求項５〜８のいずれかの立体画像表示装置に立体画像を
表示する。

【００１８】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００１９】図１は、本発明にかかる第１の実施例の立
体画像撮像装置の構成図である。図１において、１，２
はレンズ、３a，３bはカメラ本体、４a，４bは輻輳角移
動機構部である回転制御部、５はカメラ間隔制御部であ
り、これらは従来の技術と同様な物である。１４a ，１
４b はカメラ本体からの信号を輝度信号に変換する信号
処理部、１５は左右の画像から水平視差を計算する視差
計算部、１６は最小の視差を検出する視差処理部、１７
は観察者に最も近い被写体の空間位置を計算する奥行き
表示位置計算部、１８は観察者に最も近い被写体の空間
位置が観察者の融合範囲内にあるかどうかをチェックす
る融合範囲確認部、１９は観察者に最も近い被写体の空
間位置が観察者の融合範囲内に入るように回転制御部４
a，４bを制御する輻輳角制御部である。ここで、レンズ
１，２及びカメラ本体３ａ，３ｂが、撮像部を構成して
いる。

【００２０】以上のように構成された本実施例の立体画
像撮像装置について、以下その動作を説明する前に、撮
像系と表示系のモデル理論と、観察者の両眼融合範囲に
関する特性について説明する。

【００２１】まず、撮像系と表示系のモデルについて、
図２を用いて説明する。図２（ａ）は撮像系のモデルで
ある。撮影カメラは左右対称に、輻輳点Ｆ（０，ｄx，
０）に光軸が向いている。この時座標原点を２台のカメ
ラの中心にとり、２台のカメラを並べる方向をｘ軸、奥
行き方向をｙ軸、高さ方向をｚ軸とする。左右のレンズ
１，２はｘ軸上のそれぞれ（−Ｗc，０，０），（Ｗc，
０，０）に位置し、撮像面（撮像素子またはフイルムの
位置）７，８に対するレンズの焦点距離はｆである。こ
の時ｄx ＝∽にすると、２台のカメラの光軸は平行にな
る（図２（ａ）、破線）。

【００２２】図２（ｂ）は表示系のモデル（立体画像表
示装置のモデル）である。表示系の座標は観察者の両眼
の中心を原点として、両眼の中心を結ぶ線をＸ軸、奥行
き方向をＹ軸、高さ方向をＺ軸とする。この時、観察者
から立体画像表示スクリーン１２までの距離はｄs、左
右眼はそれぞれ（−Ｗe，０，０），（Ｗe，０，０）に
位置し、再現される点画像の位置が右目用がＰr、左目
用がＰlであるとすると、観察者はＰrと（Ｗe，０，
０）を結ぶ線分とＰlと（−Ｗe，０，０）を結ぶ線分の
交点Ｐに点画像があると知覚する。一般的に、図２
（ｂ）の様な平面のスクリーンを用いた立体画像表示装
置を用いると、ｄx ＝∽でかつ、無限遠点を撮像した位
置（撮像画像の中心位置）が、図２（ｂ）で左右画像そ
れぞれＮL（−Ｗe，ｄs，０），ＮR（Ｗe，ｄs，０）の
位置に表示されると、撮像空間のｘ方向は歪なく再生さ
れる。また、撮像空間のｙ方向は（数１）の時、歪なく
再生される。

【００２３】

【数１】

【００２４】ここでＭは、撮像面７，８上の像の大きさ
と表示スクリーン１２上の像の大きさの比である（但
し、Ｙ軸上に観察者の中心がある場合）。この場合、無
限遠点の再生画像を観察する場合は、図２（ｂ）で両眼
の視線が破線の様に平行になる。被写体が無限遠点から
０の距離の間に存在することより、観察者の２つの視線
は平行か、内側を向くことになり、外側に向くことはな
くなる。人間の特性として、２つの視線が平行より外側
に向くことはありえないため、この条件は立体画像の再
生範囲が最も広くなる条件である。

【００２５】この無歪再生条件の内、図２（ａ）のｄx
＝∽の条件が成立しない場合、即ちｄx が有限の値を持
つときは、再生される立体画像は空間的に必ず歪むた
め、なるべくｄx ＝∽の条件で撮像し、再生される立体
画像が観察者の融合範囲内に無い場合のみｄx を変化さ
せて観察者が融合出来る様にする。この時、再生される
立体画像の歪を最小限に抑えるため、ｄx はなるべく大
きな値を持つように設定する。実際のｄx の制御につい
ては後述する。この時、立体画像再生側では、立体画像
の再生範囲を最大にするために、無限遠点の画像を図２
（ｂ）のＮL，ＮRに再生する。このためには、図２
（ａ）の撮像面７，８上での無限遠点の水平方向の座標
はｆ×Ｗｃ／ｄx であることを用いて、（数２）の関係
が成立する様にΔＳを設定し、右画像をΔＳだけ右に平
行移動、左画像をΔＳだけ左に平行移動して左右画像を
表示する。

【００２６】

【数２】

【００２７】次に、人間の両眼融合特性について説明す
る。本発明は、立体画像表示装置で立体画像を表示した
時に、観察者が左右の画像を融合できる範囲内に立体画
像を表示出来るように、撮像装置のパラメータｄx を制
御するため、図２（ｂ）において観察者が両眼融合でき
る条件を知っておく必要がある。例えば図２（ｂ）で、
点Ｐの位置を観察者が注視しているとする。ここで、実
際の画像は表示スクリーン１２上に結像される。しかし
ながら、両眼の視線は点Ｐに向いている。この様に近い
点を見るために両眼を内転することを輻輳眼球運動、Ｐ
点を輻輳点というが、この輻輳眼球運動は、眼のピント
情報と点Ｐの網膜投影位置情報を用いて制御されてい
る。

【００２８】この場合、ピント情報と網膜情報は矛盾し
ているため、観察者側に負担がかかる。この矛盾が小さ
な範囲ならば観察者は許容できるが、矛盾が大きくなる
と、観察者は左右の画像をひとつの画像として融合でき
なくなり、ついには二重像の知覚になってしまう。二重
像の知覚にならなくても、視覚系に負担がかかり、疲労
を招く。この眼のピント位置（調節という）と、網膜投
影位置による輻輳点の位置（輻輳という）の許容範囲を
測定した結果がある（日経エレクトリニクスvol.444,p205-214(1
988))より）。これを図３に示す。横軸の輻輳は、両眼
の視線の交点と観察者の距離、縦軸の調節は、眼球の水
晶体のピントを合わせている位置と観察者の距離（単位
はＤ、ジオプタで、距離の逆数）である。右上がりの４
５度の直線上が、輻輳と調節の一致する条件であり、斜
線部は眼の焦点深度内の許容範囲、αは画像を０．５秒
表示したときの融合限界線である。この上下の融合限界
線の間の領域では、観察者は立体画像を融合でき、２重
像になることはない。そこで図２のｄx を、この融合可
能な領域に全ての立体画像が再現される様な条件でか
つ、なるべく大きな値を持つように制御して撮像する。

【００２９】まず、初期値としてｄx ＝∽（十分大きな
値）とする。図１において、視差計算部１５は信号処理
部１４a，bの出力である左右眼用の画像から、視差地図
（３次元地図）を計算する。計算方法は左右画像の輝度
パターンの相関を計算する相関マッチング法や左右画像
のエッジ情報のマッチングを行う方法等、多くの方法が
提案されているが、ここでは例として輝度パターンの相
関を計算する相関マッチング法を用いる方法を説明す
る。図４を用いて視差計算部１５の詳細な動作を説明す
る。図４において、大きさＮ×Ｍの左右画像を考える。
左画像でｎ×ｎ画素（図では３×３画素）のブロック窓
を考える。このブロック窓と同じ画像を右画像で同じサ
イズの窓を用いて探し、この時の左右のブロック位置の
ずれを示すベクトル（Δｘ，Δｙ）の水平成分Δｘが、
そのブロック窓の中心座標での左右画像の両眼視差とな
る。基準となる左画像のブロック窓の位置を全画面に渡
って平行移動し、全ての場合において右画像の対応する
ブロックの位置（両眼視差）を求めれば、画面全体の視
差地図（画面の各場所での奥行き距離を示したもの）が
求められる。ここで画像の座標（ｘ，ｙ）における左右
画像のずれ、即ち両眼視差（Δｘ，Δｙ）は、（数３）
で示される。

【００３０】

【数３】

【００３１】ここで、

【００３２】

【数４】

【００３３】である。ただし（数３）のΣは、ｎ×ｎの
ブロック窓内について座標ｘk，ｙkを変化させて絶対値
内の総和をとることを示す。Ｎはブロック窓内の画素数
である。両眼視差Δｘ，Δｙの内、奥行き位置を直接示
すのはΔｘである。左画像を基準とした場合、両眼視差
の値が正の時は、基準画像に対して右画像は右側、左画
像は左側に位置し、両眼視差０の奥行き位置より奥側を
示し、両眼視差の値が負の時は両眼視差０の奥行き位置
より手前側に被写体が存在することを示す。

【００３４】以上の様にして得られた視差地図（画面全
体について各座標における視差Δｘを計算したもの）を
元にして、視差処理部１６は、画像全体の視差の最小値
（最も観察者に近い位置に再生される被写体の視差）を
抽出し、これをΔｘmin とする。次に、Δｘmin を元に
して、図５に示した立体画像表示における立体画像の奥
行き再生位置Ｙpminは奥行き表示位置計算部１７により
計算されるが、計算式は（数５）で示される。

【００３５】

【数５】

【００３６】Ｙpminは表示座標系の原点から注目してい
る被写体の位置までの距離のＹ座標を表す。ここで、図
５は図２（ｂ）の表示モデルに図３の観察者の両眼融合
範囲を重ねて書いた物である。斜線部分は観察者の両眼
融合可能領域である。

【００３７】ここでＦ（ｄs）minは、図３において下側
の曲線で与えられる。たとえば、スクリーンまでの視距
離ｄs ＝７１ｃｍの時、Ｆ（ｄs）min＝２９ｃｍとな
り、観察者は無限遠から２９ｃｍのところまでの範囲内
で両眼融合可能である。図３より、視距離が７１ｃｍ以
上の時には観察者は、無限遠からＦ（ｄs）minの範囲ま
で両眼融合可能である。視距離が７１ｃｍ以下の場合に
は、図３の上側の曲線も両眼融合範囲を制限し、Ｆ（ｄ
s）max〜Ｆ（ｄs）minまでの距離が両眼融合範囲とな
る。以下では、視距離が７１ｃｍ以上の場合について説
明する。ここで、Ｙpminが、両眼融合範囲の境界にある
かどうかを融合範囲確認部１７が判断する。判断の基準
は、（数６）が成立するかどうかを評価する。

【００３８】

【数６】

【００３９】ここで、ΔＦは任意の小さな値である。
（数６）が成立する場合には、立体画像の再生表示位置
は両眼融合範囲内にあるので、融合範囲確認部１８は輻
輳角制御部１９に現在のｄx の値をそのまま輻輳角制御
部１９に出力する。また、Ｙpminが、（数７）を満たす
場合、Ｙpminの再生表示位置は両眼融合範囲内に完全に
入っているため、融合範囲確認部１８は現在のｄxにΔ
ｄxだけ加算した値を新たなｄxとして輻輳角制御部１９
に出力する。

【００４０】

【数７】

【００４１】但し、後述のθ（図６参照）が０に近くな
れば、後述のカメラ光軸角度θはほとんど変化しないの
で、ｄx は更新しなくてもよい。また、図５に示すよう
に、Ｙpminが（数８）を満たす場合には、Ｙpminに再生
された画像は観察者にとって両眼融合できない画像であ
る。

【００４２】

【数８】

【００４３】この場合、現在のｄxからΔｄxだけ減算し
てこれを新たなｄxとする。このｄxからΔＦを減算した
値が、ｄx0（後述、＞０）よりも小さい場合には、ｄx0
を新たなｄxとする。ここで、ｄx0 の計算について説明
する。融合範囲確認部１８は、Ｙpminのｙ座標を、図５
のＦ（ｄs)minにする条件でのｄxをｄx0として計算す
る。ｄxの計算式は（数５）と（数２）により、ΔＳを
消去し、Ｙp＝Ｆ（ｄs）minとし、更にｄxで解くと得ら
れ、（数９）となる。

【００４４】

【数９】

【００４５】この様にして得られるｄxを用いて、輻輳
角制御部１９は回転制御部４a，４bを制御し、カメラ本
体３a，３bが図（ａ）に示した輻輳点にカメラの光軸が
向くように制御する。この時のカメラの制御角度θの定
義を図６（ａ）に示す。θ＝０の時、２台のカメラの光
軸は平行となる。ここで、ｄxの更新はΔｄxずつとした
が、（数８）の条件の場合、（数９）で示されるｄx_0
の値をｄxに直接代入しても良い。また、ｄxを制御する
代わりに、（数８）が成立する場合のみ、カメラ間隔Ｗ
cをＷc−△Ｗc（△Ｗcは任意の小さな値）に変化させ、
（数６）が成立するまで、これを繰り返してもよい。

【００４６】以上の様にすれば、被写体の、観察者から
最も近い点Ｙpminが融合範囲の限界近点であるＦ（ｄ
s）minになるように制御される。この時、Ｙpminが、カ
メラ本体３a，３bの光軸が平行になる条件で両眼融合範
囲にある場合には、２台のカメラの光軸は平行に保たれ
る。

【００４７】以上の様に、本実施例によれば、撮像画面
の視差を計算し、これの最小値を観察者の融合範囲内に
再現するように立体撮像カメラの光軸を制御することに
より、再生表示された立体画像を観察者が最も広い範囲
で融合できる画像を撮像することができる。

【００４８】また、第１の実施例の図６（ｂ）で、θ＝
０近辺ではｄx の変化範囲が大きいので、ｄxがｄx_∽
のところで、θを０にしてもよい。この時ｄxの初期値
はｄx_∽にする。また、図６（ｂ）の曲線を直線近似し
てもよい。また、（数６）〜（数８）の条件判断式にお
いて、Ｙpmin にオフセットＹp_offを加算し、判断条件
をＹ軸方向にシフトしてＹpminの位置が融合範囲内（斜
線領域）内に入るように調節してもよい。

【００４９】図７は、本発明にかかる第２の実施例の立
体画像撮像装置の構成図である。図７において、１，２
はレンズ、３a，３bはカメラ本体、４a，４bは回転制御
部、５はカメラ間隔制御部、１７は観察者に最も近い被
写体の空間位置を計算する奥行き表示位置計算部、１９
は観察者に最も近い被写体の空間位置が観察者の融合範
囲内に入るように回転制御部４a，４bを制御する輻輳角
制御部であり、これらは従来の技術と同様な物である。
本発明の第１の実施例と異なる点は、奥行き表示位置計
算部１７の入力を、最も近い被写体の座標ｘ0，ｙ0を直
接用いている点と、観察者に最も近い被写体の空間位置
を観察者の融合範囲内入れるためのｄxの値を計算する
融合範囲決定部２０が用いられている点である。

【００５０】以上の様に構成された第２の実施例の立体
画像撮像装置について、以下その動作を説明する。

【００５１】図２（ａ）の撮像条件において、被写体の
内、最もカメラから近い距離にある点の座標をＮ（ｘ
0，ｙ0，ｚ0 ）とする。撮影者はこの距離を撮影前に測
定し、ｘ0，ｙ0を奥行き表示位置計算部１７に入力す
る。入力方法は、計算機のキーボードのようなもの等、
数値データを入力できる物なら何でもよい。これを元に
して、奥行き表示位置計算部１７は、図２（ｂ）におけ
る立体画像再生表示座標系における点Ｎの表示位置のＹ
座標を計算する。計算式は（数１０）で示される。

【００５２】

【数１０】

【００５３】ここで（数１０）のΔＳは、本発明の第１
の実施例と同様に、（数２）によって決定される。ここ
で最初はｄx＝∽（２台のカメラ光軸が平行条件）条件
でＹpminを計算する。次に、このＹpmin を用いて、融
合範囲決定部２０は、実際のカメラの輻輳点ｄxを決定
する。決定方法は、もし（数１１）が満足されれば、ｄ
x＝∽（十分大きな値）とし、そうで無ければ数９で示
されるｄx_0 を計算し、これを新たなｄxとする。

【００５４】

【数１１】

【００５５】このようにして得られたｄx を元にして、
輻輳角制御部１９は２台のカメラの光軸の角度θを計算
する。θは図６に示した物と同じである。この様にして
決定されたθの値になるように、回転制御部４a，４bは
カメラの光軸を制御する。

【００５６】以上の様に、本実施例によれば、カメラか
ら最も近い被写体の位置を入力として、観察者の融合範
囲内にこれを再現するような輻輳点ｄx を決定し、これ
に合わせて立体撮像カメラの光軸を制御することによ
り、再生表示された立体画像を観察者が最も広い範囲で
融合できる画像を撮像することができる。

【００５７】ここで本発明の第２の実施例において、撮
影者が奥行き表示位置計算部１７に、ｘ0，ｙ0を直接入
力したが、これは超音波センサ等の距離測定装置を用い
て自動的に入力しても良い。また、ｘ0＝一定の条件に
固定して、ｙ0の値のみ入力しても良い。

【００５８】図８は、本発明にかかる第３の実施例の立
体画像撮像装置の構成図である。ブロック構成は図１と
同じである。図８において、１，２はレンズ、３a，３b
はカメラ本体、４a，４bは回転制御部、５はカメラ間隔
制御部、１４a，１４bはカメラ本体からの信号を輝度信
号に変換する信号処理部、１５は左右の画像から水平視
差を計算する視差計算部、１６は最大の視差を検出する
視差処理部、１７は観察者に最も遠い被写体の空間位置
を計算する奥行き表示位置計算部、１８は観察者に最も
遠い被写体の空間位置が観察者の融合範囲内にあるかど
うかをチェックする融合範囲確認部である。１９は観察
者に最も遠い被写体の空間位置が観察者の融合範囲内に
入るように回転制御部４a，４bを制御する輻輳角制御部
である。

【００５９】第１の実施例と異なる点は、視差処理部１
６が視差の最大値を計算する点と、奥行き表示位置計算
部１７が観察者に最も遠い被写体の空間位置を計算する
点と、融合範囲確認部１８が観察者に最も遠い被写体の
空間位置が観察者の融合範囲内にあるかどうかをチェッ
クする点である。第１の実施例では、視差の最小値、最
も近い被写体について制御した。

【００６０】以上の様に構成された第３の実施例の立体
画像撮像装置について、以下その動作を説明する。

【００６１】本発明の第１、２の実施例では、観察者の
視距離ｄs ＞７１ｃｍの場合であり、両眼融合範囲は∽
〜Ｆ（ｄs)minであり、Ｆ（ｄs）min を観察者の両眼融
合範囲に入るようにｄsを制御した。ここで、ｄs＜７１
ｃｍの場合には前述の通り、Ｆ（ｄs）max〜Ｆ（ｄs）m
inまでの距離が両眼融合範囲となり、Ｆ（ｄs）minを融
合範囲に入れるように制御するためには、本発明の第１
の実施例と同じ動作でよいが、本発明の第３の実施例で
は、Ｆ（ｄs）maxを両眼融合範囲に入れるように制御す
る。

【００６２】まず、初期値としてｄx ＝∽（十分大きな
値）とする。次に、本発明の第１の実施例と同様に、カ
メラ本体３a，３b、信号処理部１４a，１４bにより得ら
れた画像信号を用いて、視差計算部１５は視差地図を計
算する。計算の方法は本発明の第１の実施例と全く同じ
である。この視差地図をもとに、視差処理部１６は、視
差の最大値Δｘmax （カメラから最も遠い距離にある被
写体の視差）を計算する。次に奥行き表示位置計算部１
７は、（数５）を用いて、最も遠い位置にある被写体が
再生表示される位置を計算する。座標系は図２（ｂ）に
示す立体画像表示座標系と同じ物である。ここで、図９
は図２（ｂ）の表示モデルに図３の観察者の両眼融合範
囲を重ねて書いた物である。斜線部分は観察者の両眼融
合可能領域である。ここでＦ（ｄs）maxは、図３におい
て上側の曲線で与えられる。

【００６３】この時、融合範囲確認部１８は、Ｙpmaxの
値と観察者の遠点の両眼融合限界点Ｆ（ｄs）maxの値の
関係より、（数１２）の関係が満たされる場合には、立
体画像の再生表示位置は両眼融合範囲内にあるので、融
合範囲確認部１８は現在のｄxの値をそのまま輻輳角制
御部１９に出力する。

【００６４】

【数１２】

【００６５】また、Ｙpmaxが（数１３）を満たす場合、

【００６６】

【数１３】

【００６７】Ｙpmax の再生表示位置は両眼融合範囲内
に完全に入っているため、現在のｄxからΔｄx だけ減
算してこれを新たなｄxとする。このｄxからΔＦを減算
した値が、ｄx1（後述、＞０）よりも小さい場合には、
ｄx1を新たなｄxとする。

【００６８】ここで、ｄx1の計算について説明する。融
合範囲確認部１８は、Ｙpmaxのｙ座標を、図９のＦ（ｄ
s)max にする条件でのｄxをｄx1として計算する。ｄxの
計算式は本発明の第１の実施例と同じように、（数５）
と（数２）により、ΔＳを消去し、Ｙp＝Ｆ（ｄs）min
とし、更にｄxで解くと得られ、（数１４）となる。

【００６９】

【数１４】

【００７０】また、図９に示すようにＹpmaxが、（数１
５）を満たす場合には、Ｙpmaxに再生された画像は観察
者にとって両眼融合できない画像である。

【００７１】

【数１５】

【００７２】この場合、融合範囲確認部１８は現在のｄ
xにΔｄxだけ加算した値を新たなｄxとして輻輳角制御
部１９に出力する。但し、後述のθ（図６）が０に近く
なれば、後述のカメラ光軸角度θはほとんど変化しない
ので、ｄx は更新しなくてもよい。

【００７３】この様にして得られるｄxを用いて、輻輳
角制御部１９は、回転制御部４a，４bを制御し、カメラ
本体３a，３b が図２（ａ）に示した輻輳点にカメラの
光軸が向くように制御する。この時のカメラの制御角度
θの定義は本発明の第１の実施例の図６（ａ）と同じで
あり、θ＝０の時、２台のカメラの光軸は平行となる。
ここで、ｄxの更新はΔｄxずつとしたが、（数１５）の
条件の場合、（数１４）で示されるｄx_1の値をｄxに直
接代入しても良い。

【００７４】以上の様にすれば、被写体の、観察者から
最も遠い点Ｙpmaxが融合範囲の限界遠点であるＦ（ｄ
s）maxになるように制御される。この時、Ｙpmaxが、カ
メラ本体３a，３bの光軸が平行になる条件でも両眼融合
範囲にない場合には、２台のカメラの光軸は平行のまま
保たれる。また、ｄxを制御する代わりに、（数１５）
が成立する場合のみ、カメラ間隔ＷcをＷc−△Ｗc（△
Ｗcは任意の小さな値）に変化させ、（数１２）が成立
するまで、これを繰り返してもよい。

【００７５】以上の様に、本実施例によれば、撮像画面
の視差を計算し、これの最大値を観察者の融合範囲内に
再現するように立体撮像カメラの光軸を制御することに
より、再生表示された立体画像を観察者が広い範囲で融
合できる画像を撮像することができる。

【００７６】また、本発明の第１〜第３の実施例におい
て、視差計算部１５の出力は被写体の状態によっては雑
音が混入するため、視差計算部１５の出力に時空間低域
通過フィルタを施して雑音を低減しても良いし、２台の
カメラの制御はゆっくりでよいため、急激な動作を防ぐ
ため、視差処理部１６の出力Δｘmin または融合範囲確
認部１８の出力ｄxや融合範囲決定部２０の出力ｄxに、
時間方向の低域通過フィルタを施しても良い。

【００７７】図１０は、本発明にかかる第４の実施例の
立体画像表示装置の構成図を示すものである。図１０に
おいて、２９は視差計算部、３０は注視点計算部、３１
は視差制御部、３２は画像表示部である。

【００７８】以上のように構成された本実施例の立体画
像表示部について、以下その動作を説明する。まず、視
差計算部２９は左右眼用の画像から、視差地図（３次元
地図）を計算する。計算方法は前述の本発明の第１の実
施例と同様であり、左右画像の輝度パターンの相関を計
算する相関マッチング法等を用いる。即ち、図４におい
て、左画像でｎ×ｎ画素（図では３×３画素）のブロッ
ク窓を考え、このブロック窓と同じ画像を右画像で同じ
サイズの窓を用いて探し、この時の左右のブロック位置
のずれ（Δｘ，Δｙ）の水平ずれ成分Δｘが、そのブロ
ック窓の中心座標での左右画像の両眼視差となる。基準
となる左画像のブロック窓の位置を全画面に渡って平行
移動し、全ての場合において右画像の対応するブロック
の位置（両眼視差）を求めれば、画面全体の視差地図
（画面の各場所での奥行き距離を示したもの）が求めら
れる。計算式は第１の実施例に示した、

【００７９】

【数１６】

【００８０】ここで、

【００８１】

【数１７】

【００８２】である。

【００８３】以上の様にして得られた視差地図（画面全
体について各座標における視差Δｘを計算したもの）を
元にして、注視点計算部３０は、画像全体の視差の平均
値または画面中央部分に重みをかけた加重平均値Δｘav
e を算出する。図１１は画面の位置と重み係数の例であ
る。図１１は単純に、画面の大きさＸ×Ｙの半分の大き
さの領域の重み係数をＫ２、それ以外の係数をＫ１とし
たものである。領域の形は他の形、例えば円形でもかま
わないし、周辺から中心に向かって連続的に重み係数を
変化させてもよい。この時平均値Δｘaveは、（数１
８）となる。

【００８４】

【数１８】

【００８５】但し K= K2(領域Ａ）、K=K1（領域Ｂ）、
Ｋ１＝Ｋ２の場合、画面全体の単純平均を取ることにな
る。

【００８６】この、両眼視差の平均値Δｘave を用い
て、視差制御部３１は、左右画像の水平読み出しタイミ
ングを制御し、画像を水平方向に平行移動する。図１２
は、映像信号の水平走査期間を示した物である。点Ａ
L，ＡRはそれぞれ左画像、右画像における同一被写体の
同一位置を示しているとする。前述の、位置Ａでの両眼
視差Δｘを図中に示してある。この図に示すように、両
眼視差の平均Δｘave 分だけ、これをキャンセルする方
向に右画像をシフトする（画像の水平読み出しタイミン
グをΔｘave分ずらす）。この様にすれば、両眼視差が
Δｘaveの画像部分が画像表示部３２の表示ディスプレ
イ表面に再生されることになる（左右画像の同一位置に
再生される）。ここで画像全体を平行移動するが、図２
０において前述した通り、これはＬA，ＬBを動かすこと
に相当し、制御する両眼視差量が小さければ観察者はあ
まりこの変化に気づかない。また、Δｘave の値の変化
が時間的に速すぎて、表示画面が頻繁に運動するときに
は、この信号に低域ろ波処理を行い、ゆっくりとした動
きのみを用いて表示画像を制御しても良い。

【００８７】また、注視点計算部３０は、画像全体の視
差の平均値のかわりに、視差の最大値を計算し、これが
正の値の時には、視差制御部３１が画像表示部３２の表
示面上での左右画像のずれ量を、その最大値が観察者の
両眼間隔（約６５mm）を越えないように設定すれば、観
察者の視線が平行より広がることがなくなり、表示画像
を両眼融合範囲内になるように制御できる。更に、注視
点計算部３０は、画像全体の視差の平均値のかわりに、
視差の最小値を計算し、これが負の値の時には視差制御
部３１が画像表示部３２の表示面上での左右画像のずれ
量を、その最小値が、ある所定の大きさβ以下にならな
いように設定すれば、観察者の視点が非常に近い位置に
なり３次元画像表示面からの目のピント情報と視線の輻
輳角の大きな不一致状態をなくすことが出来、観察者が
表示画像を両眼融合しやすくなるように左右画像を制御
できる。

【００８８】また、表示画像のずらし量を、Δｘaveか
らΔｘave−α（αは任意の値）に変更すれば、Δｘave
が示す視差の部分をある一定の両眼視差値αに設定で
きる。α＝０の場合が画像ディスプレイ表面位置を示
し、αの値によってこの位置が画像ディスプレイ表面に
対して手前側もしくは後ろ側になる。この時、一画面で
一つの両眼視差平均値を用いて制御したが、動画の場
合、それぞれの画面（ＮＴＳＣ画像で１フレーム）での
両眼視差平均値を求め、これを時系列データとし時間軸
方向に低域ろ波した信号を用いて画像表示部を制御して
も良い。

【００８９】また、第４の実施例では、右画像のみシフ
トしたが、右画像を制御すべき半分のずれ量だけシフト
し、左画像をその反対方向に同じだけシフトしても良
い。また、平均両眼視差のかわりに、中央値（メディア
ン処理フィルタ）を施しても良い。

【００９０】更に、本実施例では、水平視差によるずれ
Δｘave を用いて表示画像を水平方向のみに制御した
が、視差計算部２９で計算される両眼視差Δｙも用いて
Δｙave を計算し、垂直方向の画像読みだし位置も制御
すれば垂直方向の視差を小さくした３次元画像を表示す
ることが出来、更に観賞しやすい３次元画像になる（左
右画像の垂直方向のずれは、観賞者の両眼融合機能に対
して非常に大きな妨害となる）。

【００９１】以上の様に、本実施例によれば、両眼視差
の平均値（おそらく視差地図の中心付近の奥行き位置）
が示す立体画像を表示ディスプレイ表面上もしくは所定
の位置に制御でき、常に、観察者が最も広い範囲で被写
体の奥行き世界を知覚可能になる。

【００９２】図１３は、本発明にかかる第５の実施例の
立体画像表示装置の構成図である。図１３において、２
９は視差計算部、３１は視差制御部、３２は画像表示部
であり、これらは本発明の図１０のものと同じ物であ
る。図１０の構成と異なるのは視線センサ部３３、視線
検出部３４、注視点判定部３５により表示画像の観察者
が見ている画像の場所を示す視線を測定する機能と、視
差計算部２９の出力と観察者の視線情報を用いて両眼視
差量を制御量計算部３６により制御する機能を付加した
点である。

【００９３】以上の様に構成された第５の実施例の立体
画像表示装置について、以下その動作を説明する。

【００９４】まず、本発明の第４の実施例と同様に、視
差計算部２９は左右眼用の画像から、視差地図（３次元
地図）を計算する。計算方法については、第４の実施例
と同じ物でよく、例えば図４で示す様なアルゴリズム
の、左右画像の輝度パターンの相関を計算する相関マッ
チング法を用いることが出来る。以上の様にして得られ
た視差地図（画面全体について各座標における視差Δｘ
を計算したもの）と、画像表示部３２の表示面において
観察者の見ている場所（注視点）を入力として制御量計
算部３６は、視差制御部３１の入力信号である左右画像
の水平読み出しタイミングのずれ量を計算する。

【００９５】ここで、観察者の注視点（注視している場
所）の検出方法について説明する。まず、視覚センサ部
３３と視線検出部３４により、人間の眼球の光軸の方向
を検出する。検出方法としては、強膜反射法・角膜反射
法・ＴＶカメラで眼の部分を撮影する方法等多々ある
が、どれを採用してもよいが、ここでは強膜反射法につ
いて説明する。図１４は強膜反射法における視線センサ
部３３の原理図である。同図（ａ）は、眼球の正面図、
同図（ｂ）は横から見た図である。水平方向の眼球運動
は同図（ａ）に示す様に、赤外LED により、弱い赤外光
を眼球に照射し、フォト・ダイオードにより眼球からの
赤外光の反射光を測定する。この時、フォト・ダイオー
ドの指向性を点線の様に、黒目の横の両側にセットし、
フォト・ダイオードの出力の差分を演算増幅器で計算す
れば、水平眼球運動が検出できる。垂直眼球運動につい
ては、同図（ｂ）に示す様に、赤外光を眼球の下側に当
て、その反射光を黒目の下部分に指向性を向けたフォト
・ダイオードを用いて検出する。以上の様にして得られ
た水平・垂直眼球運動信号は、視線検出部３４により、
視線の角度（視線信号）に変換される。即ち、予め決め
られた基準点に対して、水平ａｘ度、水平ａｙ度の角度
に視線がある（観察者の眼球の光軸がその角度の方向を
向いている）ことが測定される。

【００９６】次に、注視点判定部３５は、視線信号を元
にして、画像表示部３２のどの部分を観察者が注視して
いるかを計算する。具体的には、図１５に示す様に、観
察者と画像表示部３２のディスプレイ面との距離をＬと
し、前記基準点をディスプレイ面の中心にとり、これを
原点とする２次元座標系ｘ，ｙを定義すればディスプレ
イ面の２次元座標系で表される視点Ｆ（ｘ，ｙ）は、視
線信号（ａｘ，ａｙ）を用いて次式（数１９）で示され
る。

【００９７】

【数１９】

【００９８】但し、観察者はディスプレイ面中心の正面
に位置し、ディスプレイ面は観察者に対して傾いていな
いと仮定する。

【００９９】この様にして得られた画面上における観察
者の注視点（観察者が注視している画像の位置）を用い
て、更に注視点判定部３５は、観察者が長く同一場所を
見ている点を計算する。図１６（ａ）は、視点Ｆのｘ成
分の時間変化例を示した物である。この様に、観察者が
ｘ１〜ｘ５の位置まで順番に見て行ったとすると、人間
の眼球運動はｘ１からｘ２、ｘ２からｘ３等へと視点が
変化する際の動きは非常に速く、跳躍運動（サッカー
ド）と呼ばれている。また、観察者が瞬きをした時は視
点測定が不可能になり、瞼の高速な動きにより波形が激
しく変化する。注視点判定部３５は、この様な過渡状態
を取り除き、観察者がｘ１〜ｘ５の位置を見ている状態
（注視状態）を検出する。検出方法は、図１６（ｂ）に
示すように、視点の移動速度を計算し、これがあるしき
い値β以下の場合には観察者が注視状態にあるとすれば
よい（図１６（ｂ）※印部分）。ここでは視点のｘ成分
のみを用いたが、ｘ，ｙ両方の成分を用いて２次元的な
速度を用いて注視状態を検出してもよい。この様にして
抽出された観察者の注視点の時間的変化を図１６（ｃ）
に示す。

【０１００】次に、図１６（ｄ）に示す様に、注視点位
置のデータを０次ホールドし、注視点データのない時間
を補間する。その後、図１６（ｅ）に示すように、低域
ろ波フィルタを用いて、検出された注視点の時間変化を
なめらかにする。以上の様にして、注視点判定部３５
は、観察者が注視している表示画像位置を検出し、注視
点信号として制御量計算部３６に出力する。ここで、注
視点信号は単眼の視線方向について処理したが、左右両
眼の視線方向を検出し、それの平均値を用いて注視点信
号を計算してもよい。

【０１０１】以上の様にして得られた視差地図と注視点
信号を元にして、制御量計算部３６は視差制御部３１の
左右画像の水平読み出しタイミングの制御量を決定す
る。これを図１７を用いて説明する。Ｆはある時刻での
注視点信号が示す観察者の注視位置を示す。この位置を
中心として、Ｍ×Ｍ画素の範囲の視差地図で示される両
眼視差Δｘを平均する。これを本発明の第４の実施例で
説明した両眼視差の平均値Δｘave とする。これを用い
て、視差制御部３１は、左右画像の水平読み出しタイミ
ングを制御し、画像を水平方向に平行移動する。制御方
法は本発明の第４の実施例における図１２で説明したも
のと同じ方法を用いる。即ち、両眼視差の平均Δｘave
分だけ、右画像をシフトする（画像の水平読み出しタイ
ミングをΔｘave分ずらす）。

【０１０２】また、本発明の第５の実施例では、制御量
計算部３６は注視位置を中心とした正方形状内の両眼視
差を平均したが、第４の実施例の図１１の例の様に、中
心の重みが高い重み付き平均計算を行ってもよい。

【０１０３】また、視線信号を観賞者の眼球の光軸方向
のみから検出したが、この場合は人間が頭をあまり動か
さない場合に対して有効である。更に自由な観賞状態を
考慮すると、人間の視線は眼球の方向と頭部の向いてい
る方向の合成値として与えられる。この様な頭部運動・
眼球運動を統合した視線検出については、ＴＶカメラで
観察者の頭部を撮像する方法や、特願平４−１８２２２
６に示されているような磁界発生装置と頭部に装着され
た磁界検出器を用いた方法があるが、どの方法を採用し
てもよい。

【０１０４】以上の様に、本実施例によれば、観察者が
現在見ようとしている画像の位置における両眼視差を０
（ディスプレイ表面上の位置に画像が再生される）また
はある所定の値にすることが出来、常に、観察者が意図
する画像の位置を中心として立体画像を構成するので、
広い範囲で被写体の奥行き世界を観賞可能になる。

【０１０５】図１８は本発明にかかる第６の実施例の立
体画像表示装置の構成図である。同図（ａ）は立体画像
撮像記録部、同図（ｂ）は立体画像表示部である。図１
８において、２９は視差計算部、３１は視差制御部、３
２は画像表示部、３６は制御量計算部であり、これらは
本発明の第５の実施例（図１３）と同じ物である。第５
の実施例と異なるのは、立体撮像カメラ３７、信号記録
部である記録装置３８、注視意図指定部３９、再生部で
ある再生装置４０が追加された点である。

【０１０６】以上のように構成された第６の実施例の表
示部について、以下その動作を説明する。

【０１０７】まず、図１８（ａ）において、撮影者は立
体撮像カメラ３７を用いて撮影をする。立体撮像カメラ
３７は、従来のビデオカメラを２台、同じ雲台に左右に
並べた従来の立体カメラであっても、本発明の第１の実
施例で示されたような立体画像撮像装置であってもよ
い。この撮像画像を記録装置３８（従来のＶＴＲを２台
同期させた物）で記録する。この時、撮影者は注視意図
指定部３９により、観賞者に注視して欲しいと意図する
画像の位置（注視意図信号）を入力する。注視意図信号
は、マウスやタブレット等の既存のポインティング装置
を入力装置として入力し、撮影している画像中の、ある
１点を示す信号で、時間的に変化する信号であり、ある
時刻のｔにおける注視意図信号は、Fix（ｘt，ｙt ）で
示される。ここで、ｘt，ｙtは時刻ｔにおけるポインテ
ィング装置の出力即ち撮影画像上の２次元座標値であ
る。この注視意図信号を、記録装置３８（ＶＴＲ）を用
いて、撮影された画像と一緒に記録する。具体的には、
注視意図信号を１／６０秒毎のフィールド周波数で標本
化し、画像信号の垂直帰線期間（垂直ブランキング期
間）にこれを挿入する。また、この注視意図指定部３９
は、編集器やＶＴＲに装着し、撮影された画像を編集す
る際に注視意図信号を記録しても良い。

【０１０８】以上の様にして記録された画像信号と注視
意図信号は図１８（ｂ）に示した立体画像表示部により
処理され、３次元画像が表示される。再生装置４０（Ｖ
ＴＲ）は画像信号と注視意図信号を再生する。その後の
動作は本発明の第５の実施例（図１３）において、注視
点信号を再生装置４０から得られる注視意図信号に置き
換えたものと同じである。即ち、視差計算部２９により
計算された視差地図と、再生装置４０により再生された
注視意図信号を元にして、制御量計算部３６は視差制御
部３１の左右画像の水平読み出しタイミングの制御量を
決定する。この場合も図１７に示した様に、注視意図信
号が示す観察者に注視させたい画像位置を中心として、
Ｍ×Ｍ画素の範囲の視差地図で示される両眼視差Δｘを
平均し、これを本発明の第４の実施例で説明した両眼視
差の平均値Δｘave とする。これを用いて、視差制御部
３１は、左右画像の水平読み出しタイミングを制御し、
画像を水平方向に平行移動する。制御方法は第４の実施
例の図１２で説明したものと同じ方法を用いる。即ち、
両眼視差の平均Δｘave 分だけ、右画像をシフトする
（画像の水平読み出しタイミングをΔｘave分ずら
す）。

【０１０９】また、図１８において、注視意図信号を再
生装置４０で再生するかわりに、注視意図指定部３９の
出力を直接、制御量計算部３６に入力し、直接再生画像
を観賞者が観賞しながら注視意図信号を入力しても良
い。

【０１１０】なお、第４〜第６の実施例においては２眼
式立体画像についてのみの例を説明したが、多眼式立体
画像表示装置についても、観賞者の左右眼に投影される
２つの画像に付いて同様の処理を行うことができる。但
し、この場合には、一度に観賞される左右眼用の画像の
対が複数存在するため、それら全てについて同じ処理を
施す必要がある。

【０１１１】以上の様に、本実施例によれば、注視意図
信号を用いて立体画像の読みだし位置を制御することに
より、映像番組制作者、撮影者や、観賞者が意図した部
分の画像の再生位置をディスプレイ表面上の位置または
ある所定の位置に制御することが出来、常に、観察者が
意図する画像の位置を中心として融合範囲の広い立体画
像を構成するので、広い範囲で被写体の奥行き世界を観
賞可能になる。

【０１１２】図１９は本発明にかかる第７の実施例の立
体画像撮像および表示装置の構成図である。図１９にお
いて、１，２はレンズ、３a，３bはカメラ本体、４a，
４bは回転制御部、５はカメラ間隔制御部、１４a，１４
bはカメラ本体からの信号を輝度信号に変換する信号処
理部、１５は左右の画像から水平視差を計算する視差計
算部、１６は最小の視差を検出する視差処理部、１７は
観察者に最も近い被写体の空間位置を計算する奥行き表
示位置計算部、１８は観察者に最も近い被写体の空間位
置が観察者の融合範囲内にあるかどうかをチェックする
融合範囲確認部、１９は観察者に最も近い被写体の空間
位置が観察者の融合範囲内に入るように回転制御部４
a，４bを制御する輻輳角制御部であり、これらは本発明
における立体画像撮像装置のの構成（図１）と同じもの
である。また、３０は注視点計算部、３１は視差制御
部、３２は画像表示部であり、これらは本発明の第４の
実施例の立体画像表示装置（図１０）と同様なものであ
る。

【０１１３】即ち、本実施例は、撮像部と表示部両方を
制御し、表示される立体画像が観察者の両眼融合範囲内
に入るように制御するものである。

【０１１４】以上のように構成された第７の実施例を示
す立体画像撮像および表示装置について、以下その動作
を説明する。まず、図２（ａ）で示されるｄx を、この
融合可能な領域に全ての立体画像が再現される様な条件
でかつ、なるべく大きな値を持つように制御して撮像す
る。この動作は、上記第１の実施例と全く同じである
が、これについて概略を説明する。このために、初期値
としてｄx ＝∽（十分大きな値）とする。図１９におい
て、視差計算部１５は信号処理部１４a，１４bの出力で
ある左右眼用の画像から、視差地図（画面全体について
各座標における視差Δｘを計算した３次元地図）を計算
する。この視差地図を元にして、視差処理部１６は、画
像全体の視差の最小値（最も観察者に近い位置に再生さ
れる被写体の視差）を抽出し、これをΔｘminとする。
次に、Δｘminを元にして、図５に示した立体画像表示
における立体画像の奥行き再生位置Ｙpminを奥行き表示
位置計算部１７により、（数２０）のように計算する。

【０１１５】

【数２０】

【０１１６】このＹpminが、両眼融合範囲の境界領域に
あれば、ｄx は現在の値のままにセットし、そうでない
場合には、（数２１）の場合、ｄxに微小な値Δｄxを加
算し、

【０１１７】

【数２１】

【０１１８】（数２２）の場合は、ｄxから微小な値Δ
ｄxを減算する。

【０１１９】

【数２２】

【０１２０】これらの計算方法は上記第１の実施例と全
く同じである。この様にして得られるｄx を用いて、輻
輳角制御部１９は、回転制御部４a，４bを制御する。以
上の様にして、被写体の、観察者から最も近い点Ｙpmin
が融合範囲の限界近点であるＦ（ｄs）minになるように
制御される。

【０１２１】また、視差計算部１５の出力を用いて、注
視点計算部３０は、画像全体の視差の平均値または重み
づけ平均値Δxaveを求め、視差制御部３１がこのΔxave
分だけの左右画像のずれを無くすように左右画像をスク
ロールする。この処理は、本発明の第４の実施例と同じ
ものである。

【０１２２】以上の様にすることにより、画像表示部３
２で表示される立体画像が観察者の両眼融合範囲に入る
ように、撮像部の輻輳点および表示画像位置が制御され
る。これによって、観察者は常に両眼融合範囲の広い立
体画像を観賞することができ、観賞時の眼性疲労が少な
くなる。

【０１２３】なお、上記第７の実施例では、輻輳角制御
部１９の動作と視差制御部３１の動作が同時に行なわれ
るように説明したが、システム全体の動作の安定の為、
これら２つの制御部が交互に、または片方が安定した後
にもう片方が動作するようにしてもよい。また、上記第
７の実施例では、第１の実施例の立体画像撮像装置を撮
像部に用いる構成としたが、これに代えて、第２又は第
３の実施例の立体撮像装置を用いてもよい。

【０１２４】

【発明の効果】以上述べたところから明らかなように本
発明は、画像の両眼視差を検出し、これから観察者が最
も広い範囲で被写体の奥行き世界を知覚可能となるカメ
ラの最適輻輳点を計算し、その輻輳点にカメラの光軸が
向くように制御し、また、表示画像の両眼融合範囲が広
くなるように表示画像を制御することにより、見やすく
眼性疲労の少ない立体画像を表示することが出来るとい
う長所を有する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の立体画像撮像装
置の構成図である。

【図２】立体画像の撮像座標系と表示座標系の説明図で
ある。

【図３】人間の調節機構と輻輳機構の許容範囲の説明図
である。

【図４】視差の計算方法の説明図である。

【図５】立体画像表示装置における両眼融合範囲の説明
図である（視距離＞７１ｃｍ）。

【図６】同図（ａ）は、輻輳点までの距離ｄxと、光軸
の回転角θの定義を説明する図、同図（ｂ）は、輻輳点
までの距離ｄxと、光軸の回転角θの関係を示す図であ
る。

【図７】本発明にかかる第２の実施例の立体画像撮像装
置の構成図である。

【図８】本発明にかかる第３の実施例の立体画像撮像装
置の構成図である。

【図９】立体画像表示装置における両眼融合範囲の説明
図である（視距離＜７１ｃｍ）。

【図１０】本発明にかかる第４の実施例の立体画像表示
装置の構成図である。

【図１１】重みをかけた視差平均値を求める手法の説明
図である。

【図１２】同第４の実施例における視差制御部１２の動
作を説明する図である。

【図１３】本発明にかかる第５の実施例の立体画像表示
装置の構成図である。

【図１４】同図（ａ）及び（ｂ）は、同第５の実施例に
おける視線センサ部１４の動作を説明する図である。

【図１５】表示画像上の注視点座標計算方法の説明図で
ある。

【図１６】同図（ａ）〜（ｅ）は、注視点位置の計算方
法の説明図である。

【図１７】左右画像の水平読み出しタイミングの制御量
の計算手法の説明図である。

【図１８】同図（ａ）及び（ｂ）は、本発明にかかる第
６の実施例の立体画像撮像及び表示装置の構成図であ
る。

【図１９】本発明にかかる第７の実施例の立体画像撮像
及び表示装置の構成図である。

【図２０】両眼視差による観察者の奥行き知覚の成立に
ついての説明図である。

【図２１】従来の立体画像撮像装置の概略図である。

【図２２】同図（ａ）は、従来の立体画像撮影方法（平
行撮影）の説明図、同図（ｂ）は、従来の立体画像撮影
方法（輻輳撮影）の説明図である。

【図２３】従来の立体画像表示装置の概略図である。

【図２４】立体画像表示位置の説明図である。

【図２５】従来の３次元画像表示装置の外観図である。

【符号の説明】

１、２レンズ３ａ、３ｂカメラ本体４ａ、４ｂ回転制御部５カメラ間隔制御部１２スクリーン１４ａ、１４ｂ信号処理部１５、２９視差計算部１６視差処理部１７奥行き表示位置計算部１８融合範囲確認部１９輻輳角制御部２０融合範囲決定部３０注視点計算部３１視差制御部３３視線センサ部３４視線検出部３５注視点判定部３６制御量計算部３８記録装置３９注視意図指定部４０再生装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 13/00

Claims

【特許請求の範囲】

【請求項１】複数の視点において被写体を撮像する撮
像部と、その撮像部の輻輳角を変化させる輻輳角移動機
構部と、カメラ間隔を変化させるカメラ間隔制御機構部
と、各々の撮像部から画像データを抽出する信号処理部
と、その信号処理部の出力を用いて画像の視差を計算す
る視差計算部と、その視差計算部の出力のうち最小値
（最も近い被写体の視差）を検出する視差処理部と、そ
の視差処理部の出力を用いて撮像された画像が立体画像
表示装置で表示された場合に再生される最も近点の被写
体の奥行き位置を計算する奥行き表示位置計算部と、そ
の奥行き表示位置計算部の出力を用いて、これが再生画
像を観賞する観察者の融合許容範囲内あるかどうか判断
する融合範囲確認部と、その融合範囲確認部の出力を用
いて、最も近点の被写体が観察者の前記融合許容範囲内
になるように輻輳角移動機構部を制御する輻輳角制御部
と、前記カメラ間隔制御機構部を制御するカメラ間隔制
御部とを備えたことを特徴とする立体画像撮像装置。
【請求項２】視差処理部は、前記視差計算部の出力の
うち最大値（最も遠い被写体の視差）を検出し、前記奥
行き表示位置計算部は、前記視差処理部の出力を用い
て、撮像された画像が立体画像表示装置で表示された場
合に再生される最も遠点の被写体の奥行き位置を計算
し、前記輻輳角制御部又はカメラ間隔制御部は、前記融
合範囲確認部の出力を用いて、最も遠点の被写体が観察
者の前記融合許容範囲内になるように輻輳角移動機構部
又はカメラ間隔制御機構部を制御することを特徴とする
請求項１記載の立体画像撮像装置。
【請求項３】複数の視点において被写体を撮像する撮
像部と、その撮像部の輻輳角を変化させる輻輳角移動機
構部と、カメラ間隔を変化させるカメラ間隔制御機構部
と、撮像される被写体のうち最も近い被写体の位置デー
タを用いて、撮像画像が立体画像表示装置で表示された
場合に再生される最も近点の被写体の奥行き位置を計算
する奥行き表示位置計算部と、その奥行き表示位置計算
部の出力を用いて、観察者の両眼融合範囲内に前記近点
の被写体の再生表示画像が入る条件を計算する融合範囲
決定部と、その融合範囲確認部の出力を用いて輻輳角移
動機構部を制御する輻輳角制御部と、前記カメラ間隔制
御機構部を制御するカメラ間隔制御部とを備えたことを
特徴とする立体画像撮像装置。
【請求項４】奥行き表示位置計算部は、撮像される被
写体のうち最も遠い被写体の位置データを用いて、撮像
画像が立体画像表示装置で表示された場合に再生される
最も遠点の被写体の奥行き位置を計算し、前記融合範囲
決定部は、前記奥行き表示位置計算部の出力を用いて、
観察者の両眼融合範囲内に前記遠点の被写体の再生表示
画像が入る条件を計算し、前記輻輳角制御部又はカメラ
間隔制御部は、前記融合範囲確認部の出力を用いて輻輳
角移動機構部又はカメラ間隔制御機構部を制御すること
を特徴とする請求項３記載の立体画像撮像装置。
【請求項５】少なくとも２方向から被写体を撮像した
時の画像を用いて、被写体の両眼視差または３次元位置
を計算する視差計算部と、その視差計算部の出力から被
写体の奥行き位置の中心位置を計算する注視点計算部
と、その注視点計算部の出力で示される奥行き位置を３
次元立体画像表示部の表面もしくは表面から指定された
奥行き距離に再現するように制御する視差制御部とを備
えたことを特徴とする立体画像表示装置。
【請求項６】注視点計算部は、前記視差計算部の出力
のうち、画面全体または画像中の小領域を平均、または
画面の中心に大きな重みを付加した加重平均により前記
視差制御部で制御されるべき奥行き位置を計算すること
を特徴とする請求項５記載の立体画像表示装置。
【請求項７】注視点計算部は、前記視差計算部の出力
のうち、画面全体または画像中の小領域における最大値
もしくは最小値を計算することにより前記視差制御部で
制御されるべき奥行き位置を計算することを特徴とする
請求項５記載の立体画像表示装置。
【請求項８】注視点計算部は、観察者の視線を検出す
る視線検出部と、その視線検出部の出力から前記観察者
の表示画像中の注視位置を検出する注視点判定部と、前
記視差計算部の出力と前記注視点判定部の出力から必要
とされる表示画像位置の両眼視差の平均値を計算する制
御量計算部とを備えたことを特徴とする請求項５記載の
立体画像表示装置。
【請求項９】注視点判定部は、前記観察者の視線移動
速度が小さい期間のみを抽出し、ホールド処理・低域ろ
波処理を行って前記観察者の注視位置を検出することを
特徴とする請求項８記載の立体画像表示装置。
【請求項１０】制御量計算部は、前記注視点判定部の
出力が示す前記観察者の表示画像上の注視点を中心とし
た、ある所定の範囲内の前記視差計算部の出力を平均す
ることにより前記視差制御部で制御されるべき奥行き位
置を計算することを特徴とする請求項８記載の立体画像
表示装置。
【請求項１１】撮影者が、観察者に注視してほしいと
意図する撮影画像部分を指定する注視意図指定部と、そ
の注視意図指定部の出力と、少なくとも２方向から被写
体を撮像した時の画像を記録する信号記録部と、撮影さ
れた画像と注視意図信号を再生する再生部と、被写体の
両眼視差または３次元位置を計算する視差計算部と、そ
の視差計算部の出力と前記注視意図信号を用いて注視意
図信号が示す画像部分を３次元立体画像表示部の表面も
しくは表面から指定された奥行き距離に再現するように
制御する視差制御部とを備えたことを特徴とする立体画
像表示装置。
【請求項１２】注視意図信号は、前記再生部により再
生される注視意図信号の代わりに、前記注視意図指定部
の出力を用いることを特徴とする請求項１１記載の立体
画像表示装置。
【請求項１３】請求項１〜４のいずれかの前記立体画
像撮像装置と、請求項５〜８のいずれかの前記立体画像
表示装置とを備えたことを特徴とする立体画像撮像及び
表示装置。
【請求項１４】請求項１〜４のいずれかの前記立体画
像撮像装置と、請求項１１、又は１２の前記立体画像表
示装置とを備えたことを特徴とする立体画像撮像及び表
示装置。