JP2849313B2 - 画像記録再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の画像を用いて画
像を生成する画像変換装置に関する。

【０００２】

【従来の技術】従来、複数のカメラを用いてあるシーン
を撮像することにより３次元的な映像情報を得て、これ
を人間の視覚的特性に合わせて実像表示する方式として
両眼視差方式がある。両眼視差方式では、カメラ配置を
肉眼の基線長、輻輳角範囲を考慮して設定して撮像し、
左右の眼球に物体距離、形状に応じた適切な視差（像の
横ずれ）を与えて表示する（熊田，放送技術，１１月，
ｐｐ．１１９〜１２５，１９９１）。

【０００３】

【発明が解決しようとする課題】上記のような立体画像
を用いたシステムとして、仮想現実感（ＶＲ）システム
が考えられる。ＶＲシステムでは、観測者の視点位置の
変化に応じて表示画像を変更する必要がある。しかしな
がら、上記従来例では、単に撮像時のカメラ配置での画
像表示を行なうだけであるため、同じ対象に対して観測
者が視点位置を変えて見た場合に、新たに生じる遮蔽
部、あるいは元々は見えていなかったが初めて見える部
分などを正しく反映した画像を生成することができず、
当然ながらＶＲシステムに用いることができなかった。

【０００４】本発明は上述したような従来の技術が有す
る問題点に鑑みてなされたものであって、ＶＲシステム
にも応用することのできる汎用性の高い画像記録再生装
置を実現することを目的とする。

【０００５】

【課題を解決するための手段】本発明の画像記録再生装
置は、所定位置に配置された複数の撮像手段と、複数の
撮像手段のそれぞれの位置や光軸角を制御する制御手段
と、複数の撮像手段の光学的な配置を記憶する光学配置
記憶手段と、複数の撮像手段のそれぞれの位置や光軸角
を計測する計測手段と、複数の撮像手段のそれぞれの異
なる光軸配置によって得られる複数画像間での各領域の
視差または各領域への距離をそれぞれ抽出する距離情報
抽出手段と、複数画像および視差をそれぞれ示す画像デ
ータおよび距離または視差データを記録するデータ記録
手段と、データ記録手段中のデータおよび光学配置記憶
手段に記憶される撮像装置の光学配置情報に基いて、所
定の撮像位置からの画像を生成する画像生成手段、とを
有する。

【０００６】

【作用】本発明によれば、所定位置に配置された複数の
撮像手段、該撮像手段間の基線長または輻輳角の制御手
段、該撮像装置の光学配置記憶手段、上記基線長または
輻輳角の計測手段、上記複数の撮像手段によって得られ
る複数画像間の各領域の視差抽出手段、該複数画像デー
タと視差データ記録手段、上記視差および撮像装置の光
学配置情報に基づき、所定の撮像位置からの画像を生成
する手段を設けているので、観測者が、撮像時のカメラ
光学配置と異なる視点から同じシーン（または対象）を
見たとき、あるいは、視点位置を変えながら見たとき、
対象物と撮像部との距離、対象物の形状、対象物間の配
置を正しく反映した撮像時と異なる画像を生成すること
ができる。

【０００７】これにより、撮像時のカメラ光学配置と再
生時の肉眼等の光学配置との違いを反映した正しい立体
画像、即ち左眼用と右眼用とで領域ごとに所定の視差の
ついた画像を生成することができ、さらに、画像中の対
象に対して観察者が位置、視線方向をある程度変えて
も、該変更に追随した立体間のある画像生成を行なうこ
とができる。

【０００８】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【０００９】図１は本発明の第１実施例のシステム構成
図である。本実施例は、全体として撮像部、画像処理
部、画像表示部からなり、それぞれユニット化して分離
可能に構成されている。また、各ユニットどうしは分離
時にはデータ、制御信号等の送受信を行なう。

【００１０】図１中、１_L，１_Rは、左カメラ，右カメ
ラ、２は各カメラを搭載するステージ、３_L，３_Rはカメ
ラ１_L，１_Rの光軸方向計測制御手段であり、左右カメラ
の輻輳角を制御する。

【００１１】４_L，４_Rは、カメラ１_L，１_Rを搭載するス
テージ２の長手方向位置計測制御手段であり、左右カメ
ラの基線長などを計測して位置を制御する。５_L，５_Rは
カメラ１_L，１_Rからの画像データを一時記憶する画像メ
モリ、６は左右２つの画像の視差抽出手段、７は撮像部
光学配置制御手段であり、光軸方向計測制御手段３_L，
３_R，長手方向位置計測制御手段４_L，４_Rからのカメラ
光学配置情報をもとに所望の配置に調整するためのコマ
ンドの生成及び撮像部光学配置記憶手段８にカメラ光学
配置情報の出力などを行なう。単眼、両眼視領域判定部
９は、視差抽出手段６によって得られる視差値をもとに
左右画像の対応点存在領域、右眼または左眼カメラのみ
に写っている画像領域を判定し、ラベリングを行なう。

【００１２】単眼、両眼視領域判定部９で得られた単眼
視、両眼視領域情報は、撮像部光学配置制御手段７に送
られ、両眼視領域サイズを変えるためのカメラ位置、光
軸方向の制御に使われる。１０はカメラ光学配置記憶手
段８からの情報と領域判定部９からのラベル情報と視差
データを元に両眼視領域のカメラ光学系からの距離情報
を算出する。

【００１３】１１は画像生成部で、１２の再生（肉眼）
光学系の配置計測手段からの情報と８の記憶手段から撮
像時光学配置情報及び１０で得られる両眼視領域の距離
情報とを使って再生時の光学配置で観測される立体画像
の生成を行ない、複眼表示装置（ディスプレー）１３に
左右それぞれの画像を出力する。

【００１４】また、複眼表示装置１３は、撮像部光学配
置を変えるための制御コマンドを撮像部光学配置制御手
段７に送信したり、あるいは、撮像部の光学配置情報
（基線長、輻輳角など）を撮像部光学配置制御手段７か
ら直接受信することができる。前者の機能は観察者が複
眼表示装置１３を視るときの肉眼の基線長さ等の光学配
置パラメータを計測手段にて計測して、撮像部も同様の
光学配置となるように制御する場合、あるいは表示され
た画像に基づき観測者が所望の倍率、視点位置で撮像す
るように撮像部を制御する場合などに用いる。後者は撮
像時と同じ光学配置条件で表示する場合に用いる。

【００１５】なお、撮像部、画像処理部、画像表示部の
構成は、図１のように限定する必要はなく、例えば、撮
像部光学配置記憶手段８は、撮像部または画像表示部に
あってもよい。また、領域判定部９、距離算出部１０、
画像生成部１１は画像生成部としてユニット化してもよ
い。また撮像部、画像処理部、画像生成部にそれぞれデ
ータ，コマンドの送受信用通信ユニットを設けてもよ
い。

【００１６】次に、図２に基いて本実施例のカメラ配置
制御動作に伴なう単眼視領域（右眼カメラ、左眼カメラ
の一方だけに写っている画像領域）、両眼視領域の変化
について説明する。

【００１７】図２中、Ｌ，Ｒは単眼視領域でそれぞれ右
カメラ、左カメラのみに写っている領域、ＬＲは両眼視
領域である。１_L，１_Rは左カメラ，右カメラで、それぞ
れ１ _L'，１_R'のように配置を変えることにより、両眼視
領域ＬＲは拡大し、単眼視領域Ｌ，Ｒは縮小することを
示している。この配置制御では２つのカメラの基線長
（カメラ中心間距離）を短くして輻輳角（２つのカメラ
の光軸のなす角度）を小さくしている。また、図中、１
点鎖線はカメラ光軸、２点鎖線は各カメラの視野範囲、
点線は遮蔽輪郭方向を示す。

【００１８】本実施例では、まず所定のカメラ配置で撮
像して得られる２つの画像に対し、視差抽出手段６によ
り画像中の各領域（または各点）における対応点どうし
の視差（横ずれ）を求める。

【００１９】視差抽出の手法としては、従来画像をブロ
ックに分け、ブロックごとの最大相関値を与える点（ま
たはブロック）を求める相関法、画像中のエッジなどの
特徴点を抽出して左右の画像の特徴点どうしで対応をと
り、残りは補間により視差を推定する方法などがある。

【００２０】本実施例では対応点（または視差）が抽出
できるものであればその方式は問わない。また、視差抽
出の過程で一般的に対応点の存在する領域と存在しない
領域が見出されるが、前者は両眼視領域、後者は単眼視
領域に相当する。

【００２１】本実施例では、視差抽出手段６で視差抽出
を行なった後、単眼、両眼視領域判定部９で画像中の各
点（または予め分割した領域）ごとに右眼のみ、両眼、
左眼のみに見える領域のラベル付けを行なう。画像生成
部１１は、該ラベルに基いて後述する中間カメラ配置で
の画像を生成する。

【００２２】次に、図３に基いて本実施例による両眼視
領域の視差、撮像部の基線長、輻輳角などから対象物ま
での距離を算出するプロセスについて説明する。

【００２３】図１に示したステージ２上の左右カメラ１
_L，１_Rの基線を２等分する位置に統一座標系（Ｘ，Ｙ，
Ｚ）中心を設定し、図２に示した様にそれぞれ座標軸の
方向をＹ方向を基線長方向、Ｚ方向を奥行き（距離）計
測方向、Ｘ方向はＹ，Ｚ方向と直交方向、のようにと
る。

【００２４】さらに、それぞれのカメラ上に座標系（ｘ
_L，ｙ_L，ｚ_L），（ｘ_R，ｙ_R，ｚ_R）を、中心が光軸と結
像面の交点であり、ｘ−ｙ面が結像面と概ね一致するよ
うに設定する。今、両眼視領域にある物体上の点ｐ
（Ｘ，Ｙ，Ｚ）の各カメラ座標系への結像点を（ｘ_LP，
ｙ_LP），（ｘ_RP，ｙ_RP）とし、ステージ上の統一座標系
での左カメラ位置（０，−ｂ／２，０）、右カメラ位置
（０，ｂ／２，０）、即ち基線長ｂとし、左右カメラ光
軸角をそれぞれθ_L，θ_R、輻輳角をθ（＝θ_L＋θ_R）と
する。２つのカメラ光軸の交点Ｃの統一座標系上位置
（Ｘ_C，Ｙ_C，Ｚ_C）は次式で与えられる。

【００２５】

【数１】 Ｘ_C＝０・・・・・・（１−ａ） Ｙ_C＝（−b／2）・〔tan（π／2−θ_L）＋tan（π／2＋θ_R）〕／〔tan（π／ 2−θ_L）−tan（π／2＋θ_R）〕・・・・・・（１−ｂ） Ｚ_C＝〔−btan（π／2−θ_L）tan（π／2＋θ_R）〕／〔tan（π／2−θ_L）−t an（π／2＋θ_R）〕・・・・・・（１−ｃ） 今、点Ｐが（０，Ｙ_C＋Δｙ，Ｚ_C＋Δｚ）にあるとする
と、左カメラの結像点（ｘ_LP，ｙ_LP）に対して、

【００２６】

【数２】 （ｙ_LP）／｛（Δy／cosθ_L）＋〔（Δz−Δytanθ_L）sinθ_L〕｝＝ｆ／｛（Z _C ／cosθ_L）−〔（Δz−Δytanθ_L）sinθ_L〕｝・・・・・・（２） 同様にして右カメラ上の結像点（ｘ_RP，ｙ_RP）に対し
て、

【００２７】

【数３】 ｙ_RP／｛（Δy／cosθ_R）＋〔（Δz−Δytanθ_R）sinθ_R〕｝＝ｆ／｛（Z_C／c osθ_R）−〔（Δz−Δytanθ_R）sinθ_R〕｝・・・・・・（３） が得られる。

【００２８】（２），（３）式を連立してΔｙ，Δｚに
ついて解くと、

【００２９】

【数４】 Δｚ＝Ｚ_C｛y_RP（fcos²θ_L−y_LPsin²θ_L）−y_LP（fcos²θ_R−y_RPsin²θ_R）｝ ／Ａ・・・・・・（４）

【００３０】

【数５】 Δｙ＝｛y_LPz_C／cosθ_L−Δz（f＋y_LP）sinθ_L｝／｛fcosθ_L−y_LPtanθ_Lsin θ_L｝・・・・・・（５） ここに、

【００３１】

【数６】 Ａ＝1／2｛〔（fcos²θ_L−y_LPsin²θ_L）（f＋y_RP）sinθ_R／2〕−〔（fcos²θ_R −y_RPsin²θ_R）（f＋y_LP）sinθ_L／2〕｝・・・・・・（６） 従ってｙ_LP，ｙ_RP，ｆ，θ_L，θ_R，ｂが既知または計測
できれば、点ｐの位置（０，Ｙ_C＋Δｙ，Ｚ_C＋Δｚ）は
（１），（４），（５），（６）式を用いて算出するこ
とができる。但し、上述した処理を用いず、他の画像処
理方式、または光学的測距方式により画像各点（各領
域）への距離を用いてもよい。

【００３２】本実施例では、このようにして対象物の画
像中の両眼視領域における距離情報（立体形状情報）を
異なる基線長または輻輳角の条件下で求めることによ
り、２つ以上の撮像光学配置の中間的な光学配置、例え
ば、１_Lから１_L'（１_Rから１_R'）の間で取りうる基線
長、輻輳角での任意の視点からの画像の生成を行なう。

【００３３】例えば、図２において左右カメラが１_L，
１_Rのように配置された状態（基線長ｂ、輻輳角θ）で
撮った画像から、図２のハッチングされた部分の、撮像
系からの視差または対応点位置に基づく距離情報を求
め、また、左右カメラが１_L'，１ _R'のように配置された
状態（基線長ｂ’、輻輳角θ’、ｂ’＜ｂ，θ’＜θ）
での画像から矢印の方向に拡張した両眼視領域での距離
情報を求めることにより、中間的な光学配置（基線長ｂ
_M、輻輳角θ_M、ｂ’＜ｂ_M＜ｂ，θ’＜θ_M＜θ）で観測
される両眼視領域の画像を複眼表示装置１３において正
しい視差値に変換して画像を出力する。

【００３４】図９は視差情報変換の原理を示す図であ
る。

【００３５】Ｓ_L，Ｓ_Rは撮像時のカメラセンサ面、
Ｓ_L’，Ｓ_R’は再生時の肉眼の網膜またはディスプレイ
面、Ｐは実空間のある物体上の点である。Ｏ_L，Ｏ_Rは撮
像時の左，右撮像系のレンズ中心、Ｏ_L’，Ｏ_R’は再生
時の再生光学系のレンズ中心を示す。Ｌ，Ｌ’は撮像時
と再生時の基線長を示し、Ｐ_L，Ｐ_Rは撮像時の左眼，右
眼カメラセンサ上の点Ｐの結像一を示す。また、
Ｐ_L’，Ｐ_R’は再生時の点Ｐの結像位置を示す。

【００３６】以下、簡単のために点ＰはＯ_L，Ｏ_Rから等
距離であり、Ｏ_L，Ｏ_Rはセンサ面Ｓ _L，Ｓ_Rから等距離ｕ
にあると過程する。また、撮影時の輻輳角（センサ面Ｓ
_L，Ｓ_Rの面法線のなす角）を２φとすると、図９中のセ
ンサ面Ｓ_L，Ｓ_Rからの面法線ｌ_L，ｌ_Rの交点Ｑから点Ｐ
までの距離ｘは、三角形Ｏ_LＰＱにおいて、

【００３７】

【数７】 ｘ／sinθ＝ｑ／sin（π−φ−θ） ｑ＝（Ｌ／２）・（１／２）−ｕ より、

【００３８】

【数８】 ｘ＝｛（Ｌ／２sinφ）−ｕ｝／｛（cosφ／tanθ）−sinφ｝＝｛（Ｌ／２si nφ）−ｕ｝／｛（ｕcosφ／Ｐ_L）−sinφ｝ ここに、

【００３９】

【数９】tanθ＝ＰL／ｕ＝Ｐ_R／ｕ 一方、点Ｑは基線ｂを含む面から

【００４０】

【数１０】Ｒ＝（Ｌ／２）cotφ の距離にある。

【００４１】同様に基線長がＬ’，輻輳角が２φ’のと
き、

【００４２】

【数１１】 ｘ’＝｛（Ｌ’／２sinφ’）−ｕ｝／｛（ｕcosφ’／Ｐ_L’）−sinφ’｝ Ｒ’＝（Ｌ’／２）cotφ’ ここに、Ｒ’は点Ｑ’の基線ｂを含む面からの距離、

【００４３】

【数１２】Ｒ−ｘ＝Ｒ’−ｘ’ の関係を使って、Ｐ_L’について解くと、

【００４４】

【数１３】 Ｐ_L’＝ｆ（Ｌ，Ｌ’，φ，φ’）＝ｕcosφ’／（Ａ＋sinφ’）・・・・・・（６ ） ここに、

【００４５】

【数１４】 Ａ＝（Ｌ’−２ｕsinφ’）／｛Ｌ’cotφ’−Ｌcotφ＋（Ｌ−２ｕsinφ）／ 〔（ｕcosφ／Ｐ_L）−sinφ〕｝・・・・・・（７） したがって、ｕ，φが既知でＰ_Lが測定可能であれば、
Ｌ，φなどを読出し、同様に再生時の光学配置情報
Ｌ’，φ’を検出して（６），（７）式にしたがってＰ
_LをＰ_L’に変換して表示する。なお、視差はＰ_L−Ｐ_Rで
一般的に与えられるから、基線長の変化に伴って、視差
もＰ_L’−Ｐ_R’のように変化する。

【００４６】図９のようにＰＱを含む面に関して、光学
系が対象となる場合には、視差は２Ｐ_Lから２Ｐ_L’のよ
うに変化する。

【００４７】点ＰがＯ_L，Ｏ_Rから等距離でない場合、す
なわち、

【００４８】

【数１５】｜Ｐ_L｜≠｜Ｐ_R｜ の場合も（６），（７）式と同様にＰ_RからＰ_R’を算出
することができる。

【００４９】上記のことを説明するために、仮りに１つ
のカメラ配置のみで再生する場合の問題点として以下の
点が挙げられる。

【００５０】（ｉ）１_L，１_Rの配置で撮った画像のみで
は１_L'，１_R'の配置あるいはそれらの中間的な配置での
両眼視領域全てをその距離情報に基いて表示装置１３の
左眼用ディスプレーと右眼用ディスプレーの対応領域画
素の位置に視差に相当する正しい横ずれを与えて表示す
ることができない。また単眼視領域での縮少サイズ形状
の変化の予測が容易でない。

【００５１】（ii）一方、１_L'，１_R'の配置で撮った画
像のみでは１_L，１_Rのカメラ配置あるいはそれらの中間
的な配置での両眼視領域の全てを正しい視差をつけて複
眼表示装置１３に再生することができるが、単眼視領域
での拡張部分、即ち図２でハッチングされていない領域
のうち矢印でカバーされた部分の一部は必ずしもそのサ
イズ、強度分布等を予測することは容易でない。

【００５２】これらに対して本実施例では２つの異なる
基線長と輻輳角のカメラ配置で撮った画像からその中間
的な配置での単眼視領域の画像の予測および両眼視領域
の正確な画像再生を行なう。同一物体の単眼視領域のサ
イズ、強度分布は各カメラの視野角が十分ある場合は中
間配置での基線長の値ｂ_M（ｂ’＜ｂ_M＜ｂ）及び各カメ
ラの光軸角θ_L ^M（θ_L'＜θ_L ^M＜θ_L），θ_R ^M（θ_R'＜θ_R
^M＜θ_R）を使って単眼視領域サイズの大きい画像から領
域分割して行なう。より具体的にはカメラ光軸角θ_L，
θ_R基線長ｂまたはθ_L'，θ_R'基線長ｂ’で得られる画
像を座標変換（回転、投影など）によりθ_L＝θ_R＝０の
画像に変換した後、ｂ_M−ｂ’／ｂ−ｂ’の割合で単眼
視の輪郭位置を図４中のＢ₁，Ｂ₂からＢ_Mのように定め
る。図４でｃは比例定数である。輪郭位置は抽出された
距離情報に基づきスプライン関数等の非線形補間により
求めてもよい。さらに、座標変換を行なってθ_L ^M，θ_R ^M
のカメラ光軸角に相当する画像を得る。なお、本実施例
ではこのようなカメラ光軸角の変化に伴なうカメラ画像
の座標変換処理を含まなくても撮像時と再生時の光学系
配置の違いを反映する補正効果を出すことができる。

【００５３】図５に本発明の第２実施例での３つのカメ
ラ配置と単眼視、２眼視、３眼視領域を示す。

【００５４】本実施例では、左、中央、右カメラ（それ
ぞれ１_L，１_C，１_R）の３台のカメラで第１実施例と概
ね同じ方向から同一対象を撮像する。図中、Ｌ，ＬＣ，
ＬＣＲ，ＲＣ，Ｒはそれぞれ左カメラ単眼視、左−中央
カメラ２眼視、３眼視、中央−右カメラ２眼視、右カメ
ラ単眼視領域を示す。同図ではさらに中央カメラ１_Cに
対して左右カメラ１_L，１_Rが第１実施例と同様に基線
等、輻輳角を変えて撮像する場合の単眼視、２眼視、３
眼視領域の変化を示している。

【００５５】なお、左右カメラ１_L，１_Rの移動方向は初
期位置での基線長方向または予め設定された軌道とす
る。

【００５６】本実施例では３つのカメラを用いて、その
うちの任意の２つのカメラの移動及び光軸角の変化（輻
輳角の変化）を伴なう複数有限個の撮像系配置での同一
対象撮像により、その対象に対する距離または立体形状
撮像を第１実施例と同様の視差抽出方式により得て、再
生時には撮像時と異なる視点位置、光学系配置でも視野
範囲が撮像時の範囲内であれば被写体の立体形状、被写
体間の配置に応じた画像生成を行なうものである。特に
第１実施例に対しては距離または立体形状の抽出可能な
範囲が拡大している。即ち１_L，１_Rの可動範囲が同じで
も中央カメラと左右いずれかのカメラとの２眼視領域が
距離情報抽出可能な領域として新たに拡張されている。
さらに１_L，１_C間あるいは１_R，１_C間で基線長方向のカ
メラ移動とカメラ光軸角（または輻輳角）の変化を含む
複数有限個のカメラ配置で撮像した画像を用いることに
より距離または立体形状抽出範囲の拡大と再生可能な中
間的カメラ配置からの画像生成が可能である。

【００５７】図６は本実施例のシステム構成図であり、
３_C，４_Cはそれぞれ中央カメラ１_Cの光軸角計測制御手
段およびカメラ位置計測制御手段を示す。１４は左，
右，中央カメラの画像データ及びカメラ配置情報を扱う
計算手段となるＣＰＵであり、複眼表示装置１３、例え
ば頭部搭載型ディスプレーを装置した観測者の状態、即
ち位置、姿勢、視線方向などの情報を再生光学系配置計
測制御手段１２から受け取り、それら情報に応じて適切
な２つのカメラからの画像データを選択して画像メモリ
５，５’に一時的に記憶させる。以降の処理は第１実施
例と同様である。

【００５８】次に記憶手段１４による撮像部からの画像
データの選択の仕方について説明する。

【００５９】複眼表示装置１３において観測者がリセッ
ト信号を送る（例、リセットボタンを押す）と再生光学
系配置計測制御手段１２は肉眼の基線長を計測して記憶
手段１４に基線長データ、及びリセット信号を送る。こ
のとき送られた基線長に最も近いカメラ配置での２つの
カメラからの画像データまたは予め定めた視線方向をと
る２つのカメラからの画像データを選択する。なお、後
者の場合は観測者の肉眼の基線長データを使用しなくて
もよい。このときの観測者と仮想対象との距離は選択し
たカメラ撮像時の対象との距離の定数倍（通常１）とす
る。リセット状態から観測者が位置、姿勢、視線などを
変えると計測制御装置１２は表示装置１３に設定された
ジャイロ、磁気センサなどによりこれらのデータを検出
して、適当な値にスケーリングして１４に送る。１４は
観測者の位置、姿勢などが撮像時のカメラ配置でカバー
する視点位置及び視線方向（光軸角）に入るか否かをス
ケーリング係数を考慮して判定する。例えば観測者がリ
セット位置においてカメラ１_L，１_Cのなす視線方向に対
象を視ているとする。即ち肉眼の重心位置とカメラ
１_L，１_Cの重心位置が同じであり（基線長は必ずしも一
致しなくてもよい）、左右両眼の注視点位置、方向とカ
メラ１_L，１_Cの注視点（光軸の交叉点）位置、方向とは
概ね一致しているとする。この状態から予め撮像してあ
る２つのカメラ配置、即ち１_L，１_Cと１_L'，１_Cの配置
の中間配置に相当する位置及び視線方向は２つのカメラ
配置がカバーする視野角範囲（２点鎖線で図示）間に観
測者の位置、視野方向などが変われば表示可能な状態で
あると１４は判定して、２つの撮像配置での画像から第
１実施例と同様の方法で画像生成を行なう。仮りに表示
可能な状態になければ１_L，１_Cまたは１_L'，１_Cのいず
れかに近い方の撮像配置での画像を表示する。

【００６０】以上の説明から明らかなように予め設定す
る撮像配置を多くとるほど観測者の状態が変わった時の
表示可能な範囲が拡がる。その場合は撮像配置数×２の
画像データを記憶（記録）しておく必要がある（図３は
６つの撮像配置（１_L，１_C），（１_L'，１_C），（１_C，
１_R）（１_C，１_R'），（１_L，１_R），（１_L'，１_R'）が
設定されている場合に等しい）。なお、複眼ディスプレ
イなどに立体画像表示する場合には右眼左眼で適切な視
差をつけた画像を生成して表示することはいうまでもな
い。また本実施例では一定範囲の異なる視点位置からの
２次元的画像を生成することももちろん可能である。 第３実施例 図７は本発明の第３実施例のカメラ配置及びシステム構
成図である。

【００６１】１_1'，１_2'，・・・・，１_18'はいずれもカメ
ラであり、円形ステージ２’上に等間隔で配置されてい
る。これらの各カメラは、直径が円形ステージ２’より
も大きなステージ２上に不図示の駆動手段により移動す
ることができる。このように構成することにより被写体
の全周の立体画像または任意の視点位置からの通常の
（非立体）画像を観測者の位置姿勢などの変化に追随し
て有限個の画像データから連続的に生成することができ
る。

【００６２】第１実施例で示したように撮像部、画像処
理部、画像表示部は互いに分離してデータの送受信を行
なう（不図示の通信ユニットによる。無線、光ファイバ
ーケーブルなどのいずれも可）ことができるから、撮像
部と観測者が離れた位置にあっても、観測者の動きに合
せた対象画像の生成を行なうことができる。

【００６３】図７に示した系において、カメラの移動を
行なわせないとすると１つの撮像部に対して画像表示
部、画像処理部を複数設定して複数の観測者がそれぞれ
独立した動きをしながらそれぞれの位置、姿勢に応じた
適切な画像を表示させることができる。 第４実施例 図８は本発明の第４実施例のシステム構成図である。本
実施例では第１実施例に示したステージ２が、軌道１５
または１５’に接しながら移動する。また、カメラ
１₁，１₁'はステージ２上を移動しながら、光軸方向を
変えることができるとすると、第３実施例と同様に観測
者の動きに合わせた被写体の任意の方向、視点からの画
像を連続的に生成することができる。

【００６４】本実施例の場合は予め撮像配置を設定して
第１実施例と同様に画像を生成したり、あるいは観測者
の動きにその都度追随してステージ、カメラを駆動して
画像を表示してもよい。後者の場合は画像処理部での処
理は特に必要でない。

【００６５】なお、第１〜第４実施例とも複数のカメラ
からなる撮像部を用いて説明してきたが、１つのカメラ
の位置、光軸方向を変えながら複数回とった画像とその
都度カメラ位置、光軸角を記録した後に画像処理部でそ
れら複数のデータを使って同様の処理を行なってもよ
い。また、距離を求めるのに画像から視差を抽出するの
ではなく、他の画像処理または光学的手法を用いてもよ
い。

【００６６】

【発明の効果】以上説明したように、複数の可動カメラ
などからなる撮像部とそのうちの２つのカメラからの画
像を処理して両眼視領域の距離情報、単眼視領域の判別
情報などを得る機能を有する画像処理部とディスプレイ
などからなる画像表示部を主な構成要素とすることによ
り、複数のカメラ配置で予め撮像した有限個の画像から
撮像時、再生時の光学配置と対象の立体形状、配置距離
情報を反映した画像を撮像時と異なる視点位置において
も、あるいは光学配置（肉眼などの基線長、輻輳角）が
異なる場合でも連続的に再生することが可能となり、Ｖ
Ｒシステムにも応用することができる効果がある。

【００６７】また、本発明の構成で得られる実像の画像
をコンピュータグラフィックスによって生成される画像
と合成することにより観測者の状態、動きに応じたイン
タラクティブな動的画像を仮想映像空間中に生成するこ
とができる。このように観測者の視点位置、動きを全て
反映した画像を予め撮って記録する必要がなく、限られ
た数の静止画像から観測者の状態に応じた連続動画像
（２次元，３次元）の生成を可能とした。

【図面の簡単な説明】

【図１】本発明の第１実施例のシステム構成図である。

【図２】第１実施例の単眼、両眼視領域の説明図であ
る。

【図３】本発明の距離算出部で用いるパラメータ説明図
である。

【図４】本発明の第２〜第４実施例での中間カメラ配置
での境界線設定説明図である。

【図５】本発明の第２実施例のカメラ光学配置図であ
る。

【図６】本発明の第２実施例のシステム構成図である。

【図７】本発明の第３実施例のシステム構成図である。

【図８】本発明の第４実施例のシステム構成図である。

【図９】本発明における視差情報抽出の原理を説明する
ための図である。

【符号の説明】

１_L，１_R カメラ ２ ステージ ３_L，３_R，３_C カメラ光軸計測制御手段 ４_L，４_R，４_C カメラ位置計測手段 ５_L，５_R，５’ 画像一時記憶手段 ６ 視差抽出手段 ７ 撮像部光学配置制御手段 ８ 撮像部光学配置記憶手段 ９ 単眼、両眼視領域判定部 １０ 両眼視領域距離算出部 １１ 画像生成部 １２ 再生光学系配置計測手段 １３ 複眼表示装置 １４ ＣＰＵ １５，１５’ ステージ移動時の軌道

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 所定位置に配置された複数の撮像手段
   と、 前記複数の撮像手段のそれぞれの位置や光軸角を制御す
   る制御手段と、 前記複数の撮像手段の光学的な配置を記憶する光学配置
   記憶手段と、 前記複数の撮像手段のそれぞれの位置や光軸角を計測す
   る計測手段と、 前記複数の撮像手段のそれぞれの異なる光軸配置によっ
   て得られる複数画像間での各領域の視差または各領域へ
   の距離をそれぞれ抽出する距離情報抽出手段と、 前記複数画像および視差をそれぞれ示す画像データおよ
   び距離または視差データを記録するデータ記録手段と、 前記データ記録手段中のデータおよび光学配置記憶手段
   に記憶される撮像装置の光学配置情報に基いて、所定の
   撮像位置からの画像を生成する画像生成手段、とを有す
   ることを特徴とする画像記録再生装置。