JP3251774B2 - ３次元映像処理装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、バーチャルリアリティ
の映像を得るための３次元映像処理装置及び３次元映像
処理方法に関する。

【０００２】

【従来の技術】一般に、バーチャルリアリティの映像を
得るためには、対象物体をコンピュータグラフッイクス
を利用したＣＡＤ等を用いて３次元モデル化し、この３
次元モデル（ＣＡＤモデル）を仮想座標系内に配置させ
る。そして、この仮想座標系内の任意位置に仮想視点を
設け、この仮想視点から前記ＣＡＤモデルを見た場合の
２次元影像を作成して、表示装置に２次元表示する。

【０００３】観察者は２次元表示された対象物体を観察
しながら仮想座標系内の仮想視点を任意位置へ移動させ
ることが可能である。よって、観察者は３次元の対象物
体を任意の方向から見ることができる。なお、仮想視点
を目の間隔だけ離れて２か所設けて、それぞれの２次元
画像を異なる画面に表示して、各画面をそれぞれの眼で
見ることによって、対象物体の３次元立体画像を観察で
きる。

【０００４】

【発明が解決しようとする課題】しかし、上述したＣＡ
Ｄを用いて３次元モデル化した映像は、実際の対象物体
と比較すると精度が悪く、リアリティの低いものであっ
た。さらに、このように、たとえ精度の低いモデルで
も、複雑な対象物体をＣＡＤでモデル化するには膨大な
時間と労力が必要である。

【０００５】また、３次元のＣＡＤモデルを自動で作成
する手法として、実際の対象物体の周囲を光切断手法を
用いて、カメラで順番に撮影していき、距離情報を求め
て、３次元ＣＡＤモデルを構築する手法がある。しか
し、この手法においても、結局はコンピュータグラフィ
クスによるモデル構築手法であるので、やはり、リアリ
ティが低いものである。

【０００６】本発明はこのような事情に鑑みてなされた
ものであり、３次元の対象物体の互いに異なる複数方向
からみた２次元画像を得るのみで、簡単に任意の仮想視
点から対象物体に対する透視変換作用前映像が得られ、
従来のＣＡＤモデルを用いた手法に比較して、観察すべ
き対象物を簡単に変更でき、操作性を大幅に向上でき、
かつ仮想視点を迅速に移動でき、さらに実画像による３
次元映像処理装置及び３次元映像処理方法を提供するこ
とを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解消するため
に本発明の３次元映像処理装置においては、互いに異な
る複数方向から投影した３次元の対象物体の各２次元映
像を得る手段と、対象物体に対する各投影位置及び姿勢
と任意に設定された仮想座標系内における各投影位置及
び姿勢との間の各変換情報を求める仮想地図作成手段
と、任意に設けられる仮想視点の仮想座標系内における
位置及び姿勢を求める仮想視点算出手段と、対象物体を
仮想座標系内に位置させたと想定して、各変換情報を用
いて、仮想座標系内における各投影位置から同じく仮想
座標系内の対象物体を見た場合の各透視変換作用前映像
を求める手段と、この求められた各透視変換作用前映像
を用いて、仮想座標系内の仮想視点から対象物体を見た
場合の透視変換作用前映像を求める手段と、この求めら
れた透視変換作用前映像を２次元映像に透視変換する手
段と、この変換された２次元映像を表示する２次元表示
装置とを備えている。

【０００８】また、請求項２の発明の３次元映像処理装
置においては、３次元の対象物体を互いに異なる方向か
ら撮影してそれぞれ２次元映像を得る複数台の撮影装置
と、この各撮影装置の設置位置及び姿勢と任意に設定さ
れた仮想座標系内における各撮影装置の位置及び姿勢と
の間の各変換情報を求める仮想地図作成手段と、任意に
設けられる仮想視点の仮想座標系内における位置及び姿
勢を求める仮想視点算出手段と、対象物体を仮想座標系
内に位置させたと想定して、各変換情報を用いて、仮想
座標系内における各撮影装置から同じく仮想座標系内の
対象物体を見た場合の各透視変換作用前映像を求める手
段と、この求められた各透視変換作用前映像を用いて、
仮想座標系内の仮想視点から対象物体を見た場合の透視
変換作用前映像を求める手段と、この求められた透視変
換作用前映像を２次元映像に透視変換する手段と、この
変換された２次元映像を表示する２次元表示装置とを備
えたものである。

【０００９】また、請求項３の発明においては、上述し
た３次元映像処理装置における各撮影装置を、それぞれ
所定の焦点距離を有した集光機構が組込まれたカメラで
構成している。これに伴って、透視変換作用前映像を求
める場合に焦点距離が組込まれた透視変換情報を用い
る。

【００１０】請求項４の発明においては、上述した任意
の仮想視点の仮想座標系内の位置及び姿勢は、２次元表
示装置の観察者に取付けられこの観察者の視野方向を計
測する計測装置の出力と、観察者が自己の移動情報を入
力する入力装置の出力とで決定している。

【００１１】さらに、請求項５の３次元映像処理装置に
おいては、３次元の対象物体を互いに異なる方向から撮
影してそれぞれ２次元映像を得る複数台の撮影装置と、
この各撮影装置の設置位置及び姿勢と任意に設定された
仮想座標系内における各撮影装置の位置及び姿勢との間
の各変換情報を求める仮想地図作成手段と、観察者に取
付けられ、この観察者の両眼の各視野にそれぞれ入る一
対の２次元表示装置が組込まれたＨＭＤ（ヘット・マン
テッド・デイスプレイ）と、観察者に取付けられ、この
観察者の視野方向を計測する計測装置の出力と観察者が
自己の移動情報を入力する入力装置の出力とから仮想座
標系内における観察者の両眼を示す各仮想視点の各位置
及び各姿勢を求める仮想視点算出手段と、対象物体を仮
想座標系内に位置させたと想定して、各変換情報を用い
て、仮想座標系内における各撮影装置から同じく仮想座
標系内の対象物体を見た場合の各透視変換作用前映像を
求める手段と、この求められた各透視変換作用前映像を
用いて、仮想座標系内の一対の仮想視点から対象物体を
見た場合の一対の透視変換作用前映像を求める手段と、
この求められた一対の透視変換作用前映像をそれぞれ２
次元映像に透視変換する手段と、この変換された一対の
２次元映像を一対の２次元表示装置へ表示する表示制御
手段とを備えたものである。

【００１２】請求項６の発明においては、仮想地図作成
手段で得られる各変換情報を予め不揮発性メモリに書込
まれている。さらに、請求項７の３次元画像処理方法に
おいては、複数台の撮影装置で３次元の対象物体を互い
に異なる方向から撮影してそれぞれ２次元映像を得て、
各撮影装置の設置位置及び姿勢と任意に設定された仮想
座標系内における各撮影装置の位置及び姿勢との間の各
変換情報を求め、任意に設けられる仮想視点の仮想座標
系内における位置及び姿勢を求め、対象物体を仮想座標
系内に位置させたと想定して、各変換情報を用いて、仮
想座標系内における各撮影装置から同じく仮想座標系内
の対象物体を見た場合の各透視変換作用前映像を求め、
この求められた各透視変換作用前映像を用いて、仮想座
標系内の仮想視点から対象物体を見た場合の透視変換作
用前映像を求め、この求められた透視変換作用前映像を
２次元映像に透視変換し、この変換された２次元映像を
２次元表示装置に表示するようにしている。

【００１３】

【作用】このように構成された３次元映像装置及び３次
元映像処理方法においては、一つの対象物体に対して互
いに異なる複数方向から見た複数枚の２次元映像が得ら
れる。

【００１４】一般に、一つの対象物体に対して異なる方
向から見た２枚の２次元映像を得て、対象物体における
任意部位の各２次元映像上における座標の相互関係が得
られれば、これらの２次元映像から任意に設定された仮
想座標系内における座標で示される対象物体の３次元映
像が定まる。

【００１５】なお、上記対象物体の２次元映像又は３次
元映像を実際に特定する場合においては、対象物体を構
成する各部位の２次元座標系又は３次元座標系における
それぞれの２次元座標又は３次元座標を特定する必要が
あるが、この明細書においては、説明を簡単にするため
に、これら一群の２次元座標又は３次元座標を便宜的に
一つの２次元映像又は３次元映像と表記する。

【００１６】仮想座標系内における対象物体の３次元映
像が特定できれば、この仮想座標系内における任意の仮
想視点からこの対象物体の３次元映像を見た場合におけ
る透視変換作用前映像が得られる筈である。しかし、こ
の場合、一旦、対象物体の３次元映像を作成して、その
後に任意の仮想視点からの透視変換作用前映像を得るの
で、演算処理量が増大する。

【００１７】そこで、本願の請求項１，２，７の発明に
おいては、予め、仮想座標作成手段によって対象物体に
対して３方向から見た場合の各２次元映像Ｐ_i （i=1,
2,3)を、この対象物体を仮想座標系内に設置させた場合
の３次元映像Ｐ₀ から各２次元映像Ｐ_i までの各変
換情報Ｍ_i を算出しておく。

【００１８】そして、対象物体の３次元映像Ｐ₀ が未
知数の状態で、仮想座標系内で３次元映像Ｐ₀ を前記
３方向から見た場合における各透視変換作用前映像Ｐ
_ivを、各２次元映像Ｐ_i から各変換情報Ｍ_i を用い
て複数の方程式の形で求める。前述したように、３次元
映像Ｐ₀ は２枚の２次元映像Ｐ_i で一義的に求まる
ので、複数の方程式から対象物体の３次元映像Ｐ₀ を
消去することによって、前記各透視変換作用前映像Ｐ
_ivを複数枚の２次元映像Ｐ_i から算出できる。

【００１９】さらに、任意の仮想視点からの対象物体の
透視変換作用前映像Ｐ_nvが前記各３次透視変換作用前
映像Ｐ_ivから算出される。そして、実際に得られた仮
想視点の透視変換作用前映像Ｐ_nvから同仮想視点の２
次元映像Ｐ_n が求められて、２次元表示装置に表示さ
れる。

【００２０】請求項３の発明においては、対象物体を複
数方向から見て２次元映像を得る手段として、それぞれ
所定の焦点距離を有した集光機構が組込まれたカメラが
用いられている。したがって、焦点距離λの存在によっ
て発生する遠近効果を考慮するために、各透視変換作用
前映像Ｐ_ivを求める場合に、焦点距離λが組込まれた
透視情報Ｓ_i を用いる。

【００２１】よって、通常のカメラで撮影した２次元画
像Ｐ_i をそのまま使用しても、仮想視点から見た正確
な２次元画像Ｐ_n が得られる。請求項４の発明におい
ては、前記仮想視点の位置を２次元映像Ｐ_n の観察者
の視野方向及び観察者が指定する移動情報に連動して自
動的に変更するようにしている。

【００２２】したがって、観察者は仮想座標系内の対象
物体を任意の方向から見ることができる。さらに、請求
項５の３次元映像処理装置においては、観察者が装着す
る一対の２次元表示装置が組込まれたＨＭＤを設け、仮
想視点を観察者の両眼に対応させて２つ設定し、各仮想
視点毎に、透視変換作用前映像Ｐ_nv及び２次元映像
Ｐ_n を得て、ＨＭＤの各２次元表示装置に表示させて
いる。

【００２３】したがって、観察者は、両眼でもって対象
物体の３次元映像を見ることができる。さらに、請求項
６においては、仮想地図作成手段で得られる各変換情報
を予め不揮発性メモリに書込まれている。すなわち、各
撮影装置の位置が固定されていた場合は、仮想地図作成
手段で作成される変換情報も変化しないのでこれを不揮
発性メモリに記憶しておくことによって、この３次元映
像処理装置における稼働前の初期処理が簡素化される。

【００２４】

【実施例】以下本発明の一実施例を図面を用いて説明す
る。図１は実施例の３次元映像処理装置の概略構成を示
すブロック図である、対象物体１は互い異なる方向から
３台の撮影装置としてのカメラ２ａ，２ｂ，２ｃにて撮
影される。それぞれ有限の焦点距離λ_i を有する集光レ
ンズが組込まれた各カメラ２ａ，２ｂ，２ｃから出力さ
れた対象物体１の各２次元映像Ｐ_i（i=1,2,3 ）を示
す信号はＡ／Ｄ変換器３でデジタル値に変換されて入力
バッファ４に記憶される。入力バッファ４に記憶され対
象物体１の各２次元映像Ｐ_i（i=1,2,3 ）は画像間対
応付け部９を介して画像変換部５へ送出される。

【００２５】また、各カメラ２ａ，２ｂ，２ｃで仮想地
図作成用のテストパターンや図５に示す３次元モデルを
撮影した場合に得られる校正用の２次元映像Ｐ_i （i=
1,2,3 ）は仮想地図作成部６へ送出される。

【００２６】仮想地図作成部６には、操作者がカメラパ
ラメータの校正用の各２次元映像Ｐ_i （i=1,2,3 ）を
観察し、操作するためのＣＲＴ表示装置７が接続されて
いる。 さらに、画像間対応付け部９には、キーボード
やマウス等て操作者が画像間の対応付け等の各種情報を
入力するためのＣＲＴ表示装置８が接続されている。

【００２７】仮想地図作成部６は、カメラ校正用のテス
トパターンを用いて、一つの３次元の仮想座標系内にお
ける各カメラ２ａ．２ｂ．２ｃの位置と姿勢の関係の情
報を示す仮想地図１０を作成する。そして、仮想座標系
内における任意位置の３次元映像Ｐ₀ をカメラ座標系
で見た場合の映像Ｐ_i （i=1,2,3 ）に変換する場合の
各カメラ２ａ，２ｂ，２ｃ毎の変換情報としての各変換
変換行列Ｍ_i （i=1,2,3 ）を算出して映像変換部５へ
送出する。

【００２８】また、仮想地図作成部６は各カメラ２ａ，
２ｂ，２ｃの各焦点距離λ_i （i=1,2,3 ）を測定して映
像変換部５へ送出する。一方、この３次元映像処理装置
を用いて対象物体１を観察する視点を移動させるための
例えば観察者１１の頭部には複数の２次元表示装置とし
ての一対の小型ディスプレイが組込まれたＨＭＤ１２を
装着する。さらに、観察者１１の頭部にはこの観察者１
１の視野方向を定量的に検出するための計測装置１３が
取付けられている。また、観察者１１の前方位置には観
察者１１自身が移動する方向と移動量を手動で入力する
ためのジョイステックやデータグローブ等からなる入力
装置１４が設けられている。

【００２９】なお、ジョイステックにより視点を移動さ
せ、単眼としてＣＲＴ表示装置に２次元映像を表示させ
ることも可能である。計測装置１３は、観察者１１の頭
部を中心とする動きを、頭部の位置と姿勢を６自由度の
情報として検出する。また入力装置１４は、観察者１１
の進行方向の３自由度の情報と目の基準の高さを１自由
度の情報として検出する。計測装置１３及び入力装置１
４で得られた合計１０自由度の情報はＡ／Ｄ変換器１５
でデジタル値に変換されて仮想視点算出部１６へ送出さ
れる。

【００３０】仮想視点算出部１６は、合計１０自由度の
情報から、仮想地図１０内における観察者１１の左右の
各眼に対応する一対の仮想視点の各座標及び各姿勢等か
ら、前述した各カメラ２ａ，２ｂ，２ｃと同様に、仮想
座標系内における任意の３次元映像Ｐ₀ を各仮想視点
の視野座標系で見た場合の２次元映像Ｐ_n （n =1,2)
に変換する場合の各仮想視点毎の変換変換行列Ｍ_n を
算出して、映像変換部５へ送出する。

【００３１】映像変換部５はカメラ毎透視変換作用前映
像算出部１７と仮想視点透視変換作用前映像算出部１８
と２次元映像算出部１９とで構成されている。カメラ毎
透視変換作用前映像算出部１７は、入力バッファ４から
画像間対応付け部９を介して入力された対象物体１の各
２次元映像Ｐ_i に対して仮想地図作成部６で作成され
た各カメラ２ａ，２ｂ，２ｃの各変換行列Ｍ_i 及び各
カメラ２ａ，２ｂ，２ｃの焦点距離λ_i （i=1,2,3 ）を
用いて透視逆変換に相当する処理を実行する。すなわ
ち、対象物体１が仮想座座標系内に存在したと見なした
場合における各カメラ２ａ，２ｂ，２ｃから該当対象物
体１を見た場合の各透視変換作用前映像Ｐ_iv（i=1,2,
3 ）を算出して、次の仮想視点透視変換作用前映像算出
部１８へ送出する。

【００３２】仮想視点透視変換作用前映算出部１８は、
各カメラ２ａ，２ｂ，２ｃの各変換行列Ｍ_i （i=1,2,
3 ）と各仮想視点の各変換行列Ｍ_n （n=1,2 ）とを用
いて、カメラ毎透視変換作用前映像算出部１７から入力
された各カメラ２ａ，２ｂ，２ｃ位置における対象物体
１の各透視変換作用前映像Ｐ_iv（i=1,2,3 ）から各仮
想視点位置におけるそれぞれの透視変換作用前映像Ｐ
_nv（n=1,2)を算出する。算出した各透視変換作用前映像
Ｐ_nv（n=1,2)を次の２次元映像算出部１９へ送出す
る。

【００３３】２次元映像算出部１９は入力された各仮想
視点における透視変換作用前映像Ｐ_nv（n=1,2)に対し
て透視変換演算を行ってそれぞれ２次元映像Ｐ_n （n=
1,2)を得る。そして、算出した各２次元映像Ｐ_n （n=
1,2)を出力バッファ２０へ一旦書込む。

【００３４】出力バッファ２０に書込まれた一対の２次
元映像Ｐ_n （n=1,2)はＤ／Ａ変換器２１でアナログの
映像信号に変換されて、観察者１１の頭部に取付けられ
たＨＭＤ１２内の各小型ディスプレイにそれぞれ個別に
表示される。

【００３５】よって、観察者１１は、ＨＭＤ１２の各小
型ティスプレイを左右の眼で見ることによって、対象物
体１の仮想視点からの３次元映像を見ることができる。
次に、このように構成された３次元映像処理装置の各部
の詳細動作を図２〜図１２を参照しながら説明する。

【００３６】仮想地図作成部６は、図２に示すようう
に、テストパターン測定部６ａ，仮想座標指定部６ｂ，
焦点距離算出部６ｃ及びカメラ位置，姿勢演算部６ｄと
で構成されている。そして、仮想地図作成部６は、対象
物体１に対する撮影を開始する前に、仮想座標系（ｘ，
ｙ，ｚ）内における各カメラ２ａ，２ｂ，２ｃの相互の
位置関係（ｘ_i ，ｙ_i ，ｚ_i ）及び姿勢（α_i ，β_i ）
を決定して例えば図４に示す仮想地図１０を作成する機
能を有する。

【００３７】具体的には図３の流れ図に従ってカメラ校
正処理を実行して仮想地図１０を作成する。流れ図が開
始されると、テストパターン測定部６ａによって、対象
物体１の代りに、一松模様のテストパターンが描かれた
用紙、又は図８（ａ）に示す簡単な３次元モデルを各カ
メラ２ａ，２ｂ，２ｃで撮影して、入力バッファ４を介
して３つの２次元映像Ｐ_i （i=1,2,3 ）を得る（ステ
ップＳ３１）。

【００３８】この３つの２次元映像Ｐ_i （i=1,2,3 ）
とテストパターンとの対応付けが必要になる。そのため
に、まず、仮想座標設定部６ｂが起動して、操作者がＣ
ＲＴ表示装置８に付随する操作部を操作して、図４に示
す（ｘ，ｙ，ｚ）の直交座標系の仮想座標を指定する
（Ｓ３２）。次に、この仮想座標系上におけるテストパ
ターンと２次元映像Ｐ₁ ，Ｐ₂ ，Ｐ₃ の対応付け演算
処理を行う（Ｓ３３）。すなわち、３台のカメラによる
３つの２次元映像Ｐ_i は異なった方向から同一対象物
体を撮影しているので、それぞれの対応付けが必要とな
る。

【００３９】次に各カメラ２ａ，２ｂ，２ｃの焦点距離
λ_i の算出処理を行う（Ｓ３４）。この焦点距離λ_i の
算出処理の具体的手法を図７およぴ図８を用いて説明す
る。図７の流れ図に示すように、先ず、図８（ａ）に示
す予め一辺の寸法ｈが既知である立方体形状の３次元サ
ンプル６ｊを準備して、図８（ｂ）に示すようように、
カメラ２ａ，２ｂ，２ｃの前方位置において、カメラ２
ａ，２ｂ，２ｃでその２次元映像を撮影する。そして、
レンズ位置から焦点距離λだけ離れた位置に結像する画
像面６ｋ上における寸法ｒを測定する。

【００４０】次に、３次元サンプル６ｊの位置を距離ｄ
だけカメラ２ａ，２ｂ，２ｃ側へ移動させる。そして、
この状態で画像面６ｋ上における寸法ｒ´を測定する。
すると、簡単な幾何学的考察によって、カメラ２ａ，２
ｂ，２ｃの各焦点距離λが次式で求まる。

【００４１】 λ＝（ｄ／ｈ）／［（１／ｒ´）−１／ｒ）］ 図３のＳ３４にて各カメラ２ａ，２ｂ，２ｃの焦点距離
λ_i が算出されると、Ｓ３５にて、図４に示す仮想座標
系上における各カメラ２ａ，２ｂ，２ｃの位置（座標）
ｘ_i ，ｙ_i ，ｚ_i （i=1,2,3 ）及び姿勢を示す各回転角
α_i 、β_i を算出する（Ｓ３５）。具体的には、非線形
の方程式を作成して逐次演算手法によって各カメラ２
ａ，２ｂ，２ｃの位置（座標）ｘ_i ，ｙ_i ，ｚ_i （i=1,
2,3 ）と姿勢α_i 、β_i を算出する。

【００４２】すなわち、各カメラ２ａ，２ｂ，２ｃで得
られた各２次元映像Ｐ_i （i=1,2,3 ）の撮像面の中心
にｘ−ｙ座標を定義し、光軸方向に＋ｚ軸を定義する
と、図６に示すように仮想地図１０の仮想座標系から各
カメラ座標への変換により、各カメラ２ａ，２ｂ，２ｃ
の姿勢が規定できる。具体的には、カメラ光軸のｙ軸と
の回転角α_i 、ｘ軸との回転角β_i で定義される。

【００４３】よって、パラメータ演算部６ｃによって、
各カメラ２ａ，２ｂ，２ｃの仮想座標系における位置
（ｘ_i ，ｙ_i ，ｚ_i ）及び姿勢α_i 、β_i からなるパラ
メータが得られた。

【００４４】すなわち、計算機の内部に、図４のよう
に、各カメラ２ａ〜２ｃ自身の設置，姿勢を含めた仮想
地図１０が作成される。この仮想地図１０内には、実際
の測定時には、対象物体１と置換わる３次元モデルに対
する各カメラ２ａ〜２ｃの位置、方向が３次元の形で明
確に設定されている。図中の太い矢印は各カメラ２ａ，
２ｂ，２ｃの光軸方向を示す。

【００４５】次に、Ｓ３６にて、カメラ位置算出部６ｄ
を起動させて、各パラメータｘ_i ，ｙ_i ，ｚ_i ，α_i 、
β_i から各カメラ２ａ，２ｂ，２ｃ毎の変換行列Ｍ_i
（i=1,2,3 ）を算出する。

【００４６】図６に示すように、カメラ光軸のｙ軸との
回転角をα_i とし、ｘ軸との回転角をβ_i とし、撮像中
心の座標を（ｘ_i ，ｙ_i ，ｚ_i ）とすると各カメラ２
ａ，２ｂ，２ｃの姿勢は(1) 式に示す行列Ｍ_i （i=1,
2,3 ）で定義される。

【００４７】 Ｍ_i ＝Ｔ_i ・Ｒ_iy・Ｒ_ix …(1) したがって、ある任意の点の仮想座標系内での表現を
Ｐ₀ 、カメラ座標系内での表現をＰ_i とすると、下
記のような関係が成立する。

【００４８】 Ｐ_i ＝Ｐ₀ ・Ｍ_i …(2) (2) 式は仮想座標系内の３次元映像Ｐ₀ に行列Ｍ_i
を掛算すればカメラ座標系内から見た３次元映像Ｐ₀
の３次元映像Ｐ_i が得られることを示し、行列Ｍ_i
は仮想座標系からカメラ座標系への変換行列となる。

【００４９】但し、行列Ｔ_i はｘ，ｙ，ｚ軸方向の平
行移動を示し（i=1,2,3 ）、行列Ｒ_iyはＹ軸回りの回
転を示し、行列Ｒ_ixはＸ軸回りの回転を示す。そし
て、各行列はそれぞれ(3)(4)(5) 式に示すように定義さ
れる。

【００５０】

【数１】

【００５１】但し、(3)(4)(5) 式の最終列は座標変換に
おける平行移動の変数もこの行列に含めるための同次座
標の成分である。次に、図１における仮想視点算出部１
６で算出する仮想視点における変換行列Ｍ_n （n=1,2)
ついて検討する。

【００５２】すなわち、図４の仮想地図１０内における
仮想視点２２の位置，姿勢を示す変換行列Ｍ_n は、上
述した各カメラ２ａ，２ｂ，２ｃの変換行列Ｍ_i の算
出手法と同様な手法にて求められる。

【００５３】すなわち、カメラ２ａ，２ｂ，２ｃの場合
と同様に、視軸のｙ軸との回転角をα_n 、ｘ軸との回転
角をβ_n 、撮像中心の座標を（ｘ_n ，ｙ_n ，ｚ_n ）とす
ると、目の中心座標がＴ_n で、視線方向は［Ｒ_ny・
Ｒ_nx］となる。すなわち、カメラ２ａ，２ｂ，２ｃの
場合と同様に下記(6) 式の変換行列Ｍ_n で定義され
る。

【００５４】 Ｍ_n ＝Ｔ_n ・Ｒ_ny・Ｒ_nx …(6) なお、Ｔ_n ，Ｒ_ny，Ｒ_nxの各行列は上述した (3)
(4)(5)式に示す各カメラ２ａ，２ｂ．２ｃの場合と同様
である。

【００５５】なお、実際の装置においては、この仮想視
点２２位置は観察者１１の動きによって仮想地図１０上
を任意に移動するので、この３次元画像処理装置を稼働
する前に、観察者１１は計測装置１３及び入力装置１４
を操作して、仮想視点２２の位置，姿勢を、固定されて
いる３つのカメラ２ａ，２ｂ，２ｃのうちのいずれか一
つのカメラに一致させて、前記仮想視点２２の変換行列
Ｍ_n を一致させたカメラの変換行列Ｍ_i に初期設定
する。

【００５６】変換行列Ｍ_n の初期設定が終了すると、
仮想視点算出部１６は、計測装置１３及び入力装置１４
から入力される移動量（偏差量）Δｘ，Δｙ，Δｚ，Δ
α，Δβを取込んで、前記初期値を変更していくのみ
で、常時正しい変換行列Ｍ_nを得ている。観察者１１
の動作に応じて時々刻々変化する仮想視点２２の各変換
行列Ｍ_n （n=1,2)は映像変換部５へ送出される。

【００５７】以上の初期処理が終了すると、各カメラ２
ａ，２ｂ，２ｃで実際の対象物１を撮影する。各カメラ
２ａ，２ｂ，２ｃで撮影された各２次元映像Ｐ_i （i=
1,2,3 ）は入力バッファ４を介して画像間対応付け部９
へ入力され、この画像間対応付け部９によって互いに対
応付けられた後に、映像変換部５へ入力される。

【００５８】この画像間対応付け部９による座標対応付
処理は、例えば、動的計画法などを用いて計算機で自動
的に対応付けることできるが、操作者が手動で行う場合
は、例えば図５に示すように、ＣＲＴ表示装置８に表示
されたそれぞれの２次元映像Ｐ₁ ，Ｐ₂ ，Ｐ₃ の
絵の中の対応する頂点を、例えばライトペン等で表示画
面より指定させて対応付けすることも可能である。

【００５９】次に映像変換部５の各部１７，１８，１９
の動作を順番に説明する。カメラ毎透視変換作用前映像
算出部１７は、図９に示すように、透視逆変換相当処理
部１７ａ，拘束式作成部１７ｂ，変換未知数算出部１７
ｃ及び透視変換作用前映像算出部１７ｄとで構成されて
いる。そして、カメラ毎透視変換作用前映像算出部１７
は、前述したように、入力バッファ４から画像間対応付
け部９を介して入力された対象物体１の各２次元映像
Ｐ_i に対して仮想地図作成部６で作成された各カメラ
２ａ，２ｂ，２ｃの各変換行列Ｍ_i 及び各カメラ２
ａ，２ｂ，２ｃの焦点距離λ_i （i=1,2,3 ）を用いて透
視逆変換に相当する処理を実行して、各透視変換作用前
映像Ｐ_iv（i=1,2,3 ）を得る。

【００６０】具体的には図１０の流れ図に沿って各透視
変換作用前映像Ｐ_iv（i=1,2,3 ）が算出される。流れ
図が開始されると、透視逆変換相当処理部１７ａが起動
され、仮想地図作成部６から入力した各カメラ２ａ，２
ｂ，２ｃの各焦点距離λ_i （i=1,2,3)を用いて各カメラ
２ａ，２ｂ，２ｃの透視変換情報としての各透視変換行
列Ｓ_i の作成処理を実行する（Ｓ４１）。

【００６１】すなわち、各カメラ２ａ，２ｂ，２ｃの透
視変換行列Ｓ_i （i=1,2,3)及び前述した各カメラ２
ａ，２ｂ，２ｃの変換行列Ｍ_i を用いると、ある任意
の点の仮想座標系内での表現をＰ₀ 、カメラ撮影後の
２次元映像Ｐ_i （i=1,2,3)は、 Ｐ_i ＝Ｐ₀ ・Ｍ_i ・Ｓ_i …(7) より求まる。すなわち、この(7) は前述した(2) 式 Ｐ_i ´＝Ｐ₀ ・Ｍ_i …(2) に実際のカメラ２ａ，２ｂ，２ｃを用いる事による遠近
効果を示す以下に示す透視変換行列Ｓ_i を付加したも
のである。ここで、透視変換行列Ｓ_i は(8) 式で示さ
れる。

【００６２】

【数２】

【００６３】(8) 式の透視変換行列Ｓ_i （i=1,2,3)の
作成処理が終了すると、Ｓ４３にて、(7) 式の（Ｐ_i
Ｓ_i ^-1）に相当する透視変換作用前の点Ｐ_ivを求め
るため、入力バッファ４からの対象物体１の２次元映像
Ｐ_i （i=1,2,3)及び仮想地図作成部６からの変換行列
Ｍ_i （i=1,2,3)を取込む。(7) 式に(1) 式の変換行列
Ｍ_i を代入すると、(9) 式となる。

【００６４】 Ｐ_i ＝Ｐ₀ ・Ｔ_i ・Ｒ_iy・Ｒ_ix・Ｓ_i …(9) カメラ座標系（カメラ撮像面）の各点に透視変換作用の
各点の座標を示す透視変換作用前映像Ｐ_ivは、平行移
動を示す行列Ｔ_i ，各回転を示す行列Ｒ_{iy,Ｒ ix}
の同次座標表現時における特徴から、透視変換前の平行
移動，回転移動後の座標は、（ａ，ｂ，ｃ，１）と表現
できるので、Ｐ_iv＝（Ｐ_i Ｓ_i ^-1）式は(10)式と
なる。

【００６５】

【数３】 ここで、対象物体１の２次元映像Ｐ_i （i=1,2,3)の座
標（ｘ_i ，ｙ_i ）との関係は次のようになる。

【００６６】 ｘ_i ＝ａ_i ／（１＋ｃ_i ／λ_i ） ｙ_i ＝ｂ_i ／（１＋ｃ_i ／λ_i ） …(11) したがって、(11)式を(10)式に代入することによって、
各カメラ２ａ，２ｂ，２ｃのカメラ座標系の２次元映像
Ｐ_i に透視変換行例Ｓ_i の逆行列Ｓ_i ^-1を掛けた
ことに相当する点の映像、すなわち透視変換作用前映像
Ｐ_ivが(12)式で得られる。

【００６７】 Ｐ_iv＝（ｘ（１＋ｃ_i ／λ_i ），ｙ（１＋ｃ_i ／λ_i ），ｃ_i ，１） …(12) (12)式において未知数はｃ_i （i=1,2,3)のみとなる。

【００６８】以上の透視逆変換相当処理部１７ａの処理
が終了すると、Ｓ４３へ進み、拘束式作成部１７ｂを起
動して、拘束式を作成する。すなわち、各カメラ２ａ，
２ｂ，２ｃの個々の位置は当然既知であるので、カメラ
２ａ．２ｂ，２ｃ相互間における、ｉ番目のカメラｉの
カメラ座標系の座標原点を仮想座標系の原点と見なし
て、他の各カメラｊへの座標変換を示す変換行列Ｕ_ij
より、次の拘束条件が得られる。

【００６９】 Ｐ_jv＝Ｐ_iv・Ｕ_ij …(13) ここで、カメラ相互間の座標変換行列Ｕ_ijは(14)式で
表現できる。 Ｕ_ij＝Ｕ_i0・Ｕ_0j＝Ｕ_0i ^-1・Ｕ_0j ＝Ｍ_i ^-1・Ｍ_j …(14) なお、変換行列Ｕ_0kは仮想座標系の原点ｏからみた、
カメラｋへの変換行列である。すなわち、(10)式はカメ
ラ２ａ，２ｂ，２ｃが図１に示すように３台存在すると
きは、３個の未知数ｃ₁ ，ｃ₂ ，ｃ₃ に対して、拘束式
が６個存在することになり、一般逆行列演算を行って、
３個の未知数ｃ₁ ，ｃ₂ ，ｃ₃ の解を得ることが可能で
ある。

【００７０】以上の拘束式の作成処理が終了すると、Ｓ
４４へ進み、未知数算出部１７ｃを起動して、各未知数
ｃ₁ ，ｃ₂ ，ｃ₃ を算出する。３個の未知数ｃ₁ ，ｃ
₂ ，ｃ₃ が得られると、Ｓ４５にて透視変換作用前映像
算出部１７ｄを起動して、(12)式から各透視変換作用前
映像Ｐ_iv（i=1,2,3)を算出する。

【００７１】このように、カメラ毎透視変換作用前映像
算出部１７において、各２次元映像Ｐ_i から各カメラ
２ａ，２ｂ，２ｃ位置から仮想座標系内に位置する対象
物体１の各透視変換作用前映像Ｐ_iv（i=1,2,3)が算出
され、仮想視点透視変換作用前映像算出部１８へ送出さ
れる。

【００７２】次に、仮想視点透視変換作用前映像算出部
１８の処理動作を説明する。仮想視点透視変換作用前映
像算出部１８は、図１１に示すように、カメラ位置関係
行列成部１８ａと，行列ＮＭ_n 関連行列Ａ算出部１８ｂ
と、要素演算部１８ｃとで構成されている。仮想視点透
視変換作用前映像算出部１８は、前述したように、各カ
メラ２ａ，２ｂ，２ｃ位置における各透視変換作用前映
像Ｐ_iv（i=1,2,3)から、各仮想視点２２から仮想座標
系内に位置する対象物体１を見た各透視変換作用前映像
Ｐ_nv（n=1,2)を算出する。

【００７３】具体的には図１２の流れ図に沿って各透視
変換作用前映像Ｐ_nv（n=1,2)が算出される。これは、
Ullman et alが提唱したアルゴリズムをＺ座標まて拡張
することにより可能である。（ Recognition by Linea
r Combinations of Models :IEEE Transactions on Pa
ttern Analysis and Machine Intelligence. Vol,13,N
o.10.October 1991 ） 流れ図が開始されると、Ｓ１２１において、カメラ位置
関係行列成部１８ａが起動され、カメラ２ａ，２ｂ，２
ｃの位置関係を示す位置関係行列Ｎが作成される。先
ず、各カメラ２ａ，２ｂ，２ｃの変換行列Ｍ_i は前述
した(1) 式から(15)式に示すように展開することが可能
である。

【００７４】

【数４】

【００７５】ここで、カメラ２ａ，２ｂ，２ｃの各変換
行列Ｍ₁ ，Ｍ₂ ，Ｍ₃ から適当な列ベクトルを抜
き出して(16)式に示す位置関係行列Ｎを作成する。具
体的には、カメラ２ａの２次元映像から（ｘ，ｙ）を、
カメラ２ｂの２次元映像からｘを、カメラ２ｃの２次元
映像からｙを抽出している。

【００７６】 Ｎ＝（ｎ₁ ，ｎ₂ ，ｎ₃ ，ｎ₄ ）＝（ｍ₁₁，ｍ₂₁，ｍ₁₂，ｍ₁₃） …(16) 次にＳ１２２において、仮想視点位置の変換行列Ｍ_n
と各カメラ２ａ，２ｂ，２ｃ位置の変換行列Ｍ_i との
関係を求める。

【００７７】すなわち、仮想視点２２における各変換行
列Ｍ_n の各列ベクトルは、 det（Ｎ）≠０（一次独
立）の時、位置関係行列Ｎの列ベクトルの線形結合で
一意に表現できる。すなわち、係数をａ_ijとする行列
Ａを定義すると、変換行列Ｍ_n は次に示すように簡
略される。

【００７８】

【数５】

【００７９】したがって、係数α_ijを示す行列Ａは(1
8)式となる。 Ａ＝Ｎ^-1・Ｍ_n …(18) 各カメラ点から見た対象物体１の透視変換作用前映像
Ｐ_ivは定義により(19)式に示される。

【００８０】 Ｐ_iv＝（ｘ_iv，ｙ_iv，ｚ_iv，１） ＝Ｐ₀ ・Ｍ_i ＝Ｐ₀ ・（ｍ_1i，ｍ_2i，ｍ_3i，ｍ_4i） …(19) 同様に、仮想視点２２から見た対象物体１に対する透視
変換作用前映像Ｐ_nvに対しても、下記(20)式が成立す
る。

【００８１】 Ｐ_nv＝（ｘ_nv，ｙ_nv，ｚ_nv，１）＝Ｐ₀ ・Ｍ_n ＝（Ｐ₀ ・ｍ_1n，Ｐ₀ ・ｍ_2n，Ｐ₀ ・ｍ_3n，Ｐ₀ ・ｍ_4n） …(20) 位置関係行列Ｎ及び各透視変換作用前映像Ｐ_iv，
Ｐ_nvが求まると、Ｓ１２３にて要素算出部１８ｃを起
動して、仮想視点２２の変換行列Ｍ_n と位置関係行列
Ｎを用いて、(20)式の透視変換作用前映像Ｐ_nvの各
要素ｘ_nv，ｙ_nv，ｚ_nvの算出処理を実行する。

【００８２】例えば、一つの要素ｘ_nvについて計算する
と(20)式から(21)式が得られる。 ｘ_nv＝Ｐ₀ ・ｍ_1n …(21) この(21)式に(17)式を代入することによって(22)式が得
られる。

【００８３】 ｘ_nv＝Ｐ₀ ・（ａ₁₁・ｎ₁ ＋ａ₂₁・ｎ₂ ＋ａ₃₁・ｎ₃ ＋ａ₄₁・ｎ₄ ） ＝ａ₁₁Ｐ₀ ｎ₁ ＋ａ₂₁Ｐ₀ ｎ₂ ＋ａ₃₁Ｐ₀ ｎ₃ ＋ａ₄₁Ｐ₀ ｎ₄ …(22) この(22)式のｎ₁ ，ｎ₂ ，ｎ₃ ，ｎ₄ は(16)式から
ｍ₁₁，ｍ₂₁，ｍ₁₂，ｍ₁₃に等しいので、これを代入して
(23)式を得る。

【００８４】 ｘ_nv＝ａ₁₁Ｐ₀ ｍ₁₁＋ａ₂₁Ｐ₀ ｍ₂₁＋ａ₃₁Ｐ₀ ｍ₁₂＋ａ₄₁Ｐ₀ ｍ₁₃ …(23) さらに、(19)式から(24)式が導かれるので、 Ｐ₀ ｍ₁₁＝ｘ_1v Ｐ₀ ｍ₂₁＝ｙ_1v Ｐ₀ ｍ₁₂＝ｘ_2v Ｐ₀ ｍ₁₃＝ｘ_3v …（２４） 最終的に求める一つの要素ｘ_ｎｖは(25)式となる。

【００８５】 ｘ_nv＝ａ₁₁・ｘ_1v＋ａ₂₁・ｙ_1v＋ａ₃₁・ｘ_2v＋ａ₄₁・ｘ_3v …(25) 同様に、他の要素ｙ_nv，ｚ_nvも(26)(27)式に示すように
求まる。

【００８６】 ｙ_nv＝ａ₁₂・ｘ_1v＋ａ₂₂・ｙ_1v＋ａ₃₂・ｘ_2v＋ａ₄₂・ｘ_3v …(26) ｚ_nv＝ａ₁₃・ｘ_1v＋ａ₂₃・ｙ_1v＋ａ₃₃・ｘ_2v＋ａ₄₃・ｘ_3v …(27) (25)(26)(27)式より各要素ｘ_nv，ｙ_nv，ｚ_nvの算出処理
が終了すると、Ｓ１２５にて、透視変換作用前映像Ｐ
_nv＝（ｘ_nv，ｙ_nv，ｚ_nv，１）を算出する。

【００８７】このように、この仮想視点透視変換作用前
映像算出部１８において、各仮想視点２２から仮想座標
系内に位置する対象物体１を見た場合における各透視変
換作用前映像Ｐ_nv＝（ｘ_nv，ｙ_nv，ｚ_nv，１）が、各
カメラ２ａ，２ｂ，２ｃ位置から仮想座標系内に位置す
る対象物体１を見た場合の各透視変換作用前像Ｐ_iV＝
（ｘ_iv，ｙ_iv，ｚ_iv，１）から一義的に算出される。算
出された各透視変換作用前映像Ｐ_nvは次の２次元映像
算出部９へ送出される（Ｓ１２４）。

【００８８】次に、２次元映像算出部１９の動作を説明
する。２次元映像算出部１９は、前述したように、仮想
視点２２における対象物体１の透視変換作用前映像Ｐ
_nvを２次元映像Ｐ_n に透視変換する。具体的には図１
３の流れ図に沿って各２次元透映像Ｐ_n （n=1,2)が算
出される。

【００８９】流れ図が開始されると、Ｓ１３１におい
て、仮想視点透視変換作用前映像算出部１８から出力さ
れた仮想視点２２から見た仮想座標系内の対象物体１の
透視変換作用前映像Ｐ_nv＝（ｘ_nv，ｙ_nv，ｚ_nv，１）
を取込む。そして、Ｓ１３２で透視変換処理を実行す
る。

【００９０】すなわち、先に求めた透視変換作用前映像
Ｐ_nv＝（ｘ_nv，ｙ_nv，ｚ_nv，１）に(8) 式で得られる
透視変換行列Ｓ_n を掛けることにより、求めたい仮想
視点２２位置の２次元座標上に展開された対象物体１の
任意の方向から見た各２次元映像Ｐ_n ＝（ｘ_n ，ｙ
_n ，）（n=1,2)が得られる。 Ｐ_n ´＝Ｐ_nv・Ｓ_n …(28) (28)式を展開すると、(29)式が得られる。

【００９１】

【数６】

【００９２】したがって、 ｘ_n ＝ｘ_nv´／ｗ_n ´ …(30) ｙ_n ＝ｙ_nv´／ｗ_n ´ …(31) が得られる。

【００９３】そして、Ｓ１２３において、各仮想視点２
２から見た対象物体１の各２次元映像Ｐ_n ＝（ｘ_n ，
ｙ_n ）（n=1,2)を作成する。作成された各２次元映像
Ｐ_nは次の出力バッファ２０へ送出される。

【００９４】すなわち、映像変換部５において、既存の
カメラ２ａ，２ｂ，２ｃにて得られた３つの２次元映像
Ｐ_i を仮想座標系内に設定した任意の仮想視点２２か
ら対象物体１を見た場合の２つの２次元映像Ｐ_n （n=
1,2)に変換できた。

【００９５】このように構成された３次元映像処理装置
においては、図１６に示すように、３台のカメラ２ａ，
２ｂ，２ｃで得られた３枚の２次元映像Ｐ₁ ．Ｐ
₂ ．Ｐ₃ から各カメラ２ａ，２ｂ，２ｃ位置における
各透視変換作用前映像Ｐ_ivが得られる。一方、観察者
１１に取付けられた測定装置１３及び入力装置１４から
観察者１１の両眼の視野方向およぴ３次元位置を示す一
対の仮想視点２２が仮想視点算出部１６で検出される。
そして、映像変換部５でもって、各仮想視点２２から対
象物体１を見た場合の各２次元映像Ｐ_n1，Ｐ_n2が得
られて、これらがＨＭＤ１２の各小型ディスプレイに表
示される。

【００９６】よって、観察者１１は両眼で各小型ディス
プレイに表示された対象物体１の３次元画像を見ること
ができる。さらに、観察者１１は３次元表示された対象
物体１の見たい方向に通常の感覚で頭部を向け、かつ入
力装置１４を操作して自己の位置を移動させることによ
って、対象物体１を任意の方向から観察することができ
る。

【００９７】また、このような構成の３次元映像処理装
置においては、予め各カメラ２ａ，２ｂ，２ｃの位置が
固定されている場合においては、仮想地図作成部６で作
成される各カメラ２ａ，２ｂ，２ｃ毎の変換行列Ｍ_i
及び各焦点距離λ_i を例えばＲＯＭ等の不揮発性メモリ
に予め書込んでおくことによって、各種初期設定処理が
簡素化できる。

【００９８】具体的には、図１４に示すように、各カメ
ラ２ａ，２ｂ，２ｃから得られた２次元映像Ｐ_i を、
ＣＤ−ＲＯＭ３１に記憶された変換行列Ｍ_i 及び各焦
点距離λ_i を用いて、例えばジョイステック３２で指定
された仮想視点から見た２次元映像Ｐ_n を自動的に算
出してＣＲＴ表示装置３２に表示する。

【００９９】したがって、各カメラ２ａ，２ｂ，２ｃ毎
の変換行列Ｍ_i 及び各焦点距離λ_i を記憶したＣＤ−
ＲＯＭ３１を準備するのみで、各固定カメラ２ａ，２
ｂ，２ｃで得られる各２次元画像から任意の方向から見
た実画像をＣＲＴ表示装置３２の表示画面上に再現でき
る。さらに、ＣＲＴ表示装置３２の代りに、監視者１１
にＭＨＤ１２を装着させることによって、ジョイステッ
ク３２を用いた立体感のある映像シュミレーシヨンが可
能である。

【０１００】さらに、このような３次元映像処理装置に
おける対象物体１を、図１５に示すように、プラントに
おける監視員の定期的な安全巡回の巡回経路１ａとし
て、巡回経路１ａを見渡す位置に３台のカメラ２ａ，２
ｂ，２ｃを設置する。さらに、観察者１１を監視員１１
ａとすると、この３次元映像処理装置はウォーク・スル
ー・シミュレータとなる。

【０１０１】このようなウォーク・スルー・シミュレー
タにおいては、監視員１１ａは、実際に安全巡回を行わ
なかったとしても、点検の要所要所に各カメラ２ａ，２
ｂ，２ｃを設置するのみで、管制室に座ったままで、実
際に高低差のある所や狭い通路などを通っていく必要が
ないので、肉体的疲労及び精神的疲労が大幅に軽減され
る。よって、安全巡回が可能になり、プラントの維持管
理の作業能率を大幅に向上できる。

【０１０２】図１７は本発明の他の実施例に係わる３次
元映像処理装置の概略構成を示すブロック図である。対
象物体を３台のカメラ２ａ，２ｂ，２ｃで撮影して、撮
影された各２次元映像Ｐ₁ ．Ｐ₂ ．Ｐ₃ をＡ／Ｄ
変換器３ａ，３ｂ，３ｃでデジタル値に変換して、ＮＣ
Ｕ２３を介して、ＬＡＮ２４へ出力する。対象物体から
遠方に設置された管理センター２４にＬＡＮ２４を介し
てこの各２次元映像が送信される。

【０１０３】管理センター２５内に入力された各２次元
映像Ｐ₁ ．Ｐ₂ ．Ｐ₃ はＮＣＵ２６を介して図１
に示す仮想地図作成部６，仮想視点算出部１６，及び映
像変換部５へ入力される。そして、この管理センター２
５内において、観察者１１の視野方向及び位置から各仮
想視点を得て、この仮想視点から遠方に存在する対象物
体を任意の方向から観察する。

【０１０４】このように、ＬＡＮ２４を用いて各２次元
映像を送信することによって、例えば山間部のダム現場
等の監視員が簡単に赴くことができない場合であって
も、都市の管理センター２５において詳細に巡回ができ
る。

【０１０５】図１８は本発明のさらに別の実施例に係わ
る３次元映像処理装置の概略構成を示すブロック図であ
る。この実施例装置においては、テレビジョンの放送局
２７内において、複数のカメラ２ａ，２ｂ，２ｃで撮影
された複数の２次元画像から各カメラ２ａ，２ｂ，２ｃ
位置における各透視変換作用前映像Ｐ_iVを算出して、
送信装置２８を介して電波送出する。

【０１０６】各家庭２９に設けられたテレビジョンセッ
ト３０内に、仮想視点算出部１６，映像変換部５の仮想
視点透視変換作用前映像算出部１８，２次元映像算出部
１９を設け、テレビジョンセット３０の外部に入力装置
１４を設置することによって、ＴＶの視聴者がＴＶ画面
に表示されている対象物体１の見る方向を任意に設定で
きる。

【０１０７】したがって、より楽しくＴＶ番組を観賞で
きる。また、必要あれば、視聴者自信がＨＭＶ１２を装
着することによって、３次元画像表示されたＴＶ番組を
楽しむことが可能である。

【０１０８】なお、本発明は上述した各実施例に限定さ
れるものではない。例えば、実施例装置においては、対
象物体１の３方向から見た各２次元映像を有限の焦点距
離λを有するレンズ等の集光機構が組込まれてカメラ２
ａ，２ｂ，２ｃで撮影することによって得たが、ＣＡＤ
等で描いた無限の焦点距離を有する２次元影像を用いる
ことも可能である。この場合においては、この各２次元
映像には遠近効果が含まれないので、前述した透視変換
行列を用いる必要がない。

【０１０９】また、３次元の立体映像を、３枚程度の２
次元画像から再生することができるので、情報の圧縮装
置として使用することができる。ホログラフィなどの立
体映像再生方法と同様な位置づけとなるが、さらに簡単
化された手軽な方法として使用できる。

【０１１０】

【発明の効果】以上説明したように、本発明の３次元映
像処理装置及び３次元映像処理方法においては、必要な
箇所に複数台の撮影装置を設置するのみで、簡単に任意
仮想視点からの対象物体に対する２次元映像又は透視変
換作用前映像が得られる。したがって、従来の３次元の
ＣＡＤモデルを用いた手法に比較して、対象物体をコン
ビュータを用いてモデル化する必要がないので、観察す
べき対象物体を簡単に変更できる。

【０１１１】さらに、プラント監視におけるウォーク・
スルー・シミュレータに用いることによって、監視員の
仮想視点を簡単に移動でき、移動に対する応答特性が高
く、さらに実画像のために、リアリティの高い映像が得
られる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係わる３次元映像処理装
置の概略構成を示すブロック図

【図２】 同実施例装置の仮想地図作成部におけるカメ
ラパラメータ算出機能を示すブロック図

【図３】 同仮想地図作成部のカメラパラメータ算出動
作を示す流れ図

【図４】 同仮想地図作成部で作成された仮想地図を示
す模式図

【図５】 各カメラで撮影された各２次元映像を示す図

【図６】 カメラの姿勢と仮想座標との関係を示す図

【図７】 前記仮想地図作成部の焦点距離算出動作を示
す流れ図

【図８】 同焦点距離算出機能における算出方法を説明
するための説明図

【図９】 同実施例装置のカメラ毎透視変換作用前映像
算出部の概略構成を示すブロック図

【図１０】 同カメラ毎透視変換作用前映像算出部の動
作を示す流れ図

【図１１】 同実施例装置の仮想視点透視変換作用前映
像算出部の概略構成を示すブロック図

【図１２】 同仮想視点透視変換作用前映像算出部の動
作を示す流れ図

【図１３】 同実施例装置の２次元映像算出部の動作を
示す流れ図

【図１４】 同実施例装置の仮想地図作成部で作成され
る変換行列及び各焦点距離を予めＲＯＭに書込んだ場合
の応用例を示す模式図

【図１５】 仮想座標系内における仮想視点と各カメラ
位置との関係を示す図

【図１６】 各カメラで撮影された各２次元映像と最終
的に得られる各仮想視点における各２次元映像との関係
を示す図

【図１７】 本発明の他の実施例に係わる３次元映像処
理装置の概略構成を示すブロック図

【図１８】 本発明のさらに別の実施例に係わる３次元
映像処理装置の概略構成を示すブロック図

【符号の説明】

１…対象物体、２ａ，２ｂ，２ｃ…カメラ、４…入力バ
ッファ、５…映像変換部、６…仮想地図作成部、９…対
応付け部、１０…仮想地図、１１…観察者、１２…ＨＭ
Ｄ、１３…計測装置、１４…入力装置、１６…仮想視点
算出部、１７…カメラ毎透視変換作用前映像算出部、１
８…仮想視点透視変換作用前映像算出部、１９…２次元
映像算出部、２０…出力バッファ、２２…仮想視点、２
４…ＬＡＮ、２５…管理センター、２８…放送局、２９
…家庭

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−12413（ＪＰ，Ａ) 特開 平５−37965（ＪＰ，Ａ) 特開 平５−324799（ＪＰ，Ａ) ”両眼立体視による視覚機能研究のた めの３次元ＣＧ装置”，テレビジョン学 会技術報告，1991年７月18日，Ｖｏｌ. 15，Ｎｏ．42，ｐ．15−20 ”人工現実感を用いた図形入力システ ム”，テレビジョン学会技術報告，1993 年１月22日，Ｖｏｌ．17，Ｎｏ．４, ｐ．33−40 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 17/40 G06T 15/00 G06F 17/50 ＣＳＤＢ（日本国特許庁)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 互いに異なる複数方向から投影した３次
   元の対象物体の各２次元映像を得る手段と、 前記対象物体に対する各投影位置及び姿勢と任意に設定
   された仮想座標系内における前記各投影位置及び姿勢と
   の間の各変換情報を求める仮想地図作成手段と、 任意に設けられる仮想視点の前記仮想座標系内における
   位置及び姿勢を求める仮想視点算出手段と、 前記対象物体を前記仮想座標系内に位置させたと想定し
   て、前記各変換情報を用いて、前記仮想座標系内におけ
   る各投影位置から同じく仮想座標系内の前記対象物体を
   見た場合の各透視変換作用前映像を求める手段と、 この求められた各透視変換作用前映像を用いて、前記仮
   想座標系内の仮想視点から前記対象物体を見た場合の透
   視変換作用前映像を求める手段と、 この求められた透視変換作用前映像を２次元映像に透視
   変換する手段と、 この変換された２次元映像を表示する２次元表示装置と
   を備えた３次元映像処理装置。
2. 【請求項２】 ３次元の対象物体を互いに異なる方向か
   ら撮影してそれぞれ２次元映像を得る複数台の撮影装置
   と、 この各撮影装置の設置位置及び姿勢と任意に設定された
   仮想座標系内における前記各撮影装置の位置及び姿勢と
   の間の各変換情報を求める仮想地図作成手段と、 任意に設けられる仮想視点の前記仮想座標系内における
   位置及び姿勢を求める仮想視点算出手段と、 前記対象物体を前記仮想座標系内に位置させたと想定し
   て、前記各変換情報を用いて、前記仮想座標系内におけ
   る各撮影装置から同じく仮想座標系内の前記対象物体を
   見た場合の各透視変換作用前映像を求める手段と、 この求められた各透視変換作用前映像を用いて、前記仮
   想座標系内の仮想視点から前記対象物体を見た場合の透
   視変換作用前映像を求める手段と、 この求められた透視変換作用前映像を２次元映像に透視
   変換する手段と、 この変換された２次元映像を表示する２次元表示装置と
   を備えた３次元映像処理装置。
3. 【請求項３】 前記各撮影装置はそれぞれ所定の焦点距
   離を有した集光機構が組込まれたカメラであり、前記透
   視変換作用前映像を求める手段は前記焦点距離が組込ま
   れた透視変換情報を用いることを特徴とする請求項２記
   載の３次元映像処理装置。
4. 【請求項４】 前記任意の仮想視点の前記仮想座標系内
   の位置及び姿勢は、前記２次元表示装置の観察者に取付
   けられこの観察者の視野方向を計測する計測装置の出力
   と、前記観察者が自己の移動情報を入力する入力装置の
   出力とで定まることを特徴とする請求項２又は３記載の
   ３次元映像処理装置。
5. 【請求項５】 ３次元の対象物体を互いに異なる方向か
   ら撮影してそれぞれ２次元映像を得る複数台の撮影装置
   と、 この各撮影装置の設置位置及び姿勢と任意に設定された
   仮想座標系内における前記各撮影装置の位置及び姿勢と
   の間の各変換情報を求める仮想地図作成手段と、 観察者に取付けられ、この観察者の両眼の各視野にそれ
   ぞれ入る一対の２次元表示装置が組込まれたＨＭＤ（ヘ
   ット・マンテッド・デイスプレイ）と、 前記観察者に取付けられ、この観察者の視野方向を計測
   する計測装置の出力と前記観察者が自己の移動情報を入
   力する入力装置の出力とから前記仮想座標系内における
   前記観察者の両眼を示す各仮想視点の各位置及び各姿勢
   を求める仮想視点算出手段と、 前記対象物体を前記仮想座標系内に位置させたと想定し
   て、前記各変換情報を用いて、前記仮想座標系内におけ
   る各撮影装置から同じく仮想座標系内の前記対象物体を
   見た場合の各透視変換作用前映像を求める手段と、 この求められた各透視変換作用前映像を用いて、前記仮
   想座標系内の一対の仮想視点から前記対象物体を見た場
   合の一対の透視変換作用前映像を求める手段と、 この求められた一対の透視変換作用前映像をそれぞれ２
   次元映像に透視変換する手段と、 この変換された一対の２次元映像を前記一対の２次元表
   示装置へ表示する表示制御手段とを備えた３次元映像処
   理装置。
6. 【請求項６】 前記仮想地図作成手段で得られる各変換
   情報は予め不揮発性メモリに書込まれていることを特徴
   とする請求項２又は３記載の３次元映像処理装置。
7. 【請求項７】 複数台の撮影装置で３次元の対象物体を
   互いに異なる方向から撮影してそれぞれ２次元映像を得
   て、 前記各撮影装置の設置位置及び姿勢と任意に設定された
   仮想座標系内における前記各撮影装置の位置及び姿勢と
   の間の各変換情報を求め、 任意に設けられる仮想視点の前記仮想座標系内における
   位置及び姿勢を求め、 前記対象物体を前記仮想座標系内に位置させたと想定し
   て、前記各変換情報を用いて、前記仮想座標系内におけ
   る各撮影装置から同じく仮想座標系内の前記対象物体を
   見た場合の各透視変換作用前映像を求め、 この求められた各透視変換作用前映像を用いて、前記仮
   想座標系内の仮想視点から前記対象物体を見た場合の透
   視変換作用前映像を求め、 この求められた透視変換作用前映像を２次元映像に透視
   変換し、 この変換された２次元映像を２次元表示装置に表示する
   ３次元映像処理方法。