JPH07282294A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、背景を視点の動きに応じて画像から
切り出す画像合成装置において、背景と前景の相互干渉
である、隠面処理、接触による反射運動などを処理した
画像合成を可能とする画像合成装置を提供することを目
的とする。 【構成】背景画像記憶部１０１に記憶された広範囲背景
画像から、背景切り出し部１０２により視野に対応する
背景画像を切り出し、移動前景物体生成部５０１におい
て前景の移動物体の形状、位置情報を生成し、背景前景
合成部５０２において、背景奥行き記憶部１０３からの
背景画像に対応する奥行き情報と前景物体情報との干渉
を計算し、隠面処理、反射による前景物体の移動方向の
変更を処理した画像を合成する。 【効果】背景画像を円柱、平面などの形状としてではな
く、その凹凸情報を用いることにより、背景により前景
が隠れる画像や、通り抜け、背景にぶつかった前景物体
の反射などを考慮した画像を合成することが可能とな
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の合成装置に関す
るものである。

【０００２】

【従来の技術】利用者がその場で実際に見たように、臨
場感のある画像を提示するためには、利用者が頭を動か
した場合に周囲の様子が見渡せるような、視点の変化に
対応して画像を提示することが重要である。

【０００３】従来、コンピュータグラフィックスなどで
用いられている物体の３次元モデルや表面の反射モデル
から画像を合成すれば、任意の視点からの画像を合成す
ることが可能である。しかし品質の高い画像を、利用者
の視点移動の指示に応じて実時間で合成することは、機
器の性能などで不可能であることが多い。また、コンピ
ュータグラフィックスによる生成画像が、カメラなどで
撮影された自然画像に比べて人工的で違和感のある画質
であるという問題点がある。

【０００４】上記の問題点を解決するために、予め処理
時間をかけて作成したＣＧ画像や、カメラなどから取り
込まれた自然画像を合成画像に取り込み利用するという
方式がある。

【０００５】従来、このような技術としては、広角なレ
ンズで撮影した広角な平面画像や、いわゆるパノラマ画
像と呼ばれる１つの視点回りに水平方向に３６０度の回
転して撮影した円柱投影画像から、利用者が指示する視
点の方向、視野角に応じて画像を切り出す画像合成装置
があった。

【０００６】これらの技術について、以下図を用いて説
明する。図１４は広角な平面画像からの合成画像の切り
出し方法についての説明図である。１１０１は広角なレ
ンズなどで撮影された平面画像であり、中心をＯとし水
平方向にＸ軸、垂直方向にＹ軸を定義してある。視点１
１０２からの水平方向にθ度回転した時の画像を切り出
す場合を考える。その場合の切り出し領域１１０３の中
心をＰ、Ｘ軸の右端、左端の点をＲ，Ｌとする。点Ｒ，
ＬのＸ座標値をＲx、Ｌxは、水平方向の視野角をα度、
視点１１０２から平面画面の中心Ｏまでの距離、つまり
撮影時の焦点距離をＦとして、次の式で求められる。

【０００７】

【数１】Ｒx ＝ Ｆ・tan( θ - α/2 ) Ｌx ＝ Ｆ・tan( θ + α/2 ) ここで回転角度はＹ軸回りに左ネジの方向を正としてい
る。

【０００８】同様に、垂直方向の切り出し座標の上端、
下端のＹ座標をＵy、Ｂyとすると、垂直の視野角をβと
して、次の式で計算できる。

【０００９】

【数２】Ｕx ＝ Ｆ・tan( - β/2 ) Ｂx ＝ Ｆ・tan( β/2 ) よって回転角度θに応じてＲx、Ｌx、Ｕy、Ｂyで指定さ
れる領域を切り出すことにより、視点の水平回転に対応
する画像を合成することができる。

【００１０】次にパノラマ画像からのある視線方向の合
成画像を得る方法について図を用いて説明する。図１５
ａは上方から見たパノラマ画像と合成画像の関係を示し
た模式図である。１２０１が水平方向３６０度の映像を
円柱に投射したパノラマ画像である。このパノラマ画像
の作成方法としては、縦型スリットの受光素子を３６０
度回転させながら撮像する方法や、カメラ等を一定角度
づつ受光面を中心として回転しながら撮影した平面画像
を、幾何変形して繋ぎ合わせる方法などがある。パノラ
マ画像１２０１は視点回りの回転角度θと垂直方向の高
さｈの２次元画像となる。図１５ｂがこのパノラマ画像
を平面に展開したものである。図１５ａにおいて、視点
１２０２からθ0方向を見た時の画像は、円柱の接平面
にパノラマ画像を投影した画像１２０３となる。合成画
像の水平、垂直軸をＵ，Ｖとし、焦点距離をＦとすれ
ば、合成画像中の点（ｕ1、ｖ1）の点に対応するパノラ
マ画像の点（θ1、ｈ1）は、次の式で求められる。

【００１１】

【数３】θ1 ＝ arctan（ u1 ／ Ｆ） ＋ θ0 ｈ1 ＝ ｖ1 ・ cos（θ） 視野角をαとすれば、これをθ0−α／２からθ0＋α／
２に対応するu1について計算すれば、望む合成画像が得
られる。図１５ｃに合成<画像の例を示す。図１５ｂ１
２０４は、図１５ｃの切り出し画像に対応するパノラマ
画像中の領域である。

【００１２】

【発明が解決しようとする課題】しかしながら、上記の
画像合成装置において、画像がすべて同一の平面、円柱
上にあるとするため、画像上の凹凸の情報を用いた処理
が不可能であるという問題点があった。

【００１３】すなわち、上記画像合成装置において、背
景画像を扱った場合、十分に遠い遠景画像の合成は可能
であるが、前景との相互干渉のある画像を合成すること
は不可能である。

【００１４】例えば、背景以外の前景として、コンピュ
ータグラフィックスなどによる物体を同時に合成した場
合、背景画像内の凹凸情報がないため、前景の物体の一
部が背景の一部によって隠れる合成や、あるいは前景の
物体が動いていて背景に衝突した場合に、背景の形状に
応じて衝突の様子を変化させる処理は不可能である。

【００１５】例えば部屋、街角などの視点との距離の短
い背景を扱う場合、背景と前景との相互干渉は合成結果
の臨場感を高める効果がある。

【００１６】本発明は、上記問題点を除去し、背景とな
る画像の凹凸により、背景画像の一部分により、手前の
物体が隠される、あるいは背景に物体が衝突した場合の
反射の方向の再現などの合成を可能とする画像合成装置
を提供することを目的とする。

【００１７】

【課題を解決するための手段】本発明は上記問題点を解
決するために、背景画像を記憶する手段と、背景画像の
凹凸の情報である奥行き値、傾斜、エッジの通り抜け可
能かどうかの情報を記憶する手段とを持ち、前景物体と
背景画像の凹凸情報との干渉を計算する手段により、前
景物体の表示や移動方向などを制御する制御手段を具え
たことを特徴とする。

【００１８】

【作用】本発明によれば、上記のように、背景画像の凹
凸情報を用いるため、単に平面や円柱といった形状だけ
でなく、背景の複雑な形状を必要とする処理である背景
と前景の隠面処理や、背景画像に前景物体が衝突し、背
景物体の凹凸の傾きに応じて反射するような効果を持つ
画像合成が可能となる。

【００１９】一方、視点の回転に関しては、画像の切り
出し位置を変更するだけでよいので、背景画像を、その
複雑な３次元形状から合成するようなコンピュータグラ
フィックス処理に比べて、簡単な処理で背景の画像を合
成できる。

【００２０】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。

【００２１】図１は、本発明の第一の実施例を示す画像
合成装置の概略構成図である。図１において１０１は広
範囲の背景画像を記憶する背景画像記憶部、１０２は広
範囲な背景画像から視点の方向、位置、視野角の視点情
報により視野に入る背景画像を切り出す背景画像切り出
し部、１０３は１０１に記憶された背景画像と対応した
広範囲な背景の奥行き情報を記憶する背景奥行き記憶
部、１０４は視点情報と３次元空間中に置かれた前景の
物体の形状、位置などの物体を画像に合成する為の情報
である前景物体情報を生成する前景物体生成部であり、
１０５は１０３からの背景奥行き情報と１０４からの前
景物体の位置から、それらを比較し、１０２からの背景
画像と前景物体画像の隠ぺい関係を考慮した背景画像上
の前景物体の画像合成をおこなう画像合成部である。

【００２２】次に本発明の第一の実施例の動作につい
て、図を参照しながら説明する。図２、図３、図４、図
５は、部屋などの長方形の背景を円柱のパノラマ画像に
より表し、前景物体と合成する場合の説明図である。図
２はパノラマ画像と背景との関係を、円柱の上方から見
た模式図である。２０１は、部屋の平面図であり、それ
を視点２０２を中心とする円柱２０３の上に投影したも
のが、図３の２０６のパノラマ画像である。視点回りの
回転角θと垂直方向の高さｈで定義される２次元配列で
ある。

【００２３】このパノラマ画像は、縦型スリットの受光
素子を３６０度回転させる方法や、平面画像の繋ぎ合わ
せにより作成できる。またコンピュータグラフィックス
の手法、例えば処理時間のかかるレイトレーシング法な
どにより、人工的に作成することも可能である。このよ
うな画像が図１の１０１の背景画像記憶部に記憶されて
いる。

【００２４】背景画像切り出し部において、いま視点は
図２において、２０２の位置にあり、視線の方向２０４
がθ0であり、視野が２０５に示す角度値θsからθｅの
間にあるとすると、図３のパノラマ画像２０６上の網掛
けで示す領域２０７が切り出される背景画像に対応する
領域である。

【００２５】高速切り出しのためには、近似的に円柱と
平面の投影像の歪みを無視して、２０７で示す領域から
１次の線形補間で背景画像切り出し部の出力とする。

【００２６】図４に示すように、切り出しされた背景画
像を水平軸、垂直軸をそれぞれＵ、Ｖとして、その背景
画像の幅、高さをＵw、Ｖhとすれば、画像中の点（ｕ
1、ｖ1）の値は、次式により、対応するパノラマ画像の
点（θ1、ｈ1）の値として求めれる。

【００２７】

【数４】 θ1 ＝ ｕ1 ／ Ｕw ・（θe − θs） ＋ θs ｈ1 ＝ ｖ1 ／ Ｖw ・ Ｈmax ここで、Ｈmaxはパノラマ画像のｈの最大値である。

【００２８】パノラマ画像は離散化されているので、上
式で計算される（θ1、ｈ1）の点が離散化された点に正
確に当てはまらない場合がある。その場合は近傍４点の
線形近似で値を計算する。

【００２９】より正確には、円柱と平面の投影変換を行
えばよい。その場合の合成画像中の点（ｕ1、ｖ1）の点
に対応するパノラマ画像の点（θ1、ｈ1）は、横方向の
視野角α、焦点距離をＦとして、次の式で求められる。

【００３０】

【数５】α ＝ （θe − θs） Ｆ ＝ ２・Ｕw ／ tan（α／２） θ1 ＝ arctan（u1 ／ Ｆ）＋θ0 ｈ1 ＝ ｖ1 ・ cos（θ1） 次に背景の奥行き情報について説明する。図２の視点２
０２から垂直方向に高さｈにある点から、回転角θの方
向にに直線を延ばし、それが２０１の背景の物体とぶつ
かる点までの距離をｒ（θ、ｈ）とし、これを（θ、
ｈ）における背景奥行きとする。背景奥行き情報は、パ
ノラマ画像と同様にθ、ｈの２次元配列で、その要素が
奥行き値ｒとなる。図３におけるｈが０である直線上の
奥行き値ｒの変化を示したものが、図５である。背景奥
行き情報は、レンジファインダなどの３次元計測装置で
作成するか、人間がＣＡＤツールなどにより背景画像を
参照しながら入力することなどにより作成される。

【００３１】背景奥行き切り出し部では、視点情報によ
り、θsからθeまでの奥行き値を切り出す。画像中の点
（ｕ1、ｖ1）に対応する奥行き値は、（数４）または
（数５）で計算されるθ1、ｈ1に対応する値ｒ（θ1、
ｈ１）となる。

【００３２】前景物体生成部において、生成される物体
の表面形状を平面近似であるポリゴンで表現する。図６
ａは三角形ポリゴンで表現した球を示している。１つの
ポリゴン３０１は、ポリゴン３０１を構成する頂点のリ
ストと、それらのリストの各頂点３０２、３０３、３０
４の３次元座標と、ポリゴンの色、反射係数などレンダ
リングに必要なポリゴンの属性情報の３つで定義でき
る。 頂点３０４の３次元位置は、Ｘ，Ｙ，Ｚの直交座
標系で表現する。図６ｂで示すように、原点をパノラマ
画像の円柱座標系と同じ視点にとし、Ｚ軸はパノラマ画
像の水平回転角θが０度の軸とする。Ｙ軸は円筒の回転
軸の上方向とし、Ｘ軸は、Ｚ軸とＹ軸と直交する右手座
標系にとる。物体を構成する全てのポリゴンについて
の、頂点の３次元位置、ポリゴンを構成する頂点のリス
ト、ポリゴンの属性情報が前景物体生成部の出力である
前景物体情報である。

【００３３】なお、前景物体は３次元の大きさを持つも
のだけに限定されるわけではない。例えば、物体の２次
元画像を用いる場合、その画像を平面ポリゴンの上に貼
り付けられた属性情報として扱えば、前景が２次元画像
の場合にも同様に扱える。

【００３４】次に、背景前景合成部において、前景物体
情報と背景画像と背景奥行き情報から前景と背景を合成
する方法について、図を用いて説明する。図７は背景前
景合成のフローチャートである。隠れ面処理について
は、コンピュータグラフィクスにおいてよく用いられる
Ｚバッファ法を使用する。 （１）まず出力画像に背景画像切り出し部の出力の背景
画像を複写する。これにより出力画像全体に値が定義さ
れる。 （２）出力画像と同じサイズで各要素が奥行き情報の２
次元配列であるＺバッファに、背景奥行き情報切り出し
部からの背景奥行き情報を複写する。奥行き値は大きい
程、視点より遠くにあることになる。 （３）物体を構成するポリゴンの各頂点の座標値を透視
投影変換する。頂点の座標を（ｘ0、ｙ0、ｚ0）とす
る。まず図２に示す視点の方向θ0とＺ軸を次の式によ
りＹ軸まわりに回転して視線の方向と一致させる。この
視点座標系への変換後の座標値を（ｘp、ｙp、ｚp）と
すると

【００３５】

【数６】ｘp ＝ ｘ0・cosθ − ｚ0・sinθ ｙp ＝ ｙ0 ｚp ＝ ｘ0・sinθ ＋ ｚ0・cosθ 次に、図４で示すようなＵＶ座標系で、幅Ｕw、高さＶh
の出力画像上への投影変

【００３６】換する。頂点が投影される画像上の点（ｕ
0、ｖ0）は、（数５）のＦを使い、次式により求められ
る。ただし投影変換の縦横のアスペクト比は１であると
する。

【００３７】

【数７】ｕ0 ＝ Ｆ・ｘp ／ ｚp ｖ0 ＝ Ｆ・ｙp ／ ｚp （４）前景物体生成部からの前景物体の各ポリゴンにつ
いて逐次処理する。 （５）ポリゴンをスキャンラインに分割し、各スキャン
ライン上の各画素処理を行なう。ポリゴンを出力画像上
でのＵ軸に平行なスキャンラインに分割し、各スキャン
ラインの両端の点の視野座標系での座標値を計算し、ス
キャンライン上の内部の点（ｕ1、ｖ1）の視野座標系で
の座標値（ｘp1, ｙp1、ｚp1）を、両端の点の内分によ
り計算する。 （６）スキャンライン上の点（ｕ1、ｖ1）の円柱座標系
の奥行き値ｒを次式により計算する。

【００３８】

【数８】ｒ ＝ sqrt（ｘp・ｘp ＋ ｚp・ｚp） ここでsqrt()は平方根を表す。 （７）Ｚバッファの（ｕ1、ｖ1）に対応する奥行き値
を、（６）でのｒと比較する。ｒの方が小さい場合、前
景物体の点は背景より前にあるので、（８）、（９）の
処理を行う。大きい場合は背景画像のままである。

【００３９】これにより背景に隠れる前景物体は表示さ
れず、また一部分だけ隠れる前景物体も表現できる。 （８）出力画像の点（ｕ1、ｖ1）に、ポリゴン属性情報
から決まる面の色を書き込む。 （９）Ｚバッファの点（ｕ1、ｖ1）に（７）で計算され
た奥行き値ｒを書き込む。 （１０）スキャンライン上の全ての画素について（６）
から（９）までを処理。 （１１）ポリゴンの全てのスキャンラインについて
（５）から（１０）まで処理。 （１２）物体の全てのポリゴンについて（４）から（１
１）まで処理。

【００４０】次に本発明の第２の実施例について図を用
いて説明する。図８は本発明の第２の実施例の概略構成
図である。５０１は３次元空間内を動く移動物体を移動
制御情報に基づき生成する移動前景物体生成部である。
移動制御情報は、人間がマウスなどにより対話的に指示
するものや、内部の計算から軌道を生成するものがあ
る。例えば、前者の例としては人間の手を模した物体を
部屋の中で動かす場合などがあり、後者の例としてはボ
ールなどが部屋の中を飛び跳ねるような場合がある。こ
の場合は、初期の運動方向だけを定めれば、あとは壁な
どにぶつかるまでの軌道は力学的に計算できる。

【００４１】この移動前景物体生成部では、第１の実施
例で説明した物体の３次元形状とともに、その移動方
向、速度などの情報も記憶しておく。

【００４２】５０２の背景前景合成部においては、第一
の実施例において図７で説明したＺバッファ処理の
（８）、（９）の処理を、図９に示すような接触判定処
理に変更する。 （１３）背景と移動前景物体が接触したことを、移動制
限情報として移動前景物体生成部に通知する。その後、
合成処理を中断して、再び移動前景物体からの新しい前
景物体情報により、画像を合成を開始する。

【００４３】この移動制限情報が入力された場合、移動
前景物体生成部では、現在保持している移動方向を反転
し、速度分移動した位置に変更された移動前景物体の情
報を生成する。

【００４４】以上により、背景より奥に物体が移動した
画像を合成しようとした場合、壁などの中に埋め込まれ
たようになるのではなく、壁で跳ね返るような反射の運
動を再現できる。

【００４５】また、（１３）において、即座に合成を中
止せず、その接触したポリゴンの番号と、点の座標を移
動制限情報に加え、次のポリゴンの処理に移ることで、
移動前景物体生成部においては、どれだけのポリゴンが
接触したかを知ることができる。この情報に基づき接触
したポリゴンを変形することにより、単に反射するだけ
でなく、接触によってつぶれた形状を合成することが可
能である。

【００４６】あるいは、前景物体情報に物体、ポリゴン
毎に反射処理か、突き抜け処理を行うかの切り替えの情
報を付加することにより、反射処理と隠面処理を切り替
えれば、跳ね返る物体と壁を突き抜ける物体などを同時
に合成できる。

【００４７】合成画像の出力は、すべての処理が終了し
た時に行うことにより、合成のやり直しなどによる出力
画像のちらつきを防止できる。

【００４８】次に本発明の第３の実施例について説明す
る。図１０は本発明の第３の実施例の概略構成図であ
る。７０１背景特性記憶部であり、１０１の背景画像記
憶部の背景画像に対応して、背景に物体が衝突などの相
互作用した場合の特性を決める情報として、背景表面の
傾き、背景が物質を引き付けたり、跳ね返す反発係数、
背景の材質の硬さによる衝突の衝撃の強さを決める衝撃
係数、背景の材質の温度などの背景の特性を記憶する。

【００４９】背景特性情報は、背景画像と同様に水平ま
わりの回転角度θと、垂直方向の高さｈの２次元配列
で、配列の各要素は対応する背景の特性からなる。例え
ば背景の特性として背景表面の傾きと反発係数を考える
と、背景表面の傾きは法線ベクトル（Ｎx、Ｎy、Ｎz）
で表すことができる。この法線ベクトルの座標系は、物
体の頂点の座標系と同様なＸＹＺ直交座標系である。

【００５０】背景の反発係数をν1とすると、衝突前と
衝突後の物体の速度の比であり、１ならば速度が落ち
ず、１より小さいと減速する。例えばν１が０ならば表
面が吸着の性質を持っていて、物体は背景にくっついた
状態になる。通常は０から１の間の数値であるが、磁力
などによる反発の場合などは１以上になる。

【００５１】また衝突による物体生成部７０２では、物
体の形状、位置に、物体の３次元の移動方向ベクトル
（Ｍｘ、Ｍｙ，Ｍｚ）を加え、必要に応じて背景の特性
と同様の物体の反発係数ν２などの物体情報を、背景物
体合成部７０３に入力する。背景物体合成部において
は、前記第２の実施例と同様に、背景と物体の接触を調
べる。

【００５２】接触が起こった場合の図９（１３）におい
て、移動物体の方向ベクトルと背景の法線ベクトルか
ら、反射の方向ベクトル（Ｌx、Ｌy、Ｌz）を次式のよ
うに、移動方向と背景傾きの法線に関して対称になるよ
うに求める。

【００５３】

【数９】Ｌx ＝ Ｍx − Ｎx Ｌy ＝ Ｍy − Ｎy Ｌz ＝ Ｍz − Ｎz また、反射前の物体の移動速度と、背景の反発係数ν
１、物体の反発係数ν２から反射後の物体の移動速度を
計算する。例えば、反射前の速度をＶ１、反射後の速度
をＶ２とした場合

【００５４】

【数１０】Ｖ２ ＝ ν１×ν２×Ｖ１ で計算することが出来る。

【００５５】これらの物体の反射後の方向、移動速度を
物体変更情報に加える。物体生成部では、物体全体でこ
の反射の方向、速度の平均をもとめ、次の移動量の方
向、速度とする。あるいは、物体変更情報で、背景の奥
行き値と物体の点の奥行き値ｒとの差が最大の点を、い
ちばん最初に接触する点として、その点の移動方向、速
度を新たな移動方向、速度として、物体を生成する。

【００５６】また物体変更情報に、物体と衝突した点の
背景の衝撃係数を加え、物体生成部では、その衝撃係数
が物体の特性として記憶される衝撃変形いき値を超えた
場合、その衝撃係数に応じて、物体の形状を移動方向に
縮小するなどの変形処理を加えた物体を生成することに
より、柔らかい物体が硬い背景に衝突した場合の画像を
表現することが可能となる。

【００５７】あるいは物体変更情報に背景の温度を加
え、物体生成部において、物体の温度に関する特性によ
っては、一定以上の温度の場合、爆発、蒸発、融けた物
体を生成することにより、背景の温度による物体の変化
の画像を合成することができる。

【００５８】前記での背景の傾きを背景奥行き情報から
計算する方法について説明する。いま背景の傾きを求め
たい点から近傍の点までの３次元空間での方向ベクトル
を計算する。背景上の点の３次元位置は、パノラマ画像
のθ、ｈと奥行き値ｒの３つの円柱座標系で表現されて
いる。これを図６ｂで説明した直交座標系に変換し、近
傍の点の座標から中心の座標値を引いてベクトルを計算
し、大きさが１になるように正規化する。このようなベ
クトルが上下左右の４近傍の場合４つ得られる。これら
のベクトルの内、隣合う２ベクトルの外積を計算する。
４近傍の場合、４つの外積ベクトルが得られる。これら
４つの外積ベクトルを平均し、大きさ１に正規化したも
のを、求める点の背景傾きとする。

【００５９】次に本発明の第４の実施例について説明す
る。図１１は本発明の第４の実施例の概略構成図であ
る。図１１の８０１は背景の奥行きに不連続点があるか
どうか、ある場合にはその不連続エッジにおいて、通り
抜け可能かどうかを知らせるエッジ情報を記憶するエッ
ジ情報記憶部である。エッジ情報は、θ、ｈの２次元配
列で、各要素はエッジがない場合０、エッジがエッジで
通り抜け可能な場合１、不可能な場合２の値を持つ。ま
たエッジの場合、さらにエッジの奥行き最大値と最小値
を持つ。エッジのない場合この値は不定である。

【００６０】次にエッジ情報について図を用いて詳細に
説明する。図１２ａにおいて、９０１は背景画像であ
り、９０２は位置（θ1、ｈ1）に移動する物体とその移
動方向を示しており、９０３は位置（θ2、ｈ1）にある
物体とその移動方向を示している。今、高さｈ1におけ
る奥行きｒの形状が図１２ｂの９０４のようであったと
する。θ1においては、ドアにより奥行きに不連続エッ
ジが生じており、θ2では本棚により不連続エッジが生
じている。θ1では通り抜けが可能であり、θ2では通り
抜けが不可能である。そこで、エッジ情報において、
（θ1、ｈ1）は１を、（θ2、ｈ1）は２の値となり、そ
れぞれのエッジの最大値、最小値を記憶する。

【００６１】移動前景物体生成部では、移動制御情報に
基づいて移動物体の形状、位置、移動方向を背景前景合
成部８０３に入力する。背景前景合成部においては、背
景と前景移動物体との接触の判定を行う。図１３は、こ
の接触判定のフローチャートである。 （１）エッジ情報の対応する点のフラグを参照し処理を
分岐する。 （２）フラグが０の場合は、エッジ点ではないので、第
２の実施例のように接触判定をおこない、接触していた
場合は移動制御情報により接触を移動前景物体生成部に
通知する。 （３）フラグが１の場合は、通り抜け可能なエッジ部で
ある。第１の実施例のようにＺバッファによる隠面処理
をおこなう。 （４）フラグが２の場合は、奥行き方向に通り抜け不可
能なエッジがある。その場合は、エッジの最大値、最小
値の間に物体がある場合、奥行き方向と反対側に移動方
向を反射するよう、移動制御情報を移動前景物体生成部
に通知する。以上の処理に応じて、移動前景物体生成部
では必要に応じて移動方向を修正し、移動物体を生成す
る。

【００６２】なお、以上のすべてについて、パノラマ画
像を用いた実施例により説明をしたが、本発明の背景画
像はパノラマ画像に限定されるものではない。例えば、
従来の技術で説明した平面画像に対しても、円柱座標系
を直交座標系に置き換えることにより容易に適用でき
る。また、円柱ではなく球体に投影された背景画像を用
いてもよい。その場合は円柱座標系を極座標系に置き換
えれば良い。

【００６３】また、背景画像と、背景奥行き情報、背景
傾き情報、背景エッジ情報は、各要素が同一の背景の点
に関する、同じ大きさの２次元配列であるので、配列の
要素を拡張し、それら同一の配列に複数の情報をもたせ
ることも可能である。その場合、配列のアクセスが各画
素毎に一度で済むという利点がある。

【００６４】

【発明の効果】以上、詳細に説明したように、本発明に
よれば、視点の回転による背景の合成とともに、前景の
物体と背景との３次元的な相互作用である、隠面処理、
面による反射を処理することにより、３次元の空間とし
ての臨場感を高める画像合成が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の概略構成図である。

【図２】背景画像と背景奥行きとの関係を示す説明図。

【図３】背景画像と背景奥行きとの関係を示す説明図。

【図４】背景画像と背景奥行きとの関係を示す説明図。

【図５】背景画像と背景奥行きとの関係を示す説明図。

【図６】前景物体の形状表現と、座標系の説明図。

【図７】本発明の第１の実施例の処理フローチャート。

【図８】本発明の第２の実施例の概略構成図。

【図９】本発明の第２の実施例の処理フローチャート。

【図１０】本発明の第３の実施例の概略構成図。

【図１１】本発明の第４の実施例の概略構成図。

【図１２】奥行きエッジ情報の説明図。

【図１３】本発明の第４の実施例の処理フローチャー
ト。

【図１４】従来例の説明図。

【図１５】従来例の説明図。

【符号の説明】

１０１ 背景画像記憶部 １０２ 背景画像切り出し部 １０３ 波形奥行き記憶部 １０４ 前景物体生成部 １０５ 背景前景物体合成部 ５０１ 移動前景物体生成部 ５０２ 背景前景物体合成部 ７０１ 背景反射情報記憶部 ７０２ 移動前景物体生成部 ７０３ 背景前景合成部 ８０１ エッジ情報記憶部 ８０２ 背景前景合成部 ８０３ 移動前景物体生成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｇ 5/36 ５１０ Ｖ 9471−5Ｇ ５２０ Ｌ 9471−5Ｇ Ｈ０４Ｎ 5/272 9365−5Ｌ Ｇ０６Ｆ 15/72 ３８０

Claims (8)

【特許請求の範囲】
1. 【請求項１】広範囲の背景の画像を記憶する背景画像記
   憶手段と、前記背景の画像に関しての奥行き情報を記憶
   する背景奥行き記憶手段と、３次元空間に配置された前
   景物体の形状、位置、大きさ、あるいは速度等の物体情
   報を入力する前景物体情報入力手段と、前記物体情報
   と、前記背景画像と、前記奥行き情報とから、前記背景
   と前記物体の合成画像を合成する合成手段と、を備えた
   ことを特徴とする画像合成装置。
2. 【請求項２】広範囲の背景の画像を記憶する背景画像記
   憶手段と、前記背景の画像に関しての奥行き情報を記憶
   する背景奥行き記憶手段と、視点情報から前記背景画像
   記憶手段から視野に入っている背景画像を切り出す背景
   画像切り出し手段と、３次元空間に配置された前景物体
   の形状、位置、大きさ、あるいは速度等の物体情報を入
   力する前景物体情報入力手段と、前記物体情報と、前記
   背景景画像切り出し手段からの背景画像と、前記奥行き
   情報とから、前記背景と前記物体の合成画像を合成する
   合成手段と、を備えたことを特徴とする画像合成装置。
3. 【請求項３】前記合成手段は、前記物体と前記背景との
   接触を検出し、その結果生じる前記物体の移動を計算す
   ることを特徴とする請求項２記載の画像合成装置。
4. 【請求項４】前記合成手段は、前記接触による前記物体
   の移動の方向を、前記奥行き情報から得られた背景の面
   の傾斜から、計算することを特徴とする請求項３記載の
   画像合成装置。
5. 【請求項５】前記背景奥行き記憶手段は、不連続な箇所
   に関する情報も有し、前記合成手段は、前記物体と前記
   背景との接触を検出するにあたり、前記不連続な箇所に
   おける前記物体の通り抜け可能性を判定することを特徴
   とする請求項３記載の画像合成装置。
6. 【請求項６】広範囲の背景の画像を記憶する背景画像記
   憶手段と、前記背景の画像に関しての奥行き情報を記憶
   する背景奥行き記憶手段と、３次元空間に配置された前
   景物体の形状、位置、大きさ、あるいは速度等の物体情
   報を入力する前景物体情報入力手段と、前記背景及び／
   又は前記物体の物理的性質を記憶する物理的性質記憶手
   段と、前記物体情報と、前記背景画像と、前記奥行き情
   報と、前記物理的性質から、前記背景と前記物体の合成
   画像を合成する合成手段と、を備えたことを特徴とする
   画像合成装置。
7. 【請求項７】前記物理的性質は、反射係数であることを
   特徴とする請求項６記載の画像合成装置。
8. 【請求項８】前記物理的性質は、熱、温度特性であるこ
   とを特徴とする請求項６記載の画像合成装置。