JP3457104B2 - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JP3457104B2 JP3457104B2 JP23710995A JP23710995A JP3457104B2 JP 3457104 B2 JP3457104 B2 JP 3457104B2 JP 23710995 A JP23710995 A JP 23710995A JP 23710995 A JP23710995 A JP 23710995A JP 3457104 B2 JP3457104 B2 JP 3457104B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- line
- input
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、既存の入力画像
から新たな視点位置における画像を合成する画像合成装
置に関するものである。
から新たな視点位置における画像を合成する画像合成装
置に関するものである。
【０００２】
【従来の技術】図１８は例えば「３次元画像コンファレ
ンス’９４講演論文集」１９９４年テレビジョン学会発
行 第７頁から第１２頁に示された従来の画像合成装置
の動作原理を示す説明図であり、図において、ａ1 ，ａ
2 ，・・・，ａn はカメラにより撮影された多視点の入
力画像、２は入力画像ａ1 の視点位置、３は入力画像ａ
2 の視点位置、４は入力画像ａn の視点位置、５は入力
画像ａ1 の光軸方向、６は入力画像ａ2 の光軸方向、７
は入力画像ａn の光軸方向、８は入力画像ａ1の投影
面、９は入力画像ａ2 の投影面、１０は入力画像ａn の
投影面、１１は入力画像ａ2 のｉ番目の縦方向成分、１
２は多視点の入力画像ａ1 〜ａn から合成する合成画
像、１３は合成画像１２のｉ番目の縦方向成分、１４は
合成画像１２の視点位置、１５は合成画像１２の光軸方
向、１６は合成画像１２の投影面、１７は投影面１６上
の領域、１８は合成画像１２の視点位置１４と領域１７
とを結ぶＺＸ平面上の視線直線である。
ンス’９４講演論文集」１９９４年テレビジョン学会発
行 第７頁から第１２頁に示された従来の画像合成装置
の動作原理を示す説明図であり、図において、ａ1 ，ａ
2 ，・・・，ａn はカメラにより撮影された多視点の入
力画像、２は入力画像ａ1 の視点位置、３は入力画像ａ
2 の視点位置、４は入力画像ａn の視点位置、５は入力
画像ａ1 の光軸方向、６は入力画像ａ2 の光軸方向、７
は入力画像ａn の光軸方向、８は入力画像ａ1の投影
面、９は入力画像ａ2 の投影面、１０は入力画像ａn の
投影面、１１は入力画像ａ2 のｉ番目の縦方向成分、１
２は多視点の入力画像ａ1 〜ａn から合成する合成画
像、１３は合成画像１２のｉ番目の縦方向成分、１４は
合成画像１２の視点位置、１５は合成画像１２の光軸方
向、１６は合成画像１２の投影面、１７は投影面１６上
の領域、１８は合成画像１２の視点位置１４と領域１７
とを結ぶＺＸ平面上の視線直線である。
【０００３】次に動作について説明する。従来の画像合
成装置の場合、Ｘ軸上に視点位置２，３，４を有すると
ともに、光軸方向５，６，７がＺ軸と平行になる多視点
の入力画像ａ1 〜ａn から、光軸方向１５がＺ軸と平行
になる合成画像１２を生成する。
成装置の場合、Ｘ軸上に視点位置２，３，４を有すると
ともに、光軸方向５，６，７がＺ軸と平行になる多視点
の入力画像ａ1 〜ａn から、光軸方向１５がＺ軸と平行
になる合成画像１２を生成する。
【０００４】具体的には、まず、新たな視点位置１４に
着目し、合成画像１２のｉ番目の縦方向成分１３に対応
する投影面１６上の領域１７と視点位置１４とを結ぶ視
線直線１８を求め、その視線直線１８とＸ軸の交点を求
める。交点のＸ座標をＸ（ｉ）とする。
着目し、合成画像１２のｉ番目の縦方向成分１３に対応
する投影面１６上の領域１７と視点位置１４とを結ぶ視
線直線１８を求め、その視線直線１８とＸ軸の交点を求
める。交点のＸ座標をＸ（ｉ）とする。
【０００５】そして、交点のＸ座標Ｘ（ｉ）を視点位置
とする入力画像を多視点の入力画像ａ1 〜ａn のなかか
ら検索する。図１８の場合、この交点が入力画像ａ2 の
視点位置３と一致し、視線直線１８が入力画像ａ2 にお
けるｉ番目の縦方向成分１１に対応する領域（投影面９
上の領域）を通過するので、入力画像ａ2 が検索され
る。
とする入力画像を多視点の入力画像ａ1 〜ａn のなかか
ら検索する。図１８の場合、この交点が入力画像ａ2 の
視点位置３と一致し、視線直線１８が入力画像ａ2 にお
けるｉ番目の縦方向成分１１に対応する領域（投影面９
上の領域）を通過するので、入力画像ａ2 が検索され
る。
【０００６】そして、このように入力画像ａ2 が検索さ
れた場合、入力画像ａ2 のｉ番目の縦方向成分１１が合
成画像１２のｉ番目の縦方向成分１３となるように、入
力画像ａ2 のｉ番目の縦方向成分１１を合成画像１２の
ｉ番目の縦方向成分１３に転写する（式（１）参照）。 Ｈ（ｉ，ｊ） ← Ｇ（ｉ，ｊ） ・・・（１） ただし、Ｇ（ｉ，ｊ）は入力画像の画像データ Ｈ（ｉ，ｊ）は合成画像の画像データ ｉは各画像の横方向の画素を特定する変数 ｊは各画像の縦方向の画素を特定する変数
れた場合、入力画像ａ2 のｉ番目の縦方向成分１１が合
成画像１２のｉ番目の縦方向成分１３となるように、入
力画像ａ2 のｉ番目の縦方向成分１１を合成画像１２の
ｉ番目の縦方向成分１３に転写する（式（１）参照）。 Ｈ（ｉ，ｊ） ← Ｇ（ｉ，ｊ） ・・・（１） ただし、Ｇ（ｉ，ｊ）は入力画像の画像データ Ｈ（ｉ，ｊ）は合成画像の画像データ ｉは各画像の横方向の画素を特定する変数 ｊは各画像の縦方向の画素を特定する変数
【０００７】そして、入力画像ａ2 のｉ番目の縦方向成
分１１を転写すると、ｉの値を１インクリメントして、
ｉの値が１から画像の横方向画素の数になるまで上記の
動作を繰り返し、合成画像１２を完成させる。
分１１を転写すると、ｉの値を１インクリメントして、
ｉの値が１から画像の横方向画素の数になるまで上記の
動作を繰り返し、合成画像１２を完成させる。
【０００８】
【発明が解決しようとする課題】従来の画像合成装置は
以上のように構成されているので、Ｘ軸上に視点位置を
有する入力画像ａ1 〜ａn の光軸方向がＺ軸と平行にな
るとともに、合成画像１２の光軸方向１５がＺ軸と平行
になる場合には、当該入力画像ａ1 〜ａn から合成画像
１２を生成することができるが、多視点の入力画像ａ1
〜ａn がＸ軸上に視点位置を有していない場合や、入力
画像ａ1 〜ａn 又は合成画像１２の光軸方向の何れかが
Ｚ軸と平行にならない場合には、当該入力画像ａ1 〜ａ
n から合成画像１２を生成することができず、合成画像
１２を生成する上で極めて多くの制約がある課題があっ
た。また、視線直線１８とＸ軸の交点を視点位置とする
入力画像が存在する場合には合成画像１２を生成するこ
とができるが、当該交点を視点位置とする入力画像が存
在しない場合には合成画像１２を生成することができ
ず、従って、各入力画像の視点位置間に視点位置を有す
る補間画像をあらかじめ生成しておく必要があるなどの
課題もあった。
以上のように構成されているので、Ｘ軸上に視点位置を
有する入力画像ａ1 〜ａn の光軸方向がＺ軸と平行にな
るとともに、合成画像１２の光軸方向１５がＺ軸と平行
になる場合には、当該入力画像ａ1 〜ａn から合成画像
１２を生成することができるが、多視点の入力画像ａ1
〜ａn がＸ軸上に視点位置を有していない場合や、入力
画像ａ1 〜ａn 又は合成画像１２の光軸方向の何れかが
Ｚ軸と平行にならない場合には、当該入力画像ａ1 〜ａ
n から合成画像１２を生成することができず、合成画像
１２を生成する上で極めて多くの制約がある課題があっ
た。また、視線直線１８とＸ軸の交点を視点位置とする
入力画像が存在する場合には合成画像１２を生成するこ
とができるが、当該交点を視点位置とする入力画像が存
在しない場合には合成画像１２を生成することができ
ず、従って、各入力画像の視点位置間に視点位置を有す
る補間画像をあらかじめ生成しておく必要があるなどの
課題もあった。
【０００９】この発明は上記のような課題を解決するた
めになされたもので、入力画像及び合成画像の光軸方向
がＺＸ平面内において限定されず、任意の方向を向いて
いても合成画像を生成できるとともに、補間画像をあら
かじめ生成することなく合成画像を生成できる画像合成
装置を得ることを目的とする。
めになされたもので、入力画像及び合成画像の光軸方向
がＺＸ平面内において限定されず、任意の方向を向いて
いても合成画像を生成できるとともに、補間画像をあら
かじめ生成することなく合成画像を生成できる画像合成
装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】請求項１記載の発明に係
る画像合成装置は、入力画像の視点位置からその入力画
像の各部分画像に向かう第１の視線ベクトルの方向と、
合成画像の視点位置からその合成画像の各部分画像に向
かう第２の視線ベクトルの方向を比較して、その合成画
像の各部分画像に対して最も合致度の高い入力画像の部
分画像をそれぞれ検索し、それぞれ検索した入力画像の
部分画像をその合成画像の各部分画像にそれぞれ転写す
るようにしたものである。
る画像合成装置は、入力画像の視点位置からその入力画
像の各部分画像に向かう第１の視線ベクトルの方向と、
合成画像の視点位置からその合成画像の各部分画像に向
かう第２の視線ベクトルの方向を比較して、その合成画
像の各部分画像に対して最も合致度の高い入力画像の部
分画像をそれぞれ検索し、それぞれ検索した入力画像の
部分画像をその合成画像の各部分画像にそれぞれ転写す
るようにしたものである。
【００１１】請求項２記載の発明に係る画像合成装置
は、入力画像及び合成画像をそれぞれ複数の部分画像に
分割する際、その入力画像及び合成画像を構成する各画
素ごとに分割するようにしたものである。
は、入力画像及び合成画像をそれぞれ複数の部分画像に
分割する際、その入力画像及び合成画像を構成する各画
素ごとに分割するようにしたものである。
【００１２】請求項３記載の発明に係る画像合成装置
は、第１の視点ベクトルに係る内積と第２の視点ベクト
ルに係る内積を演算する内積演算手段を設け、最も合致
度の高い入力画像の部分画像を検索する際、その第１の
視線ベクトルに係る方向及び内積と第２の視線ベクトル
に係る方向及び内積をそれぞれ比較するようにしたもの
である。
は、第１の視点ベクトルに係る内積と第２の視点ベクト
ルに係る内積を演算する内積演算手段を設け、最も合致
度の高い入力画像の部分画像を検索する際、その第１の
視線ベクトルに係る方向及び内積と第２の視線ベクトル
に係る方向及び内積をそれぞれ比較するようにしたもの
である。
【００１３】請求項４記載の発明に係る画像合成装置
は、座標軸の原点から第１の視線ベクトルがのる直線上
に下ろした垂線の足の位置と入力画像の視点位置間の距
離を求めるとともに、座標軸の原点から第２の視線ベク
トルがのる直線上に下ろした垂線の足の位置と合成画像
の視点位置間の距離を求める距離演算手段を設け、最も
合致度の高い入力画像の部分画像を検索する際、第１の
視線ベクトルに係る方向，内積及び距離と第２の視線ベ
クトルに係る方向，内積及び距離をそれぞれ比較するよ
うにしたものである。
は、座標軸の原点から第１の視線ベクトルがのる直線上
に下ろした垂線の足の位置と入力画像の視点位置間の距
離を求めるとともに、座標軸の原点から第２の視線ベク
トルがのる直線上に下ろした垂線の足の位置と合成画像
の視点位置間の距離を求める距離演算手段を設け、最も
合致度の高い入力画像の部分画像を検索する際、第１の
視線ベクトルに係る方向，内積及び距離と第２の視線ベ
クトルに係る方向，内積及び距離をそれぞれ比較するよ
うにしたものである。
【００１４】請求項５記載の発明に係る画像合成装置
は、第１及び第２の視線ベクトルの方向に基づいて入力
画像及び合成画像の各部分画像が属するブロックを特定
し、最も合致度の高い入力画像の部分画像を検索する
際、合成画像の部分画像が属するブロックと同一のブロ
ックに属する入力画像の部分画像のなかから検索するよ
うにしたものである。
は、第１及び第２の視線ベクトルの方向に基づいて入力
画像及び合成画像の各部分画像が属するブロックを特定
し、最も合致度の高い入力画像の部分画像を検索する
際、合成画像の部分画像が属するブロックと同一のブロ
ックに属する入力画像の部分画像のなかから検索するよ
うにしたものである。
【００１５】請求項６記載の発明に係る画像合成装置
は、第１及び第２の視線ベクトルに係る方向及び内積に
基づいて入力画像及び合成画像の各部分画像が属するブ
ロックを特定し、最も合致度の高い入力画像の部分画像
を検索する際、合成画像の部分画像が属するブロックと
同一のブロックに属する入力画像の部分画像のなかから
検索するようにしたものである。
は、第１及び第２の視線ベクトルに係る方向及び内積に
基づいて入力画像及び合成画像の各部分画像が属するブ
ロックを特定し、最も合致度の高い入力画像の部分画像
を検索する際、合成画像の部分画像が属するブロックと
同一のブロックに属する入力画像の部分画像のなかから
検索するようにしたものである。
【００１６】請求項７記載の発明に係る画像合成装置
は、第１及び第２の視線ベクトルに係る方向，内積及び
距離に基づいて入力画像及び合成画像の各部分画像が属
するブロックを特定し、最も合致度の高い入力画像の部
分画像を検索する際、合成画像の部分画像が属するブロ
ックと同一のブロックに属する入力画像の部分画像のな
かから検索するようにしたものである。
は、第１及び第２の視線ベクトルに係る方向，内積及び
距離に基づいて入力画像及び合成画像の各部分画像が属
するブロックを特定し、最も合致度の高い入力画像の部
分画像を検索する際、合成画像の部分画像が属するブロ
ックと同一のブロックに属する入力画像の部分画像のな
かから検索するようにしたものである。
【００１７】請求項８記載の発明に係る画像合成装置
は、合成画像の各部分画像に対して入力画像の部分画像
を転写する際、その入力画像の部分画像に向かう第１の
視線ベクトルとその合成画像の部分画像に向かう第２の
視線ベクトルが、撮影対象物体が存在する平面内におい
て一致するか否かを判定し、一致しない場合には、その
第１及び第２の視線ベクトルに係る方向及び内積と入力
画像の視点位置から撮影対象物体が存在する平面までの
距離に基づいて転写する入力画像の部分画像を変更する
ようにしたものである。
は、合成画像の各部分画像に対して入力画像の部分画像
を転写する際、その入力画像の部分画像に向かう第１の
視線ベクトルとその合成画像の部分画像に向かう第２の
視線ベクトルが、撮影対象物体が存在する平面内におい
て一致するか否かを判定し、一致しない場合には、その
第１及び第２の視線ベクトルに係る方向及び内積と入力
画像の視点位置から撮影対象物体が存在する平面までの
距離に基づいて転写する入力画像の部分画像を変更する
ようにしたものである。
【００１８】請求項９記載の発明に係る画像合成装置
は、合成画像の各部分画像に対して入力画像の部分画像
を転写する際、その入力画像及び合成画像の視点位置か
ら撮影対象物体が存在する平面までの距離に基づいてそ
の入力画像の部分画像を拡大または縮小するようにした
ものである。
は、合成画像の各部分画像に対して入力画像の部分画像
を転写する際、その入力画像及び合成画像の視点位置か
ら撮影対象物体が存在する平面までの距離に基づいてそ
の入力画像の部分画像を拡大または縮小するようにした
ものである。
【００１９】請求項１０記載の発明に係る画像合成装置
は、転写手段により検索された入力画像の部分画像に係
る合致度が予め設定された所定の合致度より小さい場
合、画像撮影手段の視点位置から第２の視線ベクトルが
のる直線上に下ろした垂線の足の位置に、その画像撮影
手段の視点位置を移動するとともに、画像撮影手段の光
軸をその第２の視線ベクトルの方向に一致させるように
したものである。
は、転写手段により検索された入力画像の部分画像に係
る合致度が予め設定された所定の合致度より小さい場
合、画像撮影手段の視点位置から第２の視線ベクトルが
のる直線上に下ろした垂線の足の位置に、その画像撮影
手段の視点位置を移動するとともに、画像撮影手段の光
軸をその第２の視線ベクトルの方向に一致させるように
したものである。
【００２０】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像合成装置を示すブロック図、図２は図１の画像合成装
置の動作原理を示す説明図であり、図２において、２１
は入力画像、２２は入力画像２１の部分画像（入力画像
２１のｉ番目の縦方向成分）、２３は入力画像２１の視
点位置、２４は入力画像２１の投影面、２５は入力画像
２１の光軸方向ψ1 、２６は入力画像２１の投影面２４
における部分画像（部分画像２２に相当する）、２７は
視点位置２３から部分画像２６に向かう視線ベクトル
（第１の視線ベクトル）、２８は座標軸の原点、２９は
視線ベクトル２７の方向θ1 からＺＸ平面内で−９０度
ずれた方向を有する大きさ１のベクトル、３０は座標軸
の原点２８から視点位置２３に向かうベクトル、３１は
入力画像２１から合成する合成画像、３２は合成画像３
１の部分画像（合成画像３１のｉ番目の縦方向成分）、
３３は合成画像３１の視点位置、３４は合成画像３１の
投影面、３５は合成画像３１の光軸方向ψ2 、３６は合
成画像３１の投影面３４における部分画像（部分画像３
２に相当する）、３７は視点位置３３から部分画像３６
に向かう視線ベクトル（第２の視線ベクトル）、３８は
座標軸の原点２８から視点位置３３に向かうベクトルで
ある。
説明する。 実施の形態１．図１はこの発明の実施の形態１による画
像合成装置を示すブロック図、図２は図１の画像合成装
置の動作原理を示す説明図であり、図２において、２１
は入力画像、２２は入力画像２１の部分画像（入力画像
２１のｉ番目の縦方向成分）、２３は入力画像２１の視
点位置、２４は入力画像２１の投影面、２５は入力画像
２１の光軸方向ψ1 、２６は入力画像２１の投影面２４
における部分画像（部分画像２２に相当する）、２７は
視点位置２３から部分画像２６に向かう視線ベクトル
（第１の視線ベクトル）、２８は座標軸の原点、２９は
視線ベクトル２７の方向θ1 からＺＸ平面内で−９０度
ずれた方向を有する大きさ１のベクトル、３０は座標軸
の原点２８から視点位置２３に向かうベクトル、３１は
入力画像２１から合成する合成画像、３２は合成画像３
１の部分画像（合成画像３１のｉ番目の縦方向成分）、
３３は合成画像３１の視点位置、３４は合成画像３１の
投影面、３５は合成画像３１の光軸方向ψ2 、３６は合
成画像３１の投影面３４における部分画像（部分画像３
２に相当する）、３７は視点位置３３から部分画像３６
に向かう視線ベクトル（第２の視線ベクトル）、３８は
座標軸の原点２８から視点位置３３に向かうベクトルで
ある。
【００２１】また、図１において、４１は入力画像２１
を撮影する画像入力装置（画像撮影手段）、４２は入力
画像２１の視点位置２３及び光軸方向ψ1 ２５を入力す
るとともに、画像入力装置４１の画角φを入力する視点
情報入力装置（入力手段）、４３は合成画像３１の視点
位置３３及び光軸方向ψ2 ３５を入力する視点指示装置
（入力手段）、４４は入力画像２１を複数の部分画像２
２（または２６）に分割するとともに、合成画像３１を
複数の部分画像３２（または３６）に分割する画像処理
装置（画像分割手段）、４５は視線ベクトル２７の方向
θ1 及びベクトル２９とベクトル３０の内積ρ1 を演算
するとともに、視線ベクトル３７の方向θ2 及びベクト
ル（図面の都合上図示していないが、視線ベクトル３７
の方向θ 2 からＺＸ平面内で−９０度ずれた方向を有す
る大きさ１のベクトルである。なお、詳細は後述する
が、図２ではθ1 とθ2 は一致するので、当該ベクトル
はベクトル２９と一致する）とベクトル３８の内積ρ2
を演算する視線決定装置（方向演算手段、内積演算手
段）である。
を撮影する画像入力装置（画像撮影手段）、４２は入力
画像２１の視点位置２３及び光軸方向ψ1 ２５を入力す
るとともに、画像入力装置４１の画角φを入力する視点
情報入力装置（入力手段）、４３は合成画像３１の視点
位置３３及び光軸方向ψ2 ３５を入力する視点指示装置
（入力手段）、４４は入力画像２１を複数の部分画像２
２（または２６）に分割するとともに、合成画像３１を
複数の部分画像３２（または３６）に分割する画像処理
装置（画像分割手段）、４５は視線ベクトル２７の方向
θ1 及びベクトル２９とベクトル３０の内積ρ1 を演算
するとともに、視線ベクトル３７の方向θ2 及びベクト
ル（図面の都合上図示していないが、視線ベクトル３７
の方向θ 2 からＺＸ平面内で−９０度ずれた方向を有す
る大きさ１のベクトルである。なお、詳細は後述する
が、図２ではθ1 とθ2 は一致するので、当該ベクトル
はベクトル２９と一致する）とベクトル３８の内積ρ2
を演算する視線決定装置（方向演算手段、内積演算手
段）である。
【００２２】また、４６は視線ベクトルの方向と内積に
よって特定されるθρ空間を複数のブロック５０に分割
するとともに（図３参照）、視線ベクトル２７，３７に
係る方向θ1 ，θ2 及び内積ρ1 ，ρ2 に基づいて入力
画像２１及び合成画像３１の各部分画像２６，３６が属
するブロックを特定する構造化装置（ブロック特定手
段）、４７は視点情報入力装置４２及び視点指示装置４
３により入力された各種の情報を記憶するとともに、画
像処理装置４４によって分割された各部分画像２６，３
６を記憶する記憶装置である。
よって特定されるθρ空間を複数のブロック５０に分割
するとともに（図３参照）、視線ベクトル２７，３７に
係る方向θ1 ，θ2 及び内積ρ1 ，ρ2 に基づいて入力
画像２１及び合成画像３１の各部分画像２６，３６が属
するブロックを特定する構造化装置（ブロック特定手
段）、４７は視点情報入力装置４２及び視点指示装置４
３により入力された各種の情報を記憶するとともに、画
像処理装置４４によって分割された各部分画像２６，３
６を記憶する記憶装置である。
【００２３】また、４８は視線ベクトル２７に係る方向
θ1 及び内積ρ1 と視線ベクトル３７に係る方向θ2 及
び内積ρ2 をそれぞれ比較して、合成画像３１の各部分
画像３６に対して最も合致度の高い入力画像２１の部分
画像２６をそれぞれ検索し、それぞれ検索した入力画像
２１の部分画像２６をその合成画像３１の各部分画像３
６にそれぞれ転写する合成画像生成装置（転写手段）、
４９は合成画像生成装置４８により生成された合成画像
３１を表示するディスプレイ装置である。因に、図３及
び図４は実施の形態１による画像合成装置の動作を示す
フローチャートである。
θ1 及び内積ρ1 と視線ベクトル３７に係る方向θ2 及
び内積ρ2 をそれぞれ比較して、合成画像３１の各部分
画像３６に対して最も合致度の高い入力画像２１の部分
画像２６をそれぞれ検索し、それぞれ検索した入力画像
２１の部分画像２６をその合成画像３１の各部分画像３
６にそれぞれ転写する合成画像生成装置（転写手段）、
４９は合成画像生成装置４８により生成された合成画像
３１を表示するディスプレイ装置である。因に、図３及
び図４は実施の形態１による画像合成装置の動作を示す
フローチャートである。
【００２４】次に動作について説明する。まず、画像入
力装置４１が入力画像２１を撮影する一方、視点情報入
力装置４２が入力画像２１の視点位置２３及び光軸方向
ψ1 ２５を入力するとともに、画像入力装置４１の画角
φを入力する（ステップＳＴ２）。因に、視点位置２３
は、画像入力装置４１に取り付けられた位置センサの計
測等によって入力する。なお、これらの入力に際し、ス
テップＳＴ１において、後述するブロック５０に属する
部分画像２６の個数を示す配列Ａの要素をすべて０に初
期化するとともに、部分画像２６の番号を示す変数ｎを
１に初期化する（例えば、入力画像２１の横方向の画素
数が１２８個で、入力画像２１の数が３個ある場合、ｎ
の値は最大で３８４（＝１２８×３個）になる。
力装置４１が入力画像２１を撮影する一方、視点情報入
力装置４２が入力画像２１の視点位置２３及び光軸方向
ψ1 ２５を入力するとともに、画像入力装置４１の画角
φを入力する（ステップＳＴ２）。因に、視点位置２３
は、画像入力装置４１に取り付けられた位置センサの計
測等によって入力する。なお、これらの入力に際し、ス
テップＳＴ１において、後述するブロック５０に属する
部分画像２６の個数を示す配列Ａの要素をすべて０に初
期化するとともに、部分画像２６の番号を示す変数ｎを
１に初期化する（例えば、入力画像２１の横方向の画素
数が１２８個で、入力画像２１の数が３個ある場合、ｎ
の値は最大で３８４（＝１２８×３個）になる。
【００２５】そして、入力画像２１が撮影されると、画
像処理装置４４が入力画像２１を複数の部分画像２６に
分割する。具体的には、図２に示すように、入力画像２
１の縦１列の画素が部分画像２６となるように入力画像
２１を分割する。これにより、入力画像２１の部分画像
２６がｉ個生成されることになる。そして、入力画像２
１の分割に際し、入力画像２１の画像データＧ（ｉ，
ｊ）からｉ番目の部分画像２６を取り出してｎ番目の部
分画像データＫｎを生成する（ステップＳＴ４）。 Ｋｎ ← Ｇ（ｉ，ｊ） ・・・（２） ただし、ステップＳＴ３において、入力画像２１の横方
向の画素を特定する変数ｉを１に初期化する。
像処理装置４４が入力画像２１を複数の部分画像２６に
分割する。具体的には、図２に示すように、入力画像２
１の縦１列の画素が部分画像２６となるように入力画像
２１を分割する。これにより、入力画像２１の部分画像
２６がｉ個生成されることになる。そして、入力画像２
１の分割に際し、入力画像２１の画像データＧ（ｉ，
ｊ）からｉ番目の部分画像２６を取り出してｎ番目の部
分画像データＫｎを生成する（ステップＳＴ４）。 Ｋｎ ← Ｇ（ｉ，ｊ） ・・・（２） ただし、ステップＳＴ３において、入力画像２１の横方
向の画素を特定する変数ｉを１に初期化する。
【００２６】そして、部分画像データＫｎを生成する
と、視線決定装置４５が入力画像２１の光軸方向ψ1 ２
５及び画像入力装置４１の画角φに基づいて視線ベクト
ル２７の方向θ1 を演算するとともに、ベクトル２９と
ベクトル３０の内積ρ1 を演算する（ステップＳＴ
５）。 θ1 ＝ψ1 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（３） ρ1 ＝Ｚ1 ｃｏｓ（θ1 −π／２）＋Ｘ1 ｓｉｎ（θ1 −π／２） ・・・（４） ただし、ＭX は入力画像２１の横方向の画素数 Ｘ1 は視点位置２３のＸ座標 Ｚ1 は視点位置２３のＺ座標
と、視線決定装置４５が入力画像２１の光軸方向ψ1 ２
５及び画像入力装置４１の画角φに基づいて視線ベクト
ル２７の方向θ1 を演算するとともに、ベクトル２９と
ベクトル３０の内積ρ1 を演算する（ステップＳＴ
５）。 θ1 ＝ψ1 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（３） ρ1 ＝Ｚ1 ｃｏｓ（θ1 −π／２）＋Ｘ1 ｓｉｎ（θ1 −π／２） ・・・（４） ただし、ＭX は入力画像２１の横方向の画素数 Ｘ1 は視点位置２３のＸ座標 Ｚ1 は視点位置２３のＺ座標
【００２７】このようにして視線ベクトル２７が特定さ
れると、構造化装置４６が図３に示すように、視線ベク
トルの方向と内積によって特定されるθρ空間を複数の
ブロック５０に分割し、入力画像２１の部分画像２６に
係る視線ベクトル２７の方向θ1 と内積ρ1 に基づいて
当該部分画像２６が属するブロックを特定する（ステッ
プＳＴ６）。
れると、構造化装置４６が図３に示すように、視線ベク
トルの方向と内積によって特定されるθρ空間を複数の
ブロック５０に分割し、入力画像２１の部分画像２６に
係る視線ベクトル２７の方向θ1 と内積ρ1 に基づいて
当該部分画像２６が属するブロックを特定する（ステッ
プＳＴ６）。
【００２８】具体的には、当該部分画像２６が属するブ
ロックの番号（ｈ，ｋ）を下記のように表すことによ
り、当該部分画像２６が属するブロックを特定する。例
えば、θ1 ＝１５０，Δθ＝４５，ρ1 ＝１５，Δρ＝
１２，ρ1 ’＝−１０であるとすれば、ｈ＝４で、ｋ＝
２になるので、図３において斜線が付されているブロッ
クに属することになる。 ｈ＝［θ1 ／Δθ］＋１ ・・・（５） ｋ＝［ρ1 ／Δρ］−［ρ1 ’／Δρ］＋１ ・・・（６） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ1 ’はρ1 のとりうる最小値
ロックの番号（ｈ，ｋ）を下記のように表すことによ
り、当該部分画像２６が属するブロックを特定する。例
えば、θ1 ＝１５０，Δθ＝４５，ρ1 ＝１５，Δρ＝
１２，ρ1 ’＝−１０であるとすれば、ｈ＝４で、ｋ＝
２になるので、図３において斜線が付されているブロッ
クに属することになる。 ｈ＝［θ1 ／Δθ］＋１ ・・・（５） ｋ＝［ρ1 ／Δρ］−［ρ1 ’／Δρ］＋１ ・・・（６） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ1 ’はρ1 のとりうる最小値
【００２９】そして、構造化装置４６は当該部分画像２
６が属するブロックを特定すると、ステップＳＴ７に示
すように、（ｈ，ｋ）で特定されるブロックに属する部
分画像の個数を示す配列Ａ［ｈ］［ｋ］を１インクリメ
ントするとともに、（ｈ，ｋ）で特定されるブロックに
属する部分画像の番号を示す配列Ｎ［ｈ］［ｋ］［ｍ］
にｎを追加する。さらに（ｈ，ｋ）で特定されるブロッ
クに属する部分画像の方向を示す配列Ｔ［ｈ］［ｋ］
［ｍ］にθ1 を代入し、部分画像の内積を示す配列Ｒ
［ｈ］［ｋ］［ｍ］にρ1 を代入する。ただし、ｍはＡ
［ｈ］［ｋ］である。
６が属するブロックを特定すると、ステップＳＴ７に示
すように、（ｈ，ｋ）で特定されるブロックに属する部
分画像の個数を示す配列Ａ［ｈ］［ｋ］を１インクリメ
ントするとともに、（ｈ，ｋ）で特定されるブロックに
属する部分画像の番号を示す配列Ｎ［ｈ］［ｋ］［ｍ］
にｎを追加する。さらに（ｈ，ｋ）で特定されるブロッ
クに属する部分画像の方向を示す配列Ｔ［ｈ］［ｋ］
［ｍ］にθ1 を代入し、部分画像の内積を示す配列Ｒ
［ｈ］［ｋ］［ｍ］にρ1 を代入する。ただし、ｍはＡ
［ｈ］［ｋ］である。
【００３０】そして、ステップＳＴ７の処理が終了する
と、部分画像２６の部分画像データＫｎを記憶装置４７
に記憶させるが、画像入力装置４１が撮影した全ての入
力画像２１の部分画像２６に対して、ステップＳＴ４〜
８の処理が終了したか否かを判別し、処理が終了するま
でステップＳＴ４〜８の処理を繰り返す（ステップＳＴ
９〜１１）。
と、部分画像２６の部分画像データＫｎを記憶装置４７
に記憶させるが、画像入力装置４１が撮影した全ての入
力画像２１の部分画像２６に対して、ステップＳＴ４〜
８の処理が終了したか否かを判別し、処理が終了するま
でステップＳＴ４〜８の処理を繰り返す（ステップＳＴ
９〜１１）。
【００３１】図４に示す処理が終了すると、今度は、視
点指示装置４３が入力画像２１から合成する合成画像３
１の視点位置３３及び光軸方向ψ2 ３５を入力する（ス
テップＳＴ２１）。因に、視点位置３３は、マウスある
いはキーボード等を用いて入力する。
点指示装置４３が入力画像２１から合成する合成画像３
１の視点位置３３及び光軸方向ψ2 ３５を入力する（ス
テップＳＴ２１）。因に、視点位置３３は、マウスある
いはキーボード等を用いて入力する。
【００３２】そして、視点位置３３等を入力すると、合
成画像３１の部分画像３６の番号を示す変数ｉを１に初
期化したのち（ステップＳＴ２２）、画像処理装置４４
が合成画像３１を複数の部分画像３６に分割する。具体
的には、図２に示すように、合成画像３１の縦１列の画
素が部分画像３６となるように合成画像３１を分割す
る。これにより、合成画像３１の部分画像３６がｉ個生
成されることになる。
成画像３１の部分画像３６の番号を示す変数ｉを１に初
期化したのち（ステップＳＴ２２）、画像処理装置４４
が合成画像３１を複数の部分画像３６に分割する。具体
的には、図２に示すように、合成画像３１の縦１列の画
素が部分画像３６となるように合成画像３１を分割す
る。これにより、合成画像３１の部分画像３６がｉ個生
成されることになる。
【００３３】そして、合成画像３１を複数の部分画像３
６に分割すると、視線決定装置４５が合成画像３１の光
軸方向ψ2 ３５及び画像入力装置４１の画角φに基づい
て視線ベクトル３７の方向θ2 を演算するとともに、視
線ベクトル３７の方向θ2 からＺＸ平面内で−９０度ず
れた方向を有する大きさ１のベクトルとベクトル３８の
内積ρ2 を演算し、視線ベクトル３７を特定する（ステ
ップＳＴ２３）。 θ2 ＝ψ2 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（７） ρ2 ＝Ｚ2 ｃｏｓ（θ2 −π／２）＋Ｘ2 ｓｉｎ（θ2 −π／２） ・・・（８） ただし、Ｘ2 は視点位置３３のＸ座標 Ｚ2 は視点位置３３のＺ座標
６に分割すると、視線決定装置４５が合成画像３１の光
軸方向ψ2 ３５及び画像入力装置４１の画角φに基づい
て視線ベクトル３７の方向θ2 を演算するとともに、視
線ベクトル３７の方向θ2 からＺＸ平面内で−９０度ず
れた方向を有する大きさ１のベクトルとベクトル３８の
内積ρ2 を演算し、視線ベクトル３７を特定する（ステ
ップＳＴ２３）。 θ2 ＝ψ2 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（７） ρ2 ＝Ｚ2 ｃｏｓ（θ2 −π／２）＋Ｘ2 ｓｉｎ（θ2 −π／２） ・・・（８） ただし、Ｘ2 は視点位置３３のＸ座標 Ｚ2 は視点位置３３のＺ座標
【００３４】このようにして視線ベクトル３７が特定さ
れると、構造化装置４６が合成画像３１の部分画像３６
に係る視線ベクトル３７の方向θ2 と内積ρ2 に基づい
て当該部分画像３６が属するブロックを特定する（ステ
ップＳＴ２４）。具体的には、当該部分画像３６が属す
るブロックの番号（ｈ，ｋ）を下記のように表すことに
より、当該部分画像３６が属するブロックを特定する。
例えば、θ2 ＝１５０，Δθ＝４５，ρ2 ＝１５，Δρ
＝１２，ρ2 ’＝−１０であるとすれば、ｈ＝４で、ｋ
＝２になるので、図３において斜線が付されているブロ
ックに属することになる。 ｈ＝［θ2 ／Δθ］＋１ ・・・（９） ｋ＝［ρ2 ／Δρ］−［ρ2 ’／Δρ］＋１ ・・・（１０） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ2 ’はρ2 のとりうる最小値
れると、構造化装置４６が合成画像３１の部分画像３６
に係る視線ベクトル３７の方向θ2 と内積ρ2 に基づい
て当該部分画像３６が属するブロックを特定する（ステ
ップＳＴ２４）。具体的には、当該部分画像３６が属す
るブロックの番号（ｈ，ｋ）を下記のように表すことに
より、当該部分画像３６が属するブロックを特定する。
例えば、θ2 ＝１５０，Δθ＝４５，ρ2 ＝１５，Δρ
＝１２，ρ2 ’＝−１０であるとすれば、ｈ＝４で、ｋ
＝２になるので、図３において斜線が付されているブロ
ックに属することになる。 ｈ＝［θ2 ／Δθ］＋１ ・・・（９） ｋ＝［ρ2 ／Δρ］−［ρ2 ’／Δρ］＋１ ・・・（１０） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ2 ’はρ2 のとりうる最小値
【００３５】そして、構造化装置４６が当該部分画像３
６の属するブロックを特定すると、合成画像生成装置４
８が合成画像３１の部分画像３６に対して最も合致度の
高い入力画像２１の部分画像２６を検索するが、視線ベ
クトル２７に係る方向θ1 及び内積ρ1 と視線ベクトル
３７に係る方向θ2 及び内積ρ2 がそれぞれ一致する場
合には、図２に示すように、視線ベクトル２７と視線ベ
クトル３７は同一直線上にあって同一方向を向いている
とみなすことができるので、互いに対応する部分画像２
６，３６は同一の景観を投影し、同様のパターンとな
る。したがって、これらが一致あるいは極めて近似する
場合、互いに対応する部分画像２６，３６は合致度の高
い画像であると言える。
６の属するブロックを特定すると、合成画像生成装置４
８が合成画像３１の部分画像３６に対して最も合致度の
高い入力画像２１の部分画像２６を検索するが、視線ベ
クトル２７に係る方向θ1 及び内積ρ1 と視線ベクトル
３７に係る方向θ2 及び内積ρ2 がそれぞれ一致する場
合には、図２に示すように、視線ベクトル２７と視線ベ
クトル３７は同一直線上にあって同一方向を向いている
とみなすことができるので、互いに対応する部分画像２
６，３６は同一の景観を投影し、同様のパターンとな
る。したがって、これらが一致あるいは極めて近似する
場合、互いに対応する部分画像２６，３６は合致度の高
い画像であると言える。
【００３６】そこで、合成画像生成装置４８は、合成画
像３１の部分画像３６に対して最も合致度の高い入力画
像２１の部分画像２６を検索するに際し、視線ベクトル
３７に係る方向θ2 及び内積ρ2 と最も近似する方向θ
1 及び内積ρ1 を有する視線ベクトル２７を検索する
が、同一のブロック（ｈ，ｋ）に属する部分画像２６，
３６に向かう視線ベクトル２７，３７の方向等は互いに
近似しているので、合成画像３１の部分画像３６が属す
るブロック（ｈ，ｋ）と同一のブロック（ｈ，ｋ）に属
する入力画像２１の部分画像２６のなかから検索する。
像３１の部分画像３６に対して最も合致度の高い入力画
像２１の部分画像２６を検索するに際し、視線ベクトル
３７に係る方向θ2 及び内積ρ2 と最も近似する方向θ
1 及び内積ρ1 を有する視線ベクトル２７を検索する
が、同一のブロック（ｈ，ｋ）に属する部分画像２６，
３６に向かう視線ベクトル２７，３７の方向等は互いに
近似しているので、合成画像３１の部分画像３６が属す
るブロック（ｈ，ｋ）と同一のブロック（ｈ，ｋ）に属
する入力画像２１の部分画像２６のなかから検索する。
【００３７】具体的には、まず、合成画像３１の部分画
像３６が属するブロック（ｈ，ｋ）と同じブロック
（ｈ，ｋ）に入力画像２１の部分画像２６が存在してい
るか否かを判別し（ステップＳＴ２５）、入力画像２１
の部分画像２６が存在する場合には、当該ブロックを検
索対象のブロックとする。ブロック（ｈ，ｋ）における
入力画像２１の部分画像２６の個数を示す配列Ａ［ｈ］
［ｋ］が０でなければ、入力画像２１の部分画像２６が
存在していると判断する。
像３６が属するブロック（ｈ，ｋ）と同じブロック
（ｈ，ｋ）に入力画像２１の部分画像２６が存在してい
るか否かを判別し（ステップＳＴ２５）、入力画像２１
の部分画像２６が存在する場合には、当該ブロックを検
索対象のブロックとする。ブロック（ｈ，ｋ）における
入力画像２１の部分画像２６の個数を示す配列Ａ［ｈ］
［ｋ］が０でなければ、入力画像２１の部分画像２６が
存在していると判断する。
【００３８】ここで、入力画像２１の部分画像２６が存
在していない場合には、ｈまたはｋの値を適宜変更し、
当該ブロック（ｈ，ｋ）に隣接するブロックに入力画像
２１の部分画像２６が存在しているか否か判別し（ステ
ップＳＴ２６，２５）、入力画像２１の部分画像２６が
存在するブロックを検索対象のブロックとする。変更す
る順番はあらかじめ設定しておき（例えば、右隣のブロ
ック→左隣のブロック→上隣のブロック→下隣のブロッ
ク→ ・・・ →右下隣のブロックのように設定してお
く）、入力画像２１の部分画像２６が存在するブロック
が見つかるまでｈ，ｋの値を変更する。
在していない場合には、ｈまたはｋの値を適宜変更し、
当該ブロック（ｈ，ｋ）に隣接するブロックに入力画像
２１の部分画像２６が存在しているか否か判別し（ステ
ップＳＴ２６，２５）、入力画像２１の部分画像２６が
存在するブロックを検索対象のブロックとする。変更す
る順番はあらかじめ設定しておき（例えば、右隣のブロ
ック→左隣のブロック→上隣のブロック→下隣のブロッ
ク→ ・・・ →右下隣のブロックのように設定してお
く）、入力画像２１の部分画像２６が存在するブロック
が見つかるまでｈ，ｋの値を変更する。
【００３９】そして、検索対象のブロック（ｈ，ｋ）を
特定すると、当該ブロック（ｈ，ｋ）に属する各部分画
像２６の合致度（ｆの値が小さいほど、合致度が高い）
を下記に示すように計算する。 ｆ ＝ Ｗ1 （Ｔ［ｈ］［ｋ］［ｍ］−θ2 ）2 ＋Ｗ2 （Ｒ［ｈ］［ｋ］［ｍ］−ρ2 ）2 ・・・（１１） ただし、Ｗ1 ，Ｗ2 は重み変数であり、正または０の値
である。
特定すると、当該ブロック（ｈ，ｋ）に属する各部分画
像２６の合致度（ｆの値が小さいほど、合致度が高い）
を下記に示すように計算する。 ｆ ＝ Ｗ1 （Ｔ［ｈ］［ｋ］［ｍ］−θ2 ）2 ＋Ｗ2 （Ｒ［ｈ］［ｋ］［ｍ］−ρ2 ）2 ・・・（１１） ただし、Ｗ1 ，Ｗ2 は重み変数であり、正または０の値
である。
【００４０】そして、上記計算から最も合致度の高い入
力画像２１の部分画像２６を見つけると、その部分画像
２６の部分画像データＫｎを記憶装置４７から読み込
み、その部分画像データＫｎを合成画像３１の部分画像
３６の部分画像データとして転写する（ステップＳＴ２
８）。 Ｈ（ｉ，ｊ） ← Ｋｎ ・・・（１２） ｎ＝Ｎ［ｈ］［ｋ］［ｍ0 ］ ただし、ｍ0 はＡ［ｈ］［ｋ］個のうち、ｍ0 番目の部
分画像２６が選択されたことを意味する。
力画像２１の部分画像２６を見つけると、その部分画像
２６の部分画像データＫｎを記憶装置４７から読み込
み、その部分画像データＫｎを合成画像３１の部分画像
３６の部分画像データとして転写する（ステップＳＴ２
８）。 Ｈ（ｉ，ｊ） ← Ｋｎ ・・・（１２） ｎ＝Ｎ［ｈ］［ｋ］［ｍ0 ］ ただし、ｍ0 はＡ［ｈ］［ｋ］個のうち、ｍ0 番目の部
分画像２６が選択されたことを意味する。
【００４１】そして、ステップＳＴ２８の処理が終了す
ると、合成画像３１の全ての部分画像３６に対して、ス
テップＳＴ２３〜２８の処理が終了したか否かを判別
し、処理が終了するまでステップＳＴ２３〜２８の処理
を繰り返す（ステップＳＴ２９，３０）。そして、上記
の処理が終了すると、ディスプレイ装置４９が完成した
合成画像３１を表示し（ステップＳＴ３１）、一連の処
理を終了する。
ると、合成画像３１の全ての部分画像３６に対して、ス
テップＳＴ２３〜２８の処理が終了したか否かを判別
し、処理が終了するまでステップＳＴ２３〜２８の処理
を繰り返す（ステップＳＴ２９，３０）。そして、上記
の処理が終了すると、ディスプレイ装置４９が完成した
合成画像３１を表示し（ステップＳＴ３１）、一連の処
理を終了する。
【００４２】以上より、この実施の形態１によれば、視
線ベクトル２７に係る方向θ1 及び内積ρ1 と、視線ベ
クトル３７に係る方向θ2 及び内積ρ2 を比較して、合
成画像３１の各部分画像３６に対して最も合致度の高い
入力画像２１の部分画像２６をそれぞれ検索し、それぞ
れ検索した入力画像２１の部分画像２６を合成画像３１
の各部分画像３６にそれぞれ転写するようにしたので、
入力画像２１及び合成画像３１の光軸方向がＺＸ平面内
において限定されず、任意の方向を向いていても合成画
像３１を生成できる効果を奏する。また、従来のものの
ように、補間画像をあらかじめ生成することなく合成画
像３１を生成できる効果も奏する。
線ベクトル２７に係る方向θ1 及び内積ρ1 と、視線ベ
クトル３７に係る方向θ2 及び内積ρ2 を比較して、合
成画像３１の各部分画像３６に対して最も合致度の高い
入力画像２１の部分画像２６をそれぞれ検索し、それぞ
れ検索した入力画像２１の部分画像２６を合成画像３１
の各部分画像３６にそれぞれ転写するようにしたので、
入力画像２１及び合成画像３１の光軸方向がＺＸ平面内
において限定されず、任意の方向を向いていても合成画
像３１を生成できる効果を奏する。また、従来のものの
ように、補間画像をあらかじめ生成することなく合成画
像３１を生成できる効果も奏する。
【００４３】また、この実施の形態１によれば、最も合
致度の高い入力画像２１の部分画像２６を検索する際、
合成画像３１の部分画像３６が属するブロック（ｈ，
ｋ）と同一のブロック（ｈ，ｋ）に属する入力画像２１
の部分画像２６のなかから検索するようにしたので、検
索する部分画像２６の数が限定され、部分画像２６の検
索を効率よく行える効果を奏する。
致度の高い入力画像２１の部分画像２６を検索する際、
合成画像３１の部分画像３６が属するブロック（ｈ，
ｋ）と同一のブロック（ｈ，ｋ）に属する入力画像２１
の部分画像２６のなかから検索するようにしたので、検
索する部分画像２６の数が限定され、部分画像２６の検
索を効率よく行える効果を奏する。
【００４４】実施の形態２．上記実施の形態１では、視
線ベクトルの方向と内積によって特定されるθρ空間を
複数のブロック５０に分割し、視線ベクトル２７，３７
に係る方向θ1 ，θ2 及び内積ρ1 ，ρ2 に基づいて入
力画像２１及び合成画像３１の各部分画像２６，３６が
属するブロックを特定するものについて示したが、視線
ベクトルの方向によって特定されるθ空間を複数のブロ
ック５０に分割し、視線ベクトル２７，３７の方向θ
1 ，θ2 に基づいて入力画像２１及び合成画像３１の各
部分画像２６，３６が属するブロックを特定するように
してもよい。
線ベクトルの方向と内積によって特定されるθρ空間を
複数のブロック５０に分割し、視線ベクトル２７，３７
に係る方向θ1 ，θ2 及び内積ρ1 ，ρ2 に基づいて入
力画像２１及び合成画像３１の各部分画像２６，３６が
属するブロックを特定するものについて示したが、視線
ベクトルの方向によって特定されるθ空間を複数のブロ
ック５０に分割し、視線ベクトル２７，３７の方向θ
1 ，θ2 に基づいて入力画像２１及び合成画像３１の各
部分画像２６，３６が属するブロックを特定するように
してもよい。
【００４５】この場合には、実施の形態１と比較して、
視線ベクトル２７，３７に係る内積ρ1 ，ρ2 が不定で
ある分だけ検索する部分画像２６の数が増加するが、す
べての部分画像２６を検索するよりは格段に検索する数
が限定されるので、上記実施の形態１と同様の効果を奏
することができる。また、上記実施の形態１より構成を
簡略化することができる。
視線ベクトル２７，３７に係る内積ρ1 ，ρ2 が不定で
ある分だけ検索する部分画像２６の数が増加するが、す
べての部分画像２６を検索するよりは格段に検索する数
が限定されるので、上記実施の形態１と同様の効果を奏
することができる。また、上記実施の形態１より構成を
簡略化することができる。
【００４６】実施の形態３．上記実施の形態１では、図
４の処理が終了したのち、図５の処理を行うものについ
て示したが、図４の処理と図５の処理を並列して行って
もよく、この場合には、時間変化する対象についても同
様の手法で画像を合成することができるようになる。
４の処理が終了したのち、図５の処理を行うものについ
て示したが、図４の処理と図５の処理を並列して行って
もよく、この場合には、時間変化する対象についても同
様の手法で画像を合成することができるようになる。
【００４７】実施の形態４．図６はこの発明の実施の形
態４による画像合成装置の動作原理を示す説明図、図７
は視線ベクトルの表現手法を示す説明図であり、図にお
いて、５１は入力画像２１を構成する画素単位の部分画
像、５２は入力画像２１の投影面２４における部分画像
（部分画像５１に相当する）、５３は視点位置２３から
部分画像５２に向かう視線ベクトル、５４は合成画像３
１を構成する画素単位の部分画像、５５は合成画像３１
の投影面３４における部分画像（部分画像５４に相当す
る）、５６は視点位置３３から部分画像５５に向かう視
線ベクトルである。因に、図８及び図９は実施の形態４
による画像合成装置の動作を示すフローチャートであ
る。
態４による画像合成装置の動作原理を示す説明図、図７
は視線ベクトルの表現手法を示す説明図であり、図にお
いて、５１は入力画像２１を構成する画素単位の部分画
像、５２は入力画像２１の投影面２４における部分画像
（部分画像５１に相当する）、５３は視点位置２３から
部分画像５２に向かう視線ベクトル、５４は合成画像３
１を構成する画素単位の部分画像、５５は合成画像３１
の投影面３４における部分画像（部分画像５４に相当す
る）、５６は視点位置３３から部分画像５５に向かう視
線ベクトルである。因に、図８及び図９は実施の形態４
による画像合成装置の動作を示すフローチャートであ
る。
【００４８】次に動作について説明する。まず、画像入
力装置４１が入力画像２１を撮影する一方、視点情報入
力装置４２が入力画像２１の視点位置２３及び視点情報
（δ，ζ，ξ，φＸ，φＹ）を入力する（ステップＳＴ
４２）。ここで、視点位置２３は、画像入力装置４１に
取り付けられた位置センサの計測等によって入力する。
また、δは光軸のＺＸ平面への射影の方向（Ｚ軸とのな
す角）、ζはＹ軸とのなす角、ξは入力画像２１の光軸
まわりのねじれの角度（ξは視線方向をみて時計まわり
を正とする）、φＸは入力画像２１の左右方向の視角、
φＹは上下方向の視角である。
力装置４１が入力画像２１を撮影する一方、視点情報入
力装置４２が入力画像２１の視点位置２３及び視点情報
（δ，ζ，ξ，φＸ，φＹ）を入力する（ステップＳＴ
４２）。ここで、視点位置２３は、画像入力装置４１に
取り付けられた位置センサの計測等によって入力する。
また、δは光軸のＺＸ平面への射影の方向（Ｚ軸とのな
す角）、ζはＹ軸とのなす角、ξは入力画像２１の光軸
まわりのねじれの角度（ξは視線方向をみて時計まわり
を正とする）、φＸは入力画像２１の左右方向の視角、
φＹは上下方向の視角である。
【００４９】なお、これらの入力に際し、ステップＳＴ
４１において、後述するブロックに属する部分画像５２
の個数を示す配列Ａの要素をすべて０に初期化するとと
もに、部分画像５２の番号を示す変数ｎを１に初期化す
る（例えば、入力画像２１の横方向の画素数が１２８
個、縦方向の画素数が９６個で、入力画像２１の数が３
個ある場合、ｎの値は最大で３６８６４（＝１２８×９
６×３個）になる。
４１において、後述するブロックに属する部分画像５２
の個数を示す配列Ａの要素をすべて０に初期化するとと
もに、部分画像５２の番号を示す変数ｎを１に初期化す
る（例えば、入力画像２１の横方向の画素数が１２８
個、縦方向の画素数が９６個で、入力画像２１の数が３
個ある場合、ｎの値は最大で３６８６４（＝１２８×９
６×３個）になる。
【００５０】そして、入力画像２１が撮影されると、画
像処理装置４４が入力画像２１を構成する画素ごとに入
力画像２１を複数の部分画像５２に分割する。これによ
り、入力画像２１の部分画像５２がＭX ×ＭY 個生成さ
れることになる。そして、入力画像２１の分割に際し、
入力画像２１の画像データＧ（ｉ，ｊ）からｉ，ｊで特
定される部分画像５２を取り出して部分画像データＰｎ
を生成する（ステップＳＴ４５）。 Ｐｎ ← Ｇ（ｉ，ｊ） ・・・（１３） ただし、ステップＳＴ４３，４４において、入力画像２
１の画素を特定する変数ｉ，ｊをそれぞれ１に初期化す
る。
像処理装置４４が入力画像２１を構成する画素ごとに入
力画像２１を複数の部分画像５２に分割する。これによ
り、入力画像２１の部分画像５２がＭX ×ＭY 個生成さ
れることになる。そして、入力画像２１の分割に際し、
入力画像２１の画像データＧ（ｉ，ｊ）からｉ，ｊで特
定される部分画像５２を取り出して部分画像データＰｎ
を生成する（ステップＳＴ４５）。 Ｐｎ ← Ｇ（ｉ，ｊ） ・・・（１３） ただし、ステップＳＴ４３，４４において、入力画像２
１の画素を特定する変数ｉ，ｊをそれぞれ１に初期化す
る。
【００５１】そして、部分画像データＰｎを生成する
と、視線決定装置４５が入力画像２１の光軸方向ψ1 ２
５及び画像入力装置４１の画角φに基づいて視線ベクト
ル５３の方向α1 ，β1 ，γ1 （Ｚ軸を回転及び平行移
動させてＺ軸を視線ベクトル５３に重ねるときの回転の
角度（α1 ，β1 ，γ1 ））を演算するとともに、その
ときのＸ軸方向への平行移動量τ1 を演算する（ステッ
プＳＴ４６）。因に、図７に示すように、α1 は視線ベ
クトル５３のＺＸ平面への射影の方向（Ｚ軸とのなす
角）、β1 は視線ベクトル５３のＹ軸とのなす角、γ1
は原点２８から視線ベクトル５３がのる直線に下ろした
垂線とＸ軸をＺＸ平面上α1 だけ回転させたものとのな
す角である。
と、視線決定装置４５が入力画像２１の光軸方向ψ1 ２
５及び画像入力装置４１の画角φに基づいて視線ベクト
ル５３の方向α1 ，β1 ，γ1 （Ｚ軸を回転及び平行移
動させてＺ軸を視線ベクトル５３に重ねるときの回転の
角度（α1 ，β1 ，γ1 ））を演算するとともに、その
ときのＸ軸方向への平行移動量τ1 を演算する（ステッ
プＳＴ４６）。因に、図７に示すように、α1 は視線ベ
クトル５３のＺＸ平面への射影の方向（Ｚ軸とのなす
角）、β1 は視線ベクトル５３のＹ軸とのなす角、γ1
は原点２８から視線ベクトル５３がのる直線に下ろした
垂線とＸ軸をＺＸ平面上α1 だけ回転させたものとのな
す角である。
【００５２】このとき、変数ｉ，ｊで特定される部分画
像５２に向かう視線ベクトル５３の方向α1 ，β1 ，γ
1 及び平行移動量τ1 は以下に示すように計算される。
像５２に向かう視線ベクトル５３の方向α1 ，β1 ，γ
1 及び平行移動量τ1 は以下に示すように計算される。
【００５３】
【数１】
【００５４】このようにして視線ベクトル５３が特定さ
れると、構造化装置４６が視線ベクトル５３に係る方向
α1 ，β1 ，γ1 及び平行移動量τ1 によって特定され
る４次元のαβγτ空間を複数のブロックに分割し、視
線ベクトル５３に係る方向α1 ，β1 ，γ1 及び平行移
動量τ1 に基づいて当該部分画像５３が属するブロック
を特定する（ステップＳＴ４７）。
れると、構造化装置４６が視線ベクトル５３に係る方向
α1 ，β1 ，γ1 及び平行移動量τ1 によって特定され
る４次元のαβγτ空間を複数のブロックに分割し、視
線ベクトル５３に係る方向α1 ，β1 ，γ1 及び平行移
動量τ1 に基づいて当該部分画像５３が属するブロック
を特定する（ステップＳＴ４７）。
【００５５】具体的には、当該部分画像５２が属するブ
ロックの番号（ｈ，ｋ，ｐ，ｑ）を下記のように表すこ
とにより、当該部分画像５２が属するブロックを特定す
る。 ｈ＝［α1 ／Δα］＋１ ・・・（２２） ｋ＝［β1 ／Δβ］＋１ ・・・（２３） ｐ＝［γ1 ／Δγ］＋１ ・・・（２４） ｑ＝［τ1 ／Δτ］−［τ1 ’／Δτ］＋１ ・・・（２５） ただし、［ａ］はａを越えない最大の整数 Δα，Δβ，Δγ，Δτはブロックのきざみ幅 τ1 ’はτ1 のとりうる最小値
ロックの番号（ｈ，ｋ，ｐ，ｑ）を下記のように表すこ
とにより、当該部分画像５２が属するブロックを特定す
る。 ｈ＝［α1 ／Δα］＋１ ・・・（２２） ｋ＝［β1 ／Δβ］＋１ ・・・（２３） ｐ＝［γ1 ／Δγ］＋１ ・・・（２４） ｑ＝［τ1 ／Δτ］−［τ1 ’／Δτ］＋１ ・・・（２５） ただし、［ａ］はａを越えない最大の整数 Δα，Δβ，Δγ，Δτはブロックのきざみ幅 τ1 ’はτ1 のとりうる最小値
【００５６】そして、構造化装置４６は当該部分画像５
２が属するブロックを特定すると、ステップＳＴ４８に
示すように、（ｈ，ｋ，ｐ，ｑ）で特定されるブロック
に属する部分画像の個数を示す配列Ａ［ｈ］［ｋ］
［ｐ］［ｑ］を１インクリメントするとともに、（ｈ，
ｋ，ｐ，ｑ）で特定されるブロックに属する部分画像の
番号を示す配列Ｎ［ｈ］［ｋ］［ｐ］［ｑ］［ｍ］にｎ
を追加する。さらに（ｈ，ｋ，ｐ，ｑ）で特定されるブ
ロックに属する部分画像の方向を示す配列Ｕ［ｈ］
［ｋ］［ｐ］［ｑ］［ｍ］にα1 ，Ｖ［ｈ］［ｋ］
［ｐ］［ｑ］［ｍ］にβ1 ，Ｗ［ｈ］［ｋ］［ｐ］
［ｑ］［ｍ］にγ1 を代入し、平行移動量を示す配列Ｔ
［ｈ］［ｋ］［ｐ］［ｑ］［ｍ］にτ1 を代入する。た
だし、ｍはＡ［ｈ］［ｋ］［ｐ］［ｑ］である。
２が属するブロックを特定すると、ステップＳＴ４８に
示すように、（ｈ，ｋ，ｐ，ｑ）で特定されるブロック
に属する部分画像の個数を示す配列Ａ［ｈ］［ｋ］
［ｐ］［ｑ］を１インクリメントするとともに、（ｈ，
ｋ，ｐ，ｑ）で特定されるブロックに属する部分画像の
番号を示す配列Ｎ［ｈ］［ｋ］［ｐ］［ｑ］［ｍ］にｎ
を追加する。さらに（ｈ，ｋ，ｐ，ｑ）で特定されるブ
ロックに属する部分画像の方向を示す配列Ｕ［ｈ］
［ｋ］［ｐ］［ｑ］［ｍ］にα1 ，Ｖ［ｈ］［ｋ］
［ｐ］［ｑ］［ｍ］にβ1 ，Ｗ［ｈ］［ｋ］［ｐ］
［ｑ］［ｍ］にγ1 を代入し、平行移動量を示す配列Ｔ
［ｈ］［ｋ］［ｐ］［ｑ］［ｍ］にτ1 を代入する。た
だし、ｍはＡ［ｈ］［ｋ］［ｐ］［ｑ］である。
【００５７】そして、ステップＳＴ４８の処理が終了す
ると、部分画像５２の部分画像データＰｎを記憶装置４
７に記憶させるが、画像入力装置４１が撮影した全ての
入力画像２１の部分画像５２に対して、ステップＳＴ４
５〜４９の処理が終了したか否かを判別し、処理が終了
するまでステップＳＴ４５〜４９の処理を繰り返す（ス
テップＳＴ５０〜５４）。
ると、部分画像５２の部分画像データＰｎを記憶装置４
７に記憶させるが、画像入力装置４１が撮影した全ての
入力画像２１の部分画像５２に対して、ステップＳＴ４
５〜４９の処理が終了したか否かを判別し、処理が終了
するまでステップＳＴ４５〜４９の処理を繰り返す（ス
テップＳＴ５０〜５４）。
【００５８】図８に示す処理が終了すると、今度は、視
点指示装置４３が入力画像２１から合成する合成画像３
１の視点位置５６及び視点情報（δ，ζ，ξ，φＸ，φ
Ｙ）を入力する（ステップＳＴＳＴ６１）。ここで、視
点位置３３は、マウスあるいはキーボード等を用いて入
力する。また、δは光軸のＺＸ平面への射影の方向（Ｚ
軸とのなす角）、ζはＹ軸とのなす角、ξは合成画像３
１の光軸まわりのねじれの角度（ξは視線方向をみて時
計まわりを正とする）、φＸは合成画像３１の左右方向
の視角、φＹは上下方向の視角である。
点指示装置４３が入力画像２１から合成する合成画像３
１の視点位置５６及び視点情報（δ，ζ，ξ，φＸ，φ
Ｙ）を入力する（ステップＳＴＳＴ６１）。ここで、視
点位置３３は、マウスあるいはキーボード等を用いて入
力する。また、δは光軸のＺＸ平面への射影の方向（Ｚ
軸とのなす角）、ζはＹ軸とのなす角、ξは合成画像３
１の光軸まわりのねじれの角度（ξは視線方向をみて時
計まわりを正とする）、φＸは合成画像３１の左右方向
の視角、φＹは上下方向の視角である。
【００５９】そして、視点位置３３等を入力すると、合
成画像３１の部分画像５５の番号を示す変数ｉ，ｊを１
に初期化したのち（ステップＳＴ６２）、画像処理装置
４４が合成画像３１を構成する画素ごとに、合成画像３
１を複数の部分画像５５に分割する。これにより、合成
画像３１の部分画像５５がＭX ×ＭY 個生成されること
になる。
成画像３１の部分画像５５の番号を示す変数ｉ，ｊを１
に初期化したのち（ステップＳＴ６２）、画像処理装置
４４が合成画像３１を構成する画素ごとに、合成画像３
１を複数の部分画像５５に分割する。これにより、合成
画像３１の部分画像５５がＭX ×ＭY 個生成されること
になる。
【００６０】そして、合成画像３１を複数の部分画像５
５に分割すると、視線決定装置４５が合成画像３１の光
軸方向ψ2 ３５及び画像入力装置４１の画角φに基づい
て視線ベクトル５６の方向α1 ，β1 ，γ1 （Ｚ軸を回
転及び平行移動させてＺ軸を視線ベクトル５６に重ねる
ときの回転の角度（α2 ，β2 ，γ2 ））を演算すると
ともに、そのときのＸ軸方向への平行移動量τ2 を演算
し、視線ベクトル５６を特定する（ステップＳＴ６
４）。因に、α2 は視線ベクトル５６のＺＸ平面への射
影の方向（Ｚ軸とのなす角）、β2 は視線ベクトル５６
のＹ軸とのなす角、γ2 は原点２８から視線ベクトル５
６がのる直線に下ろした垂線とＸ軸をＺＸ平面上α2 だ
け回転させたものとのなす角である。
５に分割すると、視線決定装置４５が合成画像３１の光
軸方向ψ2 ３５及び画像入力装置４１の画角φに基づい
て視線ベクトル５６の方向α1 ，β1 ，γ1 （Ｚ軸を回
転及び平行移動させてＺ軸を視線ベクトル５６に重ねる
ときの回転の角度（α2 ，β2 ，γ2 ））を演算すると
ともに、そのときのＸ軸方向への平行移動量τ2 を演算
し、視線ベクトル５６を特定する（ステップＳＴ６
４）。因に、α2 は視線ベクトル５６のＺＸ平面への射
影の方向（Ｚ軸とのなす角）、β2 は視線ベクトル５６
のＹ軸とのなす角、γ2 は原点２８から視線ベクトル５
６がのる直線に下ろした垂線とＸ軸をＺＸ平面上α2 だ
け回転させたものとのなす角である。
【００６１】このとき、変数ｉ，ｊで特定される部分画
像５５に向かう視線ベクトル５６の方向α2 ，β2 ，γ
2 及び平行移動量τ2 は以下に示すように計算される。
像５５に向かう視線ベクトル５６の方向α2 ，β2 ，γ
2 及び平行移動量τ2 は以下に示すように計算される。
【００６２】
【数２】
【００６３】このようにして視線ベクトル５６が特定さ
れると、構造化装置４６が合成画像３１の部分画像５５
に係る視線ベクトル５６の方向α2 ，β2 ，γ2 と平行
移動量τ2 に基づいて当該部分画像５５が属するブロッ
クを特定する（ステップＳＴ６５）。具体的には、当該
部分画像５５が属するブロックの番号（ｈ，ｋ，ｐ，
ｑ）を下記のように表すことにより、当該部分画像５５
が属するブロックを特定する。 ｈ＝［α2 ／Δα］＋１ ・・・（３４） ｋ＝［β2 ／Δβ］＋１ ・・・（３５） ｐ＝［γ2 ／Δγ］＋１ ・・・（３６） ｑ＝［τ2 ／Δτ］−［τ2 ’／Δτ］＋１ ・・・（３７） ただし、［ａ］はａを越えない最大の整数 Δα，Δβ，Δγ，Δτはブロックのきざみ幅 τ2 ’はτ2 のとりうる最小値
れると、構造化装置４６が合成画像３１の部分画像５５
に係る視線ベクトル５６の方向α2 ，β2 ，γ2 と平行
移動量τ2 に基づいて当該部分画像５５が属するブロッ
クを特定する（ステップＳＴ６５）。具体的には、当該
部分画像５５が属するブロックの番号（ｈ，ｋ，ｐ，
ｑ）を下記のように表すことにより、当該部分画像５５
が属するブロックを特定する。 ｈ＝［α2 ／Δα］＋１ ・・・（３４） ｋ＝［β2 ／Δβ］＋１ ・・・（３５） ｐ＝［γ2 ／Δγ］＋１ ・・・（３６） ｑ＝［τ2 ／Δτ］−［τ2 ’／Δτ］＋１ ・・・（３７） ただし、［ａ］はａを越えない最大の整数 Δα，Δβ，Δγ，Δτはブロックのきざみ幅 τ2 ’はτ2 のとりうる最小値
【００６４】そして、構造化装置４６が当該部分画像５
５の属するブロックを特定すると、合成画像生成装置４
８が合成画像３１の部分画像５５に対して最も合致度の
高い入力画像２１の部分画像５２を検索するが、視線ベ
クトル５３に係る方向α1 ，β1 ，γ1 及び平行移動量
τ1 と視線ベクトル５６に係る方向α2 ，β2 ，γ2及
び平行移動量τ2 がそれぞれ一致する場合には、図６に
示すように、視線ベクトル５３と視線ベクトル５６は同
一直線上にあって同一方向を向いているとみなすことが
できるので、互いに対応する部分画像５２，５５は同一
の景観を投影し、同様のパターンとなる。したがって、
これらが一致あるいは極めて近似する場合、互いに対応
する部分画像５２，５５は合致度の高い画像であると言
える。
５の属するブロックを特定すると、合成画像生成装置４
８が合成画像３１の部分画像５５に対して最も合致度の
高い入力画像２１の部分画像５２を検索するが、視線ベ
クトル５３に係る方向α1 ，β1 ，γ1 及び平行移動量
τ1 と視線ベクトル５６に係る方向α2 ，β2 ，γ2及
び平行移動量τ2 がそれぞれ一致する場合には、図６に
示すように、視線ベクトル５３と視線ベクトル５６は同
一直線上にあって同一方向を向いているとみなすことが
できるので、互いに対応する部分画像５２，５５は同一
の景観を投影し、同様のパターンとなる。したがって、
これらが一致あるいは極めて近似する場合、互いに対応
する部分画像５２，５５は合致度の高い画像であると言
える。
【００６５】そこで、合成画像生成装置４８は、合成画
像３１の部分画像５５に対して最も合致度の高い入力画
像２１の部分画像５２を検索するに際し、視線ベクトル
５６に係る方向α2 ，β2 ，γ2 及び平行移動量τ2 と
最も近似する方向α1 ，β1，γ1 及び平行移動量τ1
を有する視線ベクトル５３を検索するが、同一のブロッ
ク（ｈ，ｋ，ｐ，ｑ）に属する部分画像５２，５５に向
かう視線ベクトル５３，５６の方向等は互いに近似して
いるので、合成画像３１の部分画像５５が属するブロッ
ク（ｈ，ｋ，ｐ，ｑ）と同一のブロック（ｈ，ｋ，ｐ，
ｑ）に属する入力画像２１の部分画像５２のなかから検
索する。
像３１の部分画像５５に対して最も合致度の高い入力画
像２１の部分画像５２を検索するに際し、視線ベクトル
５６に係る方向α2 ，β2 ，γ2 及び平行移動量τ2 と
最も近似する方向α1 ，β1，γ1 及び平行移動量τ1
を有する視線ベクトル５３を検索するが、同一のブロッ
ク（ｈ，ｋ，ｐ，ｑ）に属する部分画像５２，５５に向
かう視線ベクトル５３，５６の方向等は互いに近似して
いるので、合成画像３１の部分画像５５が属するブロッ
ク（ｈ，ｋ，ｐ，ｑ）と同一のブロック（ｈ，ｋ，ｐ，
ｑ）に属する入力画像２１の部分画像５２のなかから検
索する。
【００６６】具体的には、まず、合成画像３１の部分画
像５５が属するブロック（ｈ，ｋ，ｐ，ｑ）と同じブロ
ック（ｈ，ｋ，ｐ，ｑ）に入力画像２１の部分画像５２
が存在しているか否かを判別し（ステップＳＴ６６）、
入力画像２１の部分画像５２が存在する場合には、当該
ブロックを検索対象のブロックとする。ブロック（ｈ，
ｋ，ｐ，ｑ）における入力画像２１の部分画像５２の個
数を示す配列Ａ［ｈ］［ｋ］［ｐ］［ｑ］が０でなけれ
ば、入力画像２１の部分画像５２が存在していると判断
する。
像５５が属するブロック（ｈ，ｋ，ｐ，ｑ）と同じブロ
ック（ｈ，ｋ，ｐ，ｑ）に入力画像２１の部分画像５２
が存在しているか否かを判別し（ステップＳＴ６６）、
入力画像２１の部分画像５２が存在する場合には、当該
ブロックを検索対象のブロックとする。ブロック（ｈ，
ｋ，ｐ，ｑ）における入力画像２１の部分画像５２の個
数を示す配列Ａ［ｈ］［ｋ］［ｐ］［ｑ］が０でなけれ
ば、入力画像２１の部分画像５２が存在していると判断
する。
【００６７】ここで、入力画像２１の部分画像５２が存
在していない場合には、ｈ，ｋ，ｐ，ｑの値を適宜変更
し、当該ブロック（ｈ，ｋ，ｐ，ｑ）に隣接するブロッ
クに入力画像２１の部分画像５２が存在しているか否か
判別し（ステップＳＴ６７，６６）、入力画像２１の部
分画像５２が存在するブロックを検索対象のブロックと
する。ただし、ｈ，ｋ，ｐ，ｑを変更する順番はあらか
じめ設定されている。
在していない場合には、ｈ，ｋ，ｐ，ｑの値を適宜変更
し、当該ブロック（ｈ，ｋ，ｐ，ｑ）に隣接するブロッ
クに入力画像２１の部分画像５２が存在しているか否か
判別し（ステップＳＴ６７，６６）、入力画像２１の部
分画像５２が存在するブロックを検索対象のブロックと
する。ただし、ｈ，ｋ，ｐ，ｑを変更する順番はあらか
じめ設定されている。
【００６８】そして、検索対象のブロック（ｈ，ｋ，
ｐ，ｑ）を特定すると、当該ブロック（ｈ，ｋ，ｐ，
ｑ）に属する各部分画像５２の合致度（ｆの値が小さい
ほど、合致度が高い）を下記に示すように計算する。 ｆ ＝ Ｗ1 （Ｕ［ｈ］［ｋ］［ｍ］−α2 ）2 ＋Ｗ2 （Ｖ［ｈ］［ｋ］［ｍ］−β2 ）2 ＋Ｗ3 （Ｗ［ｈ］［ｋ］［ｍ］−γ2 ）2 ＋Ｗ4 （Ｔ［ｈ］［ｋ］［ｍ］−τ2 ）2 ・・・（３８） ただし、Ｗ1 ，Ｗ2 ，Ｗ3 ，Ｗ4 は重み変数であり、正
または０の値である。
ｐ，ｑ）を特定すると、当該ブロック（ｈ，ｋ，ｐ，
ｑ）に属する各部分画像５２の合致度（ｆの値が小さい
ほど、合致度が高い）を下記に示すように計算する。 ｆ ＝ Ｗ1 （Ｕ［ｈ］［ｋ］［ｍ］−α2 ）2 ＋Ｗ2 （Ｖ［ｈ］［ｋ］［ｍ］−β2 ）2 ＋Ｗ3 （Ｗ［ｈ］［ｋ］［ｍ］−γ2 ）2 ＋Ｗ4 （Ｔ［ｈ］［ｋ］［ｍ］−τ2 ）2 ・・・（３８） ただし、Ｗ1 ，Ｗ2 ，Ｗ3 ，Ｗ4 は重み変数であり、正
または０の値である。
【００６９】そして、上記計算から最も合致度の高い入
力画像２１の部分画像５２を見つけると、その部分画像
５２の部分画像データＰｎを記憶装置４７から読み込
み、その部分画像データＰｎを合成画像３１の部分画像
５４の部分画像データとして転写する（ステップＳＴ６
９）。 Ｈ（ｉ，ｊ） ← Ｐｎ ・・・（３９） ｎ＝Ｎ［ｈ］［ｋ］［ｐ］［ｑ］［ｍ0 ］ ただし、ｍ0 はＡ［ｈ］［ｋ］［ｐ］［ｑ］個のうち、
ｍ0 番目の部分画像５２が選択されたことを意味する。
力画像２１の部分画像５２を見つけると、その部分画像
５２の部分画像データＰｎを記憶装置４７から読み込
み、その部分画像データＰｎを合成画像３１の部分画像
５４の部分画像データとして転写する（ステップＳＴ６
９）。 Ｈ（ｉ，ｊ） ← Ｐｎ ・・・（３９） ｎ＝Ｎ［ｈ］［ｋ］［ｐ］［ｑ］［ｍ0 ］ ただし、ｍ0 はＡ［ｈ］［ｋ］［ｐ］［ｑ］個のうち、
ｍ0 番目の部分画像５２が選択されたことを意味する。
【００７０】そして、ステップＳＴ６９の処理が終了す
ると、合成画像３１の全ての部分画像５４に対して、ス
テップＳＴ６４〜６９の処理が終了したか否かを判別
し、処理が終了するまでステップＳＴ６４〜６９の処理
を繰り返す（ステップＳＴ７０〜７３）。そして、上記
の処理が終了すると、ディスプレイ装置４９が完成した
合成画像３１を表示し（ステップＳＴ７４）、一連の処
理を終了する。
ると、合成画像３１の全ての部分画像５４に対して、ス
テップＳＴ６４〜６９の処理が終了したか否かを判別
し、処理が終了するまでステップＳＴ６４〜６９の処理
を繰り返す（ステップＳＴ７０〜７３）。そして、上記
の処理が終了すると、ディスプレイ装置４９が完成した
合成画像３１を表示し（ステップＳＴ７４）、一連の処
理を終了する。
【００７１】以上より、この実施の形態４によれば、視
線ベクトル５３に係る方向α1 ，β1 ，γ1 及び平行移
動量τ1 と視線ベクトル５６に係る方向α2 ，β2 ，γ
2 及び平行移動量τ2 をそれぞれ比較して、合成画像３
１の各部分画像５５に対して最も合致度の高い入力画像
２１の部分画像５２をそれぞれ検索し、それぞれ検索し
た入力画像２１の部分画像５２を合成画像３１の各部分
画像５５にそれぞれ転写するようにしたので、入力画像
２１及び合成画像３１の光軸方向がＺＸ平面内において
限定されず、３次元空間において任意の方向を向いてい
ても合成画像３１を生成できる効果を奏する。また、従
来のもののように、補間画像をあらかじめ生成すること
なく合成画像３１を生成できる効果も奏する。
線ベクトル５３に係る方向α1 ，β1 ，γ1 及び平行移
動量τ1 と視線ベクトル５６に係る方向α2 ，β2 ，γ
2 及び平行移動量τ2 をそれぞれ比較して、合成画像３
１の各部分画像５５に対して最も合致度の高い入力画像
２１の部分画像５２をそれぞれ検索し、それぞれ検索し
た入力画像２１の部分画像５２を合成画像３１の各部分
画像５５にそれぞれ転写するようにしたので、入力画像
２１及び合成画像３１の光軸方向がＺＸ平面内において
限定されず、３次元空間において任意の方向を向いてい
ても合成画像３１を生成できる効果を奏する。また、従
来のもののように、補間画像をあらかじめ生成すること
なく合成画像３１を生成できる効果も奏する。
【００７２】また、この実施の形態４によれば、最も合
致度の高い入力画像２１の部分画像５２を検索する際、
合成画像３１の部分画像５５が属するブロック（ｈ，
ｋ，ｐ，ｑ）と同一のブロック（ｈ，ｋ，ｐ，ｑ）に属
する入力画像２１の部分画像５２のなかから検索するよ
うにしたので、検索する部分画像５２の数が限定され、
部分画像５２の検索を効率よく行える効果を奏する。
致度の高い入力画像２１の部分画像５２を検索する際、
合成画像３１の部分画像５５が属するブロック（ｈ，
ｋ，ｐ，ｑ）と同一のブロック（ｈ，ｋ，ｐ，ｑ）に属
する入力画像２１の部分画像５２のなかから検索するよ
うにしたので、検索する部分画像５２の数が限定され、
部分画像５２の検索を効率よく行える効果を奏する。
【００７３】実施の形態５．上記実施の形態４では、図
８の処理が終了したのち、図９の処理を行うものについ
て示したが、図８の処理と図９の処理を並列して行って
もよく、この場合には、時間変化する対象についても同
様の手法で画像を合成することができるようになる。
８の処理が終了したのち、図９の処理を行うものについ
て示したが、図８の処理と図９の処理を並列して行って
もよく、この場合には、時間変化する対象についても同
様の手法で画像を合成することができるようになる。
【００７４】実施の形態６．図１０は視線ベクトルの表
現手法を示す説明図であり、図において、６１は座標軸
の原点２８から視線ベクトル２７がのる直線上に下ろし
た垂線の足である。因に、図１１及び図１２は実施の形
態６による画像合成装置の動作を示すフローチャートで
ある。
現手法を示す説明図であり、図において、６１は座標軸
の原点２８から視線ベクトル２７がのる直線上に下ろし
た垂線の足である。因に、図１１及び図１２は実施の形
態６による画像合成装置の動作を示すフローチャートで
ある。
【００７５】上記実施の形態１，４では、視線ベクトル
に係る方向及び内積又は平行移動量に基づいて合致度の
高い部分画像を検索するものについて示したが、これに
加えて垂線足の位置と視点位置間の距離に基づいて検索
するようにしてもよい。これにより、入力画像２１の視
点位置２３と部分画像３１の視点位置３３が合致するよ
うになり、更に正確な合成画像３１を得ることができ
る。
に係る方向及び内積又は平行移動量に基づいて合致度の
高い部分画像を検索するものについて示したが、これに
加えて垂線足の位置と視点位置間の距離に基づいて検索
するようにしてもよい。これにより、入力画像２１の視
点位置２３と部分画像３１の視点位置３３が合致するよ
うになり、更に正確な合成画像３１を得ることができ
る。
【００７６】次に動作について説明する。まず、画像入
力装置４１が入力画像２１を撮影する一方、視点情報入
力装置４２が入力画像２１の視点位置２３及び光軸方向
ψ1 ２５を入力するとともに、画像入力装置４１の画角
φを入力する（ステップＳＴ８２）。因に、視点位置２
３は、画像入力装置４１に取り付けられた位置センサの
計測等によって入力する。なお、これらの入力に際し、
ステップＳＴ８１において、後述する（ｈ，ｋ，ｑ）の
ブロックに属する部分画像２６の個数を示す配列Ａの要
素をすべて０に初期化するとともに、部分画像２６の番
号を示す変数ｎを１に初期化する（例えば、入力画像２
１の横方向の画素数が１２８個で、入力画像２１の数が
３個ある場合、ｎの値は最大で３８４（＝１２８×３
個）になる。
力装置４１が入力画像２１を撮影する一方、視点情報入
力装置４２が入力画像２１の視点位置２３及び光軸方向
ψ1 ２５を入力するとともに、画像入力装置４１の画角
φを入力する（ステップＳＴ８２）。因に、視点位置２
３は、画像入力装置４１に取り付けられた位置センサの
計測等によって入力する。なお、これらの入力に際し、
ステップＳＴ８１において、後述する（ｈ，ｋ，ｑ）の
ブロックに属する部分画像２６の個数を示す配列Ａの要
素をすべて０に初期化するとともに、部分画像２６の番
号を示す変数ｎを１に初期化する（例えば、入力画像２
１の横方向の画素数が１２８個で、入力画像２１の数が
３個ある場合、ｎの値は最大で３８４（＝１２８×３
個）になる。
【００７７】そして、入力画像２１が撮影されると、画
像処理装置４４が入力画像２１を複数の部分画像２６に
分割する。具体的には、図２に示すように、入力画像２
１の縦１列の画素が部分画像２６となるように入力画像
２１を分割する。これにより、入力画像２１の部分画像
２６がｉ個生成されることになる。そして、入力画像２
１の分割に際し、入力画像２１の画像データＧ（ｉ，
ｊ）からｉ番目の部分画像２６を取り出してｎ番目の部
分画像データＫｎを生成する（ステップＳＴ８４）。 Ｋｎ ← Ｇ（ｉ，ｊ） ・・・（４０） ただし、ステップＳＴ８３において、入力画像２１の横
方向の画素を特定する変数ｉを１に初期化する。
像処理装置４４が入力画像２１を複数の部分画像２６に
分割する。具体的には、図２に示すように、入力画像２
１の縦１列の画素が部分画像２６となるように入力画像
２１を分割する。これにより、入力画像２１の部分画像
２６がｉ個生成されることになる。そして、入力画像２
１の分割に際し、入力画像２１の画像データＧ（ｉ，
ｊ）からｉ番目の部分画像２６を取り出してｎ番目の部
分画像データＫｎを生成する（ステップＳＴ８４）。 Ｋｎ ← Ｇ（ｉ，ｊ） ・・・（４０） ただし、ステップＳＴ８３において、入力画像２１の横
方向の画素を特定する変数ｉを１に初期化する。
【００７８】そして、部分画像データＫｎを生成する
と、視線決定装置４５が入力画像２１の光軸方向ψ1 ２
５及び画像入力装置４１の画角φに基づいて視線ベクト
ル２７の方向θ1 を演算するとともに、ベクトル２９と
ベクトル３０の内積ρ1 を演算する。また、視線決定装
置４５は座標軸の原点２８から視線ベクトル２７がのる
直線上に下ろした垂線の足６１の位置と視点位置２３間
の距離ε1 を演算する（ステップＳＴ８５）。 θ1 ＝ψ1 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（４１） ρ1 ＝Ｚ1 ｃｏｓ（θ1 −π／２）＋Ｘ1 ｓｉｎ（θ1 −π／２） ・・・（４２） ε1 ＝Ｚ1 ｃｏｓθ1 ＋Ｘ1 ｓｉｎθ1 ・・・（４３） ただし、ＭX は入力画像２１の横方向の画素数 Ｘ1 は視点位置２３のＸ座標 Ｚ1 は視点位置２３のＺ座標
と、視線決定装置４５が入力画像２１の光軸方向ψ1 ２
５及び画像入力装置４１の画角φに基づいて視線ベクト
ル２７の方向θ1 を演算するとともに、ベクトル２９と
ベクトル３０の内積ρ1 を演算する。また、視線決定装
置４５は座標軸の原点２８から視線ベクトル２７がのる
直線上に下ろした垂線の足６１の位置と視点位置２３間
の距離ε1 を演算する（ステップＳＴ８５）。 θ1 ＝ψ1 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（４１） ρ1 ＝Ｚ1 ｃｏｓ（θ1 −π／２）＋Ｘ1 ｓｉｎ（θ1 −π／２） ・・・（４２） ε1 ＝Ｚ1 ｃｏｓθ1 ＋Ｘ1 ｓｉｎθ1 ・・・（４３） ただし、ＭX は入力画像２１の横方向の画素数 Ｘ1 は視点位置２３のＸ座標 Ｚ1 は視点位置２３のＺ座標
【００７９】このようにして視線ベクトル２７が特定さ
れると、構造化装置４６が視線ベクトルに係る方向，内
積及び距離によって特定されるθρε空間を複数のブロ
ックに分割し、入力画像２１の部分画像２６に係る視線
ベクトル２７に係る方向θ1，内積ρ1 及び距離ε1 に
基づいて当該部分画像２６が属するブロックを特定する
（ステップＳＴ８６）。
れると、構造化装置４６が視線ベクトルに係る方向，内
積及び距離によって特定されるθρε空間を複数のブロ
ックに分割し、入力画像２１の部分画像２６に係る視線
ベクトル２７に係る方向θ1，内積ρ1 及び距離ε1 に
基づいて当該部分画像２６が属するブロックを特定する
（ステップＳＴ８６）。
【００８０】具体的には、当該部分画像２６が属するブ
ロックの番号（ｈ，ｋ，ｑ）を下記のように表すことに
より、当該部分画像２６が属するブロックを特定する。 ｈ＝［θ1 ／Δθ］＋１ ・・・（４４） ｋ＝［ρ1 ／Δρ］−［ρ1 ’／Δρ］＋１ ・・・（４５） ｑ＝［ε1 ／Δε］−［ε1 ’／Δε］＋１ ・・・（４６） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ1 ’はρ1 のとりうる最小値 ε1 ’はε1 のとりうる最小値
ロックの番号（ｈ，ｋ，ｑ）を下記のように表すことに
より、当該部分画像２６が属するブロックを特定する。 ｈ＝［θ1 ／Δθ］＋１ ・・・（４４） ｋ＝［ρ1 ／Δρ］−［ρ1 ’／Δρ］＋１ ・・・（４５） ｑ＝［ε1 ／Δε］−［ε1 ’／Δε］＋１ ・・・（４６） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ1 ’はρ1 のとりうる最小値 ε1 ’はε1 のとりうる最小値
【００８１】そして、構造化装置４６は当該部分画像２
６が属するブロックを特定すると、ステップＳＴ８７に
示すように、（ｈ，ｋ，ｑ）で特定されるブロックに属
する部分画像の個数を示す配列Ａ［ｈ］［ｋ］［ｑ］を
１インクリメントするとともに、（ｈ，ｋ，ｑ）で特定
されるブロックに属する部分画像の番号を示す配列Ｎ
［ｈ］［ｋ］［ｑ］［ｍ］にｎを追加する。さらに
（ｈ，ｋ，ｑ）で特定されるブロックに属する部分画像
の方向を示す配列Ｔ［ｈ］［ｋ］［ｑ］［ｍ］にθ1を
代入し、部分画像の内積を示す配列Ｒ［ｈ］［ｋ］
［ｑ］［ｍ］にρ1 を代入し、距離を示す配列Ｅ［ｈ］
［ｋ］［ｑ］［ｍ］にε1 を代入する。ただし、ｍはＡ
［ｈ］［ｋ］［ｑ］である。
６が属するブロックを特定すると、ステップＳＴ８７に
示すように、（ｈ，ｋ，ｑ）で特定されるブロックに属
する部分画像の個数を示す配列Ａ［ｈ］［ｋ］［ｑ］を
１インクリメントするとともに、（ｈ，ｋ，ｑ）で特定
されるブロックに属する部分画像の番号を示す配列Ｎ
［ｈ］［ｋ］［ｑ］［ｍ］にｎを追加する。さらに
（ｈ，ｋ，ｑ）で特定されるブロックに属する部分画像
の方向を示す配列Ｔ［ｈ］［ｋ］［ｑ］［ｍ］にθ1を
代入し、部分画像の内積を示す配列Ｒ［ｈ］［ｋ］
［ｑ］［ｍ］にρ1 を代入し、距離を示す配列Ｅ［ｈ］
［ｋ］［ｑ］［ｍ］にε1 を代入する。ただし、ｍはＡ
［ｈ］［ｋ］［ｑ］である。
【００８２】そして、ステップＳＴ８７の処理が終了す
ると、部分画像２６の部分画像データＫｎを記憶装置４
７に記憶させるが、画像入力装置４１が撮影した全ての
入力画像２１の部分画像２６に対して、ステップＳＴ８
４〜８８の処理が終了したか否かを判別し、処理が終了
するまでステップＳＴ８４〜８８の処理を繰り返す（ス
テップＳＴ８９〜９１）。
ると、部分画像２６の部分画像データＫｎを記憶装置４
７に記憶させるが、画像入力装置４１が撮影した全ての
入力画像２１の部分画像２６に対して、ステップＳＴ８
４〜８８の処理が終了したか否かを判別し、処理が終了
するまでステップＳＴ８４〜８８の処理を繰り返す（ス
テップＳＴ８９〜９１）。
【００８３】図１１に示す処理が終了すると、今度は、
視点指示装置４３が入力画像２１から合成する合成画像
３１の視点位置３３及び光軸方向ψ2 ３５を入力する
（ステップＳＴ１０１）。因に、視点位置３３は、マウ
スあるいはキーボード等を用いて入力する。
視点指示装置４３が入力画像２１から合成する合成画像
３１の視点位置３３及び光軸方向ψ2 ３５を入力する
（ステップＳＴ１０１）。因に、視点位置３３は、マウ
スあるいはキーボード等を用いて入力する。
【００８４】そして、視点位置３３等を入力すると、合
成画像３１の部分画像３６の番号を示す変数ｉを１に初
期化したのち（ステップＳＴ１０２）、画像処理装置４
４が合成画像３１を複数の部分画像３６に分割する。具
体的には、図２に示すように、合成画像３１の縦１列の
画素が部分画像３６となるように合成画像３１を分割す
る。これにより、合成画像３１の部分画像３６がｉ個生
成されることになる。
成画像３１の部分画像３６の番号を示す変数ｉを１に初
期化したのち（ステップＳＴ１０２）、画像処理装置４
４が合成画像３１を複数の部分画像３６に分割する。具
体的には、図２に示すように、合成画像３１の縦１列の
画素が部分画像３６となるように合成画像３１を分割す
る。これにより、合成画像３１の部分画像３６がｉ個生
成されることになる。
【００８５】そして、合成画像３１を複数の部分画像３
６に分割すると、視線決定装置４５が合成画像３１の光
軸方向ψ2 ３５及び画像入力装置４１の画角φに基づい
て視線ベクトル３７の方向θ2 を演算するとともに、視
線ベクトル３７の方向θ2 からＺＸ平面内で−９０度ず
れた方向を有する大きさ１のベクトルとベクトル３８の
内積ρ2 を演算し、さらに、座標軸の原点２８から視線
ベクトル３７がのる直線上に下ろした垂線の足の位置と
視点位置３３間の距離ε2 を演算して、視線ベクトル３
７を特定する（ステップＳＴ１０３）。 θ2 ＝ψ2 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（４７） ρ2 ＝Ｚ2 ｃｏｓ（θ2 −π／２）＋Ｘ2 ｓｉｎ（θ2 −π／２） ・・・（４８） ε2 ＝Ｚ2 ｃｏｓθ2 ＋Ｘ2 ｓｉｎθ2 ・・・（４９） ただし、Ｘ2 は視点位置３３のＸ座標 Ｚ2 は視点位置３３のＺ座標
６に分割すると、視線決定装置４５が合成画像３１の光
軸方向ψ2 ３５及び画像入力装置４１の画角φに基づい
て視線ベクトル３７の方向θ2 を演算するとともに、視
線ベクトル３７の方向θ2 からＺＸ平面内で−９０度ず
れた方向を有する大きさ１のベクトルとベクトル３８の
内積ρ2 を演算し、さらに、座標軸の原点２８から視線
ベクトル３７がのる直線上に下ろした垂線の足の位置と
視点位置３３間の距離ε2 を演算して、視線ベクトル３
７を特定する（ステップＳＴ１０３）。 θ2 ＝ψ2 −ｔａｎ-1｛（２・ｉ／ＭX −１）ｔａｎφ／２｝ ・・・（４７） ρ2 ＝Ｚ2 ｃｏｓ（θ2 −π／２）＋Ｘ2 ｓｉｎ（θ2 −π／２） ・・・（４８） ε2 ＝Ｚ2 ｃｏｓθ2 ＋Ｘ2 ｓｉｎθ2 ・・・（４９） ただし、Ｘ2 は視点位置３３のＸ座標 Ｚ2 は視点位置３３のＺ座標
【００８６】このようにして視線ベクトル３７が特定さ
れると、構造化装置４６が合成画像３１の部分画像３６
に係る視線ベクトル３７に係る方向θ2 ，内積ρ2 及び
距離ε2 に基づいて当該部分画像３６が属するブロック
を特定する（ステップＳＴ１０４）。具体的には、当該
部分画像３６が属するブロックの番号（ｈ，ｋ，ｑ）を
下記のように表すことにより、当該部分画像３６が属す
るブロックを特定する。 ｈ＝［θ2 ／Δθ］＋１ ・・・（５０） ｋ＝［ρ2 ／Δρ］−［ρ2 ’／Δρ］＋１ ・・・（５１） ｑ＝［ε2 ／Δε］−［ε2 ’／Δε］＋１ ・・・（５２） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ2 ’はρ2 のとりうる最小値 ε2 ’はε2 のとりうる最小値
れると、構造化装置４６が合成画像３１の部分画像３６
に係る視線ベクトル３７に係る方向θ2 ，内積ρ2 及び
距離ε2 に基づいて当該部分画像３６が属するブロック
を特定する（ステップＳＴ１０４）。具体的には、当該
部分画像３６が属するブロックの番号（ｈ，ｋ，ｑ）を
下記のように表すことにより、当該部分画像３６が属す
るブロックを特定する。 ｈ＝［θ2 ／Δθ］＋１ ・・・（５０） ｋ＝［ρ2 ／Δρ］−［ρ2 ’／Δρ］＋１ ・・・（５１） ｑ＝［ε2 ／Δε］−［ε2 ’／Δε］＋１ ・・・（５２） ただし、［ａ］はａを越えない最大の整数 Δθ，Δρはブロックのきざみ幅 ρ2 ’はρ2 のとりうる最小値 ε2 ’はε2 のとりうる最小値
【００８７】そして、構造化装置４６が当該部分画像３
６の属するブロックを特定すると、合成画像生成装置４
８が合成画像３１の部分画像３６に対して最も合致度の
高い入力画像２１の部分画像２６を検索するが、視線ベ
クトル２７に係る方向θ1 ，内積ρ1 及び距離ε1 と視
線ベクトル３７に係る方向θ2 ，内積ρ2 及び距離ε2
がそれぞれ一致する場合には、図２に示すように、視線
ベクトル２７と視線ベクトル３７は同一直線上にあって
視点位置が同位置であり、しかも同一方向を向いている
とみなすことができるので、互いに対応する部分画像２
６，３６は同一の景観を投影し、同様のパターンとな
る。したがって、これらが一致あるいは極めて近似する
場合、互いに対応する部分画像２６，３６は合致度の高
い画像であると言える。
６の属するブロックを特定すると、合成画像生成装置４
８が合成画像３１の部分画像３６に対して最も合致度の
高い入力画像２１の部分画像２６を検索するが、視線ベ
クトル２７に係る方向θ1 ，内積ρ1 及び距離ε1 と視
線ベクトル３７に係る方向θ2 ，内積ρ2 及び距離ε2
がそれぞれ一致する場合には、図２に示すように、視線
ベクトル２７と視線ベクトル３７は同一直線上にあって
視点位置が同位置であり、しかも同一方向を向いている
とみなすことができるので、互いに対応する部分画像２
６，３６は同一の景観を投影し、同様のパターンとな
る。したがって、これらが一致あるいは極めて近似する
場合、互いに対応する部分画像２６，３６は合致度の高
い画像であると言える。
【００８８】そこで、合成画像生成装置４８は、合成画
像３１の部分画像３６に対して最も合致度の高い入力画
像２１の部分画像２６を検索するに際し、視線ベクトル
３７に係る方向θ2 ，内積ρ2 及び距離ε2 と最も近似
する方向θ1 ，内積ρ1 及び距離ε1 を有する視線ベク
トル２７を検索するが、同一のブロック（ｈ，ｋ，ｑ）
に属する部分画像２６，３６に向かう視線ベクトル２
７，３７の方向等は互いに近似しているので、合成画像
３１の部分画像３６が属するブロック（ｈ，ｋ，ｑ）と
同一のブロック（ｈ，ｋ，ｑ）に属する入力画像２１の
部分画像２６のなかから検索する。
像３１の部分画像３６に対して最も合致度の高い入力画
像２１の部分画像２６を検索するに際し、視線ベクトル
３７に係る方向θ2 ，内積ρ2 及び距離ε2 と最も近似
する方向θ1 ，内積ρ1 及び距離ε1 を有する視線ベク
トル２７を検索するが、同一のブロック（ｈ，ｋ，ｑ）
に属する部分画像２６，３６に向かう視線ベクトル２
７，３７の方向等は互いに近似しているので、合成画像
３１の部分画像３６が属するブロック（ｈ，ｋ，ｑ）と
同一のブロック（ｈ，ｋ，ｑ）に属する入力画像２１の
部分画像２６のなかから検索する。
【００８９】具体的には、まず、合成画像３１の部分画
像３６が属するブロック（ｈ，ｋ，ｑ）と同じブロック
（ｈ，ｋ，ｑ）に入力画像２１の部分画像２６が存在し
ているか否かを判別し（ステップＳＴ１０５）、入力画
像２１の部分画像２６が存在する場合には、当該ブロッ
クを検索対象のブロックとする。ブロック（ｈ，ｋ，
ｑ）における入力画像２１の部分画像２６の個数を示す
配列Ａ［ｈ］［ｋ］［ｑ］が０でなければ、入力画像２
１の部分画像２６が存在していると判断する。
像３６が属するブロック（ｈ，ｋ，ｑ）と同じブロック
（ｈ，ｋ，ｑ）に入力画像２１の部分画像２６が存在し
ているか否かを判別し（ステップＳＴ１０５）、入力画
像２１の部分画像２６が存在する場合には、当該ブロッ
クを検索対象のブロックとする。ブロック（ｈ，ｋ，
ｑ）における入力画像２１の部分画像２６の個数を示す
配列Ａ［ｈ］［ｋ］［ｑ］が０でなければ、入力画像２
１の部分画像２６が存在していると判断する。
【００９０】ここで、入力画像２１の部分画像２６が存
在していない場合には、ｈ，ｋ，ｑの値を適宜変更し、
当該ブロック（ｈ，ｋ，ｑ）に隣接するブロックに入力
画像２１の部分画像２６が存在しているか否か判別し
（ステップＳＴ１０６，１０５）、入力画像２１の部分
画像２６が存在するブロックを検索対象のブロックとす
る。ｈ，ｋ，ｑを変更する順番はあらかじめ設定されて
いる。
在していない場合には、ｈ，ｋ，ｑの値を適宜変更し、
当該ブロック（ｈ，ｋ，ｑ）に隣接するブロックに入力
画像２１の部分画像２６が存在しているか否か判別し
（ステップＳＴ１０６，１０５）、入力画像２１の部分
画像２６が存在するブロックを検索対象のブロックとす
る。ｈ，ｋ，ｑを変更する順番はあらかじめ設定されて
いる。
【００９１】そして、検索対象のブロック（ｈ，ｋ，
ｑ）を特定すると、当該ブロック（ｈ，ｋ，ｑ）に属す
る各部分画像２６の合致度（ｆの値が小さいほど、合致
度が高い）を下記に示すように計算する。 ｆ ＝ Ｗ1 （Ｔ［ｈ］［ｋ］［ｍ］−θ2 ）2 ＋Ｗ2 （Ｒ［ｈ］［ｋ］［ｍ］−ρ2 ）2 ＋Ｗ3 （Ｅ［ｈ］［ｋ］［ｍ］−ε2 ）2 ・・・（５３） ただし、Ｗ1 ，Ｗ2 は重み変数であり、正または０の値
である。
ｑ）を特定すると、当該ブロック（ｈ，ｋ，ｑ）に属す
る各部分画像２６の合致度（ｆの値が小さいほど、合致
度が高い）を下記に示すように計算する。 ｆ ＝ Ｗ1 （Ｔ［ｈ］［ｋ］［ｍ］−θ2 ）2 ＋Ｗ2 （Ｒ［ｈ］［ｋ］［ｍ］−ρ2 ）2 ＋Ｗ3 （Ｅ［ｈ］［ｋ］［ｍ］−ε2 ）2 ・・・（５３） ただし、Ｗ1 ，Ｗ2 は重み変数であり、正または０の値
である。
【００９２】そして、上記計算から最も合致度の高い入
力画像２１の部分画像２６を見つけると、その部分画像
２６の部分画像データＫｎを記憶装置４７から読み込
み、その部分画像データＫｎを合成画像３１の部分画像
３６の部分画像データとして転写する（ステップＳＴ１
０８）。 Ｈ（ｉ，ｊ） ← Ｋｎ ・・・（５４） ｎ＝Ｎ［ｈ］［ｋ］［ｑ］［ｍ0 ］ ただし、ｍ0 はＡ［ｈ］［ｋ］［ｑ］個のうち、ｍ0 番
目の部分画像２６が選択されたことを意味する。
力画像２１の部分画像２６を見つけると、その部分画像
２６の部分画像データＫｎを記憶装置４７から読み込
み、その部分画像データＫｎを合成画像３１の部分画像
３６の部分画像データとして転写する（ステップＳＴ１
０８）。 Ｈ（ｉ，ｊ） ← Ｋｎ ・・・（５４） ｎ＝Ｎ［ｈ］［ｋ］［ｑ］［ｍ0 ］ ただし、ｍ0 はＡ［ｈ］［ｋ］［ｑ］個のうち、ｍ0 番
目の部分画像２６が選択されたことを意味する。
【００９３】そして、ステップＳＴ１０８の処理が終了
すると、合成画像３１の全ての部分画像３６に対して、
ステップＳＴ１０３〜１０８の処理が終了したか否かを
判別し、処理が終了するまでステップＳＴ１０３〜１０
８の処理を繰り返す（ステップＳＴ１０９，１１０）。
そして、上記の処理が終了すると、ディスプレイ装置４
９が完成した合成画像３１を表示し（ステップＳＴ１１
１）、一連の処理を終了する。
すると、合成画像３１の全ての部分画像３６に対して、
ステップＳＴ１０３〜１０８の処理が終了したか否かを
判別し、処理が終了するまでステップＳＴ１０３〜１０
８の処理を繰り返す（ステップＳＴ１０９，１１０）。
そして、上記の処理が終了すると、ディスプレイ装置４
９が完成した合成画像３１を表示し（ステップＳＴ１１
１）、一連の処理を終了する。
【００９４】以上より、この実施の形態６によれば、視
線ベクトル２７に係る方向θ1 ，内積ρ1 及び距離ε1
と、視線ベクトル３７に係る方向θ2 ，内積ρ2 及び距
離ε2 をそれぞれ比較して、合成画像３１の各部分画像
３６に対して最も合致度の高い入力画像２１の部分画像
２６をそれぞれ検索し、それぞれ検索した入力画像２１
の部分画像２６を合成画像３１の各部分画像３６にそれ
ぞれ転写するようにしたので、入力画像２１及び合成画
像３１の光軸方向がＺＸ平面内において限定されず、任
意の方向を向いていても合成画像３１を生成できるとと
もに、上記実施の形態１等より正確な合成画像３１を得
ることができる効果を奏する。また、従来のもののよう
に、補間画像をあらかじめ生成することなく合成画像３
１を生成できる効果も奏する。
線ベクトル２７に係る方向θ1 ，内積ρ1 及び距離ε1
と、視線ベクトル３７に係る方向θ2 ，内積ρ2 及び距
離ε2 をそれぞれ比較して、合成画像３１の各部分画像
３６に対して最も合致度の高い入力画像２１の部分画像
２６をそれぞれ検索し、それぞれ検索した入力画像２１
の部分画像２６を合成画像３１の各部分画像３６にそれ
ぞれ転写するようにしたので、入力画像２１及び合成画
像３１の光軸方向がＺＸ平面内において限定されず、任
意の方向を向いていても合成画像３１を生成できるとと
もに、上記実施の形態１等より正確な合成画像３１を得
ることができる効果を奏する。また、従来のもののよう
に、補間画像をあらかじめ生成することなく合成画像３
１を生成できる効果も奏する。
【００９５】また、この実施の形態６によれば、最も合
致度の高い入力画像２１の部分画像２６を検索する際、
合成画像３１の部分画像３６が属するブロック（ｈ，
ｋ，ｑ）と同一のブロック（ｈ，ｋ，ｑ）に属する入力
画像２１の部分画像２６のなかから検索するようにした
ので、検索する部分画像２６の数が限定され、部分画像
２６の検索を効率よく行える効果を奏する。
致度の高い入力画像２１の部分画像２６を検索する際、
合成画像３１の部分画像３６が属するブロック（ｈ，
ｋ，ｑ）と同一のブロック（ｈ，ｋ，ｑ）に属する入力
画像２１の部分画像２６のなかから検索するようにした
ので、検索する部分画像２６の数が限定され、部分画像
２６の検索を効率よく行える効果を奏する。
【００９６】実施の形態７．上記実施の形態６では、図
１１の処理が終了したのち、図１２の処理を行うものに
ついて示したが、図１１の処理と図１２の処理を並列し
て行ってもよく、この場合には、時間変化する対象につ
いても同様の手法で画像を合成することができるように
なる。
１１の処理が終了したのち、図１２の処理を行うものに
ついて示したが、図１１の処理と図１２の処理を並列し
て行ってもよく、この場合には、時間変化する対象につ
いても同様の手法で画像を合成することができるように
なる。
【００９７】実施の形態８．図１３はこの発明の実施の
形態８による画像合成装置を示すブロック図、図１４及
び図１５はこの発明の実施の形態８による画像合成装置
の動作原理を示す説明図であり、図１４及び図１５にお
いて、７１は入力画像２１を撮影する際に、撮影対象物
体７２が近似的に存在すると仮定する景観面（平面）、
７２は撮影対象物体、７３は視線ベクトル２７がのる直
線と景観面７１の交点、７４は視線ベクトル３７がのる
直線と景観面７１の交点、７５は補正されて新たに選択
された入力画像２１の部分画像である。また、図１３に
おいて、７７は交点７３と交点７４が景観面７１におい
て一致するか否かを判定し、一致しない場合には、視線
ベクトル２７，３７に係る方向θ1 ，θ2 及び内積ρ
1 ，ρ2 と入力画像の視点位置２３から景観面７１まで
の距離Ｄ1 に基づいて転写する入力画像の部分画像を変
更するとともに、入力画像２１の視点位置２３から景観
面７１までの距離Ｄ1 と合成画像３１の視点位置３３か
ら景観面７１までの距離Ｄ2 に基づいて入力画像２１の
部分画像２２（または７５）を拡大または縮小する部分
画像変更装置（転写手段）である。
形態８による画像合成装置を示すブロック図、図１４及
び図１５はこの発明の実施の形態８による画像合成装置
の動作原理を示す説明図であり、図１４及び図１５にお
いて、７１は入力画像２１を撮影する際に、撮影対象物
体７２が近似的に存在すると仮定する景観面（平面）、
７２は撮影対象物体、７３は視線ベクトル２７がのる直
線と景観面７１の交点、７４は視線ベクトル３７がのる
直線と景観面７１の交点、７５は補正されて新たに選択
された入力画像２１の部分画像である。また、図１３に
おいて、７７は交点７３と交点７４が景観面７１におい
て一致するか否かを判定し、一致しない場合には、視線
ベクトル２７，３７に係る方向θ1 ，θ2 及び内積ρ
1 ，ρ2 と入力画像の視点位置２３から景観面７１まで
の距離Ｄ1 に基づいて転写する入力画像の部分画像を変
更するとともに、入力画像２１の視点位置２３から景観
面７１までの距離Ｄ1 と合成画像３１の視点位置３３か
ら景観面７１までの距離Ｄ2 に基づいて入力画像２１の
部分画像２２（または７５）を拡大または縮小する部分
画像変更装置（転写手段）である。
【００９８】次に動作について説明する。上記実施の形
態１等では、最も合致度の高い部分画像を転写するもの
について示したが、合致度が完全に一致しない場合に
は、図１４に示すように、交点７３と交点７４が景観面
７１において一致しない場合が生じる。図１４の場合に
は、交点７３と交点７４の距離がｄ１であるので、入力
画像２１の部分画像２２をそのまま合成画像３１の部分
画像３２として転写すると、距離ｄ１（入力画像２１の
Δｉに相当）だけ横ずれした合成画像３１が生成されて
しまう不具合を生じる。
態１等では、最も合致度の高い部分画像を転写するもの
について示したが、合致度が完全に一致しない場合に
は、図１４に示すように、交点７３と交点７４が景観面
７１において一致しない場合が生じる。図１４の場合に
は、交点７３と交点７４の距離がｄ１であるので、入力
画像２１の部分画像２２をそのまま合成画像３１の部分
画像３２として転写すると、距離ｄ１（入力画像２１の
Δｉに相当）だけ横ずれした合成画像３１が生成されて
しまう不具合を生じる。
【００９９】そこで、この実施の形態８では、視点情報
入力装置４２が入力画像２１の視点位置２３から景観面
７１までの距離Ｄ1 を入力し、部分画像変更装置７７が
その距離Ｄ1 に基づいて横ずれ量Δｉを演算する。 Δｉ＝ＭX ・ｄ１／（２Ｄ1 ・ｔａｎφ／２） ・・・（５５）
入力装置４２が入力画像２１の視点位置２３から景観面
７１までの距離Ｄ1 を入力し、部分画像変更装置７７が
その距離Ｄ1 に基づいて横ずれ量Δｉを演算する。 Δｉ＝ＭX ・ｄ１／（２Ｄ1 ・ｔａｎφ／２） ・・・（５５）
【０１００】そして、部分画像変更装置７７は、その横
ずれ量Δｉを補正するため、検索された部分画像２２の
画像データＫｎではなく、その部分画像２２からΔｉだ
けずれた位置にある部分画像７５の画像データＫｎ＋Δ
ｉを合成画像３１の部分画像３２に転写する。
ずれ量Δｉを補正するため、検索された部分画像２２の
画像データＫｎではなく、その部分画像２２からΔｉだ
けずれた位置にある部分画像７５の画像データＫｎ＋Δ
ｉを合成画像３１の部分画像３２に転写する。
【０１０１】また、部分画像変更装置７７は、入力画像
２１の視点位置２３から景観面７１までの距離Ｄ1 と合
成画像３１の視点位置３３から景観面７１までの距離Ｄ
2 が異なる場合、図１５に示すように、景観面７１にお
ける入力画像２１と合成画像３１の撮影面積が異なるた
め（図１５の場合、Ｄ1 ＜Ｄ2 であるため、入力画像２
１の撮影面積が合成画像３１の撮影面積より小さい）、
入力画像２１の部分画像２２をそのまま合成画像３１の
部分画像３１として転写すると、縦方向にずれがある合
成画像３１が生成されてしまう不具合を生じる。
２１の視点位置２３から景観面７１までの距離Ｄ1 と合
成画像３１の視点位置３３から景観面７１までの距離Ｄ
2 が異なる場合、図１５に示すように、景観面７１にお
ける入力画像２１と合成画像３１の撮影面積が異なるた
め（図１５の場合、Ｄ1 ＜Ｄ2 であるため、入力画像２
１の撮影面積が合成画像３１の撮影面積より小さい）、
入力画像２１の部分画像２２をそのまま合成画像３１の
部分画像３１として転写すると、縦方向にずれがある合
成画像３１が生成されてしまう不具合を生じる。
【０１０２】そこで、この実施の形態８では、視点情報
入力装置４２が入力画像２１の視点位置２３から景観面
７１までの距離Ｄ1 と合成画像３１の視点位置３３から
景観面７１までの距離Ｄ2 を入力し、その距離Ｄ1 ，Ｄ
2 から入力画像２１における縦方向の撮影範囲に相当す
る合成画像３１の縦方向の撮影範囲ｊ* を演算する。 ｊ* ＝（ｊ−ＭY ／２）（Ｄ2 ／Ｄ1 ）＋ＭY ／２ ・・・（５６） ただし、ＭY は入力画像２１の縦方向の画素数
入力装置４２が入力画像２１の視点位置２３から景観面
７１までの距離Ｄ1 と合成画像３１の視点位置３３から
景観面７１までの距離Ｄ2 を入力し、その距離Ｄ1 ，Ｄ
2 から入力画像２１における縦方向の撮影範囲に相当す
る合成画像３１の縦方向の撮影範囲ｊ* を演算する。 ｊ* ＝（ｊ−ＭY ／２）（Ｄ2 ／Ｄ1 ）＋ＭY ／２ ・・・（５６） ただし、ＭY は入力画像２１の縦方向の画素数
【０１０３】そして、部分画像変更装置７７は、その縦
方向のずれを補正するため、縦方向がｊ個の画像データ
Ｋｎを単に転写するのではなく、合成画像３１における
部分画像３２の縦方向がｊ* 個に相当するように、ｊ個
の画像データＫｎの縮尺率を変更して転写する。
方向のずれを補正するため、縦方向がｊ個の画像データ
Ｋｎを単に転写するのではなく、合成画像３１における
部分画像３２の縦方向がｊ* 個に相当するように、ｊ個
の画像データＫｎの縮尺率を変更して転写する。
【０１０４】以上より、この実施の形態８によれば、横
方向のずれ量Δｉ及び縦方向の撮影範囲を補正するよう
にしたので、上記実施の形態よりも正確な合成画像を生
成することができる効果を奏する。
方向のずれ量Δｉ及び縦方向の撮影範囲を補正するよう
にしたので、上記実施の形態よりも正確な合成画像を生
成することができる効果を奏する。
【０１０５】実施の形態９．図１６はこの発明の実施の
形態９による画像合成装置を示すブロック図、図１７は
この発明の実施の形態９による画像合成装置の動作原理
を示す説明図であり、図１７において、８１は入力画像
２１を撮影するビデオカメラ（画像撮影手段）、８２は
ビデオカメラ８１の設置位置から合成画像３１の視線ベ
クトル３７がのる直線上に下ろした垂線の足、８３はビ
デオカメラ８１の光軸の目標方向を示すベクトルであ
る。また、図１６において、８４はビデオカメラ８１の
位置，光軸及び画角を計測するカメラ位置計測装置、８
５はビデオカメラ８１の目標位置を演算する目標位置演
算装置（移動手段）、８６は目標位置演算装置８５の演
算結果にしたがってビデオカメラ８１を移動するカメラ
移動装置（移動手段）である。
形態９による画像合成装置を示すブロック図、図１７は
この発明の実施の形態９による画像合成装置の動作原理
を示す説明図であり、図１７において、８１は入力画像
２１を撮影するビデオカメラ（画像撮影手段）、８２は
ビデオカメラ８１の設置位置から合成画像３１の視線ベ
クトル３７がのる直線上に下ろした垂線の足、８３はビ
デオカメラ８１の光軸の目標方向を示すベクトルであ
る。また、図１６において、８４はビデオカメラ８１の
位置，光軸及び画角を計測するカメラ位置計測装置、８
５はビデオカメラ８１の目標位置を演算する目標位置演
算装置（移動手段）、８６は目標位置演算装置８５の演
算結果にしたがってビデオカメラ８１を移動するカメラ
移動装置（移動手段）である。
【０１０６】次に動作について説明する。上記実施の形
態１等では、最も合致度の高い部分画像２６を転写する
ものについて示したが、その部分画像２６の合致度があ
らかじめ設定された合致度より低い場合、その部分画像
２６を合成画像３１の部分画像３６として転写すると、
必ずしも正確な合成画像３１が得られない場合がある。
態１等では、最も合致度の高い部分画像２６を転写する
ものについて示したが、その部分画像２６の合致度があ
らかじめ設定された合致度より低い場合、その部分画像
２６を合成画像３１の部分画像３６として転写すると、
必ずしも正確な合成画像３１が得られない場合がある。
【０１０７】そこで、この実施の形態９では、目標演算
装置８５が合成画像生成装置４８により検索された部分
画像２６の合致度があらかじめ設定された合致度より高
いか否かを判定する。そして、その部分画像２６の合致
度があらかじめ設定された合致度より高い場合には、正
確な合成画像３１が得られるので、その部分画像２６を
転写すべき旨を合成画像生成装置４８に指令する。一
方、その部分画像２６の合致度があらかじめ設定された
合致度より低い場合には、正確な合成画像３１が得られ
ないので、以下に示すように、ビデオカメラ８１の位置
を移動する処理を施す。
装置８５が合成画像生成装置４８により検索された部分
画像２６の合致度があらかじめ設定された合致度より高
いか否かを判定する。そして、その部分画像２６の合致
度があらかじめ設定された合致度より高い場合には、正
確な合成画像３１が得られるので、その部分画像２６を
転写すべき旨を合成画像生成装置４８に指令する。一
方、その部分画像２６の合致度があらかじめ設定された
合致度より低い場合には、正確な合成画像３１が得られ
ないので、以下に示すように、ビデオカメラ８１の位置
を移動する処理を施す。
【０１０８】即ち、部分画像２６の合致度があらかじめ
設定された合致度より低い場合、ビデオカメラ８１の光
軸が合成画像３１に係る視線ベクトル３７と一致するよ
うにすれば、合致度が極めて向上するので、ビデオカメ
ラ８１の視点位置から視線ベクトル３７がのる直線上に
下ろした垂線の足８２の位置に、ビデオカメラ８１の視
点位置を移動するとともに、ビデオカメラ８１の光軸を
視線ベクトル３７に一致させるようにする。
設定された合致度より低い場合、ビデオカメラ８１の光
軸が合成画像３１に係る視線ベクトル３７と一致するよ
うにすれば、合致度が極めて向上するので、ビデオカメ
ラ８１の視点位置から視線ベクトル３７がのる直線上に
下ろした垂線の足８２の位置に、ビデオカメラ８１の視
点位置を移動するとともに、ビデオカメラ８１の光軸を
視線ベクトル３７に一致させるようにする。
【０１０９】具体的には、目標演算装置８５が下記に示
すように視線ベクトル３７の方向θ2 に基づいてビデオ
カメラ８１を移動する目標位置（Ｚt ，Ｘt ）を演算す
る。 Ｚt ＝Ｚ2 ＋ｔｃｏｓθ2 ・・・（５７） Ｘt ＝Ｘ2 ＋ｔｓｉｎθ2 ・・・（５８） ｔ＝（Ｚn −Ｚ0 ）ｃｏｓθ2 ＋（Ｘn −Ｘ0 ）ｓｉｎθ2 ・・・（５９） ただし、Ｚ2 ，Ｘ2 は合成画像３１の視点位置３３ Ｚn ，Ｘn はビデオカメラ８１の現在位置
すように視線ベクトル３７の方向θ2 に基づいてビデオ
カメラ８１を移動する目標位置（Ｚt ，Ｘt ）を演算す
る。 Ｚt ＝Ｚ2 ＋ｔｃｏｓθ2 ・・・（５７） Ｘt ＝Ｘ2 ＋ｔｓｉｎθ2 ・・・（５８） ｔ＝（Ｚn −Ｚ0 ）ｃｏｓθ2 ＋（Ｘn −Ｘ0 ）ｓｉｎθ2 ・・・（５９） ただし、Ｚ2 ，Ｘ2 は合成画像３１の視点位置３３ Ｚn ，Ｘn はビデオカメラ８１の現在位置
【０１１０】そして、ビデオカメラ８１の目標位置（Ｚ
t ，Ｘt ）が演算されると、カメラ移動装置８６がビデ
オカメラ８１の視点位置を目標位置（Ｚt ，Ｘt ）まで
移動するとともに、ビデオカメラ８１の光軸を視線ベク
トル３７の方向θ2 に一致させ、処理を終了する。
t ，Ｘt ）が演算されると、カメラ移動装置８６がビデ
オカメラ８１の視点位置を目標位置（Ｚt ，Ｘt ）まで
移動するとともに、ビデオカメラ８１の光軸を視線ベク
トル３７の方向θ2 に一致させ、処理を終了する。
【０１１１】以上より、この実施の形態９によれば、ビ
デオカメラ８１の光軸が視線ベクトル３７と一致するの
で、合致度があまり高くない部分画像２６が検索された
場合でも、正確な合成画像３１を得ることができる効果
を奏する。
デオカメラ８１の光軸が視線ベクトル３７と一致するの
で、合致度があまり高くない部分画像２６が検索された
場合でも、正確な合成画像３１を得ることができる効果
を奏する。
【０１１２】実施の形態１０．上記実施の形態では、視
線ベクトルを幾何学的な量で表現して合致度を判定した
が、入力画像２１を撮影した時刻を考慮して合致度を判
定してもよい。
線ベクトルを幾何学的な量で表現して合致度を判定した
が、入力画像２１を撮影した時刻を考慮して合致度を判
定してもよい。
【０１１３】実施の形態１１．上記実施の形態では、各
種装置を組み合わせることによって画像合成装置を構成
したものについて示したが、各種装置の処理を実現する
コンピュータを用いて画像合成装置を構成してもよく、
同様の効果を奏することができる。
種装置を組み合わせることによって画像合成装置を構成
したものについて示したが、各種装置の処理を実現する
コンピュータを用いて画像合成装置を構成してもよく、
同様の効果を奏することができる。
【０１１４】実施の形態１２．上記実施の形態１等で
は、横幅が１画素の部分画像２１，３１に分割するもの
について示したが、横幅が２画素以上の部分画像２１，
３１に分割するようにしてもよく、上記実施の形態１等
と同様の効果を奏することができる。なお、この場合に
は、部分画像２１，３１の数が減少し、処理が軽減され
ることになる。
は、横幅が１画素の部分画像２１，３１に分割するもの
について示したが、横幅が２画素以上の部分画像２１，
３１に分割するようにしてもよく、上記実施の形態１等
と同様の効果を奏することができる。なお、この場合に
は、部分画像２１，３１の数が減少し、処理が軽減され
ることになる。
【０１１５】実施の形態１３．上記実施の形態９では、
新たに入力画像２１を撮影する度に、その入力画像２１
を記憶装置４７に記憶させるようにしていたが、記憶領
域の節約のため、新たに入力された入力画像２１の視線
ベクトル２７と同一の視線ベクトルを有する入力画像２
１が既に存在する場合には、既に存在する入力画像２１
又は新たに入力された入力画像２１の何れかを破棄する
ようにしてもよい。
新たに入力画像２１を撮影する度に、その入力画像２１
を記憶装置４７に記憶させるようにしていたが、記憶領
域の節約のため、新たに入力された入力画像２１の視線
ベクトル２７と同一の視線ベクトルを有する入力画像２
１が既に存在する場合には、既に存在する入力画像２１
又は新たに入力された入力画像２１の何れかを破棄する
ようにしてもよい。
【０１１６】
【発明の効果】以上のように、請求項１記載の発明によ
れば、入力画像の視点位置からその入力画像の各部分画
像に向かう第１の視線ベクトルの方向と、合成画像の視
点位置からその合成画像の各部分画像に向かう第２の視
線ベクトルの方向を比較して、その合成画像の各部分画
像に対して最も合致度の高い入力画像の部分画像をそれ
ぞれ検索し、それぞれ検索した入力画像の部分画像をそ
の合成画像の各部分画像にそれぞれ転写するように構成
したので、入力画像及び合成画像の光軸方向が平面内に
おいて限定されず、任意の方向を向いていても合成画像
を生成できる効果がある。また、従来のもののように、
補間画像をあらかじめ生成することなく合成画像を生成
できる効果もある。
れば、入力画像の視点位置からその入力画像の各部分画
像に向かう第１の視線ベクトルの方向と、合成画像の視
点位置からその合成画像の各部分画像に向かう第２の視
線ベクトルの方向を比較して、その合成画像の各部分画
像に対して最も合致度の高い入力画像の部分画像をそれ
ぞれ検索し、それぞれ検索した入力画像の部分画像をそ
の合成画像の各部分画像にそれぞれ転写するように構成
したので、入力画像及び合成画像の光軸方向が平面内に
おいて限定されず、任意の方向を向いていても合成画像
を生成できる効果がある。また、従来のもののように、
補間画像をあらかじめ生成することなく合成画像を生成
できる効果もある。
【０１１７】請求項２記載の発明によれば、入力画像及
び合成画像をそれぞれ複数の部分画像に分割する際、そ
の入力画像及び合成画像を構成する各画素ごとに分割す
るように構成したので、入力画像及び合成画像の光軸方
向が平面内において限定されず、３次元空間において任
意の方向を向いていても合成画像を生成できる効果があ
る。
び合成画像をそれぞれ複数の部分画像に分割する際、そ
の入力画像及び合成画像を構成する各画素ごとに分割す
るように構成したので、入力画像及び合成画像の光軸方
向が平面内において限定されず、３次元空間において任
意の方向を向いていても合成画像を生成できる効果があ
る。
【０１１８】請求項３記載の発明によれば、第１の視点
ベクトルに係る内積と第２の視点ベクトルに係る内積を
演算する内積演算手段を設け、最も合致度の高い入力画
像の部分画像を検索する際、その第１の視線ベクトルに
係る方向及び内積と第２の視線ベクトルに係る方向及び
内積をそれぞれ比較するように構成したので、請求項１
記載の発明より正確な合成画像を生成できる効果があ
る。
ベクトルに係る内積と第２の視点ベクトルに係る内積を
演算する内積演算手段を設け、最も合致度の高い入力画
像の部分画像を検索する際、その第１の視線ベクトルに
係る方向及び内積と第２の視線ベクトルに係る方向及び
内積をそれぞれ比較するように構成したので、請求項１
記載の発明より正確な合成画像を生成できる効果があ
る。
【０１１９】請求項４記載の発明によれば、座標軸の原
点から第１の視線ベクトルがのる直線上に下ろした垂線
の足の位置と入力画像の視点位置間の距離を求めるとと
もに、座標軸の原点から第２の視線ベクトルがのる直線
上に下ろした垂線の足の位置と合成画像の視点位置間の
距離を求める距離演算手段を設け、最も合致度の高い入
力画像の部分画像を検索する際、第１の視線ベクトルに
係る方向，内積及び距離と第２の視線ベクトルに係る方
向，内積及び距離をそれぞれ比較するように構成したの
で、請求項３記載の発明より更に正確な合成画像を生成
できる効果がある。
点から第１の視線ベクトルがのる直線上に下ろした垂線
の足の位置と入力画像の視点位置間の距離を求めるとと
もに、座標軸の原点から第２の視線ベクトルがのる直線
上に下ろした垂線の足の位置と合成画像の視点位置間の
距離を求める距離演算手段を設け、最も合致度の高い入
力画像の部分画像を検索する際、第１の視線ベクトルに
係る方向，内積及び距離と第２の視線ベクトルに係る方
向，内積及び距離をそれぞれ比較するように構成したの
で、請求項３記載の発明より更に正確な合成画像を生成
できる効果がある。
【０１２０】請求項５記載の発明によれば、第１及び第
２の視線ベクトルの方向に基づいて入力画像及び合成画
像の各部分画像が属するブロックを特定し、最も合致度
の高い入力画像の部分画像を検索する際、合成画像の部
分画像が属するブロックと同一のブロックに属する入力
画像の部分画像のなかから検索するように構成したの
で、検索する入力画像の部分画像の数が限定され、部分
画像の検索を効率よく行える効果がある。
２の視線ベクトルの方向に基づいて入力画像及び合成画
像の各部分画像が属するブロックを特定し、最も合致度
の高い入力画像の部分画像を検索する際、合成画像の部
分画像が属するブロックと同一のブロックに属する入力
画像の部分画像のなかから検索するように構成したの
で、検索する入力画像の部分画像の数が限定され、部分
画像の検索を効率よく行える効果がある。
【０１２１】請求項６記載の発明によれば、第１及び第
２の視線ベクトルに係る方向及び内積に基づいて入力画
像及び合成画像の各部分画像が属するブロックを特定
し、最も合致度の高い入力画像の部分画像を検索する
際、合成画像の部分画像が属するブロックと同一のブロ
ックに属する入力画像の部分画像のなかから検索するよ
うに構成したので、請求項５記載の発明より、検索する
入力画像の部分画像の数が限定され、部分画像の検索を
更に効率よく行える効果がある。
２の視線ベクトルに係る方向及び内積に基づいて入力画
像及び合成画像の各部分画像が属するブロックを特定
し、最も合致度の高い入力画像の部分画像を検索する
際、合成画像の部分画像が属するブロックと同一のブロ
ックに属する入力画像の部分画像のなかから検索するよ
うに構成したので、請求項５記載の発明より、検索する
入力画像の部分画像の数が限定され、部分画像の検索を
更に効率よく行える効果がある。
【０１２２】請求項７記載の発明によれば、第１及び第
２の視線ベクトルに係る方向，内積及び距離に基づいて
入力画像及び合成画像の各部分画像が属するブロックを
特定し、最も合致度の高い入力画像の部分画像を検索す
る際、合成画像の部分画像が属するブロックと同一のブ
ロックに属する入力画像の部分画像のなかから検索する
ように構成したので、請求項６記載の発明より、検索す
る入力画像の部分画像の数が限定され、部分画像の検索
を更に効率よく行える効果がある。
２の視線ベクトルに係る方向，内積及び距離に基づいて
入力画像及び合成画像の各部分画像が属するブロックを
特定し、最も合致度の高い入力画像の部分画像を検索す
る際、合成画像の部分画像が属するブロックと同一のブ
ロックに属する入力画像の部分画像のなかから検索する
ように構成したので、請求項６記載の発明より、検索す
る入力画像の部分画像の数が限定され、部分画像の検索
を更に効率よく行える効果がある。
【０１２３】請求項８記載の発明によれば、合成画像の
各部分画像に対して入力画像の部分画像を転写する際、
その入力画像の部分画像に向かう第１の視線ベクトルと
その合成画像の部分画像に向かう第２の視線ベクトル
が、撮影対象物体が存在する平面内において一致するか
否かを判定し、一致しない場合には、その第１及び第２
の視線ベクトルに係る方向及び内積と入力画像の視点位
置から撮影対象物体が存在する平面までの距離に基づい
て転写する入力画像の部分画像を変更するようにし構成
したので、その不一致に伴う横方向のずれが補正され、
合成画像の正確度が向上する効果がある。
各部分画像に対して入力画像の部分画像を転写する際、
その入力画像の部分画像に向かう第１の視線ベクトルと
その合成画像の部分画像に向かう第２の視線ベクトル
が、撮影対象物体が存在する平面内において一致するか
否かを判定し、一致しない場合には、その第１及び第２
の視線ベクトルに係る方向及び内積と入力画像の視点位
置から撮影対象物体が存在する平面までの距離に基づい
て転写する入力画像の部分画像を変更するようにし構成
したので、その不一致に伴う横方向のずれが補正され、
合成画像の正確度が向上する効果がある。
【０１２４】請求項９記載の発明によれば、合成画像の
各部分画像に対して入力画像の部分画像を転写する際、
その入力画像及び合成画像の視点位置から撮影対象物体
が存在する平面までの距離に基づいてその入力画像の部
分画像を拡大または縮小するように構成したので、距離
の不一致に伴う縦方向のずれが補正され、合成画像の正
確度が向上する効果がある。
各部分画像に対して入力画像の部分画像を転写する際、
その入力画像及び合成画像の視点位置から撮影対象物体
が存在する平面までの距離に基づいてその入力画像の部
分画像を拡大または縮小するように構成したので、距離
の不一致に伴う縦方向のずれが補正され、合成画像の正
確度が向上する効果がある。
【０１２５】請求項１０記載の発明によれば、転写手段
により検索された入力画像の部分画像に係る合致度が予
め設定された所定の合致度より小さい場合、画像撮影手
段の視点位置から第２の視線ベクトルがのる直線上に下
ろした垂線の足の位置に、その画像撮影手段の視点位置
を移動するとともに、画像撮影手段の光軸をその第２の
視線ベクトルの方向に一致させるように構成したので、
合致度があまり高くない入力画像の部分画像が検索され
た場合でも、正確な合成画像を得ることができる効果が
ある。
により検索された入力画像の部分画像に係る合致度が予
め設定された所定の合致度より小さい場合、画像撮影手
段の視点位置から第２の視線ベクトルがのる直線上に下
ろした垂線の足の位置に、その画像撮影手段の視点位置
を移動するとともに、画像撮影手段の光軸をその第２の
視線ベクトルの方向に一致させるように構成したので、
合致度があまり高くない入力画像の部分画像が検索され
た場合でも、正確な合成画像を得ることができる効果が
ある。
【図１】 この発明の実施の形態１による画像合成装置
を示すブロック図である。
を示すブロック図である。
【図２】 この発明の実施の形態１による画像合成装置
の動作原理を示す説明図である。
の動作原理を示す説明図である。
【図３】 構造化装置の動作を示す説明図である。
【図４】 この実施の形態１による画像合成装置の動作
を示すフローチャートである。
を示すフローチャートである。
【図５】 この実施の形態１による画像合成装置の動作
を示すフローチャートである。
を示すフローチャートである。
【図６】 この発明の実施の形態４による画像合成装置
の動作原理を示す説明図である。
の動作原理を示す説明図である。
【図７】 視線ベクトルの表現手法を示す説明図であ
る。
る。
【図８】 この実施の形態４による画像合成装置の動作
を示すフローチャートである。
を示すフローチャートである。
【図９】 この実施の形態４による画像合成装置の動作
を示すフローチャートである。
を示すフローチャートである。
【図１０】 視線ベクトルの表現手法を示す説明図であ
る。
る。
【図１１】 この実施の形態１１による画像合成装置の
動作を示すフローチャートである。
動作を示すフローチャートである。
【図１２】 この実施の形態１２による画像合成装置の
動作を示すフローチャートである。
動作を示すフローチャートである。
【図１３】 この発明の実施の形態８による画像合成装
置を示すブロック図である。
置を示すブロック図である。
【図１４】 この発明の実施の形態８による画像合成装
置の動作原理を示す説明図である。
置の動作原理を示す説明図である。
【図１５】 この発明の実施の形態８による画像合成装
置の動作原理を示す説明図である。
置の動作原理を示す説明図である。
【図１６】 この発明の実施の形態９による画像合成装
置を示すブロック図である。
置を示すブロック図である。
【図１７】 ビデオカメラの移動原理を示す説明図であ
る。
る。
【図１８】 従来の画像合成装置の動作原理を示す説明
図である。
図である。
４１ 画像入力装置（画像撮影手段）、４２ 視点情報
入力装置（入力手段）、４３ 視点指示装置（入力手
段）、４４ 画像処理装置（画像分割手段）、４５ 視
線決定装置（方向演算手段，内積演算手段，距離演算手
段）、４６ 構造化装置（ブロック特定手段）、４８
合成画像生成装置（転写手段）、７７ 部分画像変更装
置（転写手段）、８１ ビデオカメラ（画像撮影手
段）、８５ 目標位置演算装置（移動手段）、８６ カ
メラ移動装置（移動手段）。
入力装置（入力手段）、４３ 視点指示装置（入力手
段）、４４ 画像処理装置（画像分割手段）、４５ 視
線決定装置（方向演算手段，内積演算手段，距離演算手
段）、４６ 構造化装置（ブロック特定手段）、４８
合成画像生成装置（転写手段）、７７ 部分画像変更装
置（転写手段）、８１ ビデオカメラ（画像撮影手
段）、８５ 目標位置演算装置（移動手段）、８６ カ
メラ移動装置（移動手段）。
フロントページの続き
(56)参考文献 特開 平９−37224（ＪＰ，Ａ)
特開 平８−279961（ＪＰ，Ａ)
特開 平７−296194（ＪＰ，Ａ)
特開 平７−225855（ＪＰ，Ａ)
亀井克之，画像に基づく仮想空間の生
成，電子情報通信学会技術研究報告，日
本，社団法人電子情報通信学会，1996年
５月28日，第96巻 第82号，Ｐ．25−
34
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/265
H04N 1/38 - 1/393
G03B 35/00 - 37/06
G02B 27/22
Claims (10)
- 【請求項１】 入力画像を撮影する画像撮影手段と、上
記入力画像及び合成画像の視点位置と光軸方向をそれぞ
れ入力するとともに、上記画像撮影手段の画角を入力す
る入力手段と、上記入力画像及び合成画像をそれぞれ複
数の部分画像に分割する画像分割手段と、上記入力画像
の光軸方向及び上記画角に基づいて上記入力画像の視点
位置からその入力画像の各部分画像に向かう第１の視線
ベクトルの方向を演算するとともに、上記合成画像の光
軸方向及び上記画角に基づいて上記合成画像の視点位置
からその合成画像の各部分画像に向かう第２の視線ベク
トルの方向を演算する方向演算手段と、上記第１の視線
ベクトルの方向と上記第２の視線ベクトルの方向を比較
して、上記合成画像の各部分画像に対して最も合致度の
高い入力画像の部分画像をそれぞれ検索し、それぞれ検
索した入力画像の部分画像をその合成画像の各部分画像
にそれぞれ転写する転写手段とを備えた画像合成装置。 - 【請求項２】 画像分割手段は入力画像及び合成画像を
それぞれ複数の部分画像に分割する際、その入力画像及
び合成画像を構成する各画素ごとに分割することを特徴
とする請求項１記載の画像合成装置。 - 【請求項３】 第１の視線ベクトルの方向から平面内で
−９０度ずれた方向を有する大きさ１のベクトルと座標
軸の原点から入力画像の視点位置に向かうベクトルの内
積を演算するとともに、第２の視線ベクトルの方向から
平面内で−９０度ずれた方向を有する大きさ１のベクト
ルと座標軸の原点から合成画像の視点位置に向かうベク
トルの内積を演算する内積演算手段を設け、転写手段は
最も合致度の高い入力画像の部分画像を検索する際、上
記第１の視線ベクトルに係る方向及び内積と上記第２の
視線ベクトルに係る方向及び内積をそれぞれ比較して検
索することを特徴とする請求項１記載の画像合成装置。 - 【請求項４】 座標軸の原点から第１の視線ベクトルが
のる直線上に下ろした垂線の足の位置と上記入力画像の
視点位置間の距離を求めるとともに、座標軸の原点から
第２の視線ベクトルがのる直線上に下ろした垂線の足の
位置と合成画像の視点位置間の距離を求める距離演算手
段を設け、転写手段は最も合致度の高い入力画像の部分
画像を検索する際、上記第１の視線ベクトルに係る方
向、内積及び距離と上記第２の視線ベクトルに係る方
向、内積及び距離をそれぞれ比較して検索することを特
徴とする請求項３記載の画像合成装置。 - 【請求項５】 視線ベクトルの方向によって特定される
空間を複数のブロックに分割するとともに、第１及び第
２の視線ベクトルの方向に基づいて入力画像及び合成画
像の各部分画像が属するブロックを特定するブロック特
定手段を設け、転写手段は最も合致度の高い入力画像の
部分画像を検索する際、上記合成画像の部分画像が属す
るブロックと同一のブロックに属する入力画像の部分画
像のなかから検索することを特徴とする請求項１記載の
画像合成装置。 - 【請求項６】 視線ベクトルに係る方向及び内積によっ
て特定される空間を複数のブロックに分割するととも
に、第１及び第２の視線ベクトルに係る方向及び内積に
基づいて入力画像及び合成画像の各部分画像が属するブ
ロックを特定するブロック特定手段を設け、転写手段は
最も合致度の高い入力画像の部分画像を検索する際、上
記合成画像の部分画像が属するブロックと同一のブロッ
クに属する入力画像の部分画像のなかから検索すること
を特徴とする請求項３記載の画像合成装置。 - 【請求項７】 視線ベクトルに係る方向、内積及び距離
によって特定される空間を複数のブロックに分割すると
ともに、第１及び第２の視線ベクトルに係る方向、内積
及び距離に基づいて入力画像及び合成画像の各部分画像
が属するブロックを特定するブロック特定手段を設け、
転写手段は最も合致度の高い入力画像の部分画像を検索
する際、上記合成画像の部分画像が属するブロックと同
一のブロックに属する入力画像の部分画像のなかから検
索することを特徴とする請求項４記載の画像合成装置。 - 【請求項８】 転写手段は合成画像の各部分画像に対し
て入力画像の部分画像を転写する際、その入力画像の部
分画像に向かう第１の視線ベクトルとその合成画像の部
分画像に向かう第２の視線ベクトルが、撮影対象物体が
存在する平面内において一致するか否かを判定し、一致
しない場合には、その第１及び第２の視線ベクトルに係
る方向及び内積と上記入力画像の視点位置から上記撮影
対象物体が存在する平面までの距離に基づいて転写する
入力画像の部分画像を変更することを特徴とする請求項
３記載の画像合成装置。 - 【請求項９】 転写手段は合成画像の各部分画像に対し
て入力画像の部分画像を転写する際、その入力画像及び
合成画像の視点位置から撮影対象物体が存在する平面ま
での距離に基づいてその入力画像の部分画像を拡大また
は縮小することを特徴とする請求項１記載の画像合成装
置。 - 【請求項１０】 転写手段により検索された入力画像の
部分画像に係る合致度が予め設定された所定の合致度よ
り小さい場合、画像撮影手段の視点位置から第２の視線
ベクトルがのる直線上に下ろした垂線の足の位置に、そ
の画像撮影手段の視点位置を移動するとともに、上記画
像撮影手段の光軸をその第２の視線ベクトルの方向に一
致させる移動手段を設けたことを特徴とする請求項１か
ら請求項９のうちのいずれか１項記載の画像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23710995A JP3457104B2 (ja) | 1995-09-14 | 1995-09-14 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23710995A JP3457104B2 (ja) | 1995-09-14 | 1995-09-14 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0983865A JPH0983865A (ja) | 1997-03-28 |
| JP3457104B2 true JP3457104B2 (ja) | 2003-10-14 |
Family
ID=17010552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23710995A Expired - Fee Related JP3457104B2 (ja) | 1995-09-14 | 1995-09-14 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3457104B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4211292B2 (ja) * | 2002-06-03 | 2009-01-21 | ソニー株式会社 | 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体 |
-
1995
- 1995-09-14 JP JP23710995A patent/JP3457104B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 亀井克之，画像に基づく仮想空間の生成，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９６年 ５月２８日，第９６巻 第８２号，Ｐ．２５−３４ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0983865A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
| Zhu et al. | Parallel-perspective stereo mosaics | |
| US6191808B1 (en) | Image processing method with viewpoint compensation and apparatus therefor | |
| Zhu et al. | Generalized parallel-perspective stereo mosaics from airborne video | |
| JP4737763B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
| EP0797171B1 (en) | Image processing method and apparatus | |
| Coorg et al. | Acquisition of a large pose-mosaic dataset | |
| CN105066962B (zh) | 一种多分辨率大视场角高精度摄影测量装置 | |
| EP1536378A2 (en) | Three-dimensional image display apparatus and method for models generated from stereo images | |
| JP2007336188A (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
| CN103345736A (zh) | 一种虚拟视点绘制方法 | |
| CN106534670B (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| JP2003269928A (ja) | ３次元形状計測方法および装置ならびにプログラム | |
| US6809771B1 (en) | Data input apparatus having multiple lens unit | |
| WO2018179040A1 (ja) | カメラパラメータ推定装置、方法およびプログラム | |
| WO2017134770A1 (ja) | 映像同期装置 | |
| JP4605716B2 (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
| JP4775903B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
| Zhu et al. | Stereo mosaics from a moving video camera for environmental monitoring | |
| JP3457104B2 (ja) | 画像合成装置 | |
| US8532432B2 (en) | Mobile communication terminal having image conversion function and method | |
| JP6278771B2 (ja) | 投影位置決定装置及び投影位置決定プログラム | |
| JP2013120435A (ja) | 画像処理装置および画像処理方法、プログラム | |
| JP3277105B2 (ja) | 部分立体モデルの作成方法及び装置 | |
| JPH09237346A (ja) | 部分立体モデルの合成方法及び完全立体モデルの作成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100801 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |