JPH10334216A - 画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 特殊な撮像環境を必要とせずに対象物体の画
像を３次元的な位置や構造を含めて検出し、２次元画像
や３次元コンピュータグラフィックスとの画像合成を効
率的に行うことが可能な画像合成装置を提供する。 【解決手段】 撮像部１を構成する２台のステレオカメ
ラにより、それぞれ背景の画像を撮影し、対応検出部３
がこの背景の画像を構成する画素の対応を検出し、対応
記憶部４がこの画素の対応を記憶する。領域検出部５で
は、画像入力部２から出力された画像の中から、対応記
憶部４に記憶された対応と異なる対応の画素を検出し、
これを物体領域であるとして画像合成部７に出力する。
画像合成部７は、背景画像入力部６に入力した背景画像
と、領域検出部５から出力された領域の画像とを合成し
て出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影した画像から
物体領域を取り出して別の画像に合成を行う画像合成装
置に関し、特に２つの撮像装置を利用して２枚の画像の
画素の対応から物体を取り出して合成を行う画像合成装
置に関する。

【０００２】

【従来の技術】従来の画像合成装置として、例えば特開
昭６３−９０２８５号公報や特開平３−２８５４８６号
公報に開示された発明のように、クロマキーによる画像
合成装置が知られている。これらの装置における画像合
成の方法を、以下に図面を参照して説明する。

【０００３】まず、図１８にクロマキーによる画像合成
装置の画像合成方法を示す。この図１８に示されるよう
に、背景画像１３２の上に合成する物体１３１の画像を
撮像する際に、物体１３１の背後を青や緑、この図の場
合では青色の背景１３０、など特定の色で覆って撮影
し、この色情報をもとに物体部分１３４のみを取り出
し、これを背景画像１３２の上に合成して合成画像１３
３を得るというものである。

【０００４】しかし、この手法では物体を撮影するため
に物体の背後を特定の色で覆わなければならず、その撮
影のためには特殊な撮影環境を必要とする欠点があり、
また、この方法では対象とする物体の３次元的な位置や
構造がわからず２次元的な合成しかできないという欠点
があった。

【０００５】そこで上述の従来の欠点を補うため、特別
な撮影条件を必要とせず、物体部分のみを取り出す手段
として、特開平７−７９４２９号公報に開示された発明
のような背景差分による方法や、特開平８−２４９４７
１号公報に開示された発明のようなフレーム間差分の方
法が知られている。

【０００６】背景差分による画像合成方法を図１９を参
照して説明する。この図１９に示されるように、背景差
分による方法は、背景画像１４１を予め撮影しておき、
それと現フレーム画像１４０との差をとることにより、
抽出された画像１４２として、移動物体部分のみを取り
出す方法である。

【０００７】次に、フレーム間差分による画像合成方法
を図２０を参照して説明する。図２０に示されるよう
に、このフレーム間差分による方法は、現フレーム画像
１５０と１フレーム前の前フレーム画像１５１との差分
をとることにより、抽出された画像１５２として移動物
体部分のみを取り出し、明るさの変化や日照条件の変化
があったとしても対応できるようにしたものである。

【０００８】一方、従来の画像合成装置には、物体の３
次元的な構造や位置を検出するために、ステレオ画像の
両眼視差を用いてその３次元的な構造や位置を検出する
手法が知られている。

【０００９】

【発明が解決しようとする課題】しかしながら、上記従
来技術において、背景差分の方法においては、移動物体
部分を取り出す際に、物体の影や日照条件の変化による
明るさの変化も取り出してしまうことがあり、正確に物
体だけを取り出すことができないという問題点を有して
いる。

【００１０】また、フレーム間差分による方法において
は、物体が動いている間であれば、移動物体部分のみを
取り出すことが可能であるが、物体が静止してしまう
と、その移動物体部分のみを取り出すことができないと
いう問題点を有している。

【００１１】一方、物体の３次元的な構造や位置を検出
するための、両眼視差を用いる方法においてはステレオ
カメラで撮影された２枚の画像の画素間の対応をとる処
理動作が必須の動作となるが、この処理動作は一般の長
い処理時間がかかるという欠点があり、従ってこの方法
では、３次元的な構造や位置を検出する際に、その長い
処理時間による弊害として、静止物体に対しては用いる
ことが可能であるものの、動物体の画像合成には用いる
ことができないという問題点を有している。

【００１２】このように、従来のクロマキーに基づく画
像合成装置は特殊な撮影環境が必要となり、物体の３次
元的な位置や構造がわからないという問題点を有してい
る。また、背景差分による画像合成方法やフレーム間差
分による画像合成方法では特殊な撮影環境が必要ではな
いものの、誤差を多く含む上、別の束縛条件が付与され
てしまい、かつ、物体の３次元的な位置や構造がわから
ないという問題点を有している。また、物体の３次元的
な位置や構造を検出するための両眼視差を用いる方法に
おいては上述のように長い処理時間がかかるという問題
点を有している。

【００１３】本発明は上記事情に鑑みなされたもので、
特殊な撮像環境を必要とせずに対象物体の画像を３次元
的な位置や構造を含めて検出し、２次元画像や３次元コ
ンピュータグラフィックスとの画像合成を効率的に行う
ことが可能な画像合成装置を提供することを目的とす
る。

【００１４】

【課題を解決するための手段】請求項１記載の発明は、
異なる位置に配置された２台の撮像装置のそれぞれから
出力された画像を表す画像データが入力される画像入力
部と、前記画像入力部に入力された画像データにより表
される画像において、前記２台の撮像装置の内の一方の
撮像装置から出力された画像を構成する画素と他方の撮
像装置から出力された画像を構成する画素との間の対応
を検出する対応検出部と、前記検出された画素間の対応
を記憶する対応記憶部と、前記画像入力部に入力される
２台の撮像装置のそれぞれから出力された画像を構成す
る全ての画素の対応が、前記対応記憶部に記憶されてい
る画素間の対応と異なっているか否かを調べ、記憶され
ている対応と異なる対応を持つ画素と該異なる対応を持
つ画素により占められる領域とを検出する領域検出部
と、背景画像としての画像データを入力する背景画像入
力部と、前記領域検出部において検出された領域に対し
ては前記画像入力部に入力された画像の画像データを用
い、前記領域検出部において検出された領域以外には前
記背景画像入力部に入力された背景画像の画像データを
用いて画像を合成する画像合成部とを有することを特徴
とする。

【００１５】従って、この発明によれば、画像入力部に
入力された、異なる位置に配置された２台の撮像装置か
ら出力された画像において、初期段階において対応検出
部で背景として撮影された２枚の画像を構成する画素間
の対応がとられ、この対応が対応記憶部に記憶される。
従って、対応する２つの画素は２つの撮像装置で背景の
同じ点を映している。領域検出部では画像入力部に入力
された画像を構成する全ての画素に対して対応記憶部に
記憶されている画素間の対応と一致しているか否かを調
べ直す。もし、背景以外の物体が撮像領域内に入ってき
た場合、左右の撮像装置から出力された画像の内のその
物体に対応する画素は、今まで背景の同じ点を映してい
るはずが物体によって背景の点が隠されてしまい、違う
点を映すことになり、対応が崩れることになる。従っ
て、対応が崩れて異なる対応となっている画素を集めれ
ば、画像から背景以外の物体のみを取り出すことができ
る。また、背景や日照条件によって背景の明るさが変化
したとしても、２台の撮像装置が映しているそれぞれの
画像の対応している画素における画素値が共に変化する
ので、このような背景や日照条件の条件には影響されず
に、画像から物体領域のみを取り出すことができる。そ
して、画像から物体領域のみを取り出した後、背景画像
入力部から入力した背景と、物体領域の画像とを重ね合
わすことにより画像を合成することができる。

【００１６】請求項２記載の発明は、請求項１記載の発
明において、前記領域検出部により検出された領域に対
応する物体の、前記撮像装置から前記物体までの距離を
検出する距離検出部と、該距離検出部により検出された
距離を記憶するための距離記憶部とを有することを特徴
とする。

【００１７】従って、この発明によれば、請求項１記載
の発明の作用が得られると共に、領域検出部において検
出された領域に対応する物体に対して、撮像装置から物
体までの距離を検出する距離検出部を設けることによ
り、物体の撮像装置からの距離と検出された物体の３次
元構造を抽出することができ、これらの情報を距離記憶
部において記憶する。従って、物体の３次元構造と撮像
装置からの距離との、正確な測定及び記憶を行うことが
できる。

【００１８】請求項３記載の発明は、請求項２記載の発
明において、前記背景画像入力部は、撮像装置から背景
までの距離を表すデータと、撮像装置の撮像面における
背景画像の存在範囲を表すデータとが付与された背景画
像の画像データが入力され、前記画像合成部は、前記距
離記憶部に記憶された前記領域検出部により検出された
領域に対応する物体の、前記撮像装置から前記物体まで
の距離と、前記背景画像の画像データに付与されたデー
タにより表される撮像装置から背景までの距離とを比較
し、撮像面全体において、撮像装置に最も近い距離にあ
る画像の画像データに基づいて画像を合成することを特
徴とする。

【００１９】従って、この発明によれば、請求項２記載
の発明の作用が得られると共に、領域検出部において検
出された領域に対応する物体の、撮像装置から物体まで
の距離を距離検出部において検出し、この検出した距離
を距離記憶部に記憶することにより撮像装置と物体との
間の距離を測定する。また、背景画像入力部には、撮像
装置から背景までの距離を表すデータと、撮像装置の撮
像面で存在する背景画像の範囲のデータが付与された１
枚又は複数の画像が入力される。画像合成部では、領域
検出部で検出された領域には距離記憶部において記憶し
ている距離を用い、背景画像にはこの背景画像データに
付与された距離データを用いて、撮像装置の撮像面上の
全ての画素に対して、背景画像入力部から入力された画
像と領域検出部において検出された領域の画像とのそれ
ぞれを構成する画素の全ての距離を比較する。この比較
に基づき、最も撮像装置に近い位置にある画素を用いて
画像を形成することにより画像合成を行う。このように
構成することによって、複数の、かつ、異なった距離を
有する画像が背景画像として背景画像入力部に入力され
たとしても、その背景画像と領域検出部において検出さ
れた領域の画像とを、その距離関係を崩すことなく、合
成することができる。従って、検出された領域よりも撮
像装置に近い距離に背景が存在する場合であっても、そ
の背景画像の画像データに適切な距離データが付与され
ることにより、背景画像により検出された領域の画像を
背景画像により隠すような画像を合成することができ
る。

【００２０】請求項４記載の発明は、請求項２又は３に
記載の発明において、前記背景画像入力部は、背景とし
て３次元コンピュータグラフィックスによる背景モデル
のデータが入力され、前記画像合成部は、前記背景画像
入力部から入力された３次元コンピュータグラフィック
スによる背景モデルに対して、前記領域検出部において
検出された領域に対しては前記画像入力部に入力された
画像を、前記距離記憶部に記憶された距離に基づき配置
し、前記入力された画像に対応する物体の３次元構造を
表すように、若しくは、平面にテクスチャとしてはりつ
けることにより３次元コンピュータグラフィックスを用
いた画像を合成することを特徴とする。

【００２１】従って、この発明によれば、請求項２又は
３に記載の発明の作用が得られると共に、背景画像入力
部において、背景として３次元コンピュータグラフィッ
クスの背景モデルデータが入力される。また、撮像装置
から物体までの距離を検出する距離検出部と、その検出
された距離を記憶する距離記憶部とにより、検出された
領域に対応する物体のおおよその距離及び物体の３次元
的な構造が抽出されるので、これらを画像合成部におい
て、３次元コンピュータグラフィックスの背景モデルと
合成することにより、３次元コンピュータグラフィック
スを用いた画像の合成を実行することができる。

【００２２】請求項５記載の発明は、請求項２から４の
いずれかに記載の発明において、前記領域検出部により
検出された領域に対応する物体の、前記距離記憶部に記
憶されている前記撮像装置から該物体までの距離に基づ
き、前記領域検出部で検出された領域内における、前記
対応する物体により生成された２台の撮像装置間の死角
領域を計算し、前記領域検出部で検出された領域から、
該計算された死角領域を除去する第１の死角除去部を有
することを特徴とする。

【００２３】上記請求項１から４に記載された発明に具
備された領域検出部により、画像から背景以外の物体を
取り出すことができる。この取り出しは物体が撮像範囲
内に入ってくることにより、２台の撮像装置により背景
の同じ点として映されていた画素が、物体上の異なる２
点を移すことにより、その２台の撮像装置から出力され
る画素の対応が崩れることを利用している。しかし、２
台の撮像装置は異なる位置から物体を撮影しているた
め、一方の撮像装置は物体を映しているが、他方の撮像
装置は物体を映さずに背景を映しているという場合にお
いても、対応の崩れは発生する。この場合に、上述のよ
うに、単に、対応が崩れている画素の領域を、物体領域
であるとみなしてしまうと、その物体領域の中に、真の
物体領域ではない領域、いわゆる死角領域が含まれてし
まうことになる。そのため、画像から真の物体領域のみ
を正確に取り出すためには、この死角領域を除去する必
要がある。

【００２４】従って、請求項５記載の発明によれば、請
求項２から４のいずれかに記載の発明の作用が得られる
と共に、第１の死角除去部が、距離検出部において検出
された撮像装置から物体まで距離に基づき、領域検出部
において検出された領域に対応する物体により生成され
た、２台の撮像装置間の死角領域の幅を計算する。この
幅は検出された領域の端点の画素によって異なるので、
全ての端点の画素について死角領域の幅を計算する。そ
の後、第１の死角除去部は、領域検出部で検出された領
域から各端点の画素に対応する死角領域を除去し、死角
領域が除去されたデータを画像合成部に出力する。従っ
て、死角領域を正確に除去することができると共に、死
角領域を求める際に、検出された領域の画像を構成する
全ての画素の探索を必要としていないので、高速に死角
領域を除去することができる。

【００２５】請求項６記載の発明は、請求項１から５の
いずれかに記載の発明において、前記領域検出部により
検出された領域の画像を構成する画素において、前記対
応検出部が前記２台の撮像装置のそれぞれから出力され
た領域の画像を構成する画素の対応を検出し、該対応検
出部による検出結果に基づき、前記領域検出部により検
出された領域から対応がとれない画素により占められる
領域を死角領域とし、この死角領域を除去する第２の死
角除去部を有することを特徴とする。

【００２６】従って、この発明によれば、請求項１から
５のいずれかに記載の発明の作用が得られると共に、領
域検出部において検出された領域に対して、２台の撮像
装置により、改めて画素間のステレオ対応をとる。領域
検出部において検出された領域において、死角領域以外
の領域（真の物体領域）では、２台の撮像装置から出力
された画素が共通に映されるので画素間の対応がとれる
が、死角領域では対応が取れない。この対応がとれない
領域を、第２の死角領域除去部が検出された領域から除
去することにより、正確に真の物体領域のみを取り出す
ことができる。

【００２７】請求項７記載の発明は、請求項１から６の
いずれかに記載の発明において、前記領域検出部により
検出された領域内において、前記異なる位置に配置され
た２台の撮像装置の内の１の撮像装置から出力された画
像における前記検出された領域の端点の画素に対応する
画素を、他の一方の撮像装置から出力された画像におけ
る前記検出された領域の端点から探索し、該他の一方の
撮像装置から出力された前記検出された領域の端点から
対応する画素の画素位置までの領域を死角領域であると
して除去し、これを前記領域の全ての端点の画素につい
て行うことにより、前記検出された領域の死角領域を除
去する第３の死角除去部を有することを特徴とする。

【００２８】従って、この発明によれば、請求項１から
６のいずれかに記載の発明の作用が得られると共に、死
角領域の位置関係と２台の撮像装置の位置関係とのそれ
ぞれには、領域検出部で検出した領域内での死角の位置
が一致するという特性を利用して死角領域を除去する。
この領域内に現れる死角の位置の特性を利用は、第３の
死角除去部が、片方の撮像装置の画像から得られた領域
の端部の画素に対応する画素を、もう一方の画像から得
られた領域内の画素から探索し、対応した画素からその
領域の端部の画素までの領域を、死角領域であるとして
除去する。これを全ての端部の画素に対して行うことに
より、死角領域を除去する。このように、検出された領
域の端部のみを探索して死角領域の除去を行うので、検
出された領域全体を構成する画素の対応を取る必要がな
く、死角領域の除去にかかる時間を低減することができ
る。

【００２９】

【発明の実施の形態】次に、図面を参照して、本発明に
係る画像合成装置の実施形態を詳細に説明する。図１
に、本発明に係る画像合成装置の第１の実施形態の構成
のブロック図を示す。

【００３０】この図１に示されるように、この画像合成
装置は、物体や背景を撮影する、２台ステレオカメラか
ら構成される撮像装置としての撮像部１と、撮像部１に
おいて撮影された物体等の画像を、画像データとして入
力する画像入力部２と、画像入力部２に入力された画像
データを入力し、２台のステレオカメラのそれぞれから
出力された画像を構成する画素間の対応を検出する対応
検出部３と、対応検出部３において検出された対応を記
憶する対応記憶部４と、画像入力部２に入力された画像
データにより表される画像において、対応記憶部４に記
憶された対応に基づき領域を検出する領域検出部５と、
背景画像が入力される背景画像入力部６と、領域検出部
５において物体領域として検出された部分には画像入力
部２に入力した画像データを用い、領域と検出されなか
った部分には背景画像入力部６に入力された背景の画像
データを用いて画像を合成する画像合成部７とから構成
される。

【００３１】次に、この図１に示される画像合成装置の
動作についてさらに詳細に説明する。撮像部１は画像入
力用の２台のステレオカメラから構成され、この２台の
ステレオカメラのそれぞれから出力された画像データ
が、画像入力部２に入力される。物体領域を検出する前
の初期段階においては、あらかじめ、撮像部１におい
て、背景のシーンを撮影し、画像入力部２に出力する。

【００３２】画像入力部２に入力された背景のシーンの
画像データは、対応検出部３、領域検出部５及び画像合
成部７に出力される。対応検出部３では、２台のステレ
オカメラのそれぞれから出力された背景のシーンにおい
て、この背景シーン画像を構成するそれぞれの画素間の
対応検出を行う。

【００３３】対応検出部３における対応検出の動作を説
明する。まず、２台のステレオカメラにより背景シーン
の画像が撮影された場合、２台のステレオカメラの位置
関係からエピポーラ条件を定める。これは２台のステレ
オカメラのカメラ中心を結ぶ直線と背景シーン上の一点
を結ぶ平面とがステレオ画像と交差してできる２本直線
の直線の組がエピポーラ直線であり、背景中の任意の点
はステレオ画像中のエピポーラ直線対の上の画素に映っ
ているという条件である。この左右画像の全てのエピポ
ーラ直線対上で画素の対応点を求める。

【００３４】その後、対応検出部３において検出された
対応は対応記憶部４に出力され、対応記憶部４におい
て、画素の対応結果を記憶する。この対応記憶部４に記
憶される対応の状態を図２に示す。図２は、対応記憶部
４に記憶される２台のステレオカメラから出力された背
景シーンの画像を構成する画素の対応の記憶状態を示す
図である。図２の（ａ）が背景画像と左画像と右画像と
の位置関係を示す図であり、図２の（ｂ）が左画像と右
画像との背景画像の明るさの配列を示す図であり、図２
の（ｃ）が左画像に記憶される座標と、右画像に記憶さ
れる画像の対応記憶を示す図である。この図２に示され
るように、対応の記憶は、各画素について、対応する画
素の相手側の画像における座標を記憶することにより行
われる。

【００３５】対応記憶部４による対応の記憶が終了する
と、初期段階は終了となる。その後、撮像部１を構成す
る２台のステレオカメラのそれぞれから出力された画像
の画像データは、随時、領域検出部５に入力される。

【００３６】領域検出部５では、対応記録部４に記憶さ
れている対応する画素の座標を用いて、画像入力部２か
ら出力された画像データにより表される画像において、
背景以外の物体の領域を検出する。この対応検出部４に
おける背景以外の物体の領域を検出する動作について図
３を参照して説明する。

【００３７】図３は、領域検出部５において領域を検出
する際の２台のステレオカメラと物体との位置関係を示
す図である。図３の（ａ）が、物体が存在しない場合の
２台のステレオカメラと背景上の１点との位置関係を示
す図であり、図３の（ｂ）が物体Ｏが存在している場合
の物体Ｏと２台のステレオカメラとの位置関係を示す図
である。この図３に示されるように、初期段階で背景画
像の対応付けを行った際に、背景のある点Ｐｂについ
て、左画像の画素Ｐ１と右画像の画素Ｐｒが対応してい
たとする（図３の（ａ））。

【００３８】その後、物体Ｏが撮像領域内に入ってき
て、２台のステレオカメラにより物体Ｏを撮影したとす
る（図３の（ａ））。この点Ｐｂが物体Ｏによって隠さ
れた場合、ＰｌとＰｒとが映している点は物体上の異な
った点ＰＯｌとＰＯｒとなるので対応しなくなる。この
ような対応しなくなった点を全て取り出すことにより、
物体領域の検出を行う。ここで、対応しなくなったか否
かの判定には以下のような計算方法を用いる。

【００３９】・単純な画素値の差分｜Ｉｌ（Ｐｌ）−Ｉ
ｒ（Ｐｒ）｜があるしきい値以下である。ただし、Ｉｌ
（Ｐｌ）、Ｉｒ（Ｐｒ）はそれぞれ画素Ｐにおけるステ
レオ左画像、右画像の画素値を示す。・画素Ｐｌ、Ｐｒ
を中心としたウィンドウ内のパターンの変化と対応する
画素を中心とした、以下の式で表されるウィンドウ内の
パターンの変化ｓがあるしきい値以下である。

【００４０】

【数１】

【００４１】ただし、Ｐｌⁱ 、Ｐｒⁱ はそれぞれ画素Ｐ
ｌ、Ｐｒを中心としたウィンドウのｉ番目の画素であ
り、μｌ、μｒはそれぞれ画素Ｐｌ、Ｐｒを中心とした
ウィンドウ内の画素値の平均である。

【００４２】このように、領域検出部５における対応し
なくなったか否かの判定においては、上述のような計算
方法による判定方法を用いるが、本発明では、一度対応
付けがおこなわれた画素の対応が、物体が入ってくるこ
とにより崩れたか否かを判定して物体領域の検出を行う
のであり、判定のための計算方法自体に本発明の趣旨が
あるわけではない。従って、上述のような計算方法によ
る判定に限定されるものではなく、その他の適切な計算
式により表される判定を行っても良い。このような判定
により領域検出部５において物体領域が検出される。

【００４３】次に、背景画像入力部６では、画像を合成
する場合の物体の背景となる画像を入力する。この背景
画像の入力はカメラを用いて背景を撮影したものを背景
画像として入力させても良いし、ビデオテープやレーザ
ーディスク、若しくは、コンピュータの大容量記憶装置
等の記憶媒体に記憶されている画像を背景画像として入
力させても良い。

【００４４】画像合成部７では、背景画像入力部６に入
力された背景に領域検出部５で検出した領域、つまり、
背景以外の物体の画像を合成する。具体的には、領域検
出部５において検出された領域には画像入力部２に入力
された画像の画像データの画素値を用い、領域検出部５
で検出されなかった領域には背景画像入力部６において
背景画像として入力された画像の画像データの画素値を
用いる。

【００４５】ここで、画像合成部７における画像合成の
際に、領域検出部５で検出した領域の画像データとして
画像入力部２に入力した画像データの画素値を用いて、
合成に利用するが、撮像部１は２台のステレオカメラに
より構成されるため、画像入力部２から出力される画像
の画像データも２枚分存在する。そこで、領域検出部５
において、ステレオカメラの左画像を用いて領域を検出
した場合は検出した領域を画像入力部２で入力した左画
像の画素値で置き換え、ステレオカメラの右画像を用い
て領域を検出した場合は検出した領域を映像入力部２で
入力した右画像の画素値で置き換える。このように、画
像合成を実行する場合にはどちらの結果を用いても良
い。

【００４６】従って、この第１の実施形態に係る画像合
成装置によれば、入力した画像から背景以外の領域を、
正確かつ、迅速に取り出すことが可能であり、さらにこ
の取り出した領域を、背景画像入力部６に入力した背景
画像と合成することができる。

【００４７】次に、本発明に係る画像合成装置の第２の
実施形態について図４を参照して説明する。図４に、第
２の実施形態に係る画像合成装置の構成のブロック図を
示す。ただし、図１に示される第１の実施形態に係る画
像合成装置と同様な部材には同じ番号を付す。

【００４８】この図４に示されるように、この第２の実
施形態に係る画像合成装置は、上述の第１の実施形態に
係る画像合成装置に、領域検出部５で得られた物体領域
に対して、その物体の３次元的構造及び、大体の距離を
測定する距離検出部８と、距離検出部８において検出さ
れた構造及び、距離の情報を記憶しておく距離記憶部９
とを設けたものである。

【００４９】また、領域検出部５の出力は、直接画像合
成部７に出力される第１の実施形態と異なり、まず距離
検出部８に入力する。その後、検出された距離が付与さ
れた領域の画像データは距離記憶部９に記憶され、距離
記憶部９から検出された距離が付与された領域の画像デ
ータが画像合成部７に出力される。

【００５０】距離検出部８による距離の検出は、レーザ
や超音波など距離を測定する距離計測様カメラにより能
動的に距離情報を求める検出方法でも良いし、特殊な距
離計測用カメラは設けず、領域検出部５において検出さ
れた領域内で、２枚の画像の画素間の対応を取り、画素
間の対応を取ることにより物体領域の構造と距離とを求
めても良い。また、距離記憶部９により記憶された情報
は、画像合成部７に出力されて、画像合成を行う際に利
用される。

【００５１】従って、この第２の実施形態に係る画像合
成装置においては、上述した第１の実施形態に係る画像
合成装置の効果と同様な効果が得られると共に、領域検
出部５において検出された領域の、撮像装置からその領
域に対応する物体までの距離を検出することが可能にな
ると共に、その領域に対応する物体の３次元構造も認識
することができる。

【００５２】次に、本発明に係る画像合成装置の第３の
実施形態について図面を参照して説明する。図５に、第
３の実施形態に係る画像合成装置の構成のブロック図を
示す。この第３の実施形態に係る画像合成装置の構成
は、図４に示される第２の実施形態に係る画像合成装置
の構成と同様である。ただし、この図５に示される背景
画像入力部３１の動作、及び、画像合成部３２の動作と
が、図４に示される背景画像入力部６の動作、及び、画
像合成部７の動作と異なる。その他のブロックの動作に
ついては同様である。よって、以下に、この図５に示さ
れる背景画像入力部３１の動作、及び、画像合成部３２
の動作について説明する。ただし、図５において、図４
に示される第２の実施形態が有する部材と同様な部材に
は同じ番号を付す。

【００５３】まず、図５に示される背景画像入力部３１
の動作について説明する。この第３の実施形態に係る画
像合成装置が具備する背景画像入力部３１においては、
その背景画像と撮像部１との間の距離を表すデータと、
その撮像面において存在する存在範囲を表すデータとが
付与された背景画像の画像データが入力される。この、
背景画像入力部３１に入力される画像の概念図を図６に
示す。

【００５４】この図６に示されるように、背景画像入力
部３１に入力される背景画像に付与される距離を表すデ
ータは、遠方、中距離、近距離等であり、存在範囲を表
すデータとしては、全画面、画面左下、画面下方等であ
る。

【００５５】従って、この背景画像入力部３１では、物
体の背景となる画像だけでなく、物体よりも前方に存在
する背景の画像も入力することができる。

【００５６】上述のように、これらの背景画像は合成し
た画像の中でどこに存在するかという存在情報と物体と
どちらが前方にあるかを計算するための、撮像部１を構
成するステレオカメラからの距離情報が与えられてい
る。例えば、図６においては背景としての家の画像１６
０が画面の全範囲に、車の画像１６１が画面の左下に、
花の画像１６２が画面の下方にあると設定されている。

【００５７】さらに、ステレオカメラからの距離とし
て、家の画像１６０は遠距離にあり、車の画像１６１は
中距離であるが検出された物体よりは遠方にあり、花の
画像１６２は近距離にあると設定されている。このよう
に設定すると、検出した物体領域の画像１６３は家の画
像１６０や車の画像１６１の前方にあるので、これらの
背景により隠されることはないが、花の画像１６２は物
体より前方にあるので、花の画像１６２により隠されて
いる、という合成結果である合成画像１６４を、図５に
示される画像合成部３２において、合成することができ
る。

【００５８】次に、この第３の実施形態に係る画像合成
装置が具備する画像合成部３２の画像合成の動作につい
て説明する。図６に示されるような、合成画像１６４を
合成する際の画像合成部３２の動作は、撮像面を覆う全
ての画素に対して、背景画像入力部３１から入力され
た、距離を表すデータが付与された背景画像を構成する
画素の距離と、距離検出部８において検出された距離の
データが付与された検出された物体領域の画像を構成す
る画素の距離とを比較する。この比較において、最も撮
像部１を構成するステレオカメラに近い距離にある画素
を、その点の画素であるとみなす。この比較を撮像面全
体に渡って実行することにより、３次元的な距離が与え
られている画素により構成されている画像の合成を実行
する。

【００５９】従って、この第３の実施形態に係る画像合
成装置によれば、第２の実施形態に係る画像合成装置の
効果と同様な効果が得られると共に、撮像部１からの距
離と、撮像面における存在範囲とが付与された背景画像
の画像データを背景画像入力部３１に入力することがで
き、距離情報が付与された背景画像の画像を構成する画
素の距離と、距離検出部８において検出された領域を構
成する画素の距離とを比較し、この比較結果に基づき、
画像合成部３２が合成画像に採用する画素を決定するの
で、単に物体に覆われる背景としての画像のみならず、
物体よりも前方にある背景画像を用いて画像の合成を実
行することができ、３次元的な合成画像を生成すること
ができる。

【００６０】次に、本発明に係る画像合成装置の第４の
実施形態について図面を参照して説明する。図７に、第
４の実施形態に係る画像合成装置の構成のブロック図を
示す。この第４の実施形態に係る画像合成装置の構成
は、図４に示される第２の実施形態の構成と同様であ
る。ただし、この図７に示される背景画像入力部４１の
動作及び画像合成部４２の動作が、図４に示される背景
画像入力部６の動作及び画像合成部７の動作と異なり、
その他のブロックの動作については同様である。よっ
て、以下に、この図７に示される背景画像入力部４１の
動作及び画像合成部４２の動作について説明する。ただ
し、図７において、図４に示される部材と同様な部材に
は同じ番号を付す。

【００６１】まず、図７に示される背景画像入力部４１
の動作について説明する。この第４の実施形態に係る画
像合成装置が具備する背景画像入力部４１は、背景画像
として、３次元コンピュータグラフィックスによる背景
のモデルを入力する。

【００６２】そして、画像合成部４２は、距離記憶部９
において記憶されている物体の３次元的な構造に領域検
出部５において検出された領域に対応する物体の画像を
テクスチャとして貼り付けた物体のモデルを、背景画像
入力部６において入力した３次元コンピュータグラフィ
ックスの中に距離記憶部９で記憶しているカメラから物
体領域までの距離により計算した物体の３次元的な位置
に配置することにより、３次元コンピュータグラフィッ
クスを用いた画像の合成を行う。

【００６３】また、距離検出部８において、物体の詳細
な３次元構造を検出せず、物体とカメラとの間のおおよ
その距離が検出されている場合には、その距離に置かれ
た平面上に領域検出部５において検出された領域の画像
をテクスチャとして貼り付けることで３次元コンピュー
タグラフィックスを合成する。

【００６４】従って、この第４の実施形態に係る画像合
成装置によれば、第２の実施形態に係る画像合成装置の
効果と同様な効果が得られると共に、３次元コンピュー
タグラフィックスによる背景画像を用いることができる
と共に、距離記憶部４に記憶されている領域の距離に基
づき、３次元的な画像の合成を実行することができる。

【００６５】ここで、この図７に示される背景画像入力
部４１の機能として、上述の３次元コンピュータグラフ
ィックスの背景画像を入力させる他に、図５に示される
第３の実施形態に係る画像合成装置が具備する、背景画
像入力部３１の機能を具備させても良い。この場合、利
用者は、３次元コンピュータグラフィックスの画像、若
しくは、距離データと存在範囲が付与された背景画像と
のいずれか一方を背景画像として選択することができ
る。また、この背景画像入力部４１の機能拡張に伴い、
図７に示される画像合成部４２の機能として、図５に示
される第３の実施形態に係る画像合成部３２の機能を具
備させると良い。

【００６６】次に、本発明に係る画像合成装置の第５の
実施形態に係る画像合成装置について図面を参照して説
明する。図８に、この第５の実施形態に係る画像合成装
置の構成のブロック図を示す。

【００６７】この図８に示されるように、この第５の実
施形態に係る画像合成装置の構成は、図４に示される第
２の実施形態の構成に、死角除去部５３を付け加えた構
成となっている。この死角除去部５３が付け加えられた
ことに伴い、画像入力部２の出力が死角除去部５３に入
力し、領域検出部５において検出された領域のデータが
距離検出部８及び死角除去部５３にも入力し、距離記憶
部９に記憶された距離データが付与された領域のデータ
が、死角除去部５３及び画像合成部５２に出力され、死
角除去部５３からの出力が画像合成部５２に出力されて
いる。また、図４に示される第２の実施形態に係る画像
合成装置と同様な部材には、同じ番号を付す。

【００６８】また、この図８に示される死角除去部５３
以外の他のブロックの機能としては、第２の実施形態に
係る画像合成装置に具備されるそれぞれのブロックに対
応する機能と同様である。

【００６９】そこで、この第５の実施形態に係る画像合
成装置に具備された死角除去部５３について説明する。

【００７０】前述の第１から第４の実施形態に係る画像
合成装置においては、物体領域のみを検出するために、
領域検出部５において図３に示されるような、画素間の
対応の崩れを基に物体領域の検出を行っていた。

【００７１】しかし、単に対応が崩れている画素のみを
物体領域であるとみなしてしまうと、物体領域に死角領
域が含まれてしまう場合がある。この場合を図９を参照
して説明する。図９の（ａ）は初期段階における背景と
２台のステレオカメラとの位置関係を示す図であり、図
９の（ｂ）は物体が撮像領域に入ってきた場合の背景と
２台のステレオカメラとの位置関係を示す図である。例
えば、図９の（ｂ）に示されるように、２台のカメラの
位置関係により、背景のある１点Ｐｂに対して、左画像
の対応画素Ｐｌは物体Ｏによって隠されているが、右画
像の対応画素Ｐｒは物体によって隠されておらず背景の
点を映しているという状況が発生する場合がある。この
場合であっても、両画素間の対応が崩れているために、
この画素を物体領域として検出してしまう。

【００７２】この図９に示される位置関係において検出
される物体領域を、死角領域と呼ぶ。従って、より正確
に物体領域を取り出して画像合成を実行するためには、
画像合成の際に、物体領域に含まれる死角領域を除去す
る必要がある。

【００７３】そのため、この図８に示される第５の実施
形態に係る画像合成装置においては領域検出部５におい
て検出された物体領域から死角領域を除去するための死
角除去部５３を設けている。

【００７４】次に、図８に示される死角除去部５３の動
作について図１０を参照して説明する。この図１０に示
されるように、今、初期段階としての背景シーンの撮影
を行った際に、背景の点Ｐｂに対して、左画像の画素Ｐ
ｌと右画像の画素Ｐｒとが対応していたとする。物体１
００がこの背景シーンに入ってくることによって、右画
像における物体１００の端点Ｐｏに対して、左画像にＰ
ｌからＰｌ’までの範囲の死角領域が発生する。

【００７５】物体の端点Ｐｏと左側のステレオカメラの
撮像面との間の距離ｚｏは、距離検出部８により検出さ
れ、さらにこの検出された距離ｚｏは距離記憶部９に記
憶されているので、このｚｏを用いて、Ｐｌ’の座標を
計算により求めて死角領域を除去するのが、この第５の
実施形態に係る画像合成装置が具備する死角除去部５３
の動作である。

【００７６】上述の死角除去部５３におけるＰｌ’の座
標を求める際の計算例を以下に示す。左カメラの焦点距
離をｆｌとし、左カメラのレンズ中心を原点としたＰ
ｌ、Ｐｌ’の座標をそれぞれ、図１０に示すように、

【００７７】

【数２】

【００７８】とする。ここで、上付の矢印はそれがベク
トルであることを示している。以下の式においても同じ
である。この際、左カメラの座標系は図１０の（ｂ）に
示す通りである。また、右カメラの焦点距離をｆｒ、右
カメラのレンズ中心を原点としてＰｒの座標は図１０に
示すように、

【００７９】

【数３】

【００８０】とする。この時、右カメラの座標系は図１
０の（ｃ）に示す通りである。

【００８１】左右のカメラの位置関係が既知のとき、左
カメラの原点を基準としたＰｒの座標は回転行列Ｒ、並
進ベクトルをｈとすると、

【００８２】

【数４】

【００８３】となる。以下の式のように、Ｒ、ベクトル
ｈは次の成分に分解して考える。

【００８４】

【数５】

【００８５】とする。ｒ１、ｒ２、ｒ３は共に３次元の
行ベクトルである。

【００８６】左画像のＰｌ’と右画像のＰｒが物体の端
点Ｐｏに対応している場合、Ｐｏの座標ｘｏについて、

【００８７】

【数６】

【００８８】が成り立つ。これをｋ、ｌについて解く
と、

【００８９】

【数７】

【００９０】が成立する。ここで、・はベクトルのスカ
ラー積を示す。端点の距離ｚｏは距離記憶部８に記憶さ
れているデータにより分かるので、数式（１）のｚ成分
座標と数式（２）とから、

【００９１】

【数８】

【００９２】と求めることができる。例えば、図１１に
示されるように左右カメラを平行にｘ軸方向に距離ｄ離
して配置し、左右カメラの焦点距離がｆと共通である場
合を考える。この場合、

【００９３】

【数９】

【００９４】である。図１１に示されるように、

【００９５】

【数１０】

【００９６】となり、数式に値を代入したものと一致す
る。

【００９７】図８に示される死角除去部５３ではこのよ
うに計算した座標Ｐｌ’から座標Ｐｌまでの範囲にある
画素を除去することによって、図１０に示される端点Ｐ
ｒに関する死角を除去する。これを全ての端点の画素に
対して行うことにより、検出された領域に含まれる死角
領域を除去することができる。

【００９８】距離検出部８における物体の距離の計測
が、大体の距離の計測である場合であっても、物体の前
後の幅がカメラと物体の距離に比べて十分小さければ、
端点の距離を大体の距離で置き換えて使用することがで
きる。

【００９９】従って、この第５の実施形態に係る画像合
成装置によれば、第２の実施形態に係る画像合成装置の
効果と同様な効果が得られると共に、検出された領域の
死角領域を探索ではなく、計算により求めて除去してい
るため、その死角領域の除去動作が迅速に行え、結果と
して、画像合成を実行する際の処理時間を軽減すること
ができる。

【０１００】ここで、この図８に示される背景画像入力
部５１の機能としては、第２の実施形態に係る画像合成
装置に具備される背景画像入力部６と同様であるとした
が、さらに、図５に示される第３の実施形態に係る画像
合成装置が具備する背景画像入力部３１に具備された機
能、及び、図７に示される第４の実施形態に係る画像合
成装置が具備する背景画像入力部４１に具備された機能
のうち、少なくともいずれか一方の機能を具備させるこ
とが好ましい。この場合、利用者は、合成させるべき背
景画像として、距離データと存在範囲が付与された背景
画像と、３次元コンピュータグラフィックスによる背景
画像との少なくともいずれか一方の画像を背景画像とし
て選択することができる。また、このような背景画像入
力部５１の機能拡張に伴い、図８に示される画像合成部
５２の機能として、前述の図５に示される第３の実施形
態に係る画像合成部３２に具備された機能、及び、図７
に示される第４の実施形態に係る画像合成部４２に具備
された機能の少なくともいずれか一方を具備させると良
い。

【０１０１】次に、本発明に係る画像合成装置の第６の
実施形態について図面を参照して説明する。図１２に、
第６の実施形態に係る画像合成装置の構成のブロック図
を示す。

【０１０２】この図１２に示されるように、この画像合
成装置は、前述の第１の実施形態に係る画像合成装置
に、死角除去部６３が付け加えられた構成となってい
る。ただし、図１に示される第１の実施形態に係る画像
合成装置と同様な部材には、同じ番号を付す。

【０１０３】死角除去部６３を、画像合成装置に付け加
える理由は、上述の第５の実施形態に死角除去部５３を
付け加えた理由と同様であるが、この死角除去部６３の
動作と第５の実施形態に係る画像合成装置が具備してい
る死角除去部５３とは、その死角領域を除去する際の動
作が異なる。従って、以下に、この死角除去部６３の死
角領域を除去する際の動作について説明する。

【０１０４】図１２に示されるように、この第６の実施
形態に係る画像合成装置は、死角除去部６３が付け加え
られた結果として、画像入力部２の出力が、対応検出部
３、領域検出部５及び画像合成部６２に出力されると共
に、死角除去部６３にも出力されている。また、領域検
出部５において検出された領域のデータは、第１の実施
形態のように、直接画像合成部６２に出力されるのでは
なく、死角除去部６３に出力され、死角除去部６３は、
入力した領域から死角領域を除去した後の領域のデータ
を画像合成部６２に出力する。

【０１０５】この死角除去部６３における、領域検出部
５において検出された領域から死角領域を除去する際の
動作について、図１２及び図１３を参照してさらに詳細
に説明する。

【０１０６】領域検出部５において検出された物体領域
は、図１３の（ａ）に示されるように、右カメラと左カ
メラのそれぞれの死角領域を含んでいる。また、図１３
の（ｂ）、及び図１３の（ｃ）に示されるように、左画
像及び右画像の両方の画像に物体が映っている領域が存
在し、それに隣接して死角領域８１、８２が現れてい
る。

【０１０７】そこで、この死角領域を除去するために、
死角除去部６３は領域検出部５において検出された物体
領域内において、ステレオ法により、検出された領域の
画像を構成する画素の対応を求める。この動作は対応検
出部３において行う画素の対応を検出するための動作と
同様の動作である。物体が映っている領域は両方の画像
に存在しているので、領域検出部５において検出された
領域の内、死角領域以外の物体領域では、画素間の対応
がとれるが、死角領域となっている領域は画素間の対応
がとれない。死角除去部６３は、このような画素間の対
応が取れない部分を領域検出部５において検出された物
体領域から除去することにより死角領域を除去する。

【０１０８】従って、この第６の実施形態に係る画像合
成装置によれば、第１の実施形態に係る画像合成装置と
同様な効果が得られると共に、検出した物体領域におい
て、死角領域を正確に除去することができる。

【０１０９】さらに、この第６の実施形態として、図１
２に示されるような、死角除去部６３を第１の実施形態
に係る画像合成装置に付け加えた構成を説明したが、こ
の死角除去部６３と同様の機能を有する死角除去部を、
前述の第２の実施形態に係る画像合成装置に付け加えた
構成としても良い。この構成の画像合成装置を第６の実
施形態の別の態様とする。

【０１１０】この場合の、第６の実施形態の別の態様に
係る画像合成装置の構成のブロック図を図１４に示す。
この図１４に示されるように、この第６の実施形態の別
の態様によれば、図４に示される第２の実施形態に係る
画像合成装置に、死角除去部６３が付け加えられている
構成となっている。ただし、この図１４において、図４
に示される第２の実施形態に係る画像合成装置と同様な
部材には、同じ番号を付す。

【０１１１】また、死角除去部６３が付け加えられたこ
とに伴い、画像入力部２の出力が死角除去部６３にも入
力し、領域検出部５において検出された領域のデータが
距離検出部８及び死角除去部６３に入力し、距離記憶部
９に記憶された距離データが付与された領域のデータ
が、死角除去部６３及び画像合成部６２に出力され、死
角除去部６３からの出力が画像合成部６２に出力されて
いる。

【０１１２】従って、この第６の実施形態の別の態様に
係る画像合成装置によれば、領域検出部５において検出
された領域の３次元的な構造を認識することができると
共に、検出された領域から死角領域を正確に除去するこ
とができる。

【０１１３】ここで、図１４に示される、この第６の実
施形態の別の態様に係る画像合成装置には、距離検出部
８及び距離記憶部９を具備させたことに伴い、死角除去
部６３に、前述の図８に示される第５の実施形態におけ
る死角除去部５３に具備された機能を具備させても良
い。この場合、利用者は、領域検出部５において検出さ
れた領域から、死角領域を検出する際に、死角除去部５
３の機能による死角領域の除去、若しくは、死角除去部
６３の機能による死角領域の除去のいずれか一方を選択
することができる。

【０１１４】さらに、この図１４に示される背景画像入
力部６１の機能としては、第２の実施形態に係る画像合
成装置に具備される背景画像入力部６と同様であるとし
たが、図５に示される第３の実施形態に係る画像合成装
置が具備する背景画像入力部３１に具備された機能、及
び、図７に示される第４の実施形態に係る画像合成装置
が具備する背景画像入力部４１に具備された機能のう
ち、少なくともいずれか一方の機能を具備させることが
好ましい。この場合、利用者は、合成させるべき背景画
像として、距離データと存在範囲が付与された背景画像
と、３次元コンピュータグラフィックスの画像との少な
くともいずれか一方の画像を背景画像として選択するこ
とができる。また、この背景画像入力部６１の機能拡張
に伴い、図１２に示される画像合成部６２の機能とし
て、前述の図５に示される第３の実施形態に係る画像合
成部３２に具備された機能、及び、図７に示される第４
の実施形態に係る画像合成部４２に具備された機能の少
なくともいずれか一方を具備させると良い。

【０１１５】次に、本発明に係る画像合成装置の第７の
実施形態について図面を参照して説明する。図１５に、
第７の実施形態に係る画像合成装置の構成のブロック図
を示す。

【０１１６】この図１５に示されるように、この第７の
実施形態に係る画像合成装置の構成は、図１に示される
第１の実施形態の構成に、死角除去部７３を付け加えた
構成となっている。ただし、図１に示される第１の実施
形態に係る画像合成装置と同様な部材には、同じ番号を
付す。

【０１１７】死角除去部７３を、画像合成装置に付け加
える理由は、上述の第５の実施形態に死角除去部５３を
付け加えた理由と同様であるが、この死角除去部７３の
動作と第５の実施形態に係る画像合成装置が具備してい
る死角除去部７３とは、その死角領域を除去する際の動
作が異なる。従って、以下に、この死角除去部７３の死
角領域を除去する際の動作について説明する。

【０１１８】この第７の実施形態に係る画像合成装置に
具備された死角除去部７３は、死角領域の位置関係を利
用してその死角領域を除去するものである。

【０１１９】この死角領域の除去について図１３及び図
１６を参照して説明する。まず、２台のステレオカメラ
により物体を撮影した場合のその物体領域は、図１３に
示されるように、死角領域８１、８２を含む。この図１
３は、カメラを平行に置いた場合、真に物体領域となる
領域と、死角領域となる領域との位置関係を示したもの
である。

【０１２０】図１３の（ｂ）に示されるように、左画像
における死角領域８１は物体となる領域の左にあり、図
１３の（ｃ）に示されるように、右画像における死角領
域８２は物体となる領域の右にある。これは、平行にカ
メラを設置した場合の位置関係であるが、任意の位置に
ステレオカメラを設置した場合も、カメラの位置関係
と、死角領域の真の物体領域に対する位置関係が一致す
る。つまり、左画像の死角領域は物体領域の左側にあ
り、右画像の死角領域は物体領域の右側にある。

【０１２１】そこで、この第７の実施形態に係る画像合
成装置に具備された死角除去部７３は、このような、死
角領域の位置に関する性質を利用して死角領域を除去す
る。この除去の動作を図１６を参照して説明する。

【０１２２】図１６に示されるように、右画像の物体領
域の左端の画素は、上述の位置関係に示されるように、
真の物体領域を示しているので、この右画像の物体領域
の左端の画素と対応する画素を、左画像の物体領域の左
側から探索していき、対応した画素が位置する対応点を
検出する。

【０１２３】そして、左画像の左端の画素から、上述の
対応点に位置する画素までの範囲内にある画素を除去す
ることにより、左画像における死角領域を除去する。

【０１２４】上記の除去動作を、右画像の物体領域の左
端の画素全てについて行うことにより、左画像の全ての
死角領域を除去することができる。

【０１２５】右画像の死角領域を除去する際も、同様の
動作を行うことになる。すなわち、左画像の右端の画素
に対応する画素を、右画像の右端から探索していき、対
応する画素が存在する位置を対応点として、右画像の右
端に位置する画素から対応点に位置する画素までの範囲
内にある画素を除去することにより、右画像の死角領域
を除去する。

【０１２６】また、ステレオカメラを平行に設置した場
合以外でも、エピポーラ条件を用いて探索範囲を狭め同
様のことを行うことにより死角領域が除去できる。

【０１２７】従って、この第７の実施形態に係る画像合
成装置によれば、第１の実施形態に係る画像合成装置の
効果と同様の効果が得られると共に、死角領域を除去す
る際の探索する画素が、右画像又は左画像の端部の画素
に限られているため、その死角領域の除去を迅速に行う
ことができる。

【０１２８】ここで、図１５に示される第７の実施形態
に係る画像合成装置が具備する死角除去部７３の機能と
して、前述の図１２に示される第６の実施形態に係る画
像合成装置が具備する死角除去部６３の機能を具備させ
ても良い。この場合、利用者は、領域検出部５において
検出された領域から死角領域を除去する際に、死角除去
部７３の機能による死角領域の除去、若しくは、死角除
去部６３の機能による死角領域の除去のいずれか一方を
選択することができる。

【０１２９】さらに、この第７の実施形態として、図１
５に示されるような、死角除去部７３を第１の実施形態
に係る画像合成装置に付け加えた構成を説明したが、こ
の死角除去部７３と同様の機能を有する死角除去部を、
前述の第２の実施形態に係る画像合成装置に付け加えた
構成としても良い。この構成の画像合成装置を第７の実
施形態の別の態様とする。

【０１３０】この場合の、第７の実施形態の別の態様に
係る画像合成装置の構成のブロック図を図１７に示す。
この図１７に示されるように、この第７の実施形態の別
の態様によれば、図４に示される第２の実施形態に係る
画像合成装置に、死角除去部７３が付け加えられている
構成となっている。ただし、この図１７において、図４
に示される第２の実施形態に係る画像合成装置と同様な
部材には、同じ番号を付す。

【０１３１】また、死角除去部７３が付け加えられたこ
とに伴い、画像入力部２の出力が死角除去部７３にも入
力し、領域検出部５において検出された領域のデータが
距離検出部８及び死角除去部７３に入力し、距離記憶部
９に記憶された距離データが付与された領域のデータ
が、死角除去部７３及び画像合成部７２に出力され、死
角除去部７３からの出力が画像合成部７２に出力されて
いる。

【０１３２】従って、この第７の実施形態の別の態様に
係る画像合成装置によれば、領域検出部５において検出
された領域の３次元的な構造を認識することができると
共に、検出された領域から死角領域を正確に除去するこ
とができる。

【０１３３】ここで、図１７に示される、この第７の実
施形態の別の態様に係る画像合成装置が具備する死角除
去部７３に、前述の図８に示される第５の実施形態にお
ける死角除去部５３に具備された機能、若しくは、図１
２に示される第６の実施形態における死角除去部６３に
具備された機能のうち少なくともいずれか一方を具備さ
せても良い。この場合、利用者は、領域検出部５におい
て検出された領域から、死角領域を検出する際に、死角
除去部５３の機能による死角領域の除去、死角除去部６
３の機能による死角領域の除去、若しくは、死角除去部
７３の機能による死角領域の除去、のいずれか一つを選
択することができ、死角領域を除去する際の処理効率を
向上させることができる。

【０１３４】さらに、この図１７に示される背景画像入
力部７１の機能としては、第２の実施形態に係る画像合
成装置に具備される背景画像入力部６と同様であるとし
たが、さらに、図５に示される第３の実施形態に係る画
像合成装置が具備する背景画像入力部３１に具備された
機能、及び、図７に示される第４の実施形態に係る画像
合成装置が具備する背景画像入力部４１に具備された機
能のうち、少なくともいずれか一方の機能を具備させる
ことが好ましい。この場合、利用者は、合成させるべき
背景画像として、距離データと存在範囲が付与された背
景画像と、３次元コンピュータグラフィックスの画像と
の少なくともいずれか一方の画像を背景画像として選択
することができる。また、この背景画像入力部７１の機
能拡張に伴い、図１７に示される画像合成部７２の機能
として、前述の図５に示される第３の実施形態に係る画
像合成部３２に具備された機能、及び、図７に示される
第４の実施形態に係る画像合成部４２に具備された機能
の少なくともいずれか一方を具備させると良い。

【０１３５】

【発明の効果】以上の説明から明らかなように、本発明
によれば、背景となるシーンを２台のステレオカメラで
撮影し、背景となる２枚の画像のそれぞれを構成する画
素の対応をあらかじめ求めておき、物体が撮像範囲に入
ってくることにより対応が崩れているか否かにより、背
景を除いた物体領域を検出することができるので、取り
出した物体領域を他の背景の画像に合成することが可能
な画像合成装置を提供することができる。

【０１３６】また、初期段階として背景の画素間の対応
を求めることにより物体領域の取り出しを行っているの
で、従来の画像合成装置であるクロマキーを用いた画像
合成装置で必要だったブルーバックなどの特殊な撮影環
境が必要とせずに、物体領域を取り出すことが可能な画
像合成装置を提供することができる。

【０１３７】また、物体領域を取り出すための、特殊な
撮影環境が必要でない物体検出方法として、従来では、
背景差分による方法があるが、これは日照条件の変化や
物体の影に影響される。本発明では、初期段階として２
台のステレオカメラにより撮影した画像を構成する画素
の対応を手がかりにして物体を検出しているので、日照
条件や影などによって背景のある点を映す画素の値に変
化があっても、ある点を映している左右の対応する画素
の双方で画素値の変化が起こるので、物体領域としては
検出されず、従って日照条件の変化や物体の影に影響さ
れずに物体領域を取り出すことが可能な画像合成装置を
提供することができる。

【０１３８】また、従来の画像合成装置においては、２
次元的な画像による画像合成しか実行できなかったが、
本発明においては、物体領域となる領域に対応する物体
の撮像装置からの距離を、距離検出部によりステレオ画
像の画素間の対応をとるなどして検出し、これを距離記
憶部において記憶しているので、物体領域の３次元的な
構造を計算を高速かつ正確に行うことができ、３次元的
な画像合成を実行することが可能な画像合成装置を提供
することができる。

【０１３９】さらに、従来の３次元構造の解析に用いら
れている、ステレオ画像により画素間の対応とり３次元
構造を求める方法は、画素間の対応をとるために計算時
間がかかるという欠点があるため採用せず、本発明にお
いては、背景の画像に対して画素間の対応はとっている
ものの、既に検出されている領域にのみ画素間の対応を
とる。そのため、物体領域の３次元的な構造の検出を、
高速かつ正確に行うことが可能な画像合成装置を提供す
ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像合成装置の第１の実施形態の
構成を示すブロック図である。

【図２】本発明に係る画像合成装置が具備する対応記憶
部に記憶される画素の記憶状態を示す図である。

【図３】本発明に係る画像合成装置が具備する撮像装
置、背景及び物体の位置関係を示す図である。

【図４】本発明に係る画像合成装置の第２の実施形態の
構成を示すブロック図である。

【図５】本発明に係る画像合成装置の第３の実施形態の
構成を示すブロック図である。

【図６】本発明に係る画像合成装置が具備する背景画像
入力部に入力する、距離及び存在範囲のデータが付与さ
れた画像の一例、及び、画像合成装置により合成された
画像の一例を示す図である。

【図７】本発明に係る画像合成装置の第４の実施形態の
構成を示すブロック図である。

【図８】本発明に係る画像合成装置の第５の実施形態の
構成を示すブロック図である。

【図９】本発明に係る画像合成装置により物体領域を検
出する際の死角領域が発生する場合の状態を示す図であ
る。

【図１０】本発明に係る画像合成装置が具備する死角除
去部による死角領域を計算により除去する際の動作を示
す概念図である。

【図１１】本発明に係る画像合成装置が具備する死角除
去部による死角領域を計算により除去する際の動作を示
す概念図である。

【図１２】本発明に係る画像合成装置の第６の実施形態
の構成を示すブロック図である。

【図１３】本発明に係る画像合成装置により検出した物
体領域に含まれる死角領域の状態を示す図である。

【図１４】本発明に係る画像合成装置の第６の実施形態
の別の態様の構成を示すブロック図である。

【図１５】本発明に係る画像合成装置の第７の実施形態
の構成を示すブロック図である。

【図１６】本発明に係る画像合成装置が具備する死角除
去部による死角領域を除去する際の動作を示す概念図で
ある。

【図１７】本発明に係る画像合成装置の第７の実施形態
の別の態様の構成を示すブロック図である。

【図１８】従来の画像合成装置により、物体領域を取り
出す際の動作を示す概略図である。

【図１９】従来の画像合成装置により、物体領域を取り
出す際の動作を示す概略図である。

【図２０】従来の画像合成装置により、物体領域を取り
出す際の動作を示す概略図である。

【符号の説明】

１ 撮像部 ２ 画像入力部 ３ 対応検出部 ４ 対応記憶部 ５ 領域検出部 ６ 背景画像入力部 ７ 画像合成部 ８ 距離検出部 ９ 距離記憶部 ３１、４１、５１、６１、７１ 背景画像入力部 ３２、４２、５２、６２、７２ 画像合成部 ５３、６３、７３ 死角除去部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 異なる位置に配置された２台の撮像装置
   のそれぞれから出力された画像を表す画像データが入力
   される画像入力部と、 前記画像入力部に入力された画像データにより表される
   画像において、前記２台の撮像装置の内の一方の撮像装
   置から出力された画像を構成する画素と他方の撮像装置
   から出力された画像を構成する画素との間の対応を検出
   する対応検出部と、 前記検出された画素間の対応を記憶する対応記憶部と、 前記画像入力部に入力される２台の撮像装置のそれぞれ
   から出力された画像を構成する全ての画素の対応が、前
   記対応記憶部に記憶されている画素間の対応と異なって
   いるか否かを調べ、記憶されている対応と異なる対応を
   持つ画素と該異なる対応を持つ画素により占められる領
   域とを検出する領域検出部と、 背景画像としての画像データを入力する背景画像入力部
   と、 前記領域検出部において検出された領域に対しては前記
   画像入力部に入力された画像の画像データを用い、前記
   領域検出部において検出された領域以外には前記背景画
   像入力部に入力された背景画像の画像データを用いて画
   像を合成する画像合成部とを有することを特徴とする画
   像合成装置。
2. 【請求項２】 前記領域検出部により検出された領域に
   対応する物体の、前記撮像装置から前記物体までの距離
   を検出する距離検出部と、 該距離検出部により検出された距離を記憶するための距
   離記憶部とを有することを特徴とする請求項１記載の画
   像合成装置。
3. 【請求項３】 前記背景画像入力部は、撮像装置から背
   景までの距離を表すデータと、撮像装置の撮像面におけ
   る背景画像の存在範囲を表すデータとが付与された背景
   画像の画像データが入力され、 前記画像合成部は、前記距離記憶部に記憶された前記領
   域検出部により検出された領域に対応する物体の、前記
   撮像装置から前記物体までの距離と、前記背景画像の画
   像データに付与されたデータにより表される撮像装置か
   ら背景までの距離とを比較し、撮像面全体において、撮
   像装置に最も近い距離にある画像の画像データに基づい
   て画像を合成することを特徴とする請求項２記載の画像
   合成装置。
4. 【請求項４】 前記背景画像入力部は、背景として３次
   元コンピュータグラフィックスによる背景モデルのデー
   タが入力され、 前記画像合成部は、前記背景画像入力部から入力された
   ３次元コンピュータグラフィックスによる背景モデルに
   対して、前記領域検出部において検出された領域に対し
   ては前記画像入力部に入力された画像を、前記距離記憶
   部に記憶された距離に基づき配置し、前記入力された画
   像に対応する物体の３次元構造を表すように、若しく
   は、平面にテクスチャとしてはりつけることにより３次
   元コンピュータグラフィックスを用いた画像を合成する
   ことを特徴とする請求項２又は３に記載の画像合成装
   置。
5. 【請求項５】 前記領域検出部により検出された領域に
   対応する物体の、前記距離記憶部に記憶されている前記
   撮像装置から該物体までの距離に基づき、前記領域検出
   部で検出された領域内における、前記対応する物体によ
   り生成された２台の撮像装置間の死角領域を計算し、前
   記領域検出部で検出された領域から、該計算された死角
   領域を除去する第１の死角除去部を有することを特徴と
   する請求項２から４のいずれかに記載の画像合成装置。
6. 【請求項６】 前記領域検出部により検出された領域の
   画像を構成する画素において、 前記対応検出部が前記２台の撮像装置のそれぞれから出
   力された領域の画像を構成する画素の対応を検出し、 該対応検出部による検出結果に基づき、前記領域検出部
   により検出された領域から対応がとれない画素により占
   められる領域を死角領域とし、この死角領域を除去する
   第２の死角除去部を有することを特徴とする請求項１か
   ら５のいずれかに記載の画像合成装置。
7. 【請求項７】 前記領域検出部により検出された領域内
   において、前記異なる位置に配置された２台の撮像装置
   の内の１の撮像装置から出力された画像における前記検
   出された領域の端点の画素に対応する画素を、他の一方
   の撮像装置から出力された画像における前記検出された
   領域の端点から探索し、該他の一方の撮像装置から出力
   された前記検出された領域の端点から対応する画素の画
   素位置までの領域を死角領域であるとして除去し、これ
   を前記領域の全ての端点の画素について行うことによ
   り、前記検出された領域の死角領域を除去する第３の死
   角除去部を有することを特徴とする請求項１から６のい
   ずれかに記載の画像合成装置。