JP2842437B2 - Image synthesis device - Google Patents
Image synthesis deviceInfo
- Publication number
- JP2842437B2 JP2842437B2 JP9140778A JP14077897A JP2842437B2 JP 2842437 B2 JP2842437 B2 JP 2842437B2 JP 9140778 A JP9140778 A JP 9140778A JP 14077897 A JP14077897 A JP 14077897A JP 2842437 B2 JP2842437 B2 JP 2842437B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- unit
- blind spot
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、撮影した画像から
物体領域を取り出して別の画像に合成を行う画像合成装
置に関し、特に２つの撮像装置を利用して２枚の画像の
画素の対応から物体を取り出して合成を行う画像合成装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus for extracting an object area from a photographed image and synthesizing it with another image, and more particularly, from the correspondence of pixels of two images using two image pickup apparatuses. The present invention relates to an image synthesizing apparatus that takes out an object and performs synthesis.
【０００２】[0002]
【従来の技術】従来の画像合成装置として、例えば特開
昭６３−９０２８５号公報や特開平３−２８５４８６号
公報に開示された発明のように、クロマキーによる画像
合成装置が知られている。これらの装置における画像合
成の方法を、以下に図面を参照して説明する。2. Description of the Related Art As a conventional image synthesizing apparatus, there is known an image synthesizing apparatus using a chroma key as disclosed in Japanese Patent Application Laid-Open Nos. 63-90285 and 3-285486. The method of image synthesis in these devices will be described below with reference to the drawings.
【０００３】まず、図１８にクロマキーによる画像合成
装置の画像合成方法を示す。この図１８に示されるよう
に、背景画像１３２の上に合成する物体１３１の画像を
撮像する際に、物体１３１の背後を青や緑、この図の場
合では青色の背景１３０、など特定の色で覆って撮影
し、この色情報をもとに物体部分１３４のみを取り出
し、これを背景画像１３２の上に合成して合成画像１３
３を得るというものである。First, FIG. 18 shows an image synthesizing method of an image synthesizing apparatus using a chroma key. As shown in FIG. 18, when capturing an image of the object 131 to be synthesized on the background image 132, a specific color such as blue or green behind the object 131, a blue background 130 in this case, or the like. , And only the object portion 134 is extracted based on the color information, and is combined with the background image 132 to form a composite image 13.
3 is obtained.
【０００４】しかし、この手法では物体を撮影するため
に物体の背後を特定の色で覆わなければならず、その撮
影のためには特殊な撮影環境を必要とする欠点があり、
また、この方法では対象とする物体の３次元的な位置や
構造がわからず２次元的な合成しかできないという欠点
があった。[0004] However, in this method, in order to photograph an object, the back of the object must be covered with a specific color, and there is a disadvantage that a special photographing environment is required for the photographing.
In addition, this method has a disadvantage that only two-dimensional composition can be performed without knowing the three-dimensional position and structure of the target object.
【０００５】そこで上述の従来の欠点を補うため、特別
な撮影条件を必要とせず、物体部分のみを取り出す手段
として、特開平７−７９４２９号公報に開示された発明
のような背景差分による方法や、特開平８−２４９４７
１号公報に開示された発明のようなフレーム間差分の方
法が知られている。Therefore, in order to compensate for the above-mentioned drawbacks of the prior art, as a means for extracting only an object portion without requiring special photographing conditions, a method using a background difference as disclosed in Japanese Patent Application Laid-Open No. 7-79429, JP-A-8-24947
There is known an inter-frame difference method such as the invention disclosed in Japanese Patent Application Laid-Open Publication No. 1 (1999).
【０００６】背景差分による画像合成方法を図１９を参
照して説明する。この図１９に示されるように、背景差
分による方法は、背景画像１４１を予め撮影しておき、
それと現フレーム画像１４０との差をとることにより、
抽出された画像１４２として、移動物体部分のみを取り
出す方法である。An image synthesizing method using background subtraction will be described with reference to FIG. As shown in FIG. 19, in the method based on background subtraction, a background image 141 is photographed in advance,
By taking the difference between it and the current frame image 140,
In this method, only the moving object portion is extracted as the extracted image 142.
【０００７】次に、フレーム間差分による画像合成方法
を図２０を参照して説明する。図２０に示されるよう
に、このフレーム間差分による方法は、現フレーム画像
１５０と１フレーム前の前フレーム画像１５１との差分
をとることにより、抽出された画像１５２として移動物
体部分のみを取り出し、明るさの変化や日照条件の変化
があったとしても対応できるようにしたものである。Next, an image synthesizing method using an inter-frame difference will be described with reference to FIG. As shown in FIG. 20, in the method using the inter-frame difference, the difference between the current frame image 150 and the previous frame image 151 one frame before is obtained, and only the moving object portion is extracted as the extracted image 152. Even if there is a change in brightness or a change in sunshine conditions, it is possible to cope with the change.
【０００８】一方、従来の画像合成装置には、物体の３
次元的な構造や位置を検出するために、ステレオ画像の
両眼視差を用いてその３次元的な構造や位置を検出する
手法が知られている。On the other hand, in a conventional image synthesizing apparatus, 3
In order to detect a three-dimensional structure or position, a method of detecting a three-dimensional structure or position using binocular parallax of a stereo image is known.
【０００９】[0009]
【発明が解決しようとする課題】しかしながら、上記従
来技術において、背景差分の方法においては、移動物体
部分を取り出す際に、物体の影や日照条件の変化による
明るさの変化も取り出してしまうことがあり、正確に物
体だけを取り出すことができないという問題点を有して
いる。However, in the above-mentioned prior art, in the background subtraction method, when a moving object portion is taken out, a change in brightness due to a change in the shadow of an object or a change in sunshine conditions may be taken out. There is a problem that only an object cannot be accurately taken out.
【００１０】また、フレーム間差分による方法において
は、物体が動いている間であれば、移動物体部分のみを
取り出すことが可能であるが、物体が静止してしまう
と、その移動物体部分のみを取り出すことができないと
いう問題点を有している。In the method based on the inter-frame difference, it is possible to take out only the moving object portion while the object is moving. However, when the object comes to rest, only the moving object portion is taken out. There is a problem that it cannot be taken out.
【００１１】一方、物体の３次元的な構造や位置を検出
するための、両眼視差を用いる方法においてはステレオ
カメラで撮影された２枚の画像の画素間の対応をとる処
理動作が必須の動作となるが、この処理動作は一般の長
い処理時間がかかるという欠点があり、従ってこの方法
では、３次元的な構造や位置を検出する際に、その長い
処理時間による弊害として、静止物体に対しては用いる
ことが可能であるものの、動物体の画像合成には用いる
ことができないという問題点を有している。On the other hand, in a method using binocular parallax for detecting a three-dimensional structure or position of an object, a processing operation for obtaining correspondence between pixels of two images photographed by a stereo camera is essential. However, this processing operation has a drawback that it generally takes a long processing time. Therefore, in this method, when detecting a three-dimensional structure or position, as a disadvantage due to the long processing time, it is difficult to detect a stationary object. However, they can be used, but cannot be used for image synthesis of moving objects.
【００１２】このように、従来のクロマキーに基づく画
像合成装置は特殊な撮影環境が必要となり、物体の３次
元的な位置や構造がわからないという問題点を有してい
る。また、背景差分による画像合成方法やフレーム間差
分による画像合成方法では特殊な撮影環境が必要ではな
いものの、誤差を多く含む上、別の束縛条件が付与され
てしまい、かつ、物体の３次元的な位置や構造がわから
ないという問題点を有している。また、物体の３次元的
な位置や構造を検出するための両眼視差を用いる方法に
おいては上述のように長い処理時間がかかるという問題
点を有している。As described above, the conventional image synthesizing apparatus based on the chroma key requires a special photographing environment, and has a problem that the three-dimensional position and structure of the object cannot be known. In addition, although a special imaging environment is not required in the image combining method using the background difference or the image combining method using the inter-frame difference, it includes many errors, and another constraint condition is added, and the three-dimensional object However, there is a problem that the exact position and structure cannot be understood. Further, the method using binocular parallax for detecting a three-dimensional position or structure of an object has a problem that a long processing time is required as described above.
【００１３】本発明は上記事情に鑑みなされたもので、
特殊な撮像環境を必要とせずに対象物体の画像を３次元
的な位置や構造を含めて検出し、２次元画像や３次元コ
ンピュータグラフィックスとの画像合成を効率的に行う
ことが可能な画像合成装置を提供することを目的とす
る。The present invention has been made in view of the above circumstances,
An image capable of detecting an image of a target object including a three-dimensional position and structure without requiring a special imaging environment and efficiently performing image synthesis with a two-dimensional image or three-dimensional computer graphics It is an object to provide a synthesis device.
【００１４】[0014]
【課題を解決するための手段】請求項１記載の発明は、
異なる位置に配置された２台の撮像装置のそれぞれから
出力された画像を表す画像データが入力される画像入力
部と、前記画像入力部に入力された画像データにより表
される画像において、前記２台の撮像装置の内の一方の
撮像装置から出力された画像を構成する画素と他方の撮
像装置から出力された画像を構成する画素との間の対応
を検出する対応検出部と、前記検出された画素間の対応
を記憶する対応記憶部と、前記画像入力部に入力される
２台の撮像装置のそれぞれから出力された画像を構成す
る全ての画素の対応が、前記対応記憶部に記憶されてい
る画素間の対応と異なっているか否かを調べ、記憶され
ている対応と異なる対応を持つ画素と該異なる対応を持
つ画素により占められる領域とを検出する領域検出部
と、背景画像としての画像データを入力する背景画像入
力部と、前記領域検出部において検出された領域に対し
ては前記画像入力部に入力された画像の画像データを用
い、前記領域検出部において検出された領域以外には前
記背景画像入力部に入力された背景画像の画像データを
用いて画像を合成する画像合成部とを有することを特徴
とする。According to the first aspect of the present invention,
In an image input unit to which image data representing images output from each of the two imaging devices arranged at different positions is input, and in an image represented by image data input to the image input unit, A correspondence detection unit that detects a correspondence between pixels constituting an image output from one of the imaging devices and pixels constituting an image output from the other imaging device; and The correspondence storage unit that stores the correspondence between the pixels, and the correspondence of all the pixels constituting the image output from each of the two imaging devices input to the image input unit, are stored in the correspondence storage unit. A region detection unit that checks whether the correspondence between the pixels is different from the corresponding pixels, and detects a pixel having a correspondence different from the stored correspondence and a region occupied by the pixels having the different correspondence, and a background image. A background image input unit for inputting image data, and for an area detected by the area detection unit, image data of an image input to the image input unit is used, in addition to the area detected by the area detection unit. Is characterized by having an image synthesizing unit for synthesizing an image using the image data of the background image input to the background image input unit.
【００１５】従って、この発明によれば、画像入力部に
入力された、異なる位置に配置された２台の撮像装置か
ら出力された画像において、初期段階において対応検出
部で背景として撮影された２枚の画像を構成する画素間
の対応がとられ、この対応が対応記憶部に記憶される。
従って、対応する２つの画素は２つの撮像装置で背景の
同じ点を映している。領域検出部では画像入力部に入力
された画像を構成する全ての画素に対して対応記憶部に
記憶されている画素間の対応と一致しているか否かを調
べ直す。もし、背景以外の物体が撮像領域内に入ってき
た場合、左右の撮像装置から出力された画像の内のその
物体に対応する画素は、今まで背景の同じ点を映してい
るはずが物体によって背景の点が隠されてしまい、違う
点を映すことになり、対応が崩れることになる。従っ
て、対応が崩れて異なる対応となっている画素を集めれ
ば、画像から背景以外の物体のみを取り出すことができ
る。また、背景や日照条件によって背景の明るさが変化
したとしても、２台の撮像装置が映しているそれぞれの
画像の対応している画素における画素値が共に変化する
ので、このような背景や日照条件の条件には影響されず
に、画像から物体領域のみを取り出すことができる。そ
して、画像から物体領域のみを取り出した後、背景画像
入力部から入力した背景と、物体領域の画像とを重ね合
わすことにより画像を合成することができる。Therefore, according to the present invention, in the image input from the image input unit and output from the two imaging devices arranged at different positions, the image obtained as the background by the correspondence detection unit in the initial stage is used. Correspondence between pixels constituting one image is taken, and this correspondence is stored in the correspondence storage unit.
Therefore, the two corresponding pixels show the same point in the background with the two imaging devices. The area detection unit checks again whether all the pixels constituting the image input to the image input unit match the correspondence between the pixels stored in the correspondence storage unit. If an object other than the background enters the imaging region, the pixel corresponding to the object in the images output from the left and right imaging devices should have been reflecting the same point on the background until now. The points in the background are hidden, showing different points, and the correspondence is broken. Therefore, by collecting pixels that have different correspondences and have different correspondences, only objects other than the background can be extracted from the image. Further, even if the brightness of the background changes due to the background and sunshine conditions, the pixel values of the corresponding pixels of the respective images projected by the two imaging devices change together. It is possible to extract only the object region from the image without being affected by the condition. Then, after extracting only the object region from the image, an image can be synthesized by superimposing the background input from the background image input unit and the image of the object region.
【００１６】請求項２記載の発明は、請求項１記載の発
明において、前記領域検出部により検出された領域に対
応する物体の、前記撮像装置から前記物体までの距離を
検出する距離検出部と、該距離検出部により検出された
距離を記憶するための距離記憶部とを有することを特徴
とする。According to a second aspect of the present invention, in the first aspect of the present invention, there is provided a distance detecting section for detecting a distance from the image pickup device to the object corresponding to the area detected by the area detecting section. And a distance storage unit for storing the distance detected by the distance detection unit.
【００１７】従って、この発明によれば、請求項１記載
の発明の作用が得られると共に、領域検出部において検
出された領域に対応する物体に対して、撮像装置から物
体までの距離を検出する距離検出部を設けることによ
り、物体の撮像装置からの距離と検出された物体の３次
元構造を抽出することができ、これらの情報を距離記憶
部において記憶する。従って、物体の３次元構造と撮像
装置からの距離との、正確な測定及び記憶を行うことが
できる。Therefore, according to the present invention, the operation of the invention described in claim 1 can be obtained, and the distance from the imaging device to the object corresponding to the area detected by the area detection unit is detected. By providing the distance detection unit, the distance of the object from the imaging device and the three-dimensional structure of the detected object can be extracted, and these pieces of information are stored in the distance storage unit. Therefore, accurate measurement and storage of the three-dimensional structure of the object and the distance from the imaging device can be performed.
【００１８】請求項３記載の発明は、請求項２記載の発
明において、前記背景画像入力部は、撮像装置から背景
までの距離を表すデータと、撮像装置の撮像面における
背景画像の存在範囲を表すデータとが付与された背景画
像の画像データが入力され、前記画像合成部は、前記距
離記憶部に記憶された前記領域検出部により検出された
領域に対応する物体の、前記撮像装置から前記物体まで
の距離と、前記背景画像の画像データに付与されたデー
タにより表される撮像装置から背景までの距離とを比較
し、撮像面全体において、撮像装置に最も近い距離にあ
る画像の画像データに基づいて画像を合成することを特
徴とする。According to a third aspect of the present invention, in the second aspect of the present invention, the background image input unit includes data representing a distance from the imaging device to the background and a background image existing range on the imaging surface of the imaging device. Image data of a background image to which data representing the image is given, and the image combining unit is configured to detect the object corresponding to the area detected by the area detection unit stored in the distance storage unit from the imaging device. The distance to the object is compared with the distance from the imaging device to the background represented by the data given to the image data of the background image, and the image data of the image closest to the imaging device over the entire imaging surface is compared. The image is synthesized based on
【００１９】従って、この発明によれば、請求項２記載
の発明の作用が得られると共に、領域検出部において検
出された領域に対応する物体の、撮像装置から物体まで
の距離を距離検出部において検出し、この検出した距離
を距離記憶部に記憶することにより撮像装置と物体との
間の距離を測定する。また、背景画像入力部には、撮像
装置から背景までの距離を表すデータと、撮像装置の撮
像面で存在する背景画像の範囲のデータが付与された１
枚又は複数の画像が入力される。画像合成部では、領域
検出部で検出された領域には距離記憶部において記憶し
ている距離を用い、背景画像にはこの背景画像データに
付与された距離データを用いて、撮像装置の撮像面上の
全ての画素に対して、背景画像入力部から入力された画
像と領域検出部において検出された領域の画像とのそれ
ぞれを構成する画素の全ての距離を比較する。この比較
に基づき、最も撮像装置に近い位置にある画素を用いて
画像を形成することにより画像合成を行う。このように
構成することによって、複数の、かつ、異なった距離を
有する画像が背景画像として背景画像入力部に入力され
たとしても、その背景画像と領域検出部において検出さ
れた領域の画像とを、その距離関係を崩すことなく、合
成することができる。従って、検出された領域よりも撮
像装置に近い距離に背景が存在する場合であっても、そ
の背景画像の画像データに適切な距離データが付与され
ることにより、背景画像により検出された領域の画像を
背景画像により隠すような画像を合成することができ
る。Therefore, according to the present invention, the operation of the invention described in claim 2 can be obtained, and the distance from the imaging device to the object corresponding to the area detected by the area detecting unit can be determined by the distance detecting unit. The distance between the imaging device and the object is measured by detecting the distance and storing the detected distance in the distance storage unit. The background image input unit is provided with data representing the distance from the imaging device to the background and data of the range of the background image existing on the imaging surface of the imaging device.
One or more images are input. The image synthesis unit uses the distance stored in the distance storage unit for the region detected by the region detection unit, and uses the distance data added to the background image data for the background image, and uses For all the pixels above, all distances of the pixels constituting each of the image input from the background image input unit and the image of the area detected by the area detection unit are compared. Based on this comparison, image synthesis is performed by forming an image using pixels located closest to the imaging device. With this configuration, even if a plurality of images having different distances are input to the background image input unit as the background image, the background image and the image of the area detected by the area detection unit are compared. Can be combined without breaking the distance relationship. Therefore, even when the background exists at a distance closer to the imaging device than the detected area, the appropriate distance data is added to the image data of the background image, so that the area detected by the background image is An image that hides the image with a background image can be synthesized.
【００２０】請求項４記載の発明は、請求項２又は３に
記載の発明において、前記背景画像入力部は、背景とし
て３次元コンピュータグラフィックスによる背景モデル
のデータが入力され、前記画像合成部は、前記背景画像
入力部から入力された３次元コンピュータグラフィック
スによる背景モデルに対して、前記領域検出部において
検出された領域に対しては前記画像入力部に入力された
画像を、前記距離記憶部に記憶された距離に基づき配置
し、前記入力された画像に対応する物体の３次元構造を
表すように、若しくは、平面にテクスチャとしてはりつ
けることにより３次元コンピュータグラフィックスを用
いた画像を合成することを特徴とする。According to a fourth aspect of the present invention, in the second or third aspect of the present invention, the background image input section receives background model data by three-dimensional computer graphics as a background, and the image synthesis section In contrast, for a background model based on three-dimensional computer graphics input from the background image input unit, an image input to the image input unit for an area detected by the area detection unit is stored in the distance storage unit. Combining the images using three-dimensional computer graphics by arranging them based on the distances stored in the object and representing the three-dimensional structure of the object corresponding to the input image, or by attaching them as a texture to a plane. It is characterized by.
【００２１】従って、この発明によれば、請求項２又は
３に記載の発明の作用が得られると共に、背景画像入力
部において、背景として３次元コンピュータグラフィッ
クスの背景モデルデータが入力される。また、撮像装置
から物体までの距離を検出する距離検出部と、その検出
された距離を記憶する距離記憶部とにより、検出された
領域に対応する物体のおおよその距離及び物体の３次元
的な構造が抽出されるので、これらを画像合成部におい
て、３次元コンピュータグラフィックスの背景モデルと
合成することにより、３次元コンピュータグラフィック
スを用いた画像の合成を実行することができる。Therefore, according to the present invention, the operation of the invention described in claim 2 or 3 is obtained, and the background image input unit inputs background model data of three-dimensional computer graphics as the background. In addition, a distance detection unit that detects a distance from the imaging device to the object, and a distance storage unit that stores the detected distance provide an approximate distance of the object corresponding to the detected area and a three-dimensional object. Since the structures are extracted, the images are synthesized with the background model of the three-dimensional computer graphics in the image synthesizing unit, so that the image can be synthesized using the three-dimensional computer graphics.
【００２２】請求項５記載の発明は、請求項２から４の
いずれかに記載の発明において、前記領域検出部により
検出された領域に対応する物体の、前記距離記憶部に記
憶されている前記撮像装置から該物体までの距離に基づ
き、前記領域検出部で検出された領域内における、前記
対応する物体により生成された２台の撮像装置間の死角
領域を計算し、前記領域検出部で検出された領域から、
該計算された死角領域を除去する第１の死角除去部を有
することを特徴とする。According to a fifth aspect of the present invention, in the invention according to any one of the second to fourth aspects, the object stored in the distance storage unit corresponds to an area detected by the area detection unit. Based on the distance from the imaging device to the object, a blind spot region between the two imaging devices generated by the corresponding object in the region detected by the region detection unit is calculated and detected by the region detection unit. From the area
It is characterized by having a first blind spot removing unit for removing the calculated blind spot area.
【００２３】上記請求項１から４に記載された発明に具
備された領域検出部により、画像から背景以外の物体を
取り出すことができる。この取り出しは物体が撮像範囲
内に入ってくることにより、２台の撮像装置により背景
の同じ点として映されていた画素が、物体上の異なる２
点を移すことにより、その２台の撮像装置から出力され
る画素の対応が崩れることを利用している。しかし、２
台の撮像装置は異なる位置から物体を撮影しているた
め、一方の撮像装置は物体を映しているが、他方の撮像
装置は物体を映さずに背景を映しているという場合にお
いても、対応の崩れは発生する。この場合に、上述のよ
うに、単に、対応が崩れている画素の領域を、物体領域
であるとみなしてしまうと、その物体領域の中に、真の
物体領域ではない領域、いわゆる死角領域が含まれてし
まうことになる。そのため、画像から真の物体領域のみ
を正確に取り出すためには、この死角領域を除去する必
要がある。[0023] By means of the area detecting section provided in the inventions according to the first to fourth aspects, objects other than the background can be extracted from the image. In this extraction, when the object comes into the imaging range, the pixels that have been projected as the same point on the background by the two imaging devices become different pixels on the object.
The fact that the correspondence between the pixels output from the two imaging devices is lost by shifting the points is utilized. However, 2
Since the two imaging devices image the object from different positions, one of the imaging devices reflects the object, but the other imaging device does not reflect the object but the background. Collapse occurs. In this case, as described above, if the area of the pixel whose correspondence is simply collapsed is regarded as an object area, an area that is not a true object area, a so-called blind spot area, is included in the object area. Will be included. Therefore, in order to accurately extract only the true object region from the image, it is necessary to remove the blind spot region.
【００２４】従って、請求項５記載の発明によれば、請
求項２から４のいずれかに記載の発明の作用が得られる
と共に、第１の死角除去部が、距離検出部において検出
された撮像装置から物体まで距離に基づき、領域検出部
において検出された領域に対応する物体により生成され
た、２台の撮像装置間の死角領域の幅を計算する。この
幅は検出された領域の端点の画素によって異なるので、
全ての端点の画素について死角領域の幅を計算する。そ
の後、第１の死角除去部は、領域検出部で検出された領
域から各端点の画素に対応する死角領域を除去し、死角
領域が除去されたデータを画像合成部に出力する。従っ
て、死角領域を正確に除去することができると共に、死
角領域を求める際に、検出された領域の画像を構成する
全ての画素の探索を必要としていないので、高速に死角
領域を除去することができる。Therefore, according to the fifth aspect of the present invention, the effect of the second aspect of the present invention can be obtained, and the first blind spot elimination unit can detect the image pick-up detected by the distance detection unit. Based on the distance from the device to the object, the width of the blind spot region between the two imaging devices generated by the object corresponding to the region detected by the region detection unit is calculated. Since this width differs depending on the pixel at the end point of the detected area,
The width of the blind spot area is calculated for all the pixels at the end points. Thereafter, the first blind spot removing unit removes a blind spot area corresponding to the pixel at each end point from the area detected by the area detecting unit, and outputs data from which the blind spot area has been removed to the image combining unit. Therefore, the blind spot area can be accurately removed, and the search for the blind spot area does not require searching for all the pixels forming the image of the detected area. it can.
【００２５】請求項６記載の発明は、請求項１から５の
いずれかに記載の発明において、前記領域検出部により
検出された領域の画像を構成する画素において、前記対
応検出部が前記２台の撮像装置のそれぞれから出力され
た領域の画像を構成する画素の対応を検出し、該対応検
出部による検出結果に基づき、前記領域検出部により検
出された領域から対応がとれない画素により占められる
領域を死角領域とし、この死角領域を除去する第２の死
角除去部を有することを特徴とする。According to a sixth aspect of the present invention, in the invention according to any one of the first to fifth aspects, in the pixels constituting the image of the area detected by the area detecting section, the correspondence detecting section includes the two sets of pixels. Detecting the correspondence of the pixels constituting the image of the region output from each of the imaging devices, and occupying the pixels detected by the region detection unit based on the detection result by the correspondence detection unit. The area is a blind spot area, and a second blind spot removing unit for removing this blind spot area is provided.
【００２６】従って、この発明によれば、請求項１から
５のいずれかに記載の発明の作用が得られると共に、領
域検出部において検出された領域に対して、２台の撮像
装置により、改めて画素間のステレオ対応をとる。領域
検出部において検出された領域において、死角領域以外
の領域（真の物体領域）では、２台の撮像装置から出力
された画素が共通に映されるので画素間の対応がとれる
が、死角領域では対応が取れない。この対応がとれない
領域を、第２の死角領域除去部が検出された領域から除
去することにより、正確に真の物体領域のみを取り出す
ことができる。Therefore, according to the present invention, the operation of the invention described in any one of the first to fifth aspects can be obtained, and the area detected by the area detecting section can be renewed by two imaging devices. Take stereo correspondence between pixels. In the area detected by the area detection unit, in the area other than the blind spot area (true object area), the pixels output from the two imaging devices are commonly displayed, so that the correspondence between the pixels can be obtained. I can't respond. By removing the area where this correspondence cannot be taken from the area where the second blind spot area removing unit has been detected, only the true object area can be accurately extracted.
【００２７】請求項７記載の発明は、請求項１から６の
いずれかに記載の発明において、前記領域検出部により
検出された領域内において、前記異なる位置に配置され
た２台の撮像装置の内の１の撮像装置から出力された画
像における前記検出された領域の端点の画素に対応する
画素を、他の一方の撮像装置から出力された画像におけ
る前記検出された領域の端点から探索し、該他の一方の
撮像装置から出力された前記検出された領域の端点から
対応する画素の画素位置までの領域を死角領域であると
して除去し、これを前記領域の全ての端点の画素につい
て行うことにより、前記検出された領域の死角領域を除
去する第３の死角除去部を有することを特徴とする。According to a seventh aspect of the present invention, in the first aspect of the present invention, the two image pickup devices arranged at the different positions in the area detected by the area detecting section are different from each other. A pixel corresponding to the pixel at the end point of the detected area in the image output from one of the imaging devices is searched for from the end point of the detected area in the image output from the other one of the imaging devices, Removing the area from the end point of the detected area output from the other one of the imaging devices to the pixel position of the corresponding pixel as a blind spot area, and performing this for all the pixels at the end points of the area And a third blind spot removing unit for removing a blind spot area of the detected area.
【００２８】従って、この発明によれば、請求項１から
６のいずれかに記載の発明の作用が得られると共に、死
角領域の位置関係と２台の撮像装置の位置関係とのそれ
ぞれには、領域検出部で検出した領域内での死角の位置
が一致するという特性を利用して死角領域を除去する。
この領域内に現れる死角の位置の特性を利用は、第３の
死角除去部が、片方の撮像装置の画像から得られた領域
の端部の画素に対応する画素を、もう一方の画像から得
られた領域内の画素から探索し、対応した画素からその
領域の端部の画素までの領域を、死角領域であるとして
除去する。これを全ての端部の画素に対して行うことに
より、死角領域を除去する。このように、検出された領
域の端部のみを探索して死角領域の除去を行うので、検
出された領域全体を構成する画素の対応を取る必要がな
く、死角領域の除去にかかる時間を低減することができ
る。Therefore, according to the present invention, the effect of the invention described in any one of claims 1 to 6 can be obtained, and the positional relationship between the blind spot area and the positional relationship between the two image pickup devices are respectively provided. The blind spot area is removed by using the characteristic that the positions of the blind spots in the area detected by the area detection unit match.
Utilizing the characteristic of the position of the blind spot appearing in this area, the third blind spot elimination unit obtains, from the other image, the pixel corresponding to the pixel at the end of the area obtained from the image of one imaging device. A search is performed from the pixels in the obtained area, and the area from the corresponding pixel to the pixel at the end of the area is removed as a blind spot area. By performing this for all the pixels at the end, the blind spot area is removed. As described above, since the blind spot area is removed by searching only the end of the detected area, it is not necessary to correspond to the pixels constituting the entire detected area, and the time required for removing the blind spot area is reduced. can do.
【００２９】[0029]
【発明の実施の形態】次に、図面を参照して、本発明に
係る画像合成装置の実施形態を詳細に説明する。図１
に、本発明に係る画像合成装置の第１の実施形態の構成
のブロック図を示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment of an image synthesizing apparatus according to the present invention will be described in detail with reference to the drawings. FIG.
FIG. 1 shows a block diagram of the configuration of the first embodiment of the image synthesizing apparatus according to the present invention.
【００３０】この図１に示されるように、この画像合成
装置は、物体や背景を撮影する、２台ステレオカメラか
ら構成される撮像装置としての撮像部１と、撮像部１に
おいて撮影された物体等の画像を、画像データとして入
力する画像入力部２と、画像入力部２に入力された画像
データを入力し、２台のステレオカメラのそれぞれから
出力された画像を構成する画素間の対応を検出する対応
検出部３と、対応検出部３において検出された対応を記
憶する対応記憶部４と、画像入力部２に入力された画像
データにより表される画像において、対応記憶部４に記
憶された対応に基づき領域を検出する領域検出部５と、
背景画像が入力される背景画像入力部６と、領域検出部
５において物体領域として検出された部分には画像入力
部２に入力した画像データを用い、領域と検出されなか
った部分には背景画像入力部６に入力された背景の画像
データを用いて画像を合成する画像合成部７とから構成
される。As shown in FIG. 1, the image synthesizing apparatus includes an image pickup section 1 as an image pickup apparatus composed of two stereo cameras for picking up an object and a background, and an object picked up by the image pickup section 1. The image input unit 2 for inputting an image such as an image data as image data, and the correspondence between the pixels constituting the image output from each of the two stereo cameras by inputting the image data input to the image input unit 2 A correspondence detection unit 3 to detect, a correspondence storage unit 4 for storing the correspondence detected by the correspondence detection unit 3, and an image represented by the image data input to the image input unit 2 and stored in the correspondence storage unit 4. An area detection unit 5 for detecting an area based on the correspondence
A background image input unit 6 to which a background image is input, and image data input to the image input unit 2 for a part detected as an object area in the area detection unit 5, and a background image for a part not detected as an area An image synthesizing unit 7 for synthesizing an image using the background image data input to the input unit 6.
【００３１】次に、この図１に示される画像合成装置の
動作についてさらに詳細に説明する。撮像部１は画像入
力用の２台のステレオカメラから構成され、この２台の
ステレオカメラのそれぞれから出力された画像データ
が、画像入力部２に入力される。物体領域を検出する前
の初期段階においては、あらかじめ、撮像部１におい
て、背景のシーンを撮影し、画像入力部２に出力する。Next, the operation of the image synthesizing apparatus shown in FIG. 1 will be described in more detail. The imaging unit 1 includes two stereo cameras for image input, and image data output from each of the two stereo cameras is input to the image input unit 2. In an initial stage before detecting an object region, a background scene is photographed by the imaging unit 1 and output to the image input unit 2 in advance.
【００３２】画像入力部２に入力された背景のシーンの
画像データは、対応検出部３、領域検出部５及び画像合
成部７に出力される。対応検出部３では、２台のステレ
オカメラのそれぞれから出力された背景のシーンにおい
て、この背景シーン画像を構成するそれぞれの画素間の
対応検出を行う。The image data of the background scene input to the image input unit 2 is output to the correspondence detecting unit 3, the area detecting unit 5, and the image synthesizing unit 7. The correspondence detection unit 3 detects correspondence between pixels constituting the background scene image in the background scene output from each of the two stereo cameras.
【００３３】対応検出部３における対応検出の動作を説
明する。まず、２台のステレオカメラにより背景シーン
の画像が撮影された場合、２台のステレオカメラの位置
関係からエピポーラ条件を定める。これは２台のステレ
オカメラのカメラ中心を結ぶ直線と背景シーン上の一点
を結ぶ平面とがステレオ画像と交差してできる２本直線
の直線の組がエピポーラ直線であり、背景中の任意の点
はステレオ画像中のエピポーラ直線対の上の画素に映っ
ているという条件である。この左右画像の全てのエピポ
ーラ直線対上で画素の対応点を求める。The operation of correspondence detection in the correspondence detection unit 3 will be described. First, when an image of a background scene is captured by two stereo cameras, epipolar conditions are determined from the positional relationship between the two stereo cameras. This is a set of two straight lines formed by intersecting a stereo image with a straight line connecting the camera centers of the two stereo cameras and a point on the background scene, and is an epipolar straight line. Is a condition that the image is reflected on the pixel above the pair of epipolar straight lines in the stereo image. The corresponding points of the pixels are obtained on all the epipolar straight line pairs of the left and right images.
【００３４】その後、対応検出部３において検出された
対応は対応記憶部４に出力され、対応記憶部４におい
て、画素の対応結果を記憶する。この対応記憶部４に記
憶される対応の状態を図２に示す。図２は、対応記憶部
４に記憶される２台のステレオカメラから出力された背
景シーンの画像を構成する画素の対応の記憶状態を示す
図である。図２の（ａ）が背景画像と左画像と右画像と
の位置関係を示す図であり、図２の（ｂ）が左画像と右
画像との背景画像の明るさの配列を示す図であり、図２
の（ｃ）が左画像に記憶される座標と、右画像に記憶さ
れる画像の対応記憶を示す図である。この図２に示され
るように、対応の記憶は、各画素について、対応する画
素の相手側の画像における座標を記憶することにより行
われる。Thereafter, the correspondence detected by the correspondence detection unit 3 is output to the correspondence storage unit 4, and the correspondence storage unit 4 stores the result of the correspondence between the pixels. FIG. 2 shows the correspondence state stored in the correspondence storage unit 4. FIG. 2 is a diagram illustrating a correspondence storage state of pixels constituting a background scene image output from the two stereo cameras and stored in the correspondence storage unit 4. 2A is a diagram illustrating a positional relationship between a background image, a left image, and a right image, and FIG. 2B is a diagram illustrating an array of brightness of the background image between the left image and the right image. Yes, Figure 2
(C) of FIG. 12 is a diagram showing the correspondence between the coordinates stored in the left image and the image stored in the right image. As shown in FIG. 2, the corresponding storage is performed for each pixel by storing the coordinates of the corresponding pixel in the image on the other side.
【００３５】対応記憶部４による対応の記憶が終了する
と、初期段階は終了となる。その後、撮像部１を構成す
る２台のステレオカメラのそれぞれから出力された画像
の画像データは、随時、領域検出部５に入力される。When the storage of the correspondence by the correspondence storage unit 4 is completed, the initial stage ends. After that, the image data of the image output from each of the two stereo cameras constituting the imaging unit 1 is input to the area detection unit 5 as needed.
【００３６】領域検出部５では、対応記録部４に記憶さ
れている対応する画素の座標を用いて、画像入力部２か
ら出力された画像データにより表される画像において、
背景以外の物体の領域を検出する。この対応検出部４に
おける背景以外の物体の領域を検出する動作について図
３を参照して説明する。The area detection unit 5 uses the coordinates of the corresponding pixels stored in the correspondence recording unit 4 to calculate the image represented by the image data output from the image input unit 2.
An area of the object other than the background is detected. The operation of detecting the area of the object other than the background in the correspondence detection unit 4 will be described with reference to FIG.
【００３７】図３は、領域検出部５において領域を検出
する際の２台のステレオカメラと物体との位置関係を示
す図である。図３の（ａ）が、物体が存在しない場合の
２台のステレオカメラと背景上の１点との位置関係を示
す図であり、図３の（ｂ）が物体Ｏが存在している場合
の物体Ｏと２台のステレオカメラとの位置関係を示す図
である。この図３に示されるように、初期段階で背景画
像の対応付けを行った際に、背景のある点Ｐｂについ
て、左画像の画素Ｐ１と右画像の画素Ｐｒが対応してい
たとする（図３の（ａ））。FIG. 3 is a diagram showing the positional relationship between two stereo cameras and an object when the area detection section 5 detects an area. FIG. 3A is a diagram illustrating a positional relationship between two stereo cameras and one point on the background when no object exists, and FIG. 3B illustrates a case where an object O exists. FIG. 2 is a diagram showing a positional relationship between an object O and two stereo cameras. As shown in FIG. 3, when the background image is associated at the initial stage, the pixel P1 of the left image and the pixel Pr of the right image correspond to a point Pb with a background (FIG. 3). (A)).
【００３８】その後、物体Ｏが撮像領域内に入ってき
て、２台のステレオカメラにより物体Ｏを撮影したとす
る（図３の（ａ））。この点Ｐｂが物体Ｏによって隠さ
れた場合、ＰｌとＰｒとが映している点は物体上の異な
った点ＰＯｌとＰＯｒとなるので対応しなくなる。この
ような対応しなくなった点を全て取り出すことにより、
物体領域の検出を行う。ここで、対応しなくなったか否
かの判定には以下のような計算方法を用いる。Thereafter, it is assumed that the object O enters the image pickup area and the object O is photographed by two stereo cameras (FIG. 3A). When this point Pb is hidden by the object O, the points on which Pl and Pr are projected become different points PO1 and POr on the object, so that they do not correspond. By taking out all the points that no longer correspond,
The object area is detected. Here, the following calculation method is used to determine whether or not the correspondence has been made.
【００３９】・単純な画素値の差分｜Ｉｌ（Ｐｌ）−Ｉ
ｒ（Ｐｒ）｜があるしきい値以下である。ただし、Ｉｌ
（Ｐｌ）、Ｉｒ（Ｐｒ）はそれぞれ画素Ｐにおけるステ
レオ左画像、右画像の画素値を示す。 ・画素Ｐｌ、Ｐｒを中心としたウィンドウ内のパターン
の変化と対応する画素を中心とした、以下の式で表され
るウィンドウ内のパターンの変化ｓがあるしきい値以下
である。Simple pixel value difference | Il (Pl) -I
r (Pr) | is below a certain threshold. However, Il
(Pl) and Ir (Pr) indicate the pixel values of the stereo left image and the right image at the pixel P, respectively. The change s of the pattern in the window represented by the following equation, centered on the pixel corresponding to the change of the pattern in the window around the pixels Pl and Pr, is below a certain threshold.
【００４０】[0040]
【数１】 (Equation 1)
【００４１】ただし、Ｐｌi 、Ｐｒi はそれぞれ画素Ｐ
ｌ、Ｐｒを中心としたウィンドウのｉ番目の画素であ
り、μｌ、μｒはそれぞれ画素Ｐｌ、Ｐｒを中心とした
ウィンドウ内の画素値の平均である。[0041] However, Pl i, Pr i each pixel P
It is the i-th pixel of the window centered on l and Pr, and μl and μr are the averages of the pixel values in the window centered on the pixels Pl and Pr, respectively.
【００４２】このように、領域検出部５における対応し
なくなったか否かの判定においては、上述のような計算
方法による判定方法を用いるが、本発明では、一度対応
付けがおこなわれた画素の対応が、物体が入ってくるこ
とにより崩れたか否かを判定して物体領域の検出を行う
のであり、判定のための計算方法自体に本発明の趣旨が
あるわけではない。従って、上述のような計算方法によ
る判定に限定されるものではなく、その他の適切な計算
式により表される判定を行っても良い。このような判定
により領域検出部５において物体領域が検出される。As described above, the determination by the above-described calculation method is used to determine whether or not the correspondence is lost in the area detection unit 5. In the present invention, however, the correspondence between the pixels once associated with each other is determined. However, the object region is detected by judging whether or not the object has collapsed due to the entry of the object, and the calculation method itself for the judgment does not have the gist of the present invention. Therefore, the determination is not limited to the above-described calculation method, and a determination represented by another appropriate calculation formula may be performed. By such a determination, the object area is detected by the area detection unit 5.
【００４３】次に、背景画像入力部６では、画像を合成
する場合の物体の背景となる画像を入力する。この背景
画像の入力はカメラを用いて背景を撮影したものを背景
画像として入力させても良いし、ビデオテープやレーザ
ーディスク、若しくは、コンピュータの大容量記憶装置
等の記憶媒体に記憶されている画像を背景画像として入
力させても良い。Next, the background image input section 6 inputs an image to be the background of the object when synthesizing the images. This background image may be input as a background image by photographing the background using a camera, or may be an image stored in a storage medium such as a video tape, a laser disk, or a mass storage device of a computer. May be input as a background image.
【００４４】画像合成部７では、背景画像入力部６に入
力された背景に領域検出部５で検出した領域、つまり、
背景以外の物体の画像を合成する。具体的には、領域検
出部５において検出された領域には画像入力部２に入力
された画像の画像データの画素値を用い、領域検出部５
で検出されなかった領域には背景画像入力部６において
背景画像として入力された画像の画像データの画素値を
用いる。In the image synthesizing section 7, the area detected by the area detecting section 5 on the background input to the background image input section 6, that is,
The image of the object other than the background is synthesized. Specifically, the pixel value of the image data of the image input to the image input unit 2 is used for the area detected by the area detection unit 5.
The pixel value of the image data of the image input as the background image in the background image input unit 6 is used for the area not detected in the above.
【００４５】ここで、画像合成部７における画像合成の
際に、領域検出部５で検出した領域の画像データとして
画像入力部２に入力した画像データの画素値を用いて、
合成に利用するが、撮像部１は２台のステレオカメラに
より構成されるため、画像入力部２から出力される画像
の画像データも２枚分存在する。そこで、領域検出部５
において、ステレオカメラの左画像を用いて領域を検出
した場合は検出した領域を画像入力部２で入力した左画
像の画素値で置き換え、ステレオカメラの右画像を用い
て領域を検出した場合は検出した領域を映像入力部２で
入力した右画像の画素値で置き換える。このように、画
像合成を実行する場合にはどちらの結果を用いても良
い。Here, at the time of image synthesis in the image synthesis section 7, the pixel value of the image data input to the image input section 2 as the image data of the area detected by the area detection section 5 is used.
Although used for synthesis, since the imaging unit 1 is composed of two stereo cameras, there are two pieces of image data of the image output from the image input unit 2. Therefore, the area detection unit 5
In, when the area is detected using the left image of the stereo camera, the detected area is replaced with the pixel value of the left image input by the image input unit 2, and when the area is detected using the right image of the stereo camera, the detection is performed. Is replaced with the pixel value of the right image input by the video input unit 2. As described above, when performing image synthesis, either result may be used.
【００４６】従って、この第１の実施形態に係る画像合
成装置によれば、入力した画像から背景以外の領域を、
正確かつ、迅速に取り出すことが可能であり、さらにこ
の取り出した領域を、背景画像入力部６に入力した背景
画像と合成することができる。Therefore, according to the image synthesizing apparatus according to the first embodiment, regions other than the background from the input image are
It is possible to accurately and quickly extract the extracted area, and it is possible to combine the extracted area with the background image input to the background image input unit 6.
【００４７】次に、本発明に係る画像合成装置の第２の
実施形態について図４を参照して説明する。図４に、第
２の実施形態に係る画像合成装置の構成のブロック図を
示す。ただし、図１に示される第１の実施形態に係る画
像合成装置と同様な部材には同じ番号を付す。Next, a second embodiment of the image synthesizing apparatus according to the present invention will be described with reference to FIG. FIG. 4 shows a block diagram of a configuration of an image composition device according to the second embodiment. However, the same members as those of the image synthesizing apparatus according to the first embodiment shown in FIG.
【００４８】この図４に示されるように、この第２の実
施形態に係る画像合成装置は、上述の第１の実施形態に
係る画像合成装置に、領域検出部５で得られた物体領域
に対して、その物体の３次元的構造及び、大体の距離を
測定する距離検出部８と、距離検出部８において検出さ
れた構造及び、距離の情報を記憶しておく距離記憶部９
とを設けたものである。As shown in FIG. 4, the image synthesizing device according to the second embodiment is different from the image synthesizing device according to the first embodiment in that the object area obtained by the area detecting section 5 On the other hand, a distance detecting unit 8 for measuring the three-dimensional structure and the approximate distance of the object, and a distance storing unit 9 for storing information on the structure detected by the distance detecting unit 8 and the distance.
Are provided.
【００４９】また、領域検出部５の出力は、直接画像合
成部７に出力される第１の実施形態と異なり、まず距離
検出部８に入力する。その後、検出された距離が付与さ
れた領域の画像データは距離記憶部９に記憶され、距離
記憶部９から検出された距離が付与された領域の画像デ
ータが画像合成部７に出力される。The output of the area detecting section 5 is first input to the distance detecting section 8 unlike the first embodiment which is directly output to the image synthesizing section 7. Thereafter, the image data of the region to which the detected distance has been added is stored in the distance storage unit 9, and the image data of the region to which the detected distance has been added is output from the distance storage unit 9 to the image synthesizing unit 7.
【００５０】距離検出部８による距離の検出は、レーザ
や超音波など距離を測定する距離計測様カメラにより能
動的に距離情報を求める検出方法でも良いし、特殊な距
離計測用カメラは設けず、領域検出部５において検出さ
れた領域内で、２枚の画像の画素間の対応を取り、画素
間の対応を取ることにより物体領域の構造と距離とを求
めても良い。また、距離記憶部９により記憶された情報
は、画像合成部７に出力されて、画像合成を行う際に利
用される。The distance detection by the distance detection unit 8 may be a detection method of actively obtaining distance information by a distance measuring camera such as a laser or an ultrasonic wave for measuring a distance, or a special distance measuring camera is not provided. The structure and distance of the object region may be obtained by taking correspondence between pixels of two images in the region detected by the region detection unit 5 and taking correspondence between pixels. The information stored by the distance storage unit 9 is output to the image synthesizing unit 7 and used when performing image synthesis.
【００５１】従って、この第２の実施形態に係る画像合
成装置においては、上述した第１の実施形態に係る画像
合成装置の効果と同様な効果が得られると共に、領域検
出部５において検出された領域の、撮像装置からその領
域に対応する物体までの距離を検出することが可能にな
ると共に、その領域に対応する物体の３次元構造も認識
することができる。Therefore, in the image synthesizing apparatus according to the second embodiment, the same effects as those of the image synthesizing apparatus according to the above-described first embodiment can be obtained, and the image detected by the area detecting unit 5 can be obtained. It is possible to detect the distance of the region from the imaging device to the object corresponding to the region, and it is also possible to recognize the three-dimensional structure of the object corresponding to the region.
【００５２】次に、本発明に係る画像合成装置の第３の
実施形態について図面を参照して説明する。図５に、第
３の実施形態に係る画像合成装置の構成のブロック図を
示す。この第３の実施形態に係る画像合成装置の構成
は、図４に示される第２の実施形態に係る画像合成装置
の構成と同様である。ただし、この図５に示される背景
画像入力部３１の動作、及び、画像合成部３２の動作と
が、図４に示される背景画像入力部６の動作、及び、画
像合成部７の動作と異なる。その他のブロックの動作に
ついては同様である。よって、以下に、この図５に示さ
れる背景画像入力部３１の動作、及び、画像合成部３２
の動作について説明する。ただし、図５において、図４
に示される第２の実施形態が有する部材と同様な部材に
は同じ番号を付す。Next, a third embodiment of the image synthesizing apparatus according to the present invention will be described with reference to the drawings. FIG. 5 shows a block diagram of a configuration of the image synthesizing apparatus according to the third embodiment. The configuration of the image synthesizing apparatus according to the third embodiment is the same as the configuration of the image synthesizing apparatus according to the second embodiment shown in FIG. However, the operation of the background image input unit 31 and the operation of the image combining unit 32 shown in FIG. 5 are different from the operation of the background image input unit 6 and the operation of the image combining unit 7 shown in FIG. . The operation of the other blocks is the same. Therefore, the operation of the background image input unit 31 shown in FIG.
Will be described. However, in FIG.
The same reference numerals are given to members similar to those of the second embodiment shown in FIG.
【００５３】まず、図５に示される背景画像入力部３１
の動作について説明する。この第３の実施形態に係る画
像合成装置が具備する背景画像入力部３１においては、
その背景画像と撮像部１との間の距離を表すデータと、
その撮像面において存在する存在範囲を表すデータとが
付与された背景画像の画像データが入力される。この、
背景画像入力部３１に入力される画像の概念図を図６に
示す。First, the background image input unit 31 shown in FIG.
Will be described. In the background image input unit 31 provided in the image composition device according to the third embodiment,
Data representing the distance between the background image and the imaging unit 1;
Image data of a background image to which data representing the existence range existing on the imaging surface is added is input. this,
FIG. 6 is a conceptual diagram of an image input to the background image input unit 31.
【００５４】この図６に示されるように、背景画像入力
部３１に入力される背景画像に付与される距離を表すデ
ータは、遠方、中距離、近距離等であり、存在範囲を表
すデータとしては、全画面、画面左下、画面下方等であ
る。As shown in FIG. 6, the data representing the distance given to the background image input to the background image input unit 31 is distant, medium distance, short distance, and the like. Is the entire screen, the lower left of the screen, the lower screen, and the like.
【００５５】従って、この背景画像入力部３１では、物
体の背景となる画像だけでなく、物体よりも前方に存在
する背景の画像も入力することができる。Therefore, the background image input unit 31 can input not only an image serving as a background of an object but also an image of a background existing ahead of the object.
【００５６】上述のように、これらの背景画像は合成し
た画像の中でどこに存在するかという存在情報と物体と
どちらが前方にあるかを計算するための、撮像部１を構
成するステレオカメラからの距離情報が与えられてい
る。例えば、図６においては背景としての家の画像１６
０が画面の全範囲に、車の画像１６１が画面の左下に、
花の画像１６２が画面の下方にあると設定されている。As described above, these background images are output from the stereo camera constituting the image pickup unit 1 for calculating the presence information indicating where the background image exists in the synthesized image and which object is ahead. Distance information is provided. For example, in FIG. 6, an image 16 of a house as a background
0 is in the whole area of the screen, car image 161 is in the lower left of the screen,
It is set that the flower image 162 is below the screen.
【００５７】さらに、ステレオカメラからの距離とし
て、家の画像１６０は遠距離にあり、車の画像１６１は
中距離であるが検出された物体よりは遠方にあり、花の
画像１６２は近距離にあると設定されている。このよう
に設定すると、検出した物体領域の画像１６３は家の画
像１６０や車の画像１６１の前方にあるので、これらの
背景により隠されることはないが、花の画像１６２は物
体より前方にあるので、花の画像１６２により隠されて
いる、という合成結果である合成画像１６４を、図５に
示される画像合成部３２において、合成することができ
る。Further, as the distance from the stereo camera, the house image 160 is at a long distance, the car image 161 is at a medium distance but far from the detected object, and the flower image 162 is at a short distance. It is set to be. With this setting, the detected object area image 163 is located in front of the house image 160 and the car image 161 and is not hidden by these backgrounds, but the flower image 162 is located ahead of the object. Therefore, the combined image 164, which is the combined result of being hidden by the flower image 162, can be combined in the image combining unit 32 shown in FIG.
【００５８】次に、この第３の実施形態に係る画像合成
装置が具備する画像合成部３２の画像合成の動作につい
て説明する。図６に示されるような、合成画像１６４を
合成する際の画像合成部３２の動作は、撮像面を覆う全
ての画素に対して、背景画像入力部３１から入力され
た、距離を表すデータが付与された背景画像を構成する
画素の距離と、距離検出部８において検出された距離の
データが付与された検出された物体領域の画像を構成す
る画素の距離とを比較する。この比較において、最も撮
像部１を構成するステレオカメラに近い距離にある画素
を、その点の画素であるとみなす。この比較を撮像面全
体に渡って実行することにより、３次元的な距離が与え
られている画素により構成されている画像の合成を実行
する。Next, an image synthesizing operation of the image synthesizing section 32 provided in the image synthesizing apparatus according to the third embodiment will be described. As shown in FIG. 6, the operation of the image synthesizing unit 32 when synthesizing the synthesized image 164 is such that the data representing the distance input from the background image input unit 31 is applied to all the pixels covering the imaging surface. The distance between the pixels constituting the assigned background image is compared with the distance between the pixels constituting the image of the detected object region to which the data of the distance detected by the distance detection unit 8 has been added. In this comparison, the pixel closest to the stereo camera constituting the imaging unit 1 is regarded as the pixel at that point. By performing this comparison over the entire imaging surface, an image composed of pixels having a three-dimensional distance is synthesized.
【００５９】従って、この第３の実施形態に係る画像合
成装置によれば、第２の実施形態に係る画像合成装置の
効果と同様な効果が得られると共に、撮像部１からの距
離と、撮像面における存在範囲とが付与された背景画像
の画像データを背景画像入力部３１に入力することがで
き、距離情報が付与された背景画像の画像を構成する画
素の距離と、距離検出部８において検出された領域を構
成する画素の距離とを比較し、この比較結果に基づき、
画像合成部３２が合成画像に採用する画素を決定するの
で、単に物体に覆われる背景としての画像のみならず、
物体よりも前方にある背景画像を用いて画像の合成を実
行することができ、３次元的な合成画像を生成すること
ができる。Therefore, according to the image synthesizing apparatus according to the third embodiment, the same effects as those of the image synthesizing apparatus according to the second embodiment can be obtained. The image data of the background image to which the existence range on the surface has been added can be input to the background image input unit 31, and the distance between the pixels forming the image of the background image to which the distance information has been added and the distance detection unit 8 Compare the distance between the pixels constituting the detected area, based on the comparison result,
Since the image combining unit 32 determines the pixels to be used in the combined image, not only the image as the background covered by the object,
Image synthesis can be performed using a background image that is ahead of the object, and a three-dimensional synthesized image can be generated.
【００６０】次に、本発明に係る画像合成装置の第４の
実施形態について図面を参照して説明する。図７に、第
４の実施形態に係る画像合成装置の構成のブロック図を
示す。この第４の実施形態に係る画像合成装置の構成
は、図４に示される第２の実施形態の構成と同様であ
る。ただし、この図７に示される背景画像入力部４１の
動作及び画像合成部４２の動作が、図４に示される背景
画像入力部６の動作及び画像合成部７の動作と異なり、
その他のブロックの動作については同様である。よっ
て、以下に、この図７に示される背景画像入力部４１の
動作及び画像合成部４２の動作について説明する。ただ
し、図７において、図４に示される部材と同様な部材に
は同じ番号を付す。Next, a fourth embodiment of the image synthesizing apparatus according to the present invention will be described with reference to the drawings. FIG. 7 shows a block diagram of a configuration of an image composition device according to the fourth embodiment. The configuration of the image synthesizing apparatus according to the fourth embodiment is the same as the configuration of the second embodiment shown in FIG. However, the operation of the background image input unit 41 and the operation of the image synthesis unit 42 shown in FIG. 7 are different from the operation of the background image input unit 6 and the operation of the image synthesis unit 7 shown in FIG.
The operation of the other blocks is the same. Therefore, the operation of the background image input unit 41 and the operation of the image combining unit 42 shown in FIG. 7 will be described below. However, in FIG. 7, the same members as those shown in FIG. 4 are denoted by the same reference numerals.
【００６１】まず、図７に示される背景画像入力部４１
の動作について説明する。この第４の実施形態に係る画
像合成装置が具備する背景画像入力部４１は、背景画像
として、３次元コンピュータグラフィックスによる背景
のモデルを入力する。First, the background image input unit 41 shown in FIG.
Will be described. The background image input unit 41 included in the image composition device according to the fourth embodiment inputs a background model by three-dimensional computer graphics as a background image.
【００６２】そして、画像合成部４２は、距離記憶部９
において記憶されている物体の３次元的な構造に領域検
出部５において検出された領域に対応する物体の画像を
テクスチャとして貼り付けた物体のモデルを、背景画像
入力部６において入力した３次元コンピュータグラフィ
ックスの中に距離記憶部９で記憶しているカメラから物
体領域までの距離により計算した物体の３次元的な位置
に配置することにより、３次元コンピュータグラフィッ
クスを用いた画像の合成を行う。Then, the image synthesizing unit 42 stores the distance
A three-dimensional computer that inputs a model of an object obtained by pasting, as a texture, an image of the object corresponding to the region detected by the region detection unit 5 to the three-dimensional structure of the object stored in the background image input unit 6 By arranging the object at a three-dimensional position calculated based on the distance from the camera to the object area stored in the distance storage unit 9 in the graphics, the image is synthesized using three-dimensional computer graphics. .
【００６３】また、距離検出部８において、物体の詳細
な３次元構造を検出せず、物体とカメラとの間のおおよ
その距離が検出されている場合には、その距離に置かれ
た平面上に領域検出部５において検出された領域の画像
をテクスチャとして貼り付けることで３次元コンピュー
タグラフィックスを合成する。When the distance detecting unit 8 does not detect the detailed three-dimensional structure of the object and detects the approximate distance between the object and the camera, the distance detector 8 determines whether or not the distance between the object and the camera is higher than the plane set at that distance. 3D computer graphics are synthesized by pasting the image of the area detected by the area detection unit 5 as a texture.
【００６４】従って、この第４の実施形態に係る画像合
成装置によれば、第２の実施形態に係る画像合成装置の
効果と同様な効果が得られると共に、３次元コンピュー
タグラフィックスによる背景画像を用いることができる
と共に、距離記憶部４に記憶されている領域の距離に基
づき、３次元的な画像の合成を実行することができる。Therefore, according to the image synthesizing apparatus according to the fourth embodiment, the same effect as that of the image synthesizing apparatus according to the second embodiment can be obtained, and the background image by three-dimensional computer graphics can be obtained. It can be used and can perform three-dimensional image synthesis based on the distance of the area stored in the distance storage unit 4.
【００６５】ここで、この図７に示される背景画像入力
部４１の機能として、上述の３次元コンピュータグラフ
ィックスの背景画像を入力させる他に、図５に示される
第３の実施形態に係る画像合成装置が具備する、背景画
像入力部３１の機能を具備させても良い。この場合、利
用者は、３次元コンピュータグラフィックスの画像、若
しくは、距離データと存在範囲が付与された背景画像と
のいずれか一方を背景画像として選択することができ
る。また、この背景画像入力部４１の機能拡張に伴い、
図７に示される画像合成部４２の機能として、図５に示
される第３の実施形態に係る画像合成部３２の機能を具
備させると良い。Here, the functions of the background image input section 41 shown in FIG. 7 include, in addition to the input of the above-described background image of three-dimensional computer graphics, an image according to the third embodiment shown in FIG. The function of the background image input unit 31 provided in the synthesizing device may be provided. In this case, the user can select any one of the three-dimensional computer graphics image or the background image to which the distance data and the existence range are added as the background image. Also, with the extension of the function of the background image input unit 41,
As the function of the image combining unit 42 shown in FIG. 7, the function of the image combining unit 32 according to the third embodiment shown in FIG. 5 may be provided.
【００６６】次に、本発明に係る画像合成装置の第５の
実施形態に係る画像合成装置について図面を参照して説
明する。図８に、この第５の実施形態に係る画像合成装
置の構成のブロック図を示す。Next, an image synthesizing apparatus according to a fifth embodiment of the present invention will be described with reference to the drawings. FIG. 8 shows a block diagram of a configuration of the image synthesizing apparatus according to the fifth embodiment.
【００６７】この図８に示されるように、この第５の実
施形態に係る画像合成装置の構成は、図４に示される第
２の実施形態の構成に、死角除去部５３を付け加えた構
成となっている。この死角除去部５３が付け加えられた
ことに伴い、画像入力部２の出力が死角除去部５３に入
力し、領域検出部５において検出された領域のデータが
距離検出部８及び死角除去部５３にも入力し、距離記憶
部９に記憶された距離データが付与された領域のデータ
が、死角除去部５３及び画像合成部５２に出力され、死
角除去部５３からの出力が画像合成部５２に出力されて
いる。また、図４に示される第２の実施形態に係る画像
合成装置と同様な部材には、同じ番号を付す。As shown in FIG. 8, the configuration of the image synthesizing apparatus according to the fifth embodiment is the same as the configuration of the second embodiment shown in FIG. Has become. With the addition of the blind spot remover 53, the output of the image input unit 2 is input to the blind spot remover 53, and the data of the area detected by the area detector 5 is sent to the distance detector 8 and the blind spot remover 53. The data of the area to which the distance data stored in the distance storage unit 9 is added is output to the blind spot removing unit 53 and the image combining unit 52, and the output from the blind spot removing unit 53 is output to the image combining unit 52. Have been. The same members as those of the image compositing apparatus according to the second embodiment shown in FIG. 4 are denoted by the same reference numerals.
【００６８】また、この図８に示される死角除去部５３
以外の他のブロックの機能としては、第２の実施形態に
係る画像合成装置に具備されるそれぞれのブロックに対
応する機能と同様である。The blind spot elimination section 53 shown in FIG.
The functions of the other blocks other than the above are the same as the functions corresponding to the respective blocks provided in the image synthesizing apparatus according to the second embodiment.
【００６９】そこで、この第５の実施形態に係る画像合
成装置に具備された死角除去部５３について説明する。Therefore, a description will be given of the blind spot removing unit 53 provided in the image synthesizing apparatus according to the fifth embodiment.
【００７０】前述の第１から第４の実施形態に係る画像
合成装置においては、物体領域のみを検出するために、
領域検出部５において図３に示されるような、画素間の
対応の崩れを基に物体領域の検出を行っていた。In the image synthesizing apparatuses according to the first to fourth embodiments, since only the object area is detected,
In the area detection unit 5, the object area is detected based on the collapse of the correspondence between the pixels as shown in FIG.
【００７１】しかし、単に対応が崩れている画素のみを
物体領域であるとみなしてしまうと、物体領域に死角領
域が含まれてしまう場合がある。この場合を図９を参照
して説明する。図９の（ａ）は初期段階における背景と
２台のステレオカメラとの位置関係を示す図であり、図
９の（ｂ）は物体が撮像領域に入ってきた場合の背景と
２台のステレオカメラとの位置関係を示す図である。例
えば、図９の（ｂ）に示されるように、２台のカメラの
位置関係により、背景のある１点Ｐｂに対して、左画像
の対応画素Ｐｌは物体Ｏによって隠されているが、右画
像の対応画素Ｐｒは物体によって隠されておらず背景の
点を映しているという状況が発生する場合がある。この
場合であっても、両画素間の対応が崩れているために、
この画素を物体領域として検出してしまう。However, if only pixels whose correspondence is lost are regarded as an object area, the object area may include a blind spot area. This case will be described with reference to FIG. FIG. 9A is a diagram showing the positional relationship between the background and two stereo cameras at an initial stage, and FIG. 9B is a diagram showing the background and two stereo cameras when an object enters the imaging area. FIG. 3 is a diagram illustrating a positional relationship with a camera. For example, as shown in FIG. 9B, the corresponding pixel Pl of the left image is hidden by the object O with respect to one background point Pb due to the positional relationship between the two cameras, but the right pixel P1 is hidden by the object O. A situation may occur in which the corresponding pixel Pr of the image is not hidden by the object but reflects a background point. Even in this case, since the correspondence between the two pixels is broken,
This pixel is detected as an object area.
【００７２】この図９に示される位置関係において検出
される物体領域を、死角領域と呼ぶ。従って、より正確
に物体領域を取り出して画像合成を実行するためには、
画像合成の際に、物体領域に含まれる死角領域を除去す
る必要がある。The object area detected in the positional relationship shown in FIG. 9 is called a blind spot area. Therefore, in order to take out the object region more accurately and execute the image synthesis,
At the time of image synthesis, it is necessary to remove a blind spot area included in the object area.
【００７３】そのため、この図８に示される第５の実施
形態に係る画像合成装置においては領域検出部５におい
て検出された物体領域から死角領域を除去するための死
角除去部５３を設けている。Therefore, in the image synthesizing apparatus according to the fifth embodiment shown in FIG. 8, a blind spot removing section 53 for removing a blind spot area from the object area detected by the area detecting section 5 is provided.
【００７４】次に、図８に示される死角除去部５３の動
作について図１０を参照して説明する。この図１０に示
されるように、今、初期段階としての背景シーンの撮影
を行った際に、背景の点Ｐｂに対して、左画像の画素Ｐ
ｌと右画像の画素Ｐｒとが対応していたとする。物体１
００がこの背景シーンに入ってくることによって、右画
像における物体１００の端点Ｐｏに対して、左画像にＰ
ｌからＰｌ’までの範囲の死角領域が発生する。Next, the operation of the blind spot removing section 53 shown in FIG. 8 will be described with reference to FIG. As shown in FIG. 10, when the background scene is photographed as an initial stage, the pixel P of the left image is positioned with respect to the background point Pb.
It is assumed that 1 corresponds to the pixel Pr of the right image. Object 1
00 enters this background scene, the end point Po of the object 100 in the right image is
A blind spot area from 1 to Pl 'is generated.
【００７５】物体の端点Ｐｏと左側のステレオカメラの
撮像面との間の距離ｚｏは、距離検出部８により検出さ
れ、さらにこの検出された距離ｚｏは距離記憶部９に記
憶されているので、このｚｏを用いて、Ｐｌ’の座標を
計算により求めて死角領域を除去するのが、この第５の
実施形態に係る画像合成装置が具備する死角除去部５３
の動作である。The distance zo between the end point Po of the object and the imaging plane of the stereo camera on the left side is detected by the distance detecting section 8, and the detected distance zo is stored in the distance storing section 9. The blind spot area is removed by calculating the coordinates of Pl ′ using this zo. This is because the blind spot removal unit 53 included in the image synthesizing apparatus according to the fifth embodiment.
Operation.
【００７６】上述の死角除去部５３におけるＰｌ’の座
標を求める際の計算例を以下に示す。左カメラの焦点距
離をｆｌとし、左カメラのレンズ中心を原点としたＰ
ｌ、Ｐｌ’の座標をそれぞれ、図１０に示すように、An example of calculation for obtaining the coordinates of Pl 'in the above-mentioned blind spot elimination unit 53 will be described below. The focal length of the left camera is fl, and the origin is the center of the left camera lens.
As shown in FIG. 10, the coordinates of l and Pl ′ are
【００７７】[0077]
【数２】 (Equation 2)
【００７８】とする。ここで、上付の矢印はそれがベク
トルであることを示している。以下の式においても同じ
である。この際、左カメラの座標系は図１０の（ｂ）に
示す通りである。また、右カメラの焦点距離をｆｒ、右
カメラのレンズ中心を原点としてＰｒの座標は図１０に
示すように、Assume that Here, the superscript arrow indicates that it is a vector. The same applies to the following equations. At this time, the coordinate system of the left camera is as shown in FIG. Further, assuming that the focal length of the right camera is fr and the center of the lens of the right camera is the origin, the coordinates of Pr are as shown in FIG.
【００７９】[0079]
【数３】 (Equation 3)
【００８０】とする。この時、右カメラの座標系は図１
０の（ｃ）に示す通りである。It is assumed that At this time, the coordinate system of the right camera is shown in FIG.
0 (c).
【００８１】左右のカメラの位置関係が既知のとき、左
カメラの原点を基準としたＰｒの座標は回転行列Ｒ、並
進ベクトルをｈとすると、When the positional relationship between the left and right cameras is known, the coordinates of Pr with respect to the origin of the left camera are a rotation matrix R, and a translation vector is h.
【００８２】[0082]
【数４】 (Equation 4)
【００８３】となる。以下の式のように、Ｒ、ベクトル
ｈは次の成分に分解して考える。Is obtained. As shown in the following equation, R and vector h are decomposed into the following components.
【００８４】[0084]
【数５】 (Equation 5)
【００８５】とする。ｒ１、ｒ２、ｒ３は共に３次元の
行ベクトルである。Assume that: r1, r2, and r3 are all three-dimensional row vectors.
【００８６】左画像のＰｌ’と右画像のＰｒが物体の端
点Ｐｏに対応している場合、Ｐｏの座標ｘｏについて、If Pl ′ in the left image and Pr in the right image correspond to the end point Po of the object, the coordinates xo of Po are as follows:
【００８７】[0087]
【数６】 (Equation 6)
【００８８】が成り立つ。これをｋ、ｌについて解く
と、Holds. Solving this for k and l gives
【００８９】[0089]
【数７】 (Equation 7)
【００９０】が成立する。ここで、・はベクトルのスカ
ラー積を示す。端点の距離ｚｏは距離記憶部８に記憶さ
れているデータにより分かるので、数式（１）のｚ成分
座標と数式（２）とから、Holds. Here, represents a scalar product of vectors. Since the distance zo of the end point can be known from the data stored in the distance storage unit 8, the z component coordinates of the equation (1) and the equation (2) are used.
【００９１】[0091]
【数８】 (Equation 8)
【００９２】と求めることができる。例えば、図１１に
示されるように左右カメラを平行にｘ軸方向に距離ｄ離
して配置し、左右カメラの焦点距離がｆと共通である場
合を考える。この場合、Can be obtained as follows. For example, consider a case in which the left and right cameras are arranged in parallel in the x-axis direction at a distance d as shown in FIG. 11 and the focal length of the left and right cameras is common to f. in this case,
【００９３】[0093]
【数９】 (Equation 9)
【００９４】である。図１１に示されるように、Is as follows. As shown in FIG.
【００９５】[0095]
【数１０】 (Equation 10)
【００９６】となり、数式に値を代入したものと一致す
る。## EQU11 ## which is the same as the value obtained by substituting a value into the equation.
【００９７】図８に示される死角除去部５３ではこのよ
うに計算した座標Ｐｌ’から座標Ｐｌまでの範囲にある
画素を除去することによって、図１０に示される端点Ｐ
ｒに関する死角を除去する。これを全ての端点の画素に
対して行うことにより、検出された領域に含まれる死角
領域を除去することができる。The blind spot elimination section 53 shown in FIG. 8 removes the pixels in the range from the coordinates Pl ′ to the coordinates Pl calculated in this way, so that the end point P shown in FIG.
Remove the blind spot for r. By performing this for all the pixels at the end points, it is possible to remove the blind spot area included in the detected area.
【００９８】距離検出部８における物体の距離の計測
が、大体の距離の計測である場合であっても、物体の前
後の幅がカメラと物体の距離に比べて十分小さければ、
端点の距離を大体の距離で置き換えて使用することがで
きる。Even if the measurement of the distance of the object by the distance detection unit 8 is a measurement of the approximate distance, if the front and rear width of the object is sufficiently smaller than the distance between the camera and the object,
The distance between the end points can be replaced with the approximate distance.
【００９９】従って、この第５の実施形態に係る画像合
成装置によれば、第２の実施形態に係る画像合成装置の
効果と同様な効果が得られると共に、検出された領域の
死角領域を探索ではなく、計算により求めて除去してい
るため、その死角領域の除去動作が迅速に行え、結果と
して、画像合成を実行する際の処理時間を軽減すること
ができる。Therefore, according to the image synthesizing apparatus according to the fifth embodiment, the same effect as that of the image synthesizing apparatus according to the second embodiment can be obtained, and the blind spot area of the detected area is searched. However, since the blind spot area is removed by calculation instead of calculation, the blind spot area can be removed quickly, and as a result, the processing time when executing image synthesis can be reduced.
【０１００】ここで、この図８に示される背景画像入力
部５１の機能としては、第２の実施形態に係る画像合成
装置に具備される背景画像入力部６と同様であるとした
が、さらに、図５に示される第３の実施形態に係る画像
合成装置が具備する背景画像入力部３１に具備された機
能、及び、図７に示される第４の実施形態に係る画像合
成装置が具備する背景画像入力部４１に具備された機能
のうち、少なくともいずれか一方の機能を具備させるこ
とが好ましい。この場合、利用者は、合成させるべき背
景画像として、距離データと存在範囲が付与された背景
画像と、３次元コンピュータグラフィックスによる背景
画像との少なくともいずれか一方の画像を背景画像とし
て選択することができる。また、このような背景画像入
力部５１の機能拡張に伴い、図８に示される画像合成部
５２の機能として、前述の図５に示される第３の実施形
態に係る画像合成部３２に具備された機能、及び、図７
に示される第４の実施形態に係る画像合成部４２に具備
された機能の少なくともいずれか一方を具備させると良
い。Here, the function of the background image input unit 51 shown in FIG. 8 is the same as that of the background image input unit 6 provided in the image synthesizing apparatus according to the second embodiment. , The function provided in the background image input unit 31 included in the image synthesizing apparatus according to the third embodiment shown in FIG. 5, and the image synthesizing apparatus according to the fourth embodiment shown in FIG. It is preferable that at least one of the functions provided in the background image input unit 41 is provided. In this case, the user selects at least one of a background image to which the distance data and the existence range are added and a background image by three-dimensional computer graphics as the background image to be combined. Can be. Further, with the function expansion of the background image input unit 51, the function of the image combining unit 52 shown in FIG. 8 is provided in the image combining unit 32 according to the third embodiment shown in FIG. 5 described above. Functions and FIG.
It is preferable to provide at least one of the functions provided in the image combining unit 42 according to the fourth embodiment shown in FIG.
【０１０１】次に、本発明に係る画像合成装置の第６の
実施形態について図面を参照して説明する。図１２に、
第６の実施形態に係る画像合成装置の構成のブロック図
を示す。Next, a sixth embodiment of the image synthesizing apparatus according to the present invention will be described with reference to the drawings. In FIG.
FIG. 13 shows a block diagram of a configuration of an image composition device according to a sixth embodiment.
【０１０２】この図１２に示されるように、この画像合
成装置は、前述の第１の実施形態に係る画像合成装置
に、死角除去部６３が付け加えられた構成となってい
る。ただし、図１に示される第１の実施形態に係る画像
合成装置と同様な部材には、同じ番号を付す。As shown in FIG. 12, the image synthesizing apparatus has a configuration in which a blind spot removing unit 63 is added to the image synthesizing apparatus according to the first embodiment. However, the same members as those of the image synthesizing apparatus according to the first embodiment shown in FIG.
【０１０３】死角除去部６３を、画像合成装置に付け加
える理由は、上述の第５の実施形態に死角除去部５３を
付け加えた理由と同様であるが、この死角除去部６３の
動作と第５の実施形態に係る画像合成装置が具備してい
る死角除去部５３とは、その死角領域を除去する際の動
作が異なる。従って、以下に、この死角除去部６３の死
角領域を除去する際の動作について説明する。The reason why the blind spot elimination unit 63 is added to the image synthesizing apparatus is the same as the reason why the blind spot elimination unit 53 is added to the fifth embodiment, but the operation of the blind spot elimination unit 63 and the fifth embodiment will be described. The operation at the time of removing the blind spot area is different from that of the blind spot removing unit 53 provided in the image synthesizing apparatus according to the embodiment. Accordingly, the operation of the blind spot removing unit 63 when removing the blind spot area will be described below.
【０１０４】図１２に示されるように、この第６の実施
形態に係る画像合成装置は、死角除去部６３が付け加え
られた結果として、画像入力部２の出力が、対応検出部
３、領域検出部５及び画像合成部６２に出力されると共
に、死角除去部６３にも出力されている。また、領域検
出部５において検出された領域のデータは、第１の実施
形態のように、直接画像合成部６２に出力されるのでは
なく、死角除去部６３に出力され、死角除去部６３は、
入力した領域から死角領域を除去した後の領域のデータ
を画像合成部６２に出力する。As shown in FIG. 12, in the image synthesizing apparatus according to the sixth embodiment, the output of the image input unit 2 is The output is also output to the blind spot elimination unit 63 while being output to the unit 5 and the image synthesis unit 62. In addition, the data of the area detected by the area detection unit 5 is not directly output to the image synthesis unit 62 as in the first embodiment, but is output to the blind spot removal unit 63, and the blind spot removal unit 63 ,
The data of the area after removing the blind spot area from the input area is output to the image synthesis unit 62.
【０１０５】この死角除去部６３における、領域検出部
５において検出された領域から死角領域を除去する際の
動作について、図１２及び図１３を参照してさらに詳細
に説明する。The operation of the blind spot removing section 63 for removing a blind spot area from the area detected by the area detecting section 5 will be described in more detail with reference to FIGS.
【０１０６】領域検出部５において検出された物体領域
は、図１３の（ａ）に示されるように、右カメラと左カ
メラのそれぞれの死角領域を含んでいる。また、図１３
の（ｂ）、及び図１３の（ｃ）に示されるように、左画
像及び右画像の両方の画像に物体が映っている領域が存
在し、それに隣接して死角領域８１、８２が現れてい
る。As shown in FIG. 13A, the object area detected by the area detecting section 5 includes the blind spot areas of the right camera and the left camera. FIG.
13 (b) and FIG. 13 (c), there is a region where an object is reflected in both the left image and the right image, and the blind spot regions 81 and 82 appear adjacent thereto. I have.
【０１０７】そこで、この死角領域を除去するために、
死角除去部６３は領域検出部５において検出された物体
領域内において、ステレオ法により、検出された領域の
画像を構成する画素の対応を求める。この動作は対応検
出部３において行う画素の対応を検出するための動作と
同様の動作である。物体が映っている領域は両方の画像
に存在しているので、領域検出部５において検出された
領域の内、死角領域以外の物体領域では、画素間の対応
がとれるが、死角領域となっている領域は画素間の対応
がとれない。死角除去部６３は、このような画素間の対
応が取れない部分を領域検出部５において検出された物
体領域から除去することにより死角領域を除去する。Therefore, in order to remove this blind spot area,
The blind spot elimination unit 63 obtains the correspondence of the pixels constituting the image of the detected area in the object area detected by the area detection unit 5 by the stereo method. This operation is the same as the operation performed by the correspondence detection unit 3 for detecting the correspondence between pixels. Since the region where the object is present is present in both images, among the regions detected by the region detection unit 5, in the object region other than the blind spot region, correspondence between pixels can be obtained, but the blind spot region is formed. There is no correspondence between the pixels in the region where it exists. The blind spot elimination unit 63 removes the blind spot area by removing such a part where the correspondence between pixels cannot be established from the object area detected by the area detection unit 5.
【０１０８】従って、この第６の実施形態に係る画像合
成装置によれば、第１の実施形態に係る画像合成装置と
同様な効果が得られると共に、検出した物体領域におい
て、死角領域を正確に除去することができる。Therefore, according to the image synthesizing apparatus according to the sixth embodiment, the same effect as that of the image synthesizing apparatus according to the first embodiment can be obtained, and the blind spot area can be accurately detected in the detected object area. Can be removed.
【０１０９】さらに、この第６の実施形態として、図１
２に示されるような、死角除去部６３を第１の実施形態
に係る画像合成装置に付け加えた構成を説明したが、こ
の死角除去部６３と同様の機能を有する死角除去部を、
前述の第２の実施形態に係る画像合成装置に付け加えた
構成としても良い。この構成の画像合成装置を第６の実
施形態の別の態様とする。Further, as the sixth embodiment, FIG.
2, a configuration in which the blind spot removing unit 63 is added to the image synthesizing apparatus according to the first embodiment has been described. However, a blind spot removing unit having the same function as the blind spot removing unit 63 includes:
The configuration may be added to the image synthesizing apparatus according to the second embodiment. An image synthesizing apparatus having this configuration is another aspect of the sixth embodiment.
【０１１０】この場合の、第６の実施形態の別の態様に
係る画像合成装置の構成のブロック図を図１４に示す。
この図１４に示されるように、この第６の実施形態の別
の態様によれば、図４に示される第２の実施形態に係る
画像合成装置に、死角除去部６３が付け加えられている
構成となっている。ただし、この図１４において、図４
に示される第２の実施形態に係る画像合成装置と同様な
部材には、同じ番号を付す。FIG. 14 is a block diagram showing the configuration of an image synthesizing apparatus according to another aspect of the sixth embodiment in this case.
As shown in FIG. 14, according to another aspect of the sixth embodiment, a configuration in which a blind spot removing unit 63 is added to the image synthesizing apparatus according to the second embodiment shown in FIG. It has become. However, in FIG.
The same members as those of the image synthesizing apparatus according to the second embodiment shown in FIG.
【０１１１】また、死角除去部６３が付け加えられたこ
とに伴い、画像入力部２の出力が死角除去部６３にも入
力し、領域検出部５において検出された領域のデータが
距離検出部８及び死角除去部６３に入力し、距離記憶部
９に記憶された距離データが付与された領域のデータ
が、死角除去部６３及び画像合成部６２に出力され、死
角除去部６３からの出力が画像合成部６２に出力されて
いる。Further, with the addition of the blind spot elimination section 63, the output of the image input section 2 is also input to the blind spot elimination section 63, and the data of the area detected by the area detection section 5 is output by the distance detection section 8 and The data in the area to which the distance data added to the blind spot remover 63 is stored and which is stored in the distance storage unit 9 is output to the blind spot remover 63 and the image combiner 62, and the output from the blind spot remover 63 is used as the image combiner. It is output to the unit 62.
【０１１２】従って、この第６の実施形態の別の態様に
係る画像合成装置によれば、領域検出部５において検出
された領域の３次元的な構造を認識することができると
共に、検出された領域から死角領域を正確に除去するこ
とができる。Therefore, according to the image synthesizing apparatus according to another aspect of the sixth embodiment, it is possible to recognize the three-dimensional structure of the area detected by the area detecting section 5 and to detect the three-dimensional structure. The blind spot area can be accurately removed from the area.
【０１１３】ここで、図１４に示される、この第６の実
施形態の別の態様に係る画像合成装置には、距離検出部
８及び距離記憶部９を具備させたことに伴い、死角除去
部６３に、前述の図８に示される第５の実施形態におけ
る死角除去部５３に具備された機能を具備させても良
い。この場合、利用者は、領域検出部５において検出さ
れた領域から、死角領域を検出する際に、死角除去部５
３の機能による死角領域の除去、若しくは、死角除去部
６３の機能による死角領域の除去のいずれか一方を選択
することができる。Here, the image synthesizing apparatus according to another aspect of the sixth embodiment shown in FIG. 14 is provided with the distance detecting section 8 and the distance storing section 9 and the blind spot removing section. 63 may have the function provided in the blind spot removing unit 53 in the fifth embodiment shown in FIG. 8 described above. In this case, when the user detects a blind spot area from the area detected by the area detecting section 5, the user may select the blind spot removing section 5
Either removal of the blind spot area by the function of No. 3 or removal of the blind spot area by the function of the blind spot removal unit 63 can be selected.
【０１１４】さらに、この図１４に示される背景画像入
力部６１の機能としては、第２の実施形態に係る画像合
成装置に具備される背景画像入力部６と同様であるとし
たが、図５に示される第３の実施形態に係る画像合成装
置が具備する背景画像入力部３１に具備された機能、及
び、図７に示される第４の実施形態に係る画像合成装置
が具備する背景画像入力部４１に具備された機能のう
ち、少なくともいずれか一方の機能を具備させることが
好ましい。この場合、利用者は、合成させるべき背景画
像として、距離データと存在範囲が付与された背景画像
と、３次元コンピュータグラフィックスの画像との少な
くともいずれか一方の画像を背景画像として選択するこ
とができる。また、この背景画像入力部６１の機能拡張
に伴い、図１２に示される画像合成部６２の機能とし
て、前述の図５に示される第３の実施形態に係る画像合
成部３２に具備された機能、及び、図７に示される第４
の実施形態に係る画像合成部４２に具備された機能の少
なくともいずれか一方を具備させると良い。The function of the background image input unit 61 shown in FIG. 14 is the same as that of the background image input unit 6 provided in the image synthesizing apparatus according to the second embodiment. The function provided in the background image input unit 31 included in the image synthesizing device according to the third embodiment shown in FIG. 7 and the background image input included in the image synthesizing device according to the fourth embodiment shown in FIG. It is preferable that at least one of the functions provided in the unit 41 is provided. In this case, the user can select, as the background image, at least one of the background image to which the distance data and the existence range are added and the three-dimensional computer graphics image as the background image to be combined. it can. Further, with the function expansion of the background image input unit 61, the function of the image synthesizing unit 62 shown in FIG. 12 provided in the image synthesizing unit 32 according to the third embodiment shown in FIG. And the fourth shown in FIG.
It is preferable to provide at least one of the functions provided in the image combining unit 42 according to the embodiment.
【０１１５】次に、本発明に係る画像合成装置の第７の
実施形態について図面を参照して説明する。図１５に、
第７の実施形態に係る画像合成装置の構成のブロック図
を示す。Next, a seventh embodiment of the image synthesizing apparatus according to the present invention will be described with reference to the drawings. In FIG.
FIG. 14 shows a block diagram of a configuration of an image composition device according to a seventh embodiment.
【０１１６】この図１５に示されるように、この第７の
実施形態に係る画像合成装置の構成は、図１に示される
第１の実施形態の構成に、死角除去部７３を付け加えた
構成となっている。ただし、図１に示される第１の実施
形態に係る画像合成装置と同様な部材には、同じ番号を
付す。As shown in FIG. 15, the configuration of the image synthesizing apparatus according to the seventh embodiment is the same as the configuration of the first embodiment shown in FIG. 1 except that a blind spot removing unit 73 is added. Has become. However, the same members as those of the image synthesizing apparatus according to the first embodiment shown in FIG.
【０１１７】死角除去部７３を、画像合成装置に付け加
える理由は、上述の第５の実施形態に死角除去部５３を
付け加えた理由と同様であるが、この死角除去部７３の
動作と第５の実施形態に係る画像合成装置が具備してい
る死角除去部７３とは、その死角領域を除去する際の動
作が異なる。従って、以下に、この死角除去部７３の死
角領域を除去する際の動作について説明する。The reason why the blind spot elimination unit 73 is added to the image synthesizing apparatus is the same as the reason why the blind spot elimination unit 53 is added to the above-described fifth embodiment, but the operation of the blind spot elimination unit 73 and the fifth embodiment will be described. The operation of removing the blind spot area is different from that of the blind spot removing unit 73 provided in the image synthesizing apparatus according to the embodiment. Accordingly, the operation of the blind spot removing unit 73 when removing the blind spot area will be described below.
【０１１８】この第７の実施形態に係る画像合成装置に
具備された死角除去部７３は、死角領域の位置関係を利
用してその死角領域を除去するものである。The blind spot removal unit 73 provided in the image synthesizing apparatus according to the seventh embodiment removes the blind spot area by utilizing the positional relationship of the blind spot area.
【０１１９】この死角領域の除去について図１３及び図
１６を参照して説明する。まず、２台のステレオカメラ
により物体を撮影した場合のその物体領域は、図１３に
示されるように、死角領域８１、８２を含む。この図１
３は、カメラを平行に置いた場合、真に物体領域となる
領域と、死角領域となる領域との位置関係を示したもの
である。The removal of the blind area will be described with reference to FIGS. First, when an object is photographed by two stereo cameras, the object area includes blind spot areas 81 and 82 as shown in FIG. This figure 1
Reference numeral 3 indicates a positional relationship between a region that is truly an object region and a region that is a blind spot region when the camera is placed in parallel.
【０１２０】図１３の（ｂ）に示されるように、左画像
における死角領域８１は物体となる領域の左にあり、図
１３の（ｃ）に示されるように、右画像における死角領
域８２は物体となる領域の右にある。これは、平行にカ
メラを設置した場合の位置関係であるが、任意の位置に
ステレオカメラを設置した場合も、カメラの位置関係
と、死角領域の真の物体領域に対する位置関係が一致す
る。つまり、左画像の死角領域は物体領域の左側にあ
り、右画像の死角領域は物体領域の右側にある。As shown in FIG. 13 (b), the blind spot area 81 in the left image is located to the left of the object area, and as shown in FIG. 13 (c), the blind spot area 82 in the right image is It is to the right of the object area. This is the positional relationship when the cameras are installed in parallel, but also when the stereo camera is installed at an arbitrary position, the positional relationship between the cameras and the positional relationship between the blind spot area and the true object area match. That is, the blind spot area of the left image is on the left side of the object area, and the blind spot area of the right image is on the right side of the object area.
【０１２１】そこで、この第７の実施形態に係る画像合
成装置に具備された死角除去部７３は、このような、死
角領域の位置に関する性質を利用して死角領域を除去す
る。この除去の動作を図１６を参照して説明する。Therefore, the blind spot removing unit 73 provided in the image synthesizing apparatus according to the seventh embodiment removes a blind spot area using such a property relating to the position of the blind spot area. The operation of this removal will be described with reference to FIG.
【０１２２】図１６に示されるように、右画像の物体領
域の左端の画素は、上述の位置関係に示されるように、
真の物体領域を示しているので、この右画像の物体領域
の左端の画素と対応する画素を、左画像の物体領域の左
側から探索していき、対応した画素が位置する対応点を
検出する。As shown in FIG. 16, the pixel at the left end of the object area of the right image is, as shown in the above-described positional relationship,
Since the true object region is shown, a pixel corresponding to the leftmost pixel of the object region of the right image is searched from the left side of the object region of the left image, and a corresponding point where the corresponding pixel is located is detected. .
【０１２３】そして、左画像の左端の画素から、上述の
対応点に位置する画素までの範囲内にある画素を除去す
ることにより、左画像における死角領域を除去する。Then, the blind spot area in the left image is removed by removing pixels in the range from the leftmost pixel of the left image to the pixel located at the corresponding point described above.
【０１２４】上記の除去動作を、右画像の物体領域の左
端の画素全てについて行うことにより、左画像の全ての
死角領域を除去することができる。By performing the above-described removing operation on all the pixels at the left end of the object region of the right image, all the blind spot regions of the left image can be removed.
【０１２５】右画像の死角領域を除去する際も、同様の
動作を行うことになる。すなわち、左画像の右端の画素
に対応する画素を、右画像の右端から探索していき、対
応する画素が存在する位置を対応点として、右画像の右
端に位置する画素から対応点に位置する画素までの範囲
内にある画素を除去することにより、右画像の死角領域
を除去する。The same operation is performed when the blind spot area of the right image is removed. That is, a pixel corresponding to the right end pixel of the left image is searched from the right end of the right image, and a position where the corresponding pixel exists is set as a corresponding point, and a pixel located at the right end of the right image is located at the corresponding point. By removing pixels within the range up to the pixel, the blind spot area of the right image is removed.
【０１２６】また、ステレオカメラを平行に設置した場
合以外でも、エピポーラ条件を用いて探索範囲を狭め同
様のことを行うことにより死角領域が除去できる。Further, even when the stereo cameras are not installed in parallel, the blind spot area can be removed by narrowing the search range using the epipolar condition and performing the same operation.
【０１２７】従って、この第７の実施形態に係る画像合
成装置によれば、第１の実施形態に係る画像合成装置の
効果と同様の効果が得られると共に、死角領域を除去す
る際の探索する画素が、右画像又は左画像の端部の画素
に限られているため、その死角領域の除去を迅速に行う
ことができる。Therefore, according to the image synthesizing apparatus according to the seventh embodiment, the same effects as those of the image synthesizing apparatus according to the first embodiment can be obtained, and a search for removing a blind spot area is performed. Since the pixels are limited to the pixels at the end of the right image or the left image, the blind spot area can be quickly removed.
【０１２８】ここで、図１５に示される第７の実施形態
に係る画像合成装置が具備する死角除去部７３の機能と
して、前述の図１２に示される第６の実施形態に係る画
像合成装置が具備する死角除去部６３の機能を具備させ
ても良い。この場合、利用者は、領域検出部５において
検出された領域から死角領域を除去する際に、死角除去
部７３の機能による死角領域の除去、若しくは、死角除
去部６３の機能による死角領域の除去のいずれか一方を
選択することができる。Here, as the function of the blind spot elimination unit 73 provided in the image synthesizing apparatus according to the seventh embodiment shown in FIG. 15, the image synthesizing apparatus according to the sixth embodiment shown in FIG. The function of the blind spot removing unit 63 provided may be provided. In this case, when removing the blind spot area from the area detected by the area detection unit 5, the user removes the blind spot area by the function of the blind spot removal unit 73 or removes the blind spot area by the function of the blind spot removal unit 63. Can be selected.
【０１２９】さらに、この第７の実施形態として、図１
５に示されるような、死角除去部７３を第１の実施形態
に係る画像合成装置に付け加えた構成を説明したが、こ
の死角除去部７３と同様の機能を有する死角除去部を、
前述の第２の実施形態に係る画像合成装置に付け加えた
構成としても良い。この構成の画像合成装置を第７の実
施形態の別の態様とする。Further, as the seventh embodiment, FIG.
5, the configuration in which the blind spot removing unit 73 is added to the image synthesizing apparatus according to the first embodiment has been described. However, a blind spot removing unit having the same function as the blind spot removing unit 73 is provided.
The configuration may be added to the image synthesizing apparatus according to the second embodiment. An image synthesizing apparatus having this configuration is another aspect of the seventh embodiment.
【０１３０】この場合の、第７の実施形態の別の態様に
係る画像合成装置の構成のブロック図を図１７に示す。
この図１７に示されるように、この第７の実施形態の別
の態様によれば、図４に示される第２の実施形態に係る
画像合成装置に、死角除去部７３が付け加えられている
構成となっている。ただし、この図１７において、図４
に示される第２の実施形態に係る画像合成装置と同様な
部材には、同じ番号を付す。FIG. 17 is a block diagram showing the configuration of an image synthesizing apparatus according to another aspect of the seventh embodiment in this case.
As shown in FIG. 17, according to another aspect of the seventh embodiment, a configuration in which a blind spot removing unit 73 is added to the image synthesizing apparatus according to the second embodiment shown in FIG. It has become. However, in FIG.
The same members as those of the image synthesizing apparatus according to the second embodiment shown in FIG.
【０１３１】また、死角除去部７３が付け加えられたこ
とに伴い、画像入力部２の出力が死角除去部７３にも入
力し、領域検出部５において検出された領域のデータが
距離検出部８及び死角除去部７３に入力し、距離記憶部
９に記憶された距離データが付与された領域のデータ
が、死角除去部７３及び画像合成部７２に出力され、死
角除去部７３からの出力が画像合成部７２に出力されて
いる。Further, with the addition of the blind spot elimination section 73, the output of the image input section 2 is also input to the blind spot elimination section 73, and the data of the area detected by the area detection section 5 is output by the distance detection section 8 and The data in the area to which the distance data added to the blind spot remover 73 is stored and which is stored in the distance storage unit 9 is output to the blind spot remover 73 and the image combiner 72, and the output from the blind spot remover 73 is used as the image combiner. It is output to the unit 72.
【０１３２】従って、この第７の実施形態の別の態様に
係る画像合成装置によれば、領域検出部５において検出
された領域の３次元的な構造を認識することができると
共に、検出された領域から死角領域を正確に除去するこ
とができる。Therefore, according to the image synthesizing apparatus according to another aspect of the seventh embodiment, it is possible to recognize the three-dimensional structure of the area detected by the area detecting section 5 and to detect the three-dimensional structure. The blind spot area can be accurately removed from the area.
【０１３３】ここで、図１７に示される、この第７の実
施形態の別の態様に係る画像合成装置が具備する死角除
去部７３に、前述の図８に示される第５の実施形態にお
ける死角除去部５３に具備された機能、若しくは、図１
２に示される第６の実施形態における死角除去部６３に
具備された機能のうち少なくともいずれか一方を具備さ
せても良い。この場合、利用者は、領域検出部５におい
て検出された領域から、死角領域を検出する際に、死角
除去部５３の機能による死角領域の除去、死角除去部６
３の機能による死角領域の除去、若しくは、死角除去部
７３の機能による死角領域の除去、のいずれか一つを選
択することができ、死角領域を除去する際の処理効率を
向上させることができる。Here, the blind spot removing unit 73 provided in the image synthesizing apparatus according to another aspect of the seventh embodiment shown in FIG. 17 is provided with the blind spot in the fifth embodiment shown in FIG. The function provided in the removing unit 53 or FIG.
2 may be provided with at least one of the functions provided in the blind spot removing unit 63 in the sixth embodiment shown in FIG. In this case, when detecting the blind spot area from the area detected by the area detection unit 5, the user removes the blind spot area by the function of the blind spot removal unit 53 and the blind spot removal unit 6.
Either removal of the blind spot area by the function of No. 3 or removal of the blind spot area by the function of the blind spot removal unit 73 can be selected, and the processing efficiency when removing the blind spot area can be improved. .
【０１３４】さらに、この図１７に示される背景画像入
力部７１の機能としては、第２の実施形態に係る画像合
成装置に具備される背景画像入力部６と同様であるとし
たが、さらに、図５に示される第３の実施形態に係る画
像合成装置が具備する背景画像入力部３１に具備された
機能、及び、図７に示される第４の実施形態に係る画像
合成装置が具備する背景画像入力部４１に具備された機
能のうち、少なくともいずれか一方の機能を具備させる
ことが好ましい。この場合、利用者は、合成させるべき
背景画像として、距離データと存在範囲が付与された背
景画像と、３次元コンピュータグラフィックスの画像と
の少なくともいずれか一方の画像を背景画像として選択
することができる。また、この背景画像入力部７１の機
能拡張に伴い、図１７に示される画像合成部７２の機能
として、前述の図５に示される第３の実施形態に係る画
像合成部３２に具備された機能、及び、図７に示される
第４の実施形態に係る画像合成部４２に具備された機能
の少なくともいずれか一方を具備させると良い。The function of the background image input section 71 shown in FIG. 17 is the same as that of the background image input section 6 provided in the image synthesizing apparatus according to the second embodiment. The function included in the background image input unit 31 included in the image synthesis device according to the third embodiment illustrated in FIG. 5 and the background included in the image synthesis device according to the fourth embodiment illustrated in FIG. It is preferable that at least one of the functions provided in the image input unit 41 is provided. In this case, the user can select, as the background image, at least one of the background image to which the distance data and the existence range are added and the three-dimensional computer graphics image as the background image to be combined. it can. In addition to the function expansion of the background image input unit 71, the function of the image synthesis unit 72 shown in FIG. 17 is included in the image synthesis unit 32 according to the third embodiment shown in FIG. , And at least one of the functions provided in the image combining unit 42 according to the fourth embodiment shown in FIG.
【０１３５】[0135]
【発明の効果】以上の説明から明らかなように、本発明
によれば、背景となるシーンを２台のステレオカメラで
撮影し、背景となる２枚の画像のそれぞれを構成する画
素の対応をあらかじめ求めておき、物体が撮像範囲に入
ってくることにより対応が崩れているか否かにより、背
景を除いた物体領域を検出することができるので、取り
出した物体領域を他の背景の画像に合成することが可能
な画像合成装置を提供することができる。As is apparent from the above description, according to the present invention, a background scene is photographed by two stereo cameras, and the correspondence between pixels constituting each of the two background images is determined. The object area excluding the background can be detected based on whether or not the correspondence has been lost due to the object entering the imaging range, so the extracted object area can be combined with another background image. It is possible to provide an image synthesizing apparatus capable of performing the above.
【０１３６】また、初期段階として背景の画素間の対応
を求めることにより物体領域の取り出しを行っているの
で、従来の画像合成装置であるクロマキーを用いた画像
合成装置で必要だったブルーバックなどの特殊な撮影環
境が必要とせずに、物体領域を取り出すことが可能な画
像合成装置を提供することができる。In addition, since the object area is taken out by obtaining the correspondence between the pixels of the background as an initial stage, a blue background or the like which is required in the image synthesizing apparatus using the chroma key which is the conventional image synthesizing apparatus is used. An image synthesizing apparatus capable of taking out an object area without requiring a special shooting environment can be provided.
【０１３７】また、物体領域を取り出すための、特殊な
撮影環境が必要でない物体検出方法として、従来では、
背景差分による方法があるが、これは日照条件の変化や
物体の影に影響される。本発明では、初期段階として２
台のステレオカメラにより撮影した画像を構成する画素
の対応を手がかりにして物体を検出しているので、日照
条件や影などによって背景のある点を映す画素の値に変
化があっても、ある点を映している左右の対応する画素
の双方で画素値の変化が起こるので、物体領域としては
検出されず、従って日照条件の変化や物体の影に影響さ
れずに物体領域を取り出すことが可能な画像合成装置を
提供することができる。As an object detection method that does not require a special photographing environment for taking out an object area,
There is a method based on background subtraction, which is affected by changes in sunlight conditions and shadows of objects. In the present invention, 2
Since the object is detected based on the correspondence of the pixels constituting the image taken by the stereo cameras, even if the value of the pixel that reflects a point in the background changes due to sunlight conditions or shadows, a certain point Since a change in the pixel value occurs in both the left and right corresponding pixels that are projected, the object area is not detected, and therefore the object area can be extracted without being affected by changes in the sunshine conditions or the shadow of the object. An image composition device can be provided.
【０１３８】また、従来の画像合成装置においては、２
次元的な画像による画像合成しか実行できなかったが、
本発明においては、物体領域となる領域に対応する物体
の撮像装置からの距離を、距離検出部によりステレオ画
像の画素間の対応をとるなどして検出し、これを距離記
憶部において記憶しているので、物体領域の３次元的な
構造を計算を高速かつ正確に行うことができ、３次元的
な画像合成を実行することが可能な画像合成装置を提供
することができる。Further, in the conventional image synthesizing apparatus, 2
Although only image synthesis using two-dimensional images could be performed,
In the present invention, the distance from the imaging device of the object corresponding to the region serving as the object region is detected by, for example, taking correspondence between the pixels of the stereo image by the distance detection unit, and this is stored in the distance storage unit. Therefore, it is possible to provide an image synthesizing apparatus capable of calculating the three-dimensional structure of the object region at high speed and accurately, and executing the three-dimensional image synthesis.
【０１３９】さらに、従来の３次元構造の解析に用いら
れている、ステレオ画像により画素間の対応とり３次元
構造を求める方法は、画素間の対応をとるために計算時
間がかかるという欠点があるため採用せず、本発明にお
いては、背景の画像に対して画素間の対応はとっている
ものの、既に検出されている領域にのみ画素間の対応を
とる。そのため、物体領域の３次元的な構造の検出を、
高速かつ正確に行うことが可能な画像合成装置を提供す
ることができる。Further, the method of obtaining a correspondence between pixels from a stereo image and obtaining a three-dimensional structure, which is used in a conventional analysis of a three-dimensional structure, has a drawback that it takes a long calculation time to establish correspondence between pixels. Therefore, in the present invention, although the correspondence between pixels is taken for the background image, the correspondence between pixels is taken only for the already detected area. Therefore, detection of the three-dimensional structure of the object area
It is possible to provide an image synthesizing device capable of performing high speed and accurate.
【図１】本発明に係る画像合成装置の第１の実施形態の
構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a first embodiment of an image synthesizing apparatus according to the present invention.
【図２】本発明に係る画像合成装置が具備する対応記憶
部に記憶される画素の記憶状態を示す図である。FIG. 2 is a diagram illustrating a storage state of pixels stored in a corresponding storage unit included in the image synthesis device according to the present invention.
【図３】本発明に係る画像合成装置が具備する撮像装
置、背景及び物体の位置関係を示す図である。FIG. 3 is a diagram illustrating a positional relationship between an imaging device, a background, and an object included in the image synthesis device according to the present invention.
【図４】本発明に係る画像合成装置の第２の実施形態の
構成を示すブロック図である。FIG. 4 is a block diagram showing the configuration of a second embodiment of the image synthesizing apparatus according to the present invention.
【図５】本発明に係る画像合成装置の第３の実施形態の
構成を示すブロック図である。FIG. 5 is a block diagram showing a configuration of a third embodiment of the image synthesizing apparatus according to the present invention.
【図６】本発明に係る画像合成装置が具備する背景画像
入力部に入力する、距離及び存在範囲のデータが付与さ
れた画像の一例、及び、画像合成装置により合成された
画像の一例を示す図である。FIG. 6 shows an example of an image to which data of a distance and an existence range is added, and an example of an image synthesized by the image synthesis device, which are input to a background image input unit provided in the image synthesis device according to the present invention. FIG.
【図７】本発明に係る画像合成装置の第４の実施形態の
構成を示すブロック図である。FIG. 7 is a block diagram showing the configuration of a fourth embodiment of the image synthesizing apparatus according to the present invention.
【図８】本発明に係る画像合成装置の第５の実施形態の
構成を示すブロック図である。FIG. 8 is a block diagram showing the configuration of a fifth embodiment of the image synthesizing apparatus according to the present invention.
【図９】本発明に係る画像合成装置により物体領域を検
出する際の死角領域が発生する場合の状態を示す図であ
る。FIG. 9 is a diagram illustrating a state in which a blind spot area occurs when an image area is detected by the image synthesis device according to the present invention.
【図１０】本発明に係る画像合成装置が具備する死角除
去部による死角領域を計算により除去する際の動作を示
す概念図である。FIG. 10 is a conceptual diagram showing an operation when a blind spot area is removed by calculation by a blind spot removing unit provided in the image synthesizing apparatus according to the present invention.
【図１１】本発明に係る画像合成装置が具備する死角除
去部による死角領域を計算により除去する際の動作を示
す概念図である。FIG. 11 is a conceptual diagram showing an operation when a blind spot area is removed by calculation by a blind spot removing unit included in the image synthesizing apparatus according to the present invention.
【図１２】本発明に係る画像合成装置の第６の実施形態
の構成を示すブロック図である。FIG. 12 is a block diagram showing a configuration of an image synthesizing apparatus according to a sixth embodiment of the present invention.
【図１３】本発明に係る画像合成装置により検出した物
体領域に含まれる死角領域の状態を示す図である。FIG. 13 is a diagram illustrating a state of a blind spot area included in an object area detected by the image synthesis device according to the present invention.
【図１４】本発明に係る画像合成装置の第６の実施形態
の別の態様の構成を示すブロック図である。FIG. 14 is a block diagram showing a configuration of another mode of the sixth embodiment of the image synthesizing apparatus according to the present invention.
【図１５】本発明に係る画像合成装置の第７の実施形態
の構成を示すブロック図である。FIG. 15 is a block diagram showing a configuration of an image synthesizing apparatus according to a seventh embodiment of the present invention.
【図１６】本発明に係る画像合成装置が具備する死角除
去部による死角領域を除去する際の動作を示す概念図で
ある。FIG. 16 is a conceptual diagram showing an operation when a blind spot area is removed by a blind spot removing unit provided in the image synthesizing apparatus according to the present invention.
【図１７】本発明に係る画像合成装置の第７の実施形態
の別の態様の構成を示すブロック図である。FIG. 17 is a block diagram showing a configuration of another mode of the seventh embodiment of the image synthesizing apparatus according to the present invention.
【図１８】従来の画像合成装置により、物体領域を取り
出す際の動作を示す概略図である。FIG. 18 is a schematic diagram showing an operation when an object area is taken out by a conventional image synthesizing apparatus.
【図１９】従来の画像合成装置により、物体領域を取り
出す際の動作を示す概略図である。FIG. 19 is a schematic view showing an operation when an object area is taken out by a conventional image synthesizing apparatus.
【図２０】従来の画像合成装置により、物体領域を取り
出す際の動作を示す概略図である。FIG. 20 is a schematic diagram showing an operation when an object area is taken out by a conventional image synthesizing apparatus.
１ 撮像部 ２ 画像入力部 ３ 対応検出部 ４ 対応記憶部 ５ 領域検出部 ６ 背景画像入力部 ７ 画像合成部 ８ 距離検出部 ９ 距離記憶部 ３１、４１、５１、６１、７１ 背景画像入力部 ３２、４２、５２、６２、７２ 画像合成部 ５３、６３、７３ 死角除去部 Reference Signs List 1 imaging unit 2 image input unit 3 correspondence detection unit 4 correspondence storage unit 5 area detection unit 6 background image input unit 7 image synthesis unit 8 distance detection unit 9 distance storage unit 31, 41, 51, 61, 71 background image input unit 32 , 42, 52, 62, 72 Image synthesis units 53, 63, 73 Blind spot elimination units
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 G06T 7/00──────────────────────────────────────────────────続 き Continuation of the front page (58) Field surveyed (Int.Cl. 6 , DB name) G06T 1/00 G06T 7/00
Claims (7)
のそれぞれから出力された画像を表す画像データが入力
される画像入力部と、 前記画像入力部に入力された画像データにより表される
画像において、前記２台の撮像装置の内の一方の撮像装
置から出力された画像を構成する画素と他方の撮像装置
から出力された画像を構成する画素との間の対応を検出
する対応検出部と、 前記検出された画素間の対応を記憶する対応記憶部と、 前記画像入力部に入力される２台の撮像装置のそれぞれ
から出力された画像を構成する全ての画素の対応が、前
記対応記憶部に記憶されている画素間の対応と異なって
いるか否かを調べ、記憶されている対応と異なる対応を
持つ画素と該異なる対応を持つ画素により占められる領
域とを検出する領域検出部と、 背景画像としての画像データを入力する背景画像入力部
と、 前記領域検出部において検出された領域に対しては前記
画像入力部に入力された画像の画像データを用い、前記
領域検出部において検出された領域以外には前記背景画
像入力部に入力された背景画像の画像データを用いて画
像を合成する画像合成部とを有することを特徴とする画
像合成装置。1. An image input unit to which image data representing an image output from each of two imaging devices arranged at different positions is input, and the image data is represented by image data input to the image input unit. In the image, a correspondence detection unit that detects correspondence between pixels constituting an image output from one of the two imaging devices and pixels constituting an image output from the other imaging device. A correspondence storage unit that stores a correspondence between the detected pixels; and a correspondence between all pixels constituting an image output from each of the two imaging devices input to the image input unit. An area detection unit that checks whether or not the correspondence between the pixels stored in the storage unit is different, and detects a pixel having a correspondence different from the stored correspondence and an area occupied by the pixel having the different correspondence. , A background image input unit for inputting image data as a background image, and for the region detected by the region detection unit, the image data of the image input to the image input unit is used. An image synthesizing unit for synthesizing an image using the image data of the background image input to the background image input unit in a region other than the area where the image is synthesized.
対応する物体の、前記撮像装置から前記物体までの距離
を検出する距離検出部と、 該距離検出部により検出された距離を記憶するための距
離記憶部とを有することを特徴とする請求項１記載の画
像合成装置。2. A distance detecting section for detecting a distance from the imaging device to the object corresponding to an area detected by the area detecting section, and a distance detected by the distance detecting section. The image synthesizing apparatus according to claim 1, further comprising a distance storage unit.
景までの距離を表すデータと、撮像装置の撮像面におけ
る背景画像の存在範囲を表すデータとが付与された背景
画像の画像データが入力され、 前記画像合成部は、前記距離記憶部に記憶された前記領
域検出部により検出された領域に対応する物体の、前記
撮像装置から前記物体までの距離と、前記背景画像の画
像データに付与されたデータにより表される撮像装置か
ら背景までの距離とを比較し、撮像面全体において、撮
像装置に最も近い距離にある画像の画像データに基づい
て画像を合成することを特徴とする請求項２記載の画像
合成装置。3. The background image input section inputs image data of a background image to which data representing a distance from an imaging device to a background and data representing an existence range of the background image on an imaging surface of the imaging device are added. The image synthesizing unit is configured to add an object corresponding to an area detected by the area detection unit stored in the distance storage unit to a distance from the imaging device to the object and to image data of the background image. Comparing the distance from the imaging device to the background represented by the obtained data, and synthesizing the image based on the image data of the image closest to the imaging device over the entire imaging surface. 3. The image synthesizing device according to 2.
元コンピュータグラフィックスによる背景モデルのデー
タが入力され、 前記画像合成部は、前記背景画像入力部から入力された
３次元コンピュータグラフィックスによる背景モデルに
対して、前記領域検出部において検出された領域に対し
ては前記画像入力部に入力された画像を、前記距離記憶
部に記憶された距離に基づき配置し、前記入力された画
像に対応する物体の３次元構造を表すように、若しく
は、平面にテクスチャとしてはりつけることにより３次
元コンピュータグラフィックスを用いた画像を合成する
ことを特徴とする請求項２又は３に記載の画像合成装
置。4. The background image input unit receives three-dimensional computer graphics background model data as a background, and the image synthesis unit receives the three-dimensional computer graphics background input from the background image input unit. With respect to the model, for the area detected by the area detection unit, the image input to the image input unit is arranged based on the distance stored in the distance storage unit, and corresponds to the input image. The image synthesizing apparatus according to claim 2, wherein an image using three-dimensional computer graphics is synthesized so as to represent a three-dimensional structure of an object to be processed or by attaching it to a plane as a texture.
対応する物体の、前記距離記憶部に記憶されている前記
撮像装置から該物体までの距離に基づき、前記領域検出
部で検出された領域内における、前記対応する物体によ
り生成された２台の撮像装置間の死角領域を計算し、前
記領域検出部で検出された領域から、該計算された死角
領域を除去する第１の死角除去部を有することを特徴と
する請求項２から４のいずれかに記載の画像合成装置。5. An area detected by the area detecting unit based on a distance from the imaging device to the object stored in the distance storage unit, the object corresponding to the area detected by the area detecting unit. A first blind spot removal unit that calculates a blind spot area between two imaging devices generated by the corresponding object and removes the calculated blind spot area from the area detected by the area detection unit. The image synthesizing apparatus according to any one of claims 2 to 4, comprising:
画像を構成する画素において、 前記対応検出部が前記２台の撮像装置のそれぞれから出
力された領域の画像を構成する画素の対応を検出し、 該対応検出部による検出結果に基づき、前記領域検出部
により検出された領域から対応がとれない画素により占
められる領域を死角領域とし、この死角領域を除去する
第２の死角除去部を有することを特徴とする請求項１か
ら５のいずれかに記載の画像合成装置。6. A pixel forming an image of a region detected by the region detecting unit, wherein the correspondence detecting unit detects correspondence of pixels forming an image of a region output from each of the two imaging devices. And a second blind spot removing unit that removes the blind spot area from the area occupied by pixels that do not correspond to the area detected by the area detecting unit based on the detection result by the correspondence detecting unit. The image synthesizing device according to claim 1, wherein:
において、前記異なる位置に配置された２台の撮像装置
の内の１の撮像装置から出力された画像における前記検
出された領域の端点の画素に対応する画素を、他の一方
の撮像装置から出力された画像における前記検出された
領域の端点から探索し、該他の一方の撮像装置から出力
された前記検出された領域の端点から対応する画素の画
素位置までの領域を死角領域であるとして除去し、これ
を前記領域の全ての端点の画素について行うことによ
り、前記検出された領域の死角領域を除去する第３の死
角除去部を有することを特徴とする請求項１から６のい
ずれかに記載の画像合成装置。7. An end point of the detected area in an image output from one of the two imaging apparatuses arranged at the different positions in an area detected by the area detection unit. A pixel corresponding to the pixel is searched from the end point of the detected area in the image output from the other one of the imaging devices, and the pixel corresponding to the pixel is searched from the end point of the detected area output from the other one of the imaging devices. A third blind spot removing unit that removes the blind spot area of the detected area by removing the area up to the pixel position of the pixel to be determined as a blind spot area and performing this for all the pixels at the end points of the area. The image synthesizing device according to claim 1, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9140778A JP2842437B2 (en) | 1997-05-30 | 1997-05-30 | Image synthesis device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9140778A JP2842437B2 (en) | 1997-05-30 | 1997-05-30 | Image synthesis device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10334216A JPH10334216A (en) | 1998-12-18 |
| JP2842437B2 true JP2842437B2 (en) | 1999-01-06 |
Family
ID=15276535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9140778A Expired - Fee Related JP2842437B2 (en) | 1997-05-30 | 1997-05-30 | Image synthesis device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2842437B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009199284A (en) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | Road object recognition method |
| JP6090917B2 (en) * | 2013-03-08 | 2017-03-08 | Kddi株式会社 | Subject image extraction and synthesis apparatus and method |
| JP6587435B2 (en) * | 2015-06-29 | 2019-10-09 | キヤノン株式会社 | Image processing apparatus, information processing method, and program |
-
1997
- 1997-05-30 JP JP9140778A patent/JP2842437B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10334216A (en) | 1998-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5307136A (en) | Distance detection system for vehicles | |
| JP4206427B2 (en) | Camera apparatus and image processing method | |
| KR101396346B1 (en) | Method and apparatus for creating a 3D image using 2D photograph images | |
| CN111462503B (en) | Vehicle speed measuring method and device and computer readable storage medium | |
| JP3773011B2 (en) | Image composition processing method | |
| JP2003203238A (en) | Scalable architecture for corresponding multi video streams at frame rate | |
| US7260243B2 (en) | Intruding-object detection apparatus | |
| CN102959942B (en) | Image capture device for stereoscopic viewing-use and control method thereof | |
| JP2020126590A (en) | Information processing apparatus, information processing method, and program | |
| JP3008875B2 (en) | Subject extraction device | |
| JP3988574B2 (en) | Image processing device | |
| JP4394487B2 (en) | Stereo image processing device | |
| JP2001266128A (en) | Method and device for obtaining depth information and recording medium recording depth information obtaining program | |
| JP2842437B2 (en) | Image synthesis device | |
| US20090245584A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2000099740A (en) | Image composing method, image input device and recording medium recording image compositing program | |
| JP5906696B2 (en) | Vehicle periphery photographing apparatus and vehicle periphery image processing method | |
| JP2002117403A (en) | Image processor and image processing method | |
| JP2000028354A (en) | Three-dimensional image processing device | |
| WO2021049281A1 (en) | Image processing device, head-mounted display, and spatial information acquisition method | |
| JPH1091790A (en) | Three-dimensional shape extraction method and device and storage medium | |
| Hoegner et al. | Texture extraction for building models from IR sequences of urban areas | |
| JP5891751B2 (en) | Inter-image difference device and inter-image difference method | |
| JP2001319224A (en) | Device and method for detecting three-dimensional object, and recording medium | |
| JP2004145592A (en) | Motion vector extraction device, method and program, and its recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19980922 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071023 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081023 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091023 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091023 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101023 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111023 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 14 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131023 Year of fee payment: 15 |
|
| LAPS | Cancellation because of no payment of annual fees |