JP3331752B2 - Image synthesis device - Google Patents
Image synthesis deviceInfo
- Publication number
- JP3331752B2 JP3331752B2 JP15091894A JP15091894A JP3331752B2 JP 3331752 B2 JP3331752 B2 JP 3331752B2 JP 15091894 A JP15091894 A JP 15091894A JP 15091894 A JP15091894 A JP 15091894A JP 3331752 B2 JP3331752 B2 JP 3331752B2
- Authority
- JP
- Japan
- Prior art keywords
- camera head
- depth data
- image
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は複数の実写映像や、実写
映像と計算機で生成した画像を合成する画像合成装置に
関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus for synthesizing a plurality of real images and an image generated by a computer with the real images.
【０００２】[0002]
【従来の技術】従来の技術の第１の例として、クロマキ
ーを使った画像合成装置について（図７）を用いて説明
する。クロマキーは放送などの分野で広く使われている
特殊効果技術の１つで、その原理については、「放送技
術双書 カラーテレビジョン」日本放送協会編、1961
年、pp539-540に記述されている。（図７）において、
１０１と１０２は合成の対象となる２つの画像、１０３
は画像合成装置、１０４は合成結果の画像である。この
動作原理について説明する。まず、画像１０１と画像１
０２の画像データにおいて、どちらか一方の画像データ
の特定の色や信号レベルをキーとして選択する。画像合
成装置１０３は、画像１０１と画像１０２を入力とし、
キー選択を行った画像データに対して、選択したキーが
検出された部分をもう一方の画像データで置き換えるこ
とで画像を合成する。その結果合成されたい画像が、画
像１０４で、いわゆるはめ込み画像が生成される。（図
７）においては、画像１０２の円領域の外側部分の色が
キーとして選択され、その部分を画像１０１で置き換え
ている。2. Description of the Related Art As a first example of the prior art, an image synthesizing apparatus using a chroma key will be described with reference to FIG. Chromakey is one of the special effect technologies widely used in the field of broadcasting and the like.
Year, pp539-540. (FIG. 7)
101 and 102 are two images to be combined, 103
Denotes an image synthesizing device, and 104 denotes an image of a synthesis result. The operation principle will be described. First, image 101 and image 1
In the image data 02, a specific color or signal level of one of the image data is selected as a key. The image synthesizing device 103 receives the image 101 and the image 102 as inputs,
The image is synthesized by replacing the portion of the image data for which the key selection has been performed with the selected key with the other image data. As a result, the image to be synthesized is the image 104, and a so-called inlaid image is generated. In FIG. 7, the color of the portion outside the circular region of the image 102 is selected as a key, and the portion is replaced with the image 101.
【０００３】一方、従来の技術の第２の例として、奥行
き値を考慮したカメラ画像と計算機生成画像の合成方法
として、「特開平１−１９６６７２号公報」がある。On the other hand, as a second example of the prior art, there is a method of synthesizing a camera image and a computer-generated image in consideration of a depth value as disclosed in Japanese Patent Laid-Open No. 1-196672.
【０００４】ここに記述されている内容について解説す
る。まず、人間の右目と左目に相当する２台のカメラを
規定距離だけ離して配置して撮影した２枚の画像で、同
一点がどの程度離れているかによって、左目に相当する
カメラの画像に対する画素毎の奥行き値を計算する。計
算機で生成する画像に対しては、デプスバッファ法と呼
ばれる方法で奥行きを有する画像を求めておく。次に、
画面の各画素毎に左目に相当するカメラの画像に対する
奥行き値と計算機で生成した画像に対する奥行き値を比
較して、奥行きの近い側の色情報を残すことによって合
成画像を生成する。[0004] The contents described here will be explained. First, two images taken by arranging two cameras corresponding to the right and left eyes of a human at a specified distance from each other, and determining how far apart the same point is, the pixels corresponding to the image of the camera corresponding to the left eye are determined. Calculate the depth value for each. For an image generated by a computer, an image having depth is obtained by a method called a depth buffer method. next,
A composite image is generated by comparing the depth value of the image of the camera corresponding to the left eye with the depth value of the image generated by the computer for each pixel of the screen and leaving color information on the side closer to the depth.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら上記の第
１の従来例では、合成対象の画像の位置的な関係を考慮
していないので、一方の画像がもう一方の画像に対し
て、常に前になるか、もしくは後ろに配置された形での
合成画像しか作成することができないという問題点を有
していた。例えば、（図８）の（ａ），（ｂ）の画像を
位置的な関係を考慮して、（図８）の（ｃ）のような形
で合成画像を作成するためには、少なくとも（図８）
（ａ），（ｂ）の奥行きデータがなければ生成すること
は不可能である。（図８）よりももっと複雑な画像、任
意の画像に対して、位置関係を考慮した画像合成を精密
に行うためには、画素単位での奥行きデータが必要であ
る。However, in the above-mentioned first conventional example, since the positional relationship between the images to be synthesized is not taken into account, one image is always ahead of the other image. However, there is a problem that only a composite image in a form arranged behind or can be created. For example, in order to create a composite image in the form of (c) of (FIG. 8) in consideration of the positional relationship between the images (a) and (b) of (FIG. 8), at least ( (Fig. 8)
Without the depth data of (a) and (b), it cannot be generated. In order to precisely perform image synthesis considering a positional relationship with respect to a more complicated image or an arbitrary image than (FIG. 8), depth data in pixel units is required.
【０００６】これに対し、上記の第２の従来例では、奥
行き値考慮した形でのカメラ撮影画像と計算機生成画像
の合成方法を提供している。On the other hand, the above-mentioned second conventional example provides a method of synthesizing an image captured by a camera and an image generated by a computer in consideration of a depth value.
【０００７】しかしながら、現実の状況で使用する場合
には、２台のカメラでは、左目に相当するカメラの画像
には写っている点が、右目に相当するカメラに写ってい
ないということがしばしば生じる。この場合、奥行き値
は決定不能で、つまり、第２の従来例では画素毎に奥行
き値を求められるといっているが、実際には画素毎に求
められない状況がしばしば生じる。全ての画素について
奥行き値が決定できる画像に対してだけ画像合成をする
のならば、それは非常に限られた画像（例えば凹凸のほ
とんど無いような風景の画像）に対してしか適用できな
い。However, when used in a real situation, it often happens that, with two cameras, a point in the image of the camera corresponding to the left eye is not reflected in the camera corresponding to the right eye. . In this case, the depth value cannot be determined, that is, in the second conventional example, it is said that the depth value is obtained for each pixel. However, in many cases, the depth value is not actually obtained for each pixel. If image synthesis is performed only on an image for which depth values can be determined for all pixels, it can be applied only to a very limited image (for example, an image of a landscape having almost no unevenness).
【０００８】また、現実の画像では、繰り返しパターン
のように似通った点が多数存在するような状況（例えば
壁やタイル張りの床、格子窓など）がしばしばある。こ
の場合には、左目に相当するカメラの画像のある点に対
応する右目に相当するカメラの画像の同一点が多数存在
するという状況が起こる。つまり、奥行き値を一意に決
定できないという画素が多数存在することになる。In an actual image, there are often situations where there are many similar points like a repetitive pattern (for example, a wall, a tiled floor, a lattice window, etc.). In this case, a situation occurs in which there are many identical points in the image of the camera corresponding to the right eye corresponding to a point in the image of the camera corresponding to the left eye. That is, there are many pixels for which the depth value cannot be uniquely determined.
【０００９】更に重要な問題点は、カメラの撮影方向や
位置、ズーム値を即応的に変更することができないとい
う点である。つまり、奥行き値を算出するためにはカメ
ラ定数が既知として算出するわけであるが、もし、カメ
ラの撮影方向や位置、ズーム値を変更したならば、第２
の従来例の方法ではカメラ定数を再測定（計算）しなけ
ればならない。一般には、この実行にはかなりの時間が
掛かることが知られている。従って、第２の従来例は、
基本的には固定した方向や位置、ズーム値で撮影した画
像に対しての画像合成方法であると言わざるをえず、即
応的な撮影（例えば、移動物体の撮影）を必要とする状
況下での使用は不可能である。An even more important problem is that the photographing direction, position, and zoom value of the camera cannot be changed immediately. In other words, in order to calculate the depth value, the camera constant is calculated as known, but if the shooting direction and position of the camera and the zoom value are changed, the second value is calculated.
In the prior art method, the camera constant must be re-measured (calculated). In general, this is known to take a considerable amount of time. Therefore, the second conventional example is:
Basically, it must be said that this is an image composition method for images captured with fixed directions, positions, and zoom values, and in situations where responsive shooting (for example, shooting of a moving object) is required. Use in is impossible.
【００１０】以上のことから、第２の従来例は非常に限
定された状況と条件下で撮影した画像にしか適用できな
い画像合成方法であると言え、現実の状況と条件下での
使用には耐えることができない。また、用途は実写画像
と計算機生成画像との画像合成に限定されている。From the above, it can be said that the second conventional example is an image synthesizing method which can be applied only to an image photographed under very limited conditions and conditions. I can't stand it. In addition, the application is limited to image synthesis of a photographed image and a computer-generated image.
【００１１】本発明は上記問題点に鑑み、複雑な状況や
条件下における複数の実写映像や、複雑な状況や条件下
における実写映像と計算機で生成した画像を位置関係を
考慮した形で画像合成するための画像合成装置の提供を
目的としている。SUMMARY OF THE INVENTION In view of the above problems, the present invention provides a method of synthesizing a plurality of real shot images in a complicated situation or condition, or an image generated by a computer and a real shot image in a complicated situation or condition in consideration of a positional relationship. The purpose of the present invention is to provide an image synthesizing apparatus for performing the above.
【００１２】[0012]
【課題を解決するための手段】上記問題点を解決するた
めに本発明の画像合成装置は、ベースカメラヘッドと複
数の測定用カメラヘッドで構成されるマルチカメラヘッ
ドと、前記マルチカメラヘッドから出力される画像デー
タを入力とし、前記マルチカメラヘッドのベースカメラ
ヘッドの画像データに対して画素単位に奥行きデータを
計算し、前記ベースカメラヘッドの画像データと奥行き
データを出力する奥行きデータ算出装置と、前記奥行き
データ算出装置から出力される画像データ、奥行きデー
タと前記マルチカメラとは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。In order to solve the above-mentioned problems, an image synthesizing apparatus according to the present invention comprises a multi-camera head comprising a base camera head and a plurality of measuring camera heads, and an output from the multi-camera head. Depth data calculation device that receives image data to be input, calculates depth data in pixel units for image data of the base camera head of the multi-camera head, and outputs image data and depth data of the base camera head, Image data and depth data output from the depth data calculation device, image data and depth data input from a different system from the multi- camera are input, and the two depth data are compared. Tertiary that combines images by selecting one of the two sets of image data and outputs the combined image It is obtained by an image synthesizing apparatus.
【００１３】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドから出力される画像データを入力とし、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータを保存する記憶
装置と、前記記憶装置から獲得する画像データ、奥行き
データと前記記憶装置とは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。In order to solve the above problems, an image synthesizing apparatus according to the present invention comprises: a multi-camera head comprising a base camera head and a plurality of measuring camera heads; and image data output from the multi-camera head. And a depth data calculation device that calculates depth data for each pixel with respect to image data of the base camera head of the multi-camera head, and outputs image data and depth data of the base camera head. A storage device for storing output image data and depth data, image data obtained from the storage device, depth data and image data input from another system different from the storage device, and depth data; Compares two depth data and selects one of the two image data according to the comparison result Rukoto images synthesized in are those having a 3-dimensional image synthesizing device and for outputting the synthesized image.
【００１４】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドから出力される画像データを入力とし、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して、前記マルチカメラヘッドの測定用カメラヘ
ッドの画像から奥行きデータを決定できる画素について
まず奥行きデータを算出し、残りの画素については奥行
きデータの決定している画素の奥行きデータから算出す
ることで画素単位に奥行きデータを計算し、前記ベース
カメラヘッドの画像データと奥行きデータを出力する奥
行きデータ算出装置と、前記奥行きデータ算出装置から
出力される画像データ、奥行きデータと前記マルチカメ
ラとは別系統から入力される画像データ、奥行きデータ
とを入力とし、前記２つの奥行きデータを比較し、比較
結果によって前記２つの画像データの内の１つを選択す
ることで画像を合成し、合成した画像を出力する３次元
画像合成装置とを備えたものである。In order to solve the above problems, an image synthesizing apparatus according to the present invention comprises: a multi-camera head comprising a base camera head and a plurality of measuring camera heads; and an image data output from the multi-camera head. For the image data of the base camera head of the multi-camera head, first depth data is calculated for pixels whose depth data can be determined from the image of the measurement camera head of the multi-camera head, and the depth data is calculated for the remaining pixels. The depth data is calculated for each pixel by calculating from the depth data of the determined pixel, and a depth data calculation device that outputs image data and depth data of the base camera head, and a depth data output from the depth data calculation device. image data, a system different to the the depth data multi turtle <br/> la that The image data and the depth data input from the input are input, the two depth data are compared, and one of the two image data is selected based on the comparison result to synthesize an image. And a three-dimensional image synthesizing device for outputting.
【００１５】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して画素単位に奥行きデータを計算し、前記ベースカメ
ラヘッドの画像データと奥行きデータを出力する奥行き
データ算出装置と、前記奥行きデータ算出装置から出力
される画像データ、奥行きデータと前記マルチカメラと
は別系統から入力される画像データ、奥行きデータとを
入力とし、前記２つの奥行きデータを比較し、比較結果
によって前記２つの画像データの内の１つを選択するこ
とで画像を合成し、合成した画像を出力する３次元画像
合成装置とを備えたものである。In order to solve the above problems, an image synthesizing apparatus according to the present invention comprises a multi-camera head comprising a base camera head and a plurality of measuring camera heads, and a zoom value of a base camera head lens of the multi-camera head. , A lens focal length calculating device that calculates a focal length of a lens of a base camera head of the multi-camera by using a zoom value output from the zoom value detecting device as an input, and the lens focal length calculating device Inputting the focal length of the lens output from the multi-camera head and the image data output from the multi-camera head, calculating depth data in pixel units for the image data of the base camera head of the multi-camera head, A depth data calculator that outputs head image data and depth data Aforementioned depth image data output from the data calculation apparatus, the image data and the depth data and the multi-camera input from another system, and inputs the depth data, the comparison of two depth data, comparing said by the results 2 And a three-dimensional image synthesizing device for synthesizing the images by selecting one of the two image data and outputting the synthesized image.
【００１６】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して画素単位に奥行きデータを計算し、前記ベースカメ
ラヘッドの画像データと奥行きデータを出力する奥行き
データ算出装置と、前記奥行きデータ算出装置から出力
される画像データ、奥行きデータを保存する記憶装置
と、前記記憶装置から獲得する画像データ、奥行きデー
タと前記記憶装置とは別系統から入力される画像デー
タ、奥行きデータとを入力とし、前記２つの奥行きデー
タを比較し、比較結果によって前記２つの画像データの
内の１つを選択することで画像を合成し、合成した画像
を出力する３次元画像合成装置とを備えたものである。In order to solve the above problems, an image synthesizing apparatus according to the present invention comprises a multi-camera head comprising a base camera head and a plurality of measuring camera heads, and a zoom value of a base camera head lens of the multi-camera head. , A lens focal length calculating device that calculates a focal length of a lens of a base camera head of the multi-camera by using a zoom value output from the zoom value detecting device as an input, and the lens focal length calculating device Inputting the focal length of the lens output from the multi-camera head and the image data output from the multi-camera head, calculating depth data in pixel units for the image data of the base camera head of the multi-camera head, A depth data calculator that outputs head image data and depth data Image data output from the depth data calculation device, a storage device that stores depth data, image data obtained from the storage device, depth data and image data that is input from a different system from the storage device, depth data and And a three-dimensional image synthesizing device for synthesizing an image by comparing the two pieces of depth data, selecting one of the two pieces of image data based on the comparison result, and outputting the synthesized image. It is a thing.
【００１７】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して、前記マルチカメラヘッドの測定用カメラヘッドの
画像から奥行きデータを決定できる画素についてまず奥
行きデータを算出し、残りの画素については奥行きデー
タの決定している画素の奥行きデータから算出すること
で画素単位に奥行きデータを計算し、前記ベースカメラ
ヘッドの画像データと奥行きデータを出力する奥行きデ
ータ算出装置と、前記奥行きデータ算出装置から出力さ
れる画像データ、奥行きデータと前記マルチカメラとは
別系統から入力される画像データ、奥行きデータとを入
力とし、前記２つの奥行きデータを比較し、比較結果に
よって前記２つの画像データの内の１つを選択すること
で画像を合成し、合成した画像を出力する３次元画像合
成装置とを備えたものである。In order to solve the above problems, an image synthesizing apparatus according to the present invention comprises a multi-camera head comprising a base camera head and a plurality of measurement camera heads, and a zoom value of a base camera head lens of the multi-camera head. , A lens focal length calculating device that calculates a focal length of a lens of a base camera head of the multi-camera by using a zoom value output from the zoom value detecting device as an input, and the lens focal length calculating device With the focal length of the lens output from the camera and the image data output from the multi-camera head as inputs, the image data of the measurement camera head of the multi-camera head is compared with the image data of the base camera head of the multi-camera head. Depth data is calculated first for pixels for which depth data can be determined from For the remaining pixels, the depth data is calculated for each pixel by calculating from the depth data of the pixels for which the depth data is determined, and a depth data calculation device that outputs image data and depth data of the base camera head, Image data and depth data output from the depth data calculation device, image data and depth data input from a different system from the multi- camera are input, and the two depth data are compared. And a three-dimensional image synthesizing device for synthesizing the images by selecting one of the two image data and outputting the synthesized image.
【００１８】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータと前記マルチカ
メラとは別系統から入力される画像データ、奥行きデー
タとを入力とし、前記２つの奥行きデータを比較し、比
較結果によって前記２つの画像データの内の１つを選択
することで画像を合成し、合成した画像を出力する３次
元画像合成装置とを備えたものである。In order to solve the above-mentioned problems, an image synthesizing apparatus according to the present invention comprises a base camera head, a plurality of measuring camera heads, and a synchronous zoom changing apparatus capable of simultaneously changing a zoom value. A camera head, a zoom value detecting device that reads a zoom value from a synchronous zoom changing device of the multi-camera head, and a focal point of a lens of a base camera head of the multi-camera that receives a zoom value output from the zoom value detecting device as an input. A lens focal length calculating device for calculating a distance, and a focal length of the lens output from the lens focal length calculating device and image data output from the multi-camera head, and the base camera head of the multi-camera head. Depth data is calculated for each pixel with respect to the image data, and the depth of the base camera head is calculated. And depth data calculating device for outputting image data and depth data, image data, image data and the the depth data multi mosquito <br/> camera input from another system, which is outputted from the depth data calculation apparatus, the depth data And a three-dimensional image synthesizing apparatus that compares the two pieces of depth data, selects one of the two pieces of image data based on the comparison result, synthesizes an image, and outputs the synthesized image. It is provided.
【００１９】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータを保存する記憶
装置と、前記記憶装置から獲得する画像データ、奥行き
データと前記記憶装置とは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。In order to solve the above-mentioned problems, an image synthesizing apparatus according to the present invention comprises a base camera head, a plurality of measuring camera heads, and a synchronous zoom changing apparatus capable of simultaneously changing a zoom value. A camera head, a zoom value detecting device that reads a zoom value from a synchronous zoom changing device of the multi-camera head, and a focal point of a lens of a base camera head of the multi-camera that receives a zoom value output from the zoom value detecting device as an input. A lens focal length calculating device for calculating a distance, and a focal length of the lens output from the lens focal length calculating device and image data output from the multi-camera head, and the base camera head of the multi-camera head. Depth data is calculated for each pixel with respect to the image data, and the depth of the base camera head is calculated. Depth data calculation device for outputting image data and depth data, image data output from the depth data calculation device, storage device for storing depth data, image data obtained from the storage device, depth data and the storage device Image data input from another system, depth data and input, comparing the two depth data, by selecting one of the two image data according to the comparison result, to synthesize an image, And a three-dimensional image synthesizing device for outputting a synthesized image.
【００２０】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して、前記マルチカメラヘッドの測定用カメラヘ
ッドの画像から奥行きデータを決定できる画素について
まず奥行きデータを算出し、残りの画素については奥行
きデータの決定している画素の奥行きデータから算出す
ることで画素単位に奥行きデータを計算し、前記ベース
カメラヘッドの画像データと奥行きデータを出力する奥
行きデータ算出装置と、前記奥行きデータ算出装置から
出力される画像データ、奥行きデータと前記マルチカメ
ラとは別系統から入力される画像データ、奥行きデータ
とを入力とし、前記２つの奥行きデータを比較し、比較
結果によって前記２つの画像データの内の１つを選択す
ることで画像を合成し、合成した画像を出力する３次元
画像合成装置とを備えたものである。In order to solve the above-mentioned problems, an image synthesizing apparatus according to the present invention comprises a base camera head, a plurality of measuring camera heads, and a synchronous zoom changing apparatus capable of simultaneously changing a zoom value. A camera head, a zoom value detecting device that reads a zoom value from a synchronous zoom changing device of the multi-camera head, and a focal point of a lens of a base camera head of the multi-camera that receives a zoom value output from the zoom value detecting device as an input. A lens focal length calculating device for calculating a distance, and a focal length of the lens output from the lens focal length calculating device and image data output from the multi-camera head, and the base camera head of the multi-camera head. From the image of the measuring camera head of the multi-camera head, First, depth data is calculated for a pixel for which the data can be determined, and for the remaining pixels, depth data is calculated for each pixel by calculating from the depth data of the pixel for which the depth data is determined. and depth data calculating device for outputting data and depth data, image data, image data and the the depth data multi turtle <br/> La inputted from another system, which is outputted from the depth data calculation device, and depth data And a three-dimensional image synthesizing device for synthesizing an image by comparing the two pieces of depth data, selecting one of the two pieces of image data based on the comparison result, and outputting the synthesized image. It is a thing.
【００２１】[0021]
【作用】本発明は上記した構成によって、ベースカメラ
ヘッドで撮影した画像に対して、画素単位での奥行きデ
ータと画像データを取り出せ、奥行きデータを比較した
形での画像合成が可能である。According to the present invention, it is possible to extract depth data and image data in units of pixels from an image captured by a base camera head, and perform image synthesis in a form in which the depth data is compared.
【００２２】次に、上記に指摘した第２の従来例の欠点
を如何に解決しているかについて説明する。Next, a description will be given of how the disadvantage of the second prior art pointed out above is solved.
【００２３】まず、第２の従来例で、左目に相当するカ
メラの撮影画像に写っている点が、右目に相当するカメ
ラの撮影画像に写っていないために奥行きデータが決定
不能となる状況に関して説明する。本発明ではマルチカ
メラヘッドがベースカメラヘッドの他に複数の測定用カ
メラヘッドを備えているので、多くの場合、ベースカメ
ラヘッドに写っている領域（点）は、ある測定用のカメ
ラには無くても、別の測定用カメラヘッドには写ってい
るのでそれを用いて奥行きデータを決定すればよい。但
し、状況によっては、希に、ベースカメラヘッドに写っ
ている領域がどの測定用カメラヘッドにも写っていない
ことは起こり得る。この場合には、まず奥行きデータを
求められる画素についてのみ奥行きデータを決定してお
き、決定不能な画素に対しては、周囲に存在する奥行き
データが決定された画素の奥行きデータを用いて算出す
る。こうすることにより、任意の撮影画像に対して、全
ての画素における奥行きデータを決定することができ
る。First, in the second conventional example, a situation in which depth data cannot be determined because a point appearing in an image captured by a camera corresponding to the left eye is not included in an image captured by a camera corresponding to the right eye. explain. In the present invention, since the multi-camera head includes a plurality of measurement camera heads in addition to the base camera head, in many cases, the area (point) reflected on the base camera head is not present in a certain measurement camera. However, since the image is captured by another measurement camera head, the depth data may be determined using the captured image. However, depending on the situation, in rare cases, it is possible that the area shown in the base camera head is not shown in any of the measurement camera heads. In this case, depth data is first determined only for pixels for which depth data is required, and for pixels that cannot be determined, depth data existing around the pixel is calculated using the depth data of the determined pixels. . In this way, depth data for all pixels can be determined for an arbitrary captured image.
【００２４】次に、繰り返しパターンのように似通った
点が存在するような状況において、第２の従来例では、
左目に相当するカメラの撮影画像のある点に対応する右
目に相当するカメラの撮影画像の同一点が多数存在する
ために、奥行き値を一意に決定できないという場合につ
いて説明する。上記のように、本発明ではマルチカメラ
ヘッドがベースカメラヘッドの他に複数の測定用カメラ
ヘッドを備えており、ベースカメラヘッドの撮影画像中
のある領域に対応する、各測定用カメラヘッドの撮影画
像中の領域の候補は多数存在する。これらの候補に対
し、ベースカメラヘッドの撮影画像中のある領域に対す
る奥行きデータは一定であるという条件と、複数の測定
用のカメラで複数の異なる位置から撮影しているという
条件を使って、例えば度数分布等の評価を行うことによ
り、奥行きデータを一意に決定することができる。但
し、第２の従来例のように右目に相当するカメラ１台に
対する多数の候補点では、どの候補点も等価であるた
め、第２の従来例ではこの度数分布評価は実行不可能で
ある。Next, in a situation where similar points exist like a repetitive pattern, in the second conventional example,
A case in which the depth value cannot be uniquely determined because there are many identical points in the image captured by the camera corresponding to the right eye corresponding to a certain point in the image captured by the camera corresponding to the left eye will be described. As described above, in the present invention, the multi-camera head includes a plurality of measurement camera heads in addition to the base camera head, and each of the measurement camera heads corresponds to a certain area in the captured image of the base camera head. There are many candidate regions in an image. For these candidates, using the condition that the depth data for a certain area in the image captured by the base camera head is constant and the condition that images are taken from a plurality of different positions with a plurality of measurement cameras, for example, By evaluating the frequency distribution or the like, depth data can be uniquely determined. However, in the case of a large number of candidate points for one camera corresponding to the right eye as in the second conventional example, since all the candidate points are equivalent, the frequency distribution evaluation cannot be performed in the second conventional example.
【００２５】最後に、第２の従来例では不可能であっ
た、カメラの撮影方向や位置、ズーム値の即応的な変更
について説明する。上記のように、本発明ではベースカ
メラヘッドと測定用のカメラがマルチカメラヘッドとし
て一体化されているので、方向と位置の変更は問題なく
即応できる。また、本発明でズーム値検出装置とレンズ
焦点距離算出装置を備えたものに関しては、ズーム値を
変更した場合には、まず、そのズーム値をズーム値検出
装置で読み取り、次に、読み取ったズーム値からレンズ
の焦点距離をレンズ焦点距離算出装置で算出する。この
算出方法には、例えば、ズーム値とレンズの焦点距離の
相関関係を示したテーブルを使ったり、このテーブルと
補間計算を併用するなどの方法がある。従って、本発明
ではズーム値の変更も即応的に可能な構成になってい
る。Finally, a description will be given of the responsive change of the photographing direction and position of the camera and the zoom value, which are impossible in the second conventional example. As described above, in the present invention, since the base camera head and the measurement camera are integrated as a multi-camera head, the direction and position can be changed without any problem. Further, with respect to the zoom lens having the zoom value detecting device and the lens focal length calculating device according to the present invention, when the zoom value is changed, first, the zoom value is read by the zoom value detecting device, and then the read zoom value is read. The focal length of the lens is calculated from the value by the lens focal length calculating device. This calculation method includes, for example, a method of using a table indicating a correlation between the zoom value and the focal length of the lens, and a method of using this table and interpolation calculation together. Therefore, in the present invention, the zoom value can be changed immediately.
【００２６】また、本発明では、３次元画像合成装置の
２つの入力に対して、マルチカメラヘッドと奥行きデー
タ算出装置で生成した奥行きデータと画像データを入力
すれば、実写映像と実写映像との位置関係を考慮した画
像合成を行うことができ、入力の片方に計算機で生成し
た奥行きデータと画像データを入力すれば、実写映像と
計算機で生成した画像との位置関係を考慮した画像合成
を行うことができる。Further, in the present invention, if the depth data and the image data generated by the multi-camera head and the depth data calculation device are input to the two inputs of the three-dimensional image synthesizing device, the real image and the real image can be compared. Image composition taking into account the positional relationship can be performed. If depth data and image data generated by a computer are input to one of the inputs, image composition taking into account the positional relationship between the actual image and the image generated by the computer is performed. be able to.
【００２７】更に、本発明において記憶装置を設けたも
のに関しては、ベースカメラヘッドで撮影した画像に対
する奥行きデータと画像データを保存できるようにして
いる。従って、一旦撮影後保存しておいた画像との位置
関係を考慮した画像合成も可能な構成にしている。Further, in the case where the storage device is provided in the present invention, depth data and image data for an image taken by the base camera head can be stored. Therefore, the configuration is such that image composition can be performed in consideration of the positional relationship with the image once stored after photographing.
【００２８】以上により、本発明は複雑な状況や条件下
における複数の実写映像や、複雑な状況や条件下におけ
る実写映像と計算機で生成した画像を位置関係を考慮し
た形での画像合成を実行することが可能である。As described above, according to the present invention, a plurality of real shot images under complicated situations and conditions, and an image synthesized by taking into account the positional relationship between a real shot image under complicated situations and conditions and an image generated by a computer are executed. It is possible to
【００２９】[0029]
【実施例】以下本発明の第１の実施例の画像合成装置に
ついて、（図１）を参照しながら説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image synthesizing apparatus according to a first embodiment of the present invention will be described below with reference to FIG.
【００３０】（図１）は本発明の実施例における画像合
成装置の構成を示すものである。（図１）において、１
はマルチカメラヘッド、２は奥行きデータ算出装置、３
は３次元画像合成装置、１０はベースカメラヘッド、１
１は測定用カメラヘッドである。但し、マルチカメラヘ
ッド１を構成するベースカメラヘッド１０と複数の測定
用カメラヘッド１１の光軸は平行で、レンズの焦点距離
は共通で既知で、ベースカメラヘッド１０に対する各測
定用カメラヘッド１１の相対的な位置関係も既知とす
る。FIG. 1 shows the configuration of an image synthesizing apparatus according to an embodiment of the present invention. (FIG. 1)
Is a multi-camera head, 2 is a depth data calculator, 3
Is a three-dimensional image synthesizer, 10 is a base camera head, 1
Reference numeral 1 denotes a camera head for measurement. However, the optical axes of the base camera head 10 and the plurality of measurement camera heads 11 constituting the multi-camera head 1 are parallel, the focal lengths of the lenses are commonly known, and each measurement camera head 11 It is also assumed that the relative positional relationship is known.
【００３１】以上のように構成された画像合成装置につ
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド１で被写体を撮影し、画素単位の画像データを奥
行きデータ算出装置２へ出力する。マルチカメラヘッド
１は（図１）に示したように、ベースカメラヘッド１０
と複数の測定用カメラヘッド１１で構成されているの
で、奥行きデータ算出装置２は、ベースカメラヘッド１
０から出力される画素単位の画像データと各測定用カメ
ラヘッド１１から出力される画素単位の画像データを得
ることになる。The operation of the image synthesizing apparatus configured as described above will be described below. First, a subject is photographed by the multi-camera head 1, and image data in pixel units is output to the depth data calculation device 2. The multi-camera head 1 has a base camera head 10 as shown in FIG.
And the plurality of measurement camera heads 11, the depth data calculation device 2 uses the base camera head 1
Thus, image data in pixel units output from 0 and image data in pixel units output from each measurement camera head 11 are obtained.
【００３２】奥行きデータ算出装置２では、まずマルチ
カメラヘッド１から出力される複数の画素単位の画像デ
ータをそれぞれ１画面分づつ専用に設けられた記憶領域
に保存する。つまり、ベースカメラヘッド１０で撮影さ
れた画素単位の画像データと各測定用カメラヘッド１１
で撮影された画素単位の画像データがそれぞれの専用領
域に１画面分づつ保存される。この後、ベースカメラヘ
ッド１０で撮影された画像データの各画素毎にその奥行
きデータを算出することになるが、これについては（図
９）を用いて説明する。In the depth data calculating device 2, a plurality of pixel-based image data output from the multi-camera head 1 are stored in dedicated storage areas for one screen each. That is, the image data of each pixel photographed by the base camera head 10 and each measurement camera head 11
The image data in pixel units photographed in step (1) is stored in each dedicated area for one screen. Thereafter, the depth data is calculated for each pixel of the image data captured by the base camera head 10, which will be described with reference to FIG.
【００３３】もし、ベースカメラヘッド１０で撮影され
た画像の各画素位置（ベクトルａとする）の画像データ
が測定用カメラヘッド１１で撮影された画像中の画素位
置（ベクトルｂとする）とマッチングが取れていれば、
（図９）で示す状況が成り立つ。但し、（図９）におい
て、Ｐは被写対象物の位置、Ｂはベースカメラヘッド１
０に対する測定用カメラヘッド１１の相対位置を表すベ
クトル、Ｆは各カメラヘッドに共通のレンズの焦点距
離、ＺはＰに対する奥行きデータ値、ａ’はベースカメ
ラヘッド１０の光軸に垂直で光軸上に始点があり、終点
がＰのベクトル、ｂ’は測定用カメラヘッド１１の光軸
に垂直で光軸上に始点があり、終点がＰのベクトルで、
Ｂ＝ａ’−ｂ’の関係があり、ベクトルｄは差ベクトル
で、ｄ＝ａ−ｂによって定義される。画素位置のマッチ
ングが取れるということは言い替えると、（図９）にお
ける仮想スクリーン上のベクトルａとベクトルｂが決定
できたことに他ならない。（図９）に示した関係から、
Ｚ，Ｆ，ｄ，Ｂの間で、 Ｚｄ＝ＦＢ が成り立つ。この式はベクトル方程式であるが、スカラ
ー表現でも表すことができて、 Ｚ｜ｄ｜＝Ｆ｜Ｂ｜ とも書ける。但し、｜｜はベクトルの大きさを表す。い
ずれにしろ、Ｆ，ｄ，Ｂは仮定から既知なので、もし、
仮想スクリーンが連続空間ならば、ベクトル方程式、ス
カラー方程式いずれを解いても、 Ｚ＝Ｆ｜Ｂ｜／｜ｄ｜ によって、奥行きデータ値を求めることができる。しか
し、仮想スクリーン空間は、一般には離散空間なので、
量子化誤差を考慮する場合にはベクトル方程式を最小自
乗法を使って解く方が精度的には良い。つまり、 Ｚ＝Ｆ（ｄ・Ｂ）／｜ｄ｜2 によって求める。但し、・は内積を表す。If the image data at each pixel position (referred to as vector a) of the image photographed by the base camera head 10 is matched with the pixel position (referred to as vector b) in the image photographed by the measuring camera head 11. If you can get
The situation shown in FIG. 9 holds. However, in FIG. 9, P is the position of the subject, B is the base camera head 1
A vector representing the relative position of the measuring camera head 11 with respect to 0, F is the focal length of the lens common to each camera head, Z is the depth data value with respect to P, and a 'is the optical axis perpendicular to the optical axis of the base camera head 10. There is a start point on the top, an end point is a vector of P, b 'is a vector perpendicular to the optical axis of the measuring camera head 11 and has a start point on the optical axis, and an end point is a vector of P,
There is a relation of B = a′−b ′, and the vector d is a difference vector and is defined by d = ab. That the pixel positions can be matched is, in other words, nothing but that the vector a and the vector b on the virtual screen in FIG. 9 can be determined. From the relationship shown in FIG. 9,
Zd = FB holds among Z, F, d, and B. Although this equation is a vector equation, it can also be expressed by a scalar expression, and can be written as Z | d | = F | B |. Where || represents the magnitude of the vector. In any case, since F, d, and B are known from the assumption,
If the virtual screen is a continuous space, the depth data value can be obtained by Z = F | B | / | d | regardless of whether the vector equation or the scalar equation is solved. However, virtual screen space is generally a discrete space,
When considering the quantization error, it is better in terms of accuracy to solve the vector equation using the least squares method. That is, it is obtained by Z = F (dB) / | d | 2 . Here, * represents a dot product.
【００３４】いずれにしろ、マッチングが取れるという
ことが重要で、マッチングが取れれば奥行きデータを以
上の方法により算出することは可能である。In any case, it is important that matching can be obtained, and if the matching is obtained, depth data can be calculated by the above method.
【００３５】そこで次に、マッチング方法について説明
する。まず、理想的な状況を仮定して話を進める。ベー
スカメラヘッド１０で撮影した画像中のマッチングを取
りたい１画素を選び、この画素を中心とした領域を決め
る。この領域の形は任意に決定して良い。例えば３×３
画素の正方形領域でもいいし、１×３の長方形領域でも
よい。次に、各測定用カメラヘッド１１で撮影した画像
中を評価関数で評価しながら、選択した領域に最も適合
する領域を探索する。この評価関数としては、領域の対
応する画素位置の画素データの差の２乗値を領域全ての
画素に渡って和を取ったものや、差の絶対値を領域全て
の画素に渡って和を取ったもの等を使うことができる。
各測定用カメラヘッド１１で撮影した画像中において、
この評価関数で最小値を取る領域をマッチングの取れた
領域と定めれば、このマッチングの取れた領域の中心が
測定用カメラヘッド１１で撮影した画像中で対応する画
素位置となる。理想的な状況では、この画素位置は各測
定用カメラヘッドで撮影した画像中で一意に決められる
ので、この画素位置と先の算出式を使って奥行きデータ
を求める。測定用カメラヘッド１１は複数存在するの
で、算出される奥行きデータも複数存在するので、これ
らに対して平均値を取るなどの操作を行うことで一意に
決められる。Next, a matching method will be described. First, let's assume an ideal situation. One pixel to be matched in the image captured by the base camera head 10 is selected, and an area centered on this pixel is determined. The shape of this area may be determined arbitrarily. For example, 3 × 3
It may be a square area of pixels or a 1 × 3 rectangular area. Next, while evaluating the image captured by each measurement camera head 11 using an evaluation function, a search is made for a region that best matches the selected region. As this evaluation function, the sum of the square values of the differences of the pixel data at the corresponding pixel positions of the region over all the pixels of the region or the sum of the absolute values of the differences over all the pixels of the region is used. You can use what you take.
In the image taken by each measurement camera head 11,
If the area having the minimum value by this evaluation function is determined as a matched area, the center of the matched area is the corresponding pixel position in the image taken by the measuring camera head 11. In an ideal situation, since this pixel position is uniquely determined in an image taken by each measuring camera head, depth data is obtained using this pixel position and the above calculation formula. Since there are a plurality of camera heads 11 for measurement, there are also a plurality of depth data to be calculated. Therefore, the depth data is uniquely determined by performing an operation such as taking an average value.
【００３６】次に、現実的な状況について考えてみる。
マッチングを行う領域は有界なので、必ず評価関数の最
小値は存在する。しかし、前述のように、ベースカメラ
ヘッド１０で撮影した画像中の全ての部分が、測定用カ
メラヘッド１１で撮影した画像中に存在するとは限らな
い。つまり、評価関数の最小値と成る領域が、対応する
領域とは限らないということを意味する。これを避ける
ためには、閾値を設定して、評価関数の最小値がこの閾
値以上ならば、この測定用カメラヘッド１１で撮影した
画像中には対応する領域が存在しないとして棄却し、棄
却されなかったデータを用いて前述のように奥行きデー
タを求める。全ての測定用カメラヘッド１１で撮影した
画像中の領域の評価関数値の最小値が閾値以上であった
ときは、複数の測定用カメラヘッド１１があるので、少
なくとも１つの測定用カメラヘッド１１で撮影した画像
にはマッチングを取りたい領域が存在すると仮定すれ
ば、最も最小値の小さい領域をマッチングの取れた領域
として、前述の式を用いて奥行きデータを算出できる。
従って、少なくとも１つの測定用カメラヘッド１１で撮
影した画像にはマッチングを取りたい領域が存在すると
いう仮定を認めれば、ここで述べた方法で奥行きデータ
を算出することができる。Next, consider a realistic situation.
Since the matching area is bounded, there always exists a minimum value of the evaluation function. However, as described above, not all parts in the image captured by the base camera head 10 exist in the image captured by the measurement camera head 11. In other words, this means that the area having the minimum value of the evaluation function is not necessarily the corresponding area. In order to avoid this, a threshold value is set, and if the minimum value of the evaluation function is equal to or greater than the threshold value, it is rejected because there is no corresponding area in the image captured by the camera head 11 for measurement and rejected. The depth data is obtained using the missing data as described above. When the minimum value of the evaluation function value of the region in the image captured by all the measurement camera heads 11 is equal to or larger than the threshold, there are a plurality of measurement camera heads 11, so that at least one measurement camera head 11 Assuming that there is an area to be matched in the captured image, the area having the smallest minimum value can be set as the matched area and depth data can be calculated using the above equation.
Therefore, if it is recognized that there is an area to be matched in an image captured by at least one measurement camera head 11, depth data can be calculated by the method described here.
【００３７】しかし、この仮定も認められないときに
は、全ての測定用カメラヘッド１１で撮影した画像中の
領域の評価関数値の最小値が閾値以上の場合、奥行きデ
ータ算出不能として、この画素に対する奥行きデータの
算出を一旦保留しておく。奥行きデータが決定できる画
素についてのみ先に全て求め、この算出が終了後、奥行
きデータの算出を保留しておいた画素に対し、周囲の奥
行きデータが算出されている画素の奥行きデータから補
間式を使って奥行きデータを算出する。補間式として
は、双線形補間式やスプライン補間などを使用すること
ができる。However, when this assumption is not accepted, if the minimum value of the evaluation function value of the area in the image captured by all the measurement camera heads 11 is equal to or larger than the threshold value, it is determined that depth data cannot be calculated, and the depth for this pixel is determined. The calculation of the data is temporarily suspended. Only the pixels for which the depth data can be determined are obtained in advance, and after this calculation is completed, the interpolation formula is calculated from the depth data of the pixels for which the depth data is calculated for the pixels for which the calculation of the depth data has been suspended. To calculate depth data. As the interpolation formula, a bilinear interpolation formula, a spline interpolation, or the like can be used.
【００３８】現実の状況では、前述のように、画像中に
繰り返しパターンなどが含まれることにより、１つの測
定用カメラヘッド１１で撮影した画像中に評価関数の最
小値を取る領域がいくつも存在することがある。この場
合の対処方法について説明する。この時には、まず、そ
れぞれの最小値を取る領域から対応する画素を決定し、
各々に対して前述の方程式を用いて奥行きデータを算出
する。この処理が終わると、各測定用カメラヘッド１１
で撮影した画像毎に、候補となる奥行きデータが複数求
められていることになる。求めたい画素の奥行きデータ
は、一意であるから、これら候補となる全ての奥行きデ
ータの度数分布を調べると、ある１つの奥行きデータ値
のところに度数が集中する。この度数の集中した奥行き
データが、この画素に対応する奥行きデータである。従
って、評価関数の最小値がいくつも存在する場合でも、
この方法で奥行きデータを決定できる。In a real situation, as described above, since an image includes a repetitive pattern or the like, there are several regions where the minimum value of the evaluation function is obtained in an image taken by one measuring camera head 11. May be. A coping method in this case will be described. At this time, first, the corresponding pixel is determined from the region having the minimum value,
The depth data is calculated for each of them using the above equation. When this process is completed, each measurement camera head 11
That is, a plurality of candidate depth data are obtained for each of the images photographed in step. Since the depth data of the pixel to be obtained is unique, when the frequency distribution of all the candidate depth data is examined, the frequencies are concentrated at a certain depth data value. The depth data at which the frequency is concentrated is the depth data corresponding to this pixel. Therefore, even if there are many minimum values of the evaluation function,
Depth data can be determined in this manner.
【００３９】以上の一連の操作により、奥行きデータ算
出装置２は、ベースカメラヘッド１０で撮影した画像の
各画素に対する奥行きデータが算出し、各画素毎に画像
データと奥行きデータを対応を取りながら、３次元画像
合成装置３へ出力する。Through the above series of operations, the depth data calculating device 2 calculates the depth data for each pixel of the image captured by the base camera head 10, and associates the image data with the depth data for each pixel. Output to the three-dimensional image synthesizing device 3.
【００４０】３次元画像合成装置３は２つの入力ポート
で、奥行きデータ算出装置２から出力される奥行きデー
タと画像データ及び、奥行きデータ算出装置２から出力
されるデータと画素位置の対応している、奥行きデータ
と画像データとをこれとは別のポートで受け取る。この
別ポートから入力される奥行きデータと画像データは、
本実施例と同様の方法で生成された実写映像に対する奥
行きデータと画像データでも、計算機で生成したもので
もよく、前者の場合であれば実写同士の位置関係を考慮
した画像合成になり、後者の場合であれば実写と計算機
生成の画像の位置関係を考慮した画像合成が行える。入
力後、入力された２つの奥行きデータに対してどちらが
視点の側に近いかを比較をする。比較の結果、視点の側
に近いと判断された方の奥行きデータに対応する画像デ
ータを合成画像データとして出力する。The three-dimensional image synthesizing device 3 has two input ports, corresponding to the depth data and image data output from the depth data calculating device 2 and the data output from the depth data calculating device 2 to the pixel positions. , Depth data and image data are received at different ports. Depth data and image data input from this separate port are
Depth data and image data for a real video image generated in the same manner as in the present embodiment may be generated by a computer, and in the former case, image synthesis takes into account the positional relationship between real shots. In such a case, image composition can be performed in consideration of the positional relationship between the actual image and the image generated by the computer. After the input, which of the two input depth data is closer to the viewpoint side is compared. As a result of the comparison, image data corresponding to the depth data determined to be closer to the viewpoint is output as composite image data.
【００４１】なお、奥行きデータ算出装置２において、
マッチングの効率を上げるために、マルチカメラヘッド
１で撮影した画像に対して、一旦、画像平滑化フィルタ
やエッジ強調フィルタなど画像フィルタ処理をしてか
ら、マッチング処理をしても良い。In the depth data calculation device 2,
In order to increase the efficiency of the matching, the image captured by the multi-camera head 1 may be subjected to an image filtering process such as an image smoothing filter or an edge emphasizing filter before the matching process.
【００４２】以上のように第１の実施例のよれば、カメ
ラの撮影位置や方向を即応的に変えて撮影した複雑な状
況や条件下における複数の実写映像や、実写映像と計算
機で生成した画像を位置関係を考慮した形での画像合成
を実行することが可能である。As described above, according to the first embodiment, a plurality of actual images under complex situations and conditions, which are photographed by changing the photographing position and direction of the camera immediately, or a plurality of actual images and a computer are generated by the computer. It is possible to execute image synthesis in a form in which an image is considered in a positional relationship.
【００４３】以下本発明の第２の実施例について（図
２）を参照しながら説明する。（図２）は本発明の第２
の実施例を示す画像合成装置の構成図である。（図２）
において、１はマルチカメラヘッド、２は奥行きデータ
算出装置、３は３次元画像合成装置、１０はベースカメ
ラヘッド、１１は測定用カメラヘッド、１２は記憶装置
である。但し、マルチカメラヘッド１を構成するベース
カメラヘッド１０と複数の測定用カメラヘッド１１の光
軸は平行で、レンズの焦点距離は共通で既知で、ベース
カメラヘッド１０に対する各測定用カメラヘッド１１の
相対的な位置関係も既知とする。Hereinafter, a second embodiment of the present invention will be described with reference to FIG. (FIG. 2) shows the second embodiment of the present invention.
FIG. 1 is a configuration diagram of an image synthesizing apparatus showing an embodiment of FIG. (Fig. 2)
, 1 is a multi-camera head, 2 is a depth data calculation device, 3 is a three-dimensional image synthesis device, 10 is a base camera head, 11 is a measurement camera head, and 12 is a storage device. However, the optical axes of the base camera head 10 and the plurality of measurement camera heads 11 constituting the multi-camera head 1 are parallel, the focal lengths of the lenses are commonly known, and each measurement camera head 11 It is also assumed that the relative positional relationship is known.
【００４４】以上のように構成された画像合成装置につ
いて、以下にその動作を説明するが、マルチカメラヘッ
ド１から奥行きデータ算出装置２までの動作は第１の実
施例と同様なので省略する。The operation of the image synthesizing device configured as described above will be described below, but the operation from the multi-camera head 1 to the depth data calculating device 2 is the same as that of the first embodiment, and will not be described.
【００４５】奥行きデータ算出装置２で求められた、ベ
ースカメラヘッド１０で撮影した画像の各画素に対応す
る奥行きデータと画像データは、どの画素に対応するも
のかが分かるような形で、記憶装置１２に保存される。
これは、記憶装置１２へ保存するときに、画素番号と記
憶装置１２におけるアドレスが１対１に対応するように
割り振れば可能である。また、保存する奥行きデータと
画像データに例えばＤＣＴ系の圧縮技術を用いれば記憶
量を節約できる。The depth data and image data corresponding to each pixel of the image photographed by the base camera head 10 obtained by the depth data calculation device 2 are stored in a storage device in such a manner that it is possible to know which pixel corresponds. 12 is stored.
This can be achieved by assigning the pixel numbers and the addresses in the storage device 12 in one-to-one correspondence when storing them in the storage device 12. If, for example, DCT-based compression technology is used for the stored depth data and image data, the storage amount can be saved.
【００４６】３次元画像合成装置３は２つの入力ポート
で、このように記憶装置１２に保存されたベースカメラ
ヘッド１０で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。The three-dimensional image synthesizing device 3 has two input ports. Depth data and image data corresponding to each pixel of the image captured by the base camera head 10 stored in the storage device 12 as described above. The depth data and the image data corresponding to the pixel position are received. Next, in the same manner as in the first embodiment, the image stored in the storage device 12 and the image input from a port different from the storage device 12 are combined, and image combined data is output. In this embodiment, the storage device 12 and the three-dimensional image device 3 are connected by a bus. However, if a data transmission medium such as a floppy disk or a CDROM and a drive device for the medium are provided,
Data can be exchanged via a data transmission medium.
【００４７】以上のように第２の実施例のよれば、カメ
ラの撮影位置や方向を即応的に変えて撮影した複雑な状
況や条件下における複数の実写映像や、複雑な状況や条
件下における実写映像と計算機で生成した画像を位置関
係を考慮した形での画像合成を実行することが可能であ
る。また、奥行き値データ付きの画像データを一旦保存
しておき、保存した画像との画像を位置関係を考慮した
形での画像合成を実行することも可能である。As described above, according to the second embodiment, a plurality of photographed images under complicated situations and conditions, which are obtained by changing the photographing position and direction of the camera immediately, and under a complicated situation and conditions, It is possible to perform image synthesis in a form that takes into account the positional relationship between a real video and an image generated by a computer. Further, it is also possible to temporarily store image data with depth value data, and to execute image synthesis in a form in which a positional relationship with the stored image is taken into consideration.
【００４８】以下本発明の第３の実施例の画像合成装置
について、（図３）を参照しながら説明する。Hereinafter, an image synthesizing apparatus according to a third embodiment of the present invention will be described with reference to FIG.
【００４９】（図３）は本発明の実施例における画像合
成装置の構成を示すものである。（図３）において、２
１はマルチカメラヘッド、２２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、３は３次元画像合成装置、３０はベースカメラ
ヘッド、３１は測定用カメラヘッドである。但し、マル
チカメラヘッド２１を構成するベースカメラヘッド３０
と複数の測定用カメラヘッド３１の光軸は平行で、また
測定用カメラヘッド３１についてはレンズの焦点距離は
共通で既知で、更にベースカメラヘッド３０に対する各
測定用カメラヘッド３１の相対的な位置関係も既知とす
る。FIG. 3 shows the configuration of the image synthesizing apparatus according to the embodiment of the present invention. (FIG. 3)
1 is a multi-camera head, 22 is a depth data calculating device, 23 is a zoom value detecting device, 24 is a lens focal length calculating device, 3 is a three-dimensional image synthesizing device, 30 is a base camera head, and 31 is a measuring camera head. . However, the base camera head 30 constituting the multi-camera head 21
And the plurality of measuring camera heads 31 have parallel optical axes, the measuring camera head 31 has a common focal length of the lens, and the relative position of each measuring camera head 31 with respect to the base camera head 30. The relationship is also known.
【００５０】以上のように構成された画像合成装置につ
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド２１でベースカメラヘッド３０のズーム値を調整
しながら被写体を撮影し、画素単位の画像データを奥行
きデータ算出装置２２へ出力する。The operation of the image synthesizing apparatus configured as described above will be described below. First, a subject is photographed by the multi-camera head 21 while adjusting the zoom value of the base camera head 30, and image data in pixel units is output to the depth data calculation device 22.
【００５１】これと同時に、ベースカメラヘッド３０の
撮影時のズーム値をズーム値検出装置２３で読み取る。
一般に、カメラヘッドのズームの変更は機械的に行われ
るので、この機械的な移動量を検出する事は可能で、こ
の移動量をズーム値検出装置２３はズーム値として検出
することになる。At the same time, the zoom value of the base camera head 30 at the time of shooting is read by the zoom value detecting device 23.
Generally, since the change of the zoom of the camera head is performed mechanically, it is possible to detect the mechanical movement amount, and the zoom value detection device 23 detects the movement amount as the zoom value.
【００５２】このズーム値はレンズ焦点距離算出装置２
４に送られ、レンズ焦点距離算出装置２４ではこのズー
ム値からベースカメラヘッド３０のレンズの焦点距離を
算出する。このレンズの焦点距離の算出は、予めベース
カメラヘッド３０に対して、各ズーム値毎のカメラキャ
リブレーションを行い、これをテーブル化しておき、ズ
ーム値検出装置２３から送られてくるズーム値からこの
テーブルを引くことで行える。この場合は、ズーム値は
離散的に変化することになるが、連続的な変化にも対応
したければ、テーブルの値を基に多項式補間式を算出し
ておき、ズーム値検出装置２３から送られてくるズーム
値のときのレンズの焦点距離を多項式補間式で求めるこ
とで実現できる。このように算出されたレンズの焦点距
離は奥行きデータ算出装置２２に送られる。The zoom value is calculated by the lens focal length calculating device 2
The lens focal length calculating device 24 calculates the focal length of the lens of the base camera head 30 from this zoom value. To calculate the focal length of the lens, camera calibration for each zoom value is performed on the base camera head 30 in advance, this is tabulated, and this is calculated from the zoom value sent from the zoom value detection device 23. You can do this by pulling the table. In this case, the zoom value changes discretely, but if a continuous change is desired, a polynomial interpolation formula is calculated based on the values in the table, and the zoom value is transmitted from the zoom value detection device 23. It can be realized by obtaining the focal length of the lens at the obtained zoom value by a polynomial interpolation formula. The focal length of the lens calculated in this way is sent to the depth data calculation device 22.
【００５３】以上により、奥行きデータ算出装置２２
は、ベースカメラヘッド３０から出力される画素単位の
画像データと各測定用カメラヘッド３１から出力される
画素単位の画像データ、及びレンズ焦点距離２４で算出
されたベースカメラヘッド３０のレンズの焦点距離を得
ることになる。As described above, the depth data calculating device 22
Are image data in pixel units output from the base camera head 30, image data in pixel units output from each measurement camera head 31, and the focal length of the lens of the base camera head 30 calculated by the lens focal length 24 You will get
【００５４】奥行きデータ算出装置２２では、ベースカ
メラヘッド３０で撮影された画素単位の画像データと各
測定用カメラヘッド３１で撮影された画素単位の画像デ
ータがそれぞれの専用領域に１画面分づつ保存される。
この後、ベースカメラヘッド３０で撮影された画像デー
タの各画素毎に、各測定用カメラヘッド３１で撮影され
た画像での対応する画素位置を決定するために、第１の
実施例と同様の方法でマッチング処理を行う。但し、適
当なスケール変換をしながらのマッチング処理が必要で
ある。次に、その奥行きデータを算出することになる
が、これについては（図１０）を用いて説明する。In the depth data calculating device 22, the image data of each pixel photographed by the base camera head 30 and the image data of each pixel photographed by each measuring camera head 31 are stored in each dedicated area for one screen. Is done.
Thereafter, for each pixel of the image data captured by the base camera head 30, the same pixel position as in the first embodiment is determined in order to determine the corresponding pixel position in the image captured by each measurement camera head 31. Perform matching processing by the method. However, matching processing while performing appropriate scale conversion is required. Next, the depth data is calculated, which will be described with reference to FIG.
【００５５】もし、ベースカメラヘッド３０で撮影され
た画像の各画素位置（ベクトルａ（ａ1，ａ2）とする）
の画像データが測定用カメラヘッド３１で撮影された画
像中の画素位置（ベクトルｂ（ｂ1，ｂ2）とする）とマ
ッチングが取れていれば、（図１０）で示す状況が成り
立つ。但し、（図１０）において、Ｐは被写対象物の位
置、Ｂ（Ｂ1，Ｂ2）はベースカメラヘッド３０に対する
測定用カメラヘッド３１の相対位置を表すベクトルで、
Ｆは各測定用カメラヘッ３１ドに共通のレンズの焦点距
離、Ｆbはベースカメラヘッド３０のレンズの焦点距
離、Ｚは各測定用カメラヘッド３１でのＰに対する奥行
きデータ値、Ｚbはベースカメラヘッド３０でのＰに対
する奥行きデータ値、ａ’はベースカメラヘッド３０の
光軸に垂直で光軸上に始点があり、終点がＰのベクト
ル、ｂ’は測定用カメラヘッド３１の光軸に垂直で光軸
上に始点があり、終点がＰのベクトルで、Ｂ＝ａ’−
ｂ’の関係がある。（図１０）に示した関係から、
Ｚb，Ｆb，ａ，ａ’の間で、 Ｚbａ／Ｆb＝ａ’ が成り立つ。同様に、Ｚ，Ｆ，ｂ，ｂ’の間で、 Ｚｂ／Ｆ＝ｂ’ が成り立つ。両式において、各辺毎に引き算を行うと、 Ｚbａ／Ｆb−Ｚｂ／Ｆ＝Ｂ が成り立つ。Ｆb，ａ，Ｆ，ｂ，Ｂは既知なので、従っ
て次の連立方程式、 Ｚbａ1／Ｆb−Ｚｂ1／Ｆ＝Ｂ1 Ｚbａ2／Ｆb−Ｚｂ2／Ｆ＝Ｂ2 を解くことで、ベースカメラヘッド３０で撮影した画像
に対する各画素毎の奥行きデータＺbを算出することが
できる。なお、この連立方程式は不定方程式となること
があるが、その場合には、別の不定方程式とならない測
定用カメラヘッド３１で撮影した画像データを用いて解
く。また複数の測定用カメラヘッド３１で撮影した画像
（個数をｎとする）を用いて立てた連立方程式の場合
は、係数行列は２ｎ×２の行列Ｍとなり、これを用い
て、 Ｍ（Ｚb，Ｚ）T＝（Ｂ1，Ｂ2，．．．．，Ｂ1，Ｂ2）T と表すことができる。但し、（）Tは転置を表し、右辺
は２ｎ×１の行列（縦ベクトル）である。これは、最小
自乗法を使って、 ＭTＭ（Ｚb，Ｚ）T＝ＭT（Ｂ1，Ｂ2，．．．．，Ｂ1，
Ｂ2）T に変形し、これを解けば良い。If each pixel position of an image photographed by the base camera head 30 is defined as a vector a (a 1 , a 2 ).
If the image data is matched with the pixel position (referred to as a vector b (b 1 , b 2 )) in the image captured by the measuring camera head 31, the situation shown in FIG. 10 is established. However, in FIG. 10, P is the position of the object to be photographed, B (B 1 , B 2 ) is a vector representing the relative position of the measuring camera head 31 with respect to the base camera head 30, and
F is the focal length of the lens common to Kamerahe' 31 de for each measurement, F b is the focal length of the lens base camera head 30, Z is the depth data value for P at each measuring camera head 31, Z b is the base camera A depth data value with respect to P at the head 30, a ′ is a vector having a starting point on the optical axis perpendicular to the optical axis of the base camera head 30 and an ending point at P, and b ′ is perpendicular to the optical axis of the measuring camera head 31. Has a start point on the optical axis, an end point is a vector of P, and B = a'-
There is a relationship of b '. From the relationship shown in FIG.
Z b, F b, a, ' between, Z b a / F b = a' a holds. Similarly, Zb / F = b 'holds among Z, F, b, b'. In both formulas, when the subtraction for each side, holds the Z b a / F b -Zb / F = B. F b, a, F, b, since B is known, therefore the following simultaneous equations, Z b a 1 / F b -Zb 1 / F = B 1 Z b a 2 / F b -Zb 2 / F = B 2 by solving, it is possible to calculate the depth data Z b for each pixel with respect to captured image by the base camera head 30. Note that this simultaneous equation may be an indefinite equation. In this case, the simultaneous equation is solved using image data taken by the measurement camera head 31 that does not become another indefinite equation. In the case of a simultaneous equation established using images (the number is n) taken by a plurality of measurement camera heads 31, the coefficient matrix is a 2n × 2 matrix M, and M (Z b , Z) T = (B 1 , B 2 ,..., B 1 , B 2 ) T. Here, () T represents transposition, and the right side is a 2n × 1 matrix (vertical vector). This means that, using the least squares method, M T M (Z b , Z) T = M T (B 1 , B 2 , ..., B 1 ,
B 2 ) Transform into T and solve it.
【００５６】以上のようにして、奥行きデータ算出装置
２２ではベースカメラヘッド３０で撮影された画像に対
して画素毎の奥行きデータを算出し、この奥行きデータ
とそれに対応する画像データが３次元画像合成装置３へ
出力される。As described above, the depth data calculating device 22 calculates the depth data for each pixel of the image captured by the base camera head 30, and the depth data and the corresponding image data are combined into a three-dimensional image. Output to the device 3.
【００５７】３次元画像合成装置３では、第１の実施例
と同様の方法で、２つの入力ポートで、奥行きデータ算
出装置２２から出力される奥行きデータと画像データ及
び、奥行きデータ算出装置２２から出力されるデータと
画素位置の対応している、奥行きデータと画像データと
をこれとは別のポートで受け取る。この別ポートから入
力される奥行きデータと画像データは、本実施例と同様
の方法で生成された実写映像に対する奥行きデータと画
像データでも、計算機で生成したものでもよく、前者の
場合であれば実写同士の位置関係を考慮した画像合成に
なり、後者の場合であれば実写と計算機生成の画像の位
置関係を考慮した画像合成が行える。入力後、入力され
た２つの奥行きデータに対してどちらが視点の側に近い
かを比較をする。比較の結果、視点の側に近いと判断さ
れた方の奥行きデータに対応する画像データを合成画像
データとして出力する。In the three-dimensional image synthesizing device 3, the depth data and the image data output from the depth data calculating device 22 and the depth data calculating device 22 from the depth data calculating device 22 through two input ports in the same manner as in the first embodiment. Depth data and image data corresponding to the output data and the pixel position are received at another port. The depth data and image data input from the separate port may be depth data and image data for a real video image generated in the same manner as in the present embodiment, or may be generated by a computer. Image synthesis takes into account the positional relationship between the images, and in the latter case, image synthesis can be performed in consideration of the positional relationship between the actual image and the image generated by the computer. After the input, which of the two input depth data is closer to the viewpoint side is compared. As a result of the comparison, image data corresponding to the depth data determined to be closer to the viewpoint is output as composite image data.
【００５８】なお、奥行きデータ算出装置２２におい
て、マッチングの効率を上げるために、マルチカメラヘ
ッド２１で撮影した画像に対して、一旦、画像平滑化フ
ィルタやエッジ強調フィルタなど画像フィルタ処理をし
てから、マッチング処理をしても良い。In order to increase the efficiency of matching in the depth data calculating device 22, the image photographed by the multi-camera head 21 is once subjected to an image filtering process such as an image smoothing filter or an edge emphasizing filter. , A matching process may be performed.
【００５９】以上のように第３の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。As described above, according to the third embodiment, a plurality of photographed images under complex situations and conditions, which are photographed while changing the photographing position and direction of the camera and the change of the zoom value immediately, It is possible to execute image synthesis in a form that takes into account the positional relationship between a real video image and an image generated by a computer under conditions and conditions.
【００６０】以下本発明の第４の実施例の画像合成装置
について、（図４）を参照しながら説明する。Hereinafter, an image synthesizing apparatus according to a fourth embodiment of the present invention will be described with reference to FIG.
【００６１】（図４）は本発明の実施例における画像合
成装置の構成を示すものである。（図４）において、２
１はマルチカメラヘッド、２２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、１２は記憶装置、３は３次元画像合成装置、３
０はベースカメラヘッド、３１は測定用カメラヘッドで
ある。但し、マルチカメラヘッド２１を構成するベース
カメラヘッド３０と複数の測定用カメラヘッド３１の光
軸は平行で、また測定用カメラヘッド３１についてはレ
ンズの焦点距離は共通で既知で、更にベースカメラヘッ
ド３０に対する各測定用カメラヘッド３１の相対的な位
置関係も既知とする。FIG. 4 shows the configuration of the image synthesizing apparatus according to the embodiment of the present invention. (FIG. 4)
1 is a multi-camera head, 22 is a depth data calculation device, 23 is a zoom value detection device, 24 is a lens focal length calculation device, 12 is a storage device, 3 is a three-dimensional image synthesis device, 3
0 is a base camera head, and 31 is a measurement camera head. However, the optical axes of the base camera head 30 and the plurality of measurement camera heads 31 constituting the multi-camera head 21 are parallel to each other, and the focal length of the lenses of the measurement camera heads 31 is commonly known. The relative positional relationship of each measurement camera head 31 with respect to 30 is also known.
【００６２】以上のように構成された画像合成装置につ
いて、以下にその動作を説明するが、マルチカメラヘッ
ド２１、奥行きデータ算出装置２２、ズーム値検出装置
２３、レンズ焦点距離算出装置２４までの動きは、第３
の実施例と全く同様なのでここでは省略する。The operation of the image synthesizing apparatus configured as described above will be described below. The operation up to the multi-camera head 21, the depth data calculating apparatus 22, the zoom value detecting apparatus 23, and the lens focal length calculating apparatus 24 will be described. Is the third
Since it is completely the same as the embodiment, the description is omitted here.
【００６３】次に、奥行きデータ算出装置２２で求めら
れた、ベースカメラヘッド３０で撮影した画像の各画素
に対応する奥行きデータと画像データは、どの画素に対
応するものかが分かるような形で、記憶装置１２に保存
される。Next, the depth data and the image data corresponding to each pixel of the image captured by the base camera head 30 obtained by the depth data calculation device 22 are in a form that allows to identify which pixel corresponds. Is stored in the storage device 12.
【００６４】３次元画像合成装置３は２つの入力ポート
で、このように記憶装置１２に保存されたベースカメラ
ヘッド３０で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。The three-dimensional image synthesizing device 3 has two input ports. Depth data and image data corresponding to each pixel of the image captured by the base camera head 30 stored in the storage device 12 as described above. The depth data and the image data corresponding to the pixel position are received. Next, in the same manner as in the first embodiment, the image stored in the storage device 12 and the image input from a port different from the storage device 12 are combined, and image combined data is output. In this embodiment, the storage device 12 and the three-dimensional image device 3 are connected by a bus. However, if a data transmission medium such as a floppy disk or a CDROM and a drive device for the medium are provided,
Data can be exchanged via a data transmission medium.
【００６５】以上のように第４の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。また、奥行き値データ付きの画
像データを一旦保存しておき、保存した画像との画像を
位置関係を考慮した形での画像合成を実行することも可
能である。As described above, according to the fourth embodiment, a plurality of photographed images under complex situations and conditions, which are photographed while the photographing position and direction of the camera and the zoom value are changed immediately, and a complicated It is possible to execute image synthesis in a form that takes into account the positional relationship between a real video image and an image generated by a computer under conditions and conditions. Further, it is also possible to temporarily store image data with depth value data, and to execute image synthesis in a form in which a positional relationship with the stored image is taken into consideration.
【００６６】以下本発明の第５の実施例の画像合成装置
について、（図５）を参照しながら説明する。Hereinafter, an image synthesizing apparatus according to a fifth embodiment of the present invention will be described with reference to FIG.
【００６７】（図５）は本発明の実施例における画像合
成装置の構成を示すものである。（図５）において、４
１はマルチカメラヘッド、４２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、３は３次元画像合成装置、５０は同期ズーム変
更装置、５１はベースカメラヘッド、５２は測定用カメ
ラヘッドである。但し、マルチカメラヘッド４１を構成
するベースカメラヘッド５１と複数の測定用カメラヘッ
ド５２のレンズ系は同じもので光軸は平行、ベースカメ
ラヘッド５１に対する各測定用カメラヘッド５２の相対
的な位置関係は既知とする。FIG. 5 shows the configuration of an image synthesizing apparatus according to the embodiment of the present invention. In FIG. 5, 4
1 is a multi-camera head, 42 is a depth data calculating device, 23 is a zoom value detecting device, 24 is a lens focal length calculating device, 3 is a three-dimensional image synthesizing device, 50 is a synchronous zoom changing device, 51 is a base camera head, 52 Is a measuring camera head. However, the lens system of the base camera head 51 and the plurality of measurement camera heads 52 constituting the multi-camera head 41 is the same, the optical axes are parallel, and the relative positional relationship of each measurement camera head 52 with respect to the base camera head 51. Is known.
【００６８】以上のように構成された画像合成装置につ
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド４１で同期ズーム変更装置５０を調整しながら被
写体を撮影し、画素単位の画像データを奥行きデータ算
出装置４２へ出力する。同期ズーム変更装置５０は、ベ
ースカメラヘッド５１と各測定用カメラヘッド５２のズ
ームを同じ状態に変更するもので、これはモータと制御
機構によって機械的に実現することができる。The operation of the image synthesizing apparatus configured as described above will be described below. First, the subject is photographed while adjusting the synchronous zoom changing device 50 with the multi-camera head 41, and the image data of each pixel is output to the depth data calculating device. The synchronous zoom changing device 50 changes the zoom of the base camera head 51 and each measuring camera head 52 to the same state, and this can be mechanically realized by a motor and a control mechanism.
【００６９】ズーム値検出装置２３は、撮影時の同期ズ
ーム変更装置５０のズーム値を読み取るが、これは第３
の実施例と同様に、同期ズーム変更装置５０の機械的な
移動量を検出し、これをズーム値とする。The zoom value detecting device 23 reads the zoom value of the synchronous zoom changing device 50 at the time of photographing.
As in the embodiment, the mechanical movement amount of the synchronous zoom changing device 50 is detected, and this is set as the zoom value.
【００７０】このズーム値はレンズ焦点距離算出装置２
４に送られ、レンズ焦点距離算出装置２４ではこのズー
ム値からベースカメラヘッド５１及び測定用カメラヘッ
ド５２に共通のレンズの焦点距離を算出する。この共通
のレンズの焦点距離の算出は、第３の実施例と同様に、
予め、各ズーム値毎のカメラキャリブレーションを行
い、これをテーブル化しておき、ズーム値検出装置２３
から送られてくるズーム値からこのテーブルを引くこと
で行える。また、ズーム値の連続的な変化にも対応した
ければ、テーブルの値を基に多項式補間式を算出してお
き、ズーム値検出装置２３から送られてくるズーム値の
ときのレンズの焦点距離を多項式補間式で求めることで
実現できる。このように算出されたレンズの焦点距離は
奥行きデータ算出装置４２に送られる。This zoom value is calculated by the lens focal length calculating device 2
The lens focal length calculating device 24 calculates the focal length of the lens common to the base camera head 51 and the measuring camera head 52 from this zoom value. The calculation of the focal length of the common lens is performed in the same manner as in the third embodiment.
The camera calibration is performed for each zoom value in advance, and the table is stored in a table.
This can be done by subtracting this table from the zoom value sent from. In order to cope with a continuous change of the zoom value, a polynomial interpolation formula is calculated based on the values in the table, and the focal length of the lens at the time of the zoom value sent from the zoom value detection device 23 is calculated. Is obtained by a polynomial interpolation formula. The focal length of the lens calculated in this way is sent to the depth data calculation device 42.
【００７１】以上により、奥行きデータ算出装置４２
は、ベースカメラヘッド５１から出力される画素単位の
画像データと各測定用カメラヘッド５２から出力される
画素単位の画像データ、及びレンズ焦点距離２４で算出
されたベースカメラヘッド５１と測定用カメラヘッド５
２に共通のレンズの焦点距離を得ることになる。As described above, the depth data calculating device 42
Are pixel-based image data output from the base camera head 51, pixel-based image data output from each measurement camera head 52, and the base camera head 51 and the measurement camera head calculated by the lens focal length 24. 5
2 will have a common lens focal length.
【００７２】奥行きデータ算出装置４２では、ベースカ
メラヘッド５１で撮影された画素単位の画像データと各
測定用カメラヘッド５２で撮影された画素単位の画像デ
ータがそれぞれの専用領域に１画面分づつ保存される。
この後、ベースカメラヘッド５１で撮影された画像デー
タの各画素毎に、各測定用カメラヘッド５２で撮影され
た画像での対応する画素位置を決定するために、第１の
実施例と同様の方法でマッチング処理を行う。次に、第
１の実施例で示した方法と同様に、ベースカメラヘッド
５１で撮影された画像に対して画素毎の奥行きデータを
算出し、この奥行きデータとそれに対応する画像データ
が３次元画像合成装置３へ出力される。但し、第１の実
施例では共通のレンズの焦点距離Ｆは固定値であった
が、本実施例では可変値で、ズーム値を変更する毎に異
なる値となる。In the depth data calculating device 42, image data in pixel units photographed by the base camera head 51 and image data in pixel units photographed by each measurement camera head 52 are stored in a dedicated area for each screen. Is done.
Thereafter, for each pixel of the image data photographed by the base camera head 51, the same pixel position as in the first embodiment is determined in order to determine the corresponding pixel position in the image photographed by each measuring camera head 52. Perform matching processing by the method. Next, similarly to the method described in the first embodiment, depth data for each pixel is calculated for an image captured by the base camera head 51, and the depth data and the corresponding image data are converted into a three-dimensional image. Output to the synthesizing device 3. However, in the first embodiment, the focal length F of the common lens is a fixed value, but in the present embodiment, it is a variable value and changes each time the zoom value is changed.
【００７３】３次元画像合成装置３では、第１の実施例
と同様の方法で、２つの入力ポートで、奥行きデータ算
出装置４２から出力される奥行きデータと画像データ及
び、奥行きデータ算出装置４２から出力されるデータと
画素位置の対応している、奥行きデータと画像データと
をこれとは別のポートで受け取る。この別ポートから入
力される奥行きデータと画像データは、本実施例と同様
の方法で生成された実写映像に対する奥行きデータと画
像データでも、計算機で生成したものでもよく、前者の
場合であれば実写同士の位置関係を考慮した画像合成に
なり、後者の場合であれば実写と計算機生成の画像の位
置関係を考慮した画像合成が行える。入力後、入力され
た２つの奥行きデータに対してどちらが視点の側に近い
かを比較をする。比較の結果、視点の側に近いと判断さ
れた方の奥行きデータに対応する画像データを合成画像
データとして出力する。In the three-dimensional image synthesizing device 3, the depth data and image data output from the depth data calculating device 42 and the depth data calculating device 42 from the depth data calculating device 42 are input through two input ports in the same manner as in the first embodiment. Depth data and image data corresponding to the output data and the pixel position are received at another port. The depth data and image data input from the separate port may be depth data and image data for a real video image generated in the same manner as in the present embodiment, or may be generated by a computer. Image synthesis takes into account the positional relationship between the images, and in the latter case, image synthesis can be performed in consideration of the positional relationship between the actual image and the image generated by the computer. After the input, which of the two input depth data is closer to the viewpoint side is compared. As a result of the comparison, image data corresponding to the depth data determined to be closer to the viewpoint is output as composite image data.
【００７４】なお、奥行きデータ算出装置４２におい
て、マッチングの効率を上げるために、マルチカメラヘ
ッド４１で撮影した画像に対して、一旦、画像平滑化フ
ィルタやエッジ強調フィルタなど画像フィルタ処理をし
てから、マッチング処理をしても良い。In order to increase the efficiency of matching in the depth data calculating device 42, the image photographed by the multi-camera head 41 is subjected to an image filtering process such as an image smoothing filter or an edge emphasis filter. , A matching process may be performed.
【００７５】以上のように第５の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。As described above, according to the fifth embodiment, a plurality of photographed images under complex situations and conditions, and a complicated image taken by changing the photographing position and direction of the camera and the change of the zoom value in a timely manner. It is possible to execute image synthesis in a form that takes into account the positional relationship between a real video image and an image generated by a computer under conditions and conditions.
【００７６】以下本発明の第６の実施例の画像合成装置
について、（図６）を参照しながら説明する。Hereinafter, an image synthesizing apparatus according to a sixth embodiment of the present invention will be described with reference to FIG.
【００７７】（図６）は本発明の実施例における画像合
成装置の構成を示すものである。（図６）において、４
１はマルチカメラヘッド、４２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、１２は記憶装置、３は３次元画像合成装置、５
０は同期ズーム変更装置、５１はベースカメラヘッド、
５２は測定用カメラヘッドである。但し、マルチカメラ
ヘッド４１を構成するベースカメラヘッド５１と複数の
測定用カメラヘッド５２のレンズ系は同じもので光軸は
平行、ベースカメラヘッド５１に対する各測定用カメラ
ヘッド５２の相対的な位置関係は既知とする。FIG. 6 shows the configuration of the image synthesizing apparatus according to the embodiment of the present invention. (FIG. 6)
1 is a multi-camera head, 42 is a depth data calculating device, 23 is a zoom value detecting device, 24 is a lens focal length calculating device, 12 is a storage device, 3 is a three-dimensional image synthesizing device, 5
0 is a synchronous zoom changing device, 51 is a base camera head,
52 is a camera head for measurement. However, the lens system of the base camera head 51 and the plurality of measurement camera heads 52 constituting the multi-camera head 41 is the same, the optical axes are parallel, and the relative positional relationship of each measurement camera head 52 with respect to the base camera head 51. Is known.
【００７８】以上のように構成された画像合成装置につ
いて、以下にその動作を説明するが、マルチカメラヘッ
ド４１、奥行きデータ算出装置４２、ズーム値検出装置
２３、レンズ焦点距離算出装置２４までの動きは、第５
の実施例と全く同様なのでここでは省略する。The operation of the image synthesizing apparatus configured as described above will be described below. The operation of the multi-camera head 41, the depth data calculating apparatus 42, the zoom value detecting apparatus 23, and the lens focal length calculating apparatus 24 will be described. Is the fifth
Since it is completely the same as the embodiment, the description is omitted here.
【００７９】次に、奥行きデータ算出装置４２で求めら
れた、ベースカメラヘッド５１で撮影した画像の各画素
に対応する奥行きデータと画像データは、どの画素に対
応するものかが分かるような形で、記憶装置１２に保存
される。Next, the depth data and the image data corresponding to each pixel of the image photographed by the base camera head 51, obtained by the depth data calculating device 42, are in such a form that it is possible to know which pixel corresponds. Is stored in the storage device 12.
【００８０】３次元画像合成装置３は２つの入力ポート
で、このように記憶装置１２に保存されたベースカメラ
ヘッド５１で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。The three-dimensional image synthesizing device 3 has two input ports. Depth data and image data corresponding to each pixel of the image captured by the base camera head 51 stored in the storage device 12 as described above. The depth data and the image data corresponding to the pixel position are received. Next, in the same manner as in the first embodiment, the image stored in the storage device 12 and the image input from a port different from the storage device 12 are combined, and image combined data is output. In this embodiment, the storage device 12 and the three-dimensional image device 3 are connected by a bus. However, if a data transmission medium such as a floppy disk or a CDROM and a drive device for the medium are provided,
Data can be exchanged via a data transmission medium.
【００８１】以上のように第６の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。また、奥行き値データ付きの画
像データを一旦保存しておき、保存した画像との画像を
位置関係を考慮した形での画像合成を実行することも可
能である。As described above, according to the sixth embodiment, a plurality of photographed images under a complicated situation or condition, and a complicated image and a complex image taken by changing the photographing position and direction of the camera and the change of the zoom value immediately. It is possible to execute image synthesis in a form that takes into account the positional relationship between a real video image and an image generated by a computer under conditions and conditions. Further, it is also possible to temporarily store image data with depth value data, and to execute image synthesis in a form in which a positional relationship with the stored image is taken into consideration.
【００８２】[0082]
【発明の効果】以上のように本発明は上記した構成によ
って、ベースカメラヘッドで撮影した画像に対して、画
素単位での奥行きデータと画像データを取り出せ、奥行
きデータを比較した形での画像合成が可能である。As described above, according to the present invention, it is possible to extract depth data and image data in units of pixels from an image photographed by a base camera head and to synthesize an image in a form in which the depth data is compared. Is possible.
【００８３】本発明では、マルチカメラヘッドがベース
カメラヘッドの他に複数の測定用カメラヘッドを備えて
いるので、多くの場合、ベースカメラヘッドに写ってい
る領域（点）は、ある測定用のカメラには無くても、別
の測定用カメラヘッドには写っているのでそれを用いて
奥行きデータを決定することや、まず奥行きデータを求
められる画素についてのみ奥行きデータを決定してお
き、決定不能な画素に対しては、周囲に存在する奥行き
データが決定された画素の奥行きデータを用いて算出す
ることにより、任意の撮影画像に対して、全ての画素に
おける奥行きデータを決定することができる。In the present invention, since the multi-camera head includes a plurality of measurement camera heads in addition to the base camera head, in many cases, the area (point) reflected on the base camera head is a certain measurement area. Even if it is not in the camera, it is reflected on another camera head for measurement, so you can use it to determine depth data, or first determine depth data only for pixels for which depth data is required, and it can not be determined By calculating the depth data of the surrounding pixels by using the depth data of the pixels whose depth data is determined, the depth data of all the pixels can be determined for an arbitrary captured image.
【００８４】また、繰り返しパターンが存在するような
状況においても、本発明ではベースカメラヘッドの撮影
画像中のある領域に対する奥行きデータは一定であると
いう条件と、複数の測定用のカメラで複数の異なる位置
から撮影しているという条件を使って、例えば度数分布
等の評価を行うことにより、奥行きデータを一意に決定
することができる。In a situation where a repetitive pattern exists, in the present invention, the condition that the depth data for a certain area in the image captured by the base camera head is constant and a plurality of different measurement cameras are used. The depth data can be uniquely determined by, for example, evaluating the frequency distribution or the like using the condition that the image is taken from the position.
【００８５】本発明ではベースカメラヘッドと測定用の
カメラがマルチカメラヘッドとして一体化されているの
で、方向と位置の変更は問題なく即応できる。また、本
発明でズーム値検出装置とレンズ焦点距離算出装置を備
えたものに関しては、ズーム値を変更した場合には、ま
ず、そのズーム値をズーム値検出装置で読み取り、次
に、読み取ったズーム値からレンズの焦点距離をレンズ
焦点距離算出装置で算出した後、奥行きデータを求める
ので、ズーム値の変更も即応的に可能な構成になってい
る。In the present invention, since the base camera head and the camera for measurement are integrated as a multi-camera head, the direction and position can be changed immediately without any problem. Further, with respect to the zoom lens having the zoom value detecting device and the lens focal length calculating device according to the present invention, when the zoom value is changed, first, the zoom value is read by the zoom value detecting device, and then the read zoom value is read. Since the depth data is calculated after calculating the focal length of the lens from the value by the lens focal length calculation device, the zoom value can be changed immediately.
【００８６】また、本発明では、３次元画像合成装置の
２つの入力に対して、マルチカメラヘッドと奥行きデー
タ算出装置で生成した奥行きデータと画像データを入力
すれば、実写映像と実写映像との位置関係を考慮した画
像合成を行うことができ、入力の片方に計算機で生成し
た奥行きデータと画像データを入力すれば、実写映像と
計算機で生成した画像との位置関係を考慮した画像合成
を行うことができる。Further, according to the present invention, the depth data and the image data generated by the multi-camera head and the depth data calculation device are input to the two inputs of the three-dimensional image synthesizing device. Image composition taking into account the positional relationship can be performed. If depth data and image data generated by a computer are input to one of the inputs, image composition taking into account the positional relationship between the actual image and the image generated by the computer is performed. be able to.
【００８７】更に、本発明において記憶装置を設けたも
のに関しては、ベースカメラヘッドで撮影した画像に対
する奥行きデータと画像データを保存できるようにして
いる。従って、一旦撮影後保存しておいた画像との位置
関係を考慮した画像合成も可能な構成にしている。Further, with respect to the storage device provided in the present invention, depth data and image data for an image captured by the base camera head can be stored. Therefore, the configuration is such that image composition can be performed in consideration of the positional relationship with the image once stored after photographing.
【００８８】以上により、本発明は複雑な状況や条件下
における複数の実写映像や、複雑な状況や条件下におけ
る実写映像と計算機で生成した画像を位置関係を考慮し
た形での画像合成を実行することが可能である。As described above, according to the present invention, a plurality of real shot images under a complicated situation or condition, or an image synthesized by a computer and an image generated by a computer under a complicated situation or condition are executed in consideration of a positional relationship. It is possible to
【図１】本発明の第１の実施例における画像合成装置の
構成図FIG. 1 is a configuration diagram of an image composition device according to a first embodiment of the present invention.
【図２】本発明の第２の実施例における画像合成装置の
構成図FIG. 2 is a configuration diagram of an image synthesizing apparatus according to a second embodiment of the present invention.
【図３】本発明の第３の実施例における画像合成装置の
構成図FIG. 3 is a configuration diagram of an image synthesizing apparatus according to a third embodiment of the present invention.
【図４】本発明の第４の実施例における画像合成装置の
構成図FIG. 4 is a configuration diagram of an image synthesizing apparatus according to a fourth embodiment of the present invention.
【図５】本発明の第５の実施例における画像合成装置の
構成図FIG. 5 is a configuration diagram of an image synthesizing apparatus according to a fifth embodiment of the present invention.
【図６】本発明の第６の実施例における画像合成装置の
構成図FIG. 6 is a configuration diagram of an image composition device according to a sixth embodiment of the present invention.
【図７】第１の従来例におけるクロマキーを用いた画像
合成装置の説明図FIG. 7 is an explanatory diagram of an image synthesizing apparatus using a chroma key in the first conventional example.
【図８】本発明で実現したい位置関係を考慮した画像合
成の説明図FIG. 8 is an explanatory diagram of image composition in consideration of a positional relationship desired to be realized in the present invention
【図９】本発明の第１、第２、第５、第６の実施例にお
ける奥行きデータ算出のための数理モデルの説明図FIG. 9 is an explanatory diagram of a mathematical model for calculating depth data in the first, second, fifth, and sixth embodiments of the present invention.
【図１０】本発明の第３、第４の実施例における奥行き
データ算出のための数理モデルの説明図FIG. 10 is an explanatory diagram of a mathematical model for calculating depth data in the third and fourth embodiments of the present invention.
１ マルチカメラヘッド ２ 奥行きデータ算出装置 ３ ３次元画像合成装置 １０ ベースカメラヘッド １１ 測定用カメラヘッド １２ 記憶装置 ２１ マルチカメラヘッド ２２ 奥行きデータ算出装置 ２３ ズーム値検出装置 ２４ レンズ焦点距離算出装置 ３０ ベースカメラヘッド ３１ 測定用カメラヘッド ４１ マルチカメラヘッド ４２ 奥行きデータ算出装置 ５０ 同期ズーム変更装置 ５１ ベースカメラヘッド ５２ 測定用カメラヘッド DESCRIPTION OF SYMBOLS 1 Multi-camera head 2 Depth data calculation device 3 Three-dimensional image synthesizing device 10 Base camera head 11 Measurement camera head 12 Storage device 21 Multi-camera head 22 Depth data calculation device 23 Zoom value detection device 24 Lens focal length calculation device 30 Base camera Head 31 Camera head for measurement 41 Multi-camera head 42 Depth data calculation device 50 Synchronous zoom change device 51 Base camera head 52 Camera head for measurement
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鷺島 敬之 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 審査官 井上 信一 (56)参考文献 特開 平１−196672（ＪＰ，Ａ) 特開 平５−244630（ＪＰ，Ａ) 特開 平６−28449（ＪＰ，Ａ) 特開 平６−30336（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/262 - 5/265 G06T 1/00 - 3/00 ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Takayuki Sagishima 1006 Kazuma Kadoma, Kadoma City, Osaka Examiner, Matsushita Electric Industrial Co., Ltd. Shinichi Inoue (56) References JP-A-1-196672 (JP, A) JP-A-5-244630 (JP, A) JP-A-6-28449 (JP, A) JP-A-6-30336 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) H04N 5/262-5/265 G06T 1/00-3/00
Claims (12)
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して画素単位に奥行きデータを計算
し、前記ベースカメラヘッドの画像データと奥行きデー
タを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。1. A multi-camera head comprising a base camera head and a plurality of measurement camera heads, and image data output from the multi-camera head being input to the base camera head image data of the multi-camera head. A depth data calculation device that calculates depth data for each pixel, and outputs image data and depth data of the base camera head, image data output from the depth data calculation device,
Depth data and image data and depth data input from a different system from the multi- camera are input, the two depth data are compared, and one of the two image data is selected based on the comparison result. To compose the image,
An image synthesizing device, comprising: a three-dimensional image synthesizing device that outputs a synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して画素単位に奥行きデータを計算
し、前記ベースカメラヘッドの画像データと奥行きデー
タを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。2. A multi-camera head comprising a base camera head and a plurality of measurement camera heads; and image data output from the multi-camera head as inputs, the image data of the base camera head of the multi-camera head being converted into image data. A depth data calculation device that calculates depth data for each pixel, and outputs image data and depth data of the base camera head, image data output from the depth data calculation device,
A storage device that stores depth data, image data obtained from the storage device, depth data and image data input from a different system from the storage device, and depth data as inputs, and compares the two pieces of depth data. , One of the two image data according to the comparison result.
A three-dimensional image synthesizing device for synthesizing images by selecting one of them and outputting the synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して、前記マルチカメラヘッドの測定
用カメラヘッドの画像から奥行きデータを決定できる画
素についてまず奥行きデータを算出し、残りの画素につ
いては奥行きデータの決定している画素の奥行きデータ
から算出することで画素単位に奥行きデータを計算し、
前記ベースカメラヘッドの画像データと奥行きデータを
出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。3. A multi-camera head comprising a base camera head and a plurality of measurement camera heads, and image data output from the multi-camera head being input to the base camera head image data of the multi-camera head. On the other hand, first, depth data is calculated for pixels whose depth data can be determined from the image of the measurement camera head of the multi-camera head, and the remaining pixels are calculated from the depth data of the pixels whose depth data is determined. Calculate depth data for each pixel,
A depth data calculation device that outputs image data and depth data of the base camera head, image data output from the depth data calculation device,
Depth data and image data and depth data input from a different system from the multi- camera are input, the two depth data are compared, and one of the two image data is selected based on the comparison result. To compose the image,
An image synthesizing device, comprising: a three-dimensional image synthesizing device that outputs a synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して、前記マルチカメラヘッドの測定
用カメラヘッドの画像から奥行きデータを決定できる画
素についてまず奥行きデータを算出し、残りの画素につ
いては奥行きデータの決定している画素の奥行きデータ
から算出することで画素単位に奥行きデータを計算し、
前記ベースカメラヘッドの画像データと奥行きデータを
出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。4. A multi-camera head comprising a base camera head and a plurality of measurement camera heads; and image data output from the multi-camera head as input, the image data of the base camera head of the multi-camera head being converted to image data. On the other hand, first, depth data is calculated for pixels whose depth data can be determined from the image of the measurement camera head of the multi-camera head, and the remaining pixels are calculated from the depth data of the pixels whose depth data is determined. Calculate depth data for each pixel,
A depth data calculation device that outputs image data and depth data of the base camera head, image data output from the depth data calculation device,
A storage device that stores depth data, image data obtained from the storage device, depth data and image data input from a different system from the storage device, and depth data as inputs, and compares the two pieces of depth data. , One of the two image data according to the comparison result.
And a three-dimensional image synthesizing device for synthesizing the images by selecting one of them and outputting the synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、前記ベースカメラヘッドの画像データと
奥行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。5. A multi-camera head comprising a base camera head and a plurality of measuring camera heads; a zoom value detecting device for reading a zoom value of a base camera head lens of the multi-camera head; and a zoom value detecting device. A lens focal length calculating device that calculates a focal length of a lens of the base camera head of the multi-camera using the output zoom value as an input; and a focal length of the lens output from the lens focal length calculating device and the multi-camera head. Depth data calculation device that receives output image data as input, calculates depth data in pixel units for image data of the base camera head of the multi-camera head, and outputs image data and depth data of the base camera head. And image data output from the depth data calculation device. Ta,
Depth data and image data and depth data input from a different system from the multi- camera are input, the two depth data are compared, and one of the two image data is selected based on the comparison result. To compose the image,
An image synthesizing device, comprising: a three-dimensional image synthesizing device that outputs a synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、前記ベースカメラヘッドの画像データと
奥行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。6. A multi-camera head comprising a base camera head and a plurality of measuring camera heads; a zoom value detecting device for reading a zoom value of a base camera head lens of the multi-camera head; and a zoom value detecting device. A lens focal length calculating device that calculates a focal length of a lens of the base camera head of the multi-camera using the output zoom value as an input; and a focal length of the lens output from the lens focal length calculating device and the multi-camera head. Depth data calculation device that receives output image data as input, calculates depth data in pixel units for image data of the base camera head of the multi-camera head, and outputs image data and depth data of the base camera head. And image data output from the depth data calculation device. Ta,
A storage device that stores depth data, image data obtained from the storage device, depth data and image data input from a different system from the storage device, and depth data as inputs, and compares the two pieces of depth data. , One of the two image data according to the comparison result.
And a three-dimensional image synthesizing device for synthesizing the images by selecting one of them and outputting the synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。7. A multi-camera head comprising a base camera head and a plurality of measuring camera heads; a zoom value detecting device for reading a zoom value of a base camera head lens of the multi-camera head; and a zoom value detecting device. A lens focal length calculating device that calculates a focal length of a lens of the base camera head of the multi-camera using the output zoom value as an input; and a focal length of the lens output from the lens focal length calculating device and the multi-camera head. With the output image data and the input, the depth data is first calculated for the image data of the base camera head of the multi-camera head, for the pixels for which the depth data can be determined from the image of the measurement camera head of the multi-camera head. The depth data is determined for the remaining pixels. Depth data computed for each pixel by calculating the depth data of the pixel, and the depth data calculation unit for outputting image data and depth data of the base camera head, the image data output from the depth data calculation apparatus,
Depth data and image data and depth data input from a different system from the multi- camera are input, the two depth data are compared, and one of the two image data is selected based on the comparison result. To compose the image,
An image synthesizing device, comprising: a three-dimensional image synthesizing device that outputs a synthesized image.
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。8. A multi-camera head comprising a base camera head and a plurality of measuring camera heads; a zoom value detecting device for reading a zoom value of a base camera head lens of the multi-camera head; and a zoom value detecting device. A lens focal length calculating device that calculates a focal length of a lens of the base camera head of the multi-camera using the output zoom value as an input; and a focal length of the lens output from the lens focal length calculating device and the multi-camera head. With the output image data and the input, the depth data is first calculated for the image data of the base camera head of the multi-camera head, for the pixels for which the depth data can be determined from the image of the measurement camera head of the multi-camera head. The depth data is determined for the remaining pixels. Depth data computed for each pixel by calculating the depth data of the pixel, and the depth data calculation unit for outputting image data and depth data of the base camera head, the image data output from the depth data calculation apparatus,
A storage device that stores depth data, image data obtained from the storage device, depth data and image data input from a different system from the storage device, and depth data as inputs, and compares the two pieces of depth data. , One of the two image data according to the comparison result.
And a three-dimensional image synthesizing device for synthesizing the images by selecting one of them and outputting the synthesized image.
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、前記ベースカメラヘッドの画像データと
奥行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。9. A multi-camera head comprising a base camera head, a plurality of measurement camera heads and a synchronous zoom changing device capable of simultaneously changing a zoom value; and a multi-camera synchronous zoom changing device. A zoom value detection device that reads a zoom value of the lens; a lens focal length calculation device that calculates a focal length of a lens of the base camera head of the multi-camera by using a zoom value output from the zoom value detection device as an input; Inputting the focal length of the lens output from the distance calculation device and the image data output from the multi-camera head, calculate depth data in pixel units for the image data of the base camera head of the multi-camera head, Depth data calculation for outputting image data and depth data of the base camera head Apparatus and the image data output from the depth data calculation apparatus,
Depth data and image data and depth data input from a different system from the multi- camera are input, the two depth data are compared, and one of the two image data is selected based on the comparison result. To compose the image,
An image synthesizing device, comprising: a three-dimensional image synthesizing device that outputs a synthesized image.
ラヘッドとズーム値を同時に変更することが可能な同期
ズーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、 前記ベースカメラヘッドの画像データと奥行きデータを
出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。10. A multi-camera head comprising a base camera head, a plurality of measuring camera heads and a synchronous zoom changing device capable of simultaneously changing a zoom value, and a multi-camera synchronous zoom changing device. A zoom value detection device that reads a zoom value of the lens; a lens focal length calculation device that calculates a focal length of a lens of the base camera head of the multi-camera by using a zoom value output from the zoom value detection device as an input; Inputting the focal length of the lens output from the distance calculation device and the image data output from the multi-camera head, calculate depth data in pixel units for the image data of the base camera head of the multi-camera head, Depth data for outputting image data and depth data of the base camera head A calculating device, image data output from the depth data calculating device,
A storage device that stores depth data, image data obtained from the storage device, depth data and image data input from a different system from the storage device, and depth data as inputs, and compares the two pieces of depth data. , One of the two image data according to the comparison result.
And a three-dimensional image synthesizing device for synthesizing the images by selecting one of them and outputting the synthesized image.
ラヘッドとズーム値を同時に変更することが可能な同期
ズーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。11. A multi-camera head comprising a base camera head, a plurality of measurement camera heads and a synchronous zoom changing device capable of simultaneously changing a zoom value, and a multi-camera synchronous zoom changing device. A zoom value detection device that reads a zoom value of the lens; a lens focal length calculation device that calculates a focal length of a lens of the base camera head of the multi-camera by using a zoom value output from the zoom value detection device as an input; A camera for measuring the multi-camera head with respect to the image data of the base camera head of the multi-camera head, with the focal length of the lens output from the distance calculation device and the image data output from the multi-camera head as inputs. Pixels for which depth data can be determined from the head image Depth data for the remaining pixels, calculating depth data in pixel units by calculating from the depth data of the pixels for which the depth data is determined, and outputting the base camera head image data and depth data. A calculating device, image data output from the depth data calculating device,
Depth data and image data and depth data input from a different system from the multi- camera are input, the two depth data are compared, and one of the two image data is selected based on the comparison result. To compose the image,
An image synthesizing device, comprising: a three-dimensional image synthesizing device that outputs a synthesized image.
ラヘッドとズーム値を同時に変更することが可能な同期
ズーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。12. A multi-camera head comprising a base camera head, a plurality of measurement camera heads and a synchronous zoom changing device capable of simultaneously changing a zoom value, and a multi-camera synchronous zoom changing device. A zoom value detection device that reads a zoom value of the lens; a lens focal length calculation device that calculates a focal length of a lens of the base camera head of the multi-camera by using a zoom value output from the zoom value detection device as an input; A camera for measuring the multi-camera head with respect to the image data of the base camera head of the multi-camera head, with the focal length of the lens output from the distance calculation device and the image data output from the multi-camera head as inputs. Pixels for which depth data can be determined from the head image Depth data for the remaining pixels, calculating depth data in pixel units by calculating from the depth data of the pixels for which the depth data is determined, and outputting the base camera head image data and depth data. A calculating device, image data output from the depth data calculating device,
A storage device that stores depth data, image data obtained from the storage device, depth data and image data input from a different system from the storage device, and depth data as inputs, and compares the two pieces of depth data. , One of the two image data according to the comparison result.
And a three-dimensional image synthesizing device for synthesizing the images by selecting one of them and outputting the synthesized image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15091894A JP3331752B2 (en) | 1994-07-01 | 1994-07-01 | Image synthesis device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15091894A JP3331752B2 (en) | 1994-07-01 | 1994-07-01 | Image synthesis device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0818858A JPH0818858A (en) | 1996-01-19 |
| JP3331752B2 true JP3331752B2 (en) | 2002-10-07 |
Family
ID=15507252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15091894A Expired - Lifetime JP3331752B2 (en) | 1994-07-01 | 1994-07-01 | Image synthesis device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3331752B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7126630B1 (en) | 2001-02-09 | 2006-10-24 | Kujin Lee | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method |
| CN1531826A (en) * | 2001-02-09 | 2004-09-22 | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
| JP4202943B2 (en) * | 2004-02-13 | 2008-12-24 | 株式会社日立製作所 | Multi camera system |
| JP6712453B2 (en) | 2015-10-16 | 2020-06-24 | 富士フイルム株式会社 | Augmented reality providing system and method, information processing device, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2709066B2 (en) * | 1988-02-01 | 1998-02-04 | 株式会社日立製作所 | A method of synthesizing a camera image and a computer-generated image |
| JPH05244630A (en) * | 1992-03-02 | 1993-09-21 | Nippon Hoso Kyokai <Nhk> | Chroma key synthesis system |
| JPH0628449A (en) * | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | Image synthesizing device |
| JP3193930B2 (en) * | 1992-07-08 | 2001-07-30 | 松下電器産業株式会社 | Image input synthesis device |
-
1994
- 1994-07-01 JP JP15091894A patent/JP3331752B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0818858A (en) | 1996-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| EP1785941B1 (en) | Virtual view specification and synthesis in free viewpoint television | |
| US8441518B2 (en) | Imaging apparatus, imaging control method, and recording medium | |
| JP2001346226A (en) | Image processor, stereoscopic photograph print system, image processing method, stereoscopic photograph print method, and medium recorded with processing program | |
| JP2011060216A (en) | Device and method of processing image | |
| JPH07255681A (en) | Medical picture processing device | |
| CN102724398B (en) | Image data providing method, combination method thereof, and presentation method thereof | |
| JP4193342B2 (en) | 3D data generator | |
| JP3331752B2 (en) | Image synthesis device | |
| KR100837776B1 (en) | Apparatus and Method for Converting 2D Images to 3D Object | |
| JP2009258005A (en) | Three-dimensional measuring device and three-dimensional measuring method | |
| WO2023112971A1 (en) | Three-dimensional model generation device, three-dimensional model generation method, and three-dimensional model generation program | |
| JP2821042B2 (en) | Image synthesis device | |
| JP2005141655A (en) | Three-dimensional modeling apparatus and three-dimensional modeling method | |
| JP3924576B2 (en) | Three-dimensional measurement method and apparatus by photogrammetry | |
| JP3614898B2 (en) | PHOTOGRAPHIC APPARATUS, IMAGE PROCESSING APPARATUS, AND STEREOGRAPHIC CREATION METHOD | |
| JP2000028354A (en) | Three-dimensional image processing device | |
| JP3193930B2 (en) | Image input synthesis device | |
| JPH09237346A (en) | Method for composing partial stereoscopic model and method for preparing perfect stereoscopic model | |
| JPH10255071A (en) | Image processing system | |
| JP3135162B2 (en) | Distance measuring device | |
| WO1995026539A1 (en) | Method and apparatus for estimating motion | |
| JP2834790B2 (en) | Image information generation method | |
| JPH05183808A (en) | Picture information input device and picture synthesizer device | |
| JPH10240967A (en) | Graphics animation device for three-dimensional object using model picture and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070726 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080726 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090726 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090726 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100726 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110726 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110726 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120726 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120726 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130726 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |