JP4506501B2 - Image composition device and imaging system - Google Patents
Image composition device and imaging system Download PDFInfo
- Publication number
- JP4506501B2 JP4506501B2 JP2005043367A JP2005043367A JP4506501B2 JP 4506501 B2 JP4506501 B2 JP 4506501B2 JP 2005043367 A JP2005043367 A JP 2005043367A JP 2005043367 A JP2005043367 A JP 2005043367A JP 4506501 B2 JP4506501 B2 JP 4506501B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- output
- input
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、複数の撮影装置を使用して広視野角または高解像度の映像を得る撮像システム、及び、そのような撮像システムで使用する画像合成装置に関する。 The present invention relates to an imaging system that obtains a wide viewing angle or high-resolution video using a plurality of imaging devices, and an image composition device used in such an imaging system.
複数の撮影装置を使って広視野角または高解像度の映像を得る撮影システムとして、ビデオモザイキング技術として知られる技術や、特許文献１に記載の技術がある。特許文献１に記載の技術は、１つの広画角撮影装置と複数の通常画角撮影装置を備え、１つの広画角撮影装置を基準として各々の通常画角撮影装置の映像を合成した映像を生成するものである。これらの技術は、いずれも、複数の撮影装置の内部パラメタ（焦点距離など）及び外部パラメタ（位置や姿勢など）を推定し、各々の撮影映像に該パラメタに基づいた変換を施した上で合成処理を行うことで、一見なめらかにつながった広視野角または高解像度の映像の生成を行うものである。
There are a technique known as a video mosaicing technique and a technique described in
従来の技術においては、複数の撮影装置の投影中心位置が異なることに起因する見え隠れの矛盾が原理的に生じるため、それによる画質の劣化が避けられなかった。同様に、鏡面反射の状態など、指向性を持つ光学特性に関する矛盾も原理的に発生するため、それによる画質の劣化も避けられなかった。 In the prior art, inconsistency in visibility due to differences in the projection center positions of a plurality of photographing apparatuses occurs in principle, and thus image quality deterioration due to this is unavoidable. Similarly, inconsistencies with respect to optical characteristics having directivity, such as the state of specular reflection, occur in principle, and image quality deterioration due to this is unavoidable.
本発明では、前記の課題を解決するため、基準となる画像データを撮影する１つの全体撮影装置と、該全体撮影装置の撮影範囲の一部分を含むような範囲を撮影する詳細撮影装置を備え、さらに、前記全体撮影装置の撮影した画像データに幾何学的な変換を施して全体画像データを生成する手段と、前記詳細撮影装置が撮影した画像データに幾何学的な変換を施して詳細画像データを生成する手段と、前記全体画像データと前記詳細画像データを比較することで画素毎の整合性の有無を判定する手段と、出力する画像データの画素値を前記判定結果が「整合性なし」となった画素については前記全体画像データを使って決定し前期判定結果が「整合性あり」となった画素については前記詳細画像データを使って決定する手段と、を備えるようにした。また、前記整合性の有無については、前記全体画像データの画素値と前記詳細画像データの画素値との差異が所定の許容範囲内に収まっている場合に「整合性あり」、そうでない場合に「整合性なし」と判定するようにした。 In order to solve the above-described problems, the present invention includes one whole photographing device that photographs image data serving as a reference, and a detailed photographing device that photographs a range including a part of the photographing range of the whole photographing device, Further, means for performing geometric transformation on the image data photographed by the whole photographing apparatus to generate whole image data, and detailed image data by performing geometric transformation on the image data photographed by the detailed photographing apparatus Generating means, means for determining the presence or absence of consistency for each pixel by comparing the whole image data and the detailed image data, and the determination result of the pixel value of the image data to be output is “no consistency” A pixel that is determined using the entire image data and a pixel whose previous determination result is “consistent” is determined using the detailed image data. It was. As for the presence / absence of consistency, “consistency” is obtained when the difference between the pixel value of the whole image data and the pixel value of the detailed image data is within a predetermined allowable range, and otherwise. Judged to be “no consistency”.
なお、上記所定の許容範囲は、例えば、以下に例示するように、画素値の差異の種々の評価方法に応じて決めた適当な値を使用すればよい。 As the predetermined allowable range, for example, an appropriate value determined according to various evaluation methods for the difference in pixel values may be used as exemplified below.
例えば、モノクロ画像であれば、各画素を８ビットの値で扱っている場合に、各々の画素値（０〜２５５）の差の絶対値を差異として評価する場合には、例えば「５以下」等を所定の許容範囲として使用してもよい。 For example, in the case of a monochrome image, when each pixel is handled with an 8-bit value and the absolute value of the difference between the pixel values (0 to 255) is evaluated as a difference, for example, “5 or less”. Etc. may be used as a predetermined tolerance.
また、カラー画像であれば、各々の画像を所定の変換式に基づいてモノクロ画像に変換した上で各々の画素値の差の絶対値を差異として評価する場合には、ある閾値Ｔを用いて「Ｔ以下」等を所定の許容範囲として使用してもよいし、ＵＣＳ表色系に変換した場合の色度点間の距離とＸＹＺ表色系に変換した場合のＹ値の差の絶対値とに基づいて差異を評価する場合には、ある閾値Ｔ１と別の閾値Ｔ２とを用いて「色度点間の距離がＴ１以下かつＹ値の差の絶対値がＴ２以下」等を所定の許容範囲として使用してもよい。 In the case of a color image, when each image is converted into a monochrome image based on a predetermined conversion formula and the absolute value of each pixel value difference is evaluated as a difference, a certain threshold value T is used. “T or less” or the like may be used as a predetermined allowable range, or the absolute value of the difference between the chromaticity points when converted to the UCS color system and the Y value when converted to the XYZ color system When a difference is evaluated based on the above, using a certain threshold value T1 and another threshold value T2, “the distance between chromaticity points is equal to or less than T1 and the absolute value of the difference between Y values is equal to or less than T2” or the like It may be used as an allowable range.
本発明によれば、１つの撮影装置で撮影した画像データと整合性のある画像データが撮像されることを保証しつつ、複数の撮影装置を使って高解像度の画像データを生成することが可能となる。 According to the present invention, it is possible to generate high-resolution image data using a plurality of photographing devices while ensuring that image data consistent with image data photographed by one photographing device is captured. It becomes.
以下、本発明の実施の形態について、実施例を用いて説明する。 Hereinafter, embodiments of the present invention will be described using examples.
以下、図１〜図２２及び図６０を用いて、第１の実施の形態について説明する。 Hereinafter, the first embodiment will be described with reference to FIGS. 1 to 22 and 60.
図１は、効果を説明するための概念図である。 FIG. 1 is a conceptual diagram for explaining the effect.
図１において、画像データ１１０は全体撮影装置２０１で撮影した画像データであり、画像データ１２０は左面撮影装置２０２で撮影した画像データであり、画像データ１３０は右面撮影装置２０３で撮影した画像データであり、画像データ１１１は、本実施例の画像合成装置２００に画像データ１１０と画像データ１２０と画像データ１３０を入力した場合に出力される画像データである。全体撮影装置２０１と左面撮影装置２０２と右面撮影装置２０３と画像合成装置２００に関しては、図２において説明する。
In FIG. 1, image data 110 is image data photographed by the
画像合成装置は、基本的に画像データ１１０から画像データ１１１を生成するが、その際、画像データ１１０と整合し得る範囲において、画像データ１２０に基づいて生成した画像データ１２１を画像データ１１１に合成し、画像データ１３０に基づいて生成した画像データ１３１を画像データ１１１に合成することで、画像データ１１１の一部分または全体の解像度を上げることを実現するものである。 The image synthesizing apparatus basically generates image data 111 from the image data 110. At this time, the image data 121 generated based on the image data 120 is combined with the image data 111 within a range that can be matched with the image data 110. Then, by combining the image data 131 generated based on the image data 130 with the image data 111, it is possible to increase the resolution of a part or the whole of the image data 111.
ここで「画像データ１１０と整合し得る範囲において」と限定しているのは、例えば、画像データ１１０と画像データ１３０において、人物１４０と人物１４１の重なり具合が互いに異なって見えているが、そのような不整合がある場合には、画像データ１１０における見え方を優先して画像データ１１１を生成する、ということである。なお、画像データ１１１の具体的な生成方法については、図２以降にて説明する。
Here, for example, in the range that can be matched with the image data 110, the overlap between the
なお、図１は、効果を説明するための概念図であり、高精細領域１２１及び高精細領域１３１の実際の形状は、図１で示した形とは大きく異なる場合もある。 FIG. 1 is a conceptual diagram for explaining the effect, and the actual shapes of the high-definition region 121 and the high-definition region 131 may be significantly different from the shape shown in FIG.
図２は、本実施例のシステムのシステム構成図である。 FIG. 2 is a system configuration diagram of the system according to the present embodiment.
図２において、全体撮影装置２０１の撮影した画像データは、映像入力部２１０を介して画像合成装置２００に入力され、入力データ記憶部２２０に格納される。同様に、左面撮影装置２０２及び右面撮影装置２０３の撮影した画像データは、映像入力部２１０を介して画像合成装置２００に入力され、入力データ記憶部２２０に格納される。全体撮影装置２０１の撮影画角は左面撮影装置２０２の撮影画角及び右面撮影装置２０３の撮影画角よりも広くなるように構成し、左面撮影装置２０２及び右面撮影装置２０３は全体撮影装置２０１の撮影している範囲内を撮影する。また、全体撮影装置２０１の撮像素子密度と、左面撮影装置２０２の撮像素子密度と、右面撮影装置２０３の撮像素子密度は、同程度となるように構成する。このように構成することにより、左面撮影装置２０２の撮影した画像データや右面撮影装置２０３の撮影した画像データは、全体撮影装置２０１の撮影した画像データの一部分をより詳細に撮影したものに近い画像データとなる。
In FIG. 2, image data captured by the whole
画像合成装置２００は、全体撮影装置２０１及び左面撮影装置２０２及び右面撮影装置２０３の撮影した画像データを取得する映像入力部２１０と、該取得した画像データを格納する入力データ記憶部２２０と、入力データ記憶部２２０及び中間データ記憶部２６０に格納されたデータに対してパラメタ記憶部２４０に格納されたパラメタを必要に応じて読み込みながら画像処理を行う画像処理部２３０と、パラメタ記憶部２４０に格納するパラメタを取得するパラメタ設定部２５０と、画像処理部２３０の処理によって出力される中間データを格納する中間データ記憶部２６０と、生成した画像データまたはデフォルトの画像データを出力する映像出力部２７０と、映像入力部２１０及び画像処理部２３０及び映像出力部２７０の各々の処理のタイミング制御を行う全体制御部２８０とを備えるように構成する。
The
なお、入力データ記憶部２２０に格納するデータに関しては図３を用いて、全体制御部２８０に格納するデータに関しては図４を用いて、パラメタ記憶部２４０に格納するデータに関しては図５を用いて、中間データ記憶部２６０に格納するデータに関しては図６を用いて、それぞれ説明する。
Note that FIG. 3 is used for data stored in the input
図３は、本実施例のシステムにおいて入力データ記憶部２２０に格納するデータの説明図である。
FIG. 3 is an explanatory diagram of data stored in the input
入力データ記憶部２２０は、全体制御部２８０からの制御信号にしたがって、全体撮影装置２０１の撮影した画像データを全体入力画像データ２２１に、左面撮影装置２０２の撮影した画像データを左面入力画像データ２２２に、右面撮影装置２０３の撮影した画像データを右面入力画像データ２２３に、それぞれ格納するように構成する。時系列画像データが入力される場合には、例えば、フレームバッファを２画面分用意して、一方が画像処理部２３０が処理するための処理用のフレームバッファ、他方が映像入力部２１０が画像データを書き込むための入力用フレームバッファとなるように、１フレーム毎に切り替えながら使用できるように構成すればよい。
In accordance with a control signal from the
図４は、本実施例のシステムにおいて全体制御部２８０に格納するデータの説明図である。
FIG. 4 is an explanatory diagram of data stored in the
全体制御部２８０は、全体入力状態フラグ２８１と、左面入力状態フラグ２８２と、右面入力状態フラグ２８３と、状態モードフラグ２８４と、デフォルト画像データ２８５とを格納できるように構成する。
The
全体入力状態フラグ２８１は、全体撮影装置２０１から画像データが入力されているか否かの状態を保持するフラグであり、全体撮影装置２０１からの画像データの入力の有無を映像入力部２１０を介して検出し、逐次更新するものである。同様に、左面入力状態フラグ２８２は左面撮影装置２０２から画像データが入力されているか否かの状態を保持するフラグであり、左面撮影装置２０２からの画像データの入力の有無を映像入力部２１０を介して検出し、逐次更新するものである。同様に、右面入力状態フラグ２８３は右面撮影装置２０３から画像データが入力されているか否かの状態を保持するフラグであり、右面撮影装置２０３からの画像データの入力の有無を映像入力部２１０を介して検出し、逐次更新するものである。また、状態モードフラグ２８４は画像合成装置２００の初期化を完了したか否かの状態を保持するフラグであり、初期値は「初期化未済」である。
The whole input state flag 281 is a flag that holds a state of whether or not image data is input from the whole photographing
デフォルト画像データ２８５は、全体撮影装置２０１から画像データが入力されていない場合に画像合成装置２００の出力する画像データである。本実施例においてはデフォルト画像データ２８５を全体制御部２８０に格納するものとしたが、中間データ記憶部２６０または映像出力部２７０に格納するように構成してもよい。
The
図５は、本実施例のシステムにおいてパラメタ記憶部２４０に格納するデータの説明図である。
FIG. 5 is an explanatory diagram of data stored in the
パラメタ記憶部２４０は、内部パラメタデータ２４１と、外部パラメタデータ２４２と、色調補正用データ２４３と、出力パラメタデータ２４４とを格納するように構成する。
The
内部パラメタデータ２４１は、全体撮影装置２０１と左面撮影装置２０２と右面撮影装置２０３のそれぞれの内部パラメタを保持するデータである。具体的には、投影方法や、焦点距離、レンズ歪みのパラメタ、軸の非直交性歪み、撮像面と光軸の交点の画像上での座標値、撮像素子の配置、などの撮影装置単体に関するパラメタのうち、必要なものを格納する。ここで、投影方法とは、等距離魚眼レンズ等を用いているのか、一般の透視投影で表されるレンズを用いているのか、といった情報のことである。
The
外部パラメタデータ２４２は、全体撮影装置２０１と左面撮影装置２０２との相対関係及び、全体撮影装置２０１と右面撮影装置２０３との相対関係を表すパラメタである。具体的には、例えば、全体撮影装置２０１の投影中心位置を座標原点にとった場合の左面撮影装置２０２の投影中心位置の３次元位置座標及び右面撮影装置２０３の投影中心位置の３次元位置座標と、全体撮影装置２０１の撮影姿勢を基準とした場合の左面撮影装置２０２の撮影姿勢を表す３次の回転行列及び全体撮影装置２０１の撮影姿勢を基準とした場合の右面撮影装置２０３の撮影姿勢を表す３次の回転行列と、を格納する。
The
色調補正用データ２４３は、全体撮影装置２０１と左面撮影装置２０２と右面撮影装置２０３の色調を合わせるためのデータである。周辺輝度の低下を補正するためのデータや色空間の違いを補正するためのデータ、異なる露出で撮影した画像データを基準露出で撮影した場合の画像データに変換するためのデータ、などのうち必要なものを格納する。
The color
出力パラメタデータ２４４は、画像合成装置２００の出力画像データの生成方法を定義するデータである。投影中心位置を全体撮影装置２０１の投影中心位置に等しくとり、座標系に関しても全体撮影装置２０１の座標系と等しくとった場合の、投影方法や画角などのパラメタを格納する。
The
図６は、本実施例のシステムにおいて中間データ記憶部２６０に格納するデータの説明図である。
FIG. 6 is an explanatory diagram of data stored in the intermediate
中間データ記憶部２６０は、マップ画像データ６１０と、変換画像データ６２０と、参照画像データ６３０と、変化画像データ６４０と、出力画像データ６５０と、を格納するように構成する。
The intermediate
マップ画像データ６１０は、入力画像データをサンプリング処理して新たな画像データを生成するための情報を備えた画像データであり、全体マップ画像データ６１１と、左面マップ画像データ６１２と、右面マップ画像データ６１３と、左面マップ修正画像データ６１４と、右面マップ修正画像データ６１５と、合成マップ画像データ６１６とで構成する。ここで、全体マップ画像データ６１１と左面マップ画像データ６１２と右面マップ画像データ６１３と左面マップ修正画像データ６１４と右面マップ修正画像データ６１５と合成マップ画像データ６１６の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。マップ画像データ６１０に含まれる各種マップ画像データの画素値のデータ形式に関しては、図７を用いて説明する。
The
変換画像データ６２０は、全体入力画像データ２２１を全体マップ画像データ６１１に基づいて変換したデータである全体変換画像データ６２１と、左面入力画像データ２２２を左面マップ画像データ６１２に基づいて変換したデータである左面変換画像データ６２２と、右面入力画像データ２１３を右面マップ画像データ６１３に基づいて変換したデータである右面変換画像データ６２３とで構成する。ここで、全体変換画像データ６２１と左面変換画像データ６２２と右面変換画像データ６２３の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。
The converted
参照画像データ６３０は、時刻Ｔにおける処理を行う際に、時刻（Ｔ−１）における状態から変化した部分を検出するために、時刻（Ｔ−１）の処理の終了時の状態を表現したデータであり、全体参照画像データ６３１と、左面参照画像データ６３２と、右面参照画像データ６３３とで構成する。ここで、全体参照画像データ６３１と左面参照画像データ６３２と右面参照画像データ６３３の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。
The
変化画像データ６４０は、時刻Ｔにおける処理において、時刻（Ｔ−１）における状態から変化した部分を表現した２値の画像データであり、全体変化画像データ６４１と、左面変化画像データ６４２と、右面変化画像データ６４３とで構成する。ここで、全体変化画像データ６４１と左面変化画像データ６４２と右面変化画像データ６４３の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。
The
図７は、本実施例のシステムにおける各種マップ画像データの画素値のデータ形式を説明する図である。 FIG. 7 is a diagram illustrating a data format of pixel values of various map image data in the system of the present embodiment.
データ形式７１０は、全体マップ画像データ６１１と左面マップ画像データ６１２と右面マップ画像データ６１３と左面マップ修正画像データ６１４と右面マップ修正画像データ６１５とで使用する画素値のデータ形式である。サンプリング処理を行うための、参照元Ｘ座標値７１１と参照元Ｙ座標値７１２とを備えるように構成する。
The
データ形式７２０は、合成マップ画像データ６１６で使用する画素値のデータ形式である。参照元の画像として全体入力画像データ２２１と左面入力画像データ２２２と右面入力画像データ２２３のどの画像データを使用するかを定める入力データ識別子７２１と、サンプリング処理を行うための、参照元Ｘ座標値７２２と参照元Ｙ座標値７２３とを備えるように構成する。
The
なお、データ形式７１０及びデータ形式７２０のいずれの形式においても、適切な参照元座標値が存在しない場合には、参照元座標値として例外値を格納しておく。また、例外値である参照元座標値に基づいてサンプリングされた画素の画素値に関しては、やはり例外値であるとして処理を行い、２つの画素値の差が許容範囲内にあるか否かの判定においては、常に「許容範囲外」であるものとして扱う。
Note that, in both the
図８は、本実施例のシステムにおける画像合成処理の動作を説明するための状況説明図である。 FIG. 8 is a situation explanatory diagram for explaining the operation of the image composition processing in the system of the present embodiment.
全体撮影装置２０１が会議室８１０の全体を撮影し、左面撮影装置２０２と右面撮影装置２０３が各々その一部分を撮影するように構成されている場合に、時刻（Ｔ−１）において右面撮影装置２０３の撮影範囲内の位置８２０にいた人物が、時刻Ｔにおいて右面撮影装置２０３の撮影範囲外の位置８２１へ移動した場合の動作について、図９を用いて説明する。
When the entire photographing
図９は、本実施例のシステムにおける画像合成処理の動作を説明するための概念図である。図９の概念図は、図８の状況における処理を表したものである。 FIG. 9 is a conceptual diagram for explaining the operation of the image composition process in the system of the present embodiment. The conceptual diagram of FIG. 9 represents processing in the situation of FIG.
画像データ９１０は時刻（Ｔ−１）における全体入力画像データ２２１であり、画像データ９２０は時刻（Ｔ−１）における右面入力画像データ２２３である。また、画像データ９１１は時刻Ｔにおける全体入力画像データ２２１であり、画像データ９２１は時刻Ｔにおける右面入力画像データ２２３である。時刻（Ｔ−１）に位置８２０にいた人物が、時刻Ｔにおいて位置８２１へ移動した様子がわかる。
The
画像データ９１２は更新前の全体参照画像データ６３１であり、画像データ９２２は更新前の右面参照画像データ６３３である。
The image data 912 is the entire reference image data 631 before update, and the
画像データ９１３は全体変換画像データ６２１であり、画像データ９２３は右面変換画像データ６２３である。位置８２０にいた人物がいなくなってしまったにもかかわらず、時刻（Ｔ−１）における状態に基づいたサンプリングを行っているため、画像データ９２３の該当部分が白く抜けてしまっているのがわかる。
The image data 913 is whole
画像データ９１４は全体変化画像データ６４１であり、画像データ９２４は右面変化画像データ６４３である。画像データ９１４は画像データ９１２と画像データ９１３とで差がある部分を検出して生成したものであり、画像データ９２４は画像データ９２２と画像データ９２３とで差がある部分を検出して生成したものである。
The image data 914 is overall change image data 641 and the image data 924 is right side change image data 643. The image data 914 is generated by detecting a difference between the image data 912 and the image data 913, and the image data 924 is generated by detecting a difference between the
画像データ９１５は更新後の全体参照画像データ６３1であり、画像データ９２５は更新後の右面参照画像データ６３３である。状態が変化した部分のサンプリング用のデータを時刻Ｔにおける状態に基づいて更新することにより、期待する画像データが生成されていることがわかる。
The
図１０は、本実施例のシステムにおける画像合成処理のフローチャートである。図１０の画像合成処理は、全体制御部２８０において所定の時間間隔毎に実施する処理である。
FIG. 10 is a flowchart of image composition processing in the system of this embodiment. The image composition process in FIG. 10 is a process that is performed at predetermined time intervals in the
ステップ１０００において画像合成処理が開始されると、まず、ステップ１００１において全体映像入力の有無を判定する。この判定は全体入力状態フラグ２８１を参照することによって行う。ステップ１００１における判定で全体映像入力がないと判定された場合には、ステップ１００２に進んで状態モードフラグ２８４を「初期化未済」に設定し、続いてステップ１００３に進んで映像出力部２７０からデフォルト画像データ２８５を出力した上で、ステップ１００４に進んで画像合成処理を終了する。
When the image composition process is started in
ステップ１００１における判定で全体映像入力があると判定された場合には、ステップ１００５において入力画像データ更新処理を行う。ステップ１００５の入力画像データ更新処理は、入力データ記憶部２２０を制御して、全体撮影装置２０１の撮影した画像データを全体入力画像データ２２１に、左面撮影装置２０２の撮影した画像データを左面入力画像データ２２２に、右面撮影装置２０３の撮影した画像データを右面入力画像データ２２３に、それぞれ格納する処理である。
If it is determined in
左面撮影装置２０２からの入力がないことは左面入力状態フラグ２８２を参照することによって、右面撮影装置２０３からの入力がないことは右面入力状態フラグ２８３によって、それぞれ検出できるため、実際に図１１以降の処理を実施する場合においては、左面入力状態フラグ２８２あるいは右面入力状態フラグ２８３に基づいて、適宜、左面入力画像データ２２２あるいは右面入力画像データ２２３に関する処理をスキップするように構成すればよいが、フローチャートが煩雑になるのを避けるため、本明細書中においては、便宜上、映像入力がない場合にはすべての画素値が「黒」であるような画像データを格納することとする。
Since there is no input from the left
次に、ステップ１００６において、初期化完了モードか否かを判定する。この判定は状態モードフラグ２８４を参照することによって行う。状態モードフラグ２８４が「初期化完了」である場合にはステップ１００７の中間データ更新処理に進み、状態モードフラグ２８４が「初期化未済」である場合にはステップ１００８の中間データ生成処理に進む。ステップ１００８の中間データ生成処理に進んだ場合には、続いてステップ１００９で状態モードフラグ２８４を「初期化完了」に設定する。なお、ステップ１００７の中間データ更新処理に関しては図２０を用いて、ステップ１００８の中間データ生成処理に関しては図１１を用いて、それぞれ説明する。
Next, in
ステップ１００７またはステップ１００９の終了後、ステップ１０１０において合成画像データ出力処理を行う。これは、中間データ記憶部２６０に格納されている出力画像データ６５０を映像出力部２７０から出力する処理である。
ステップ１０１０の合成画像データ出力処理の終了後、ステップ１００４に進んで画像合成処理を終了する。
After
After completion of the composite image data output process in
図１１は、本実施例のシステムにおける中間データ生成処理のフローチャートである。
ステップ１１００で中間データ生成処理が開始されると、まず、ステップ１１０１においてマップ画像データ初期化処理を行う。マップ画像データ初期化処理の詳細は、図１２を用いて説明する。
FIG. 11 is a flowchart of intermediate data generation processing in the system of this embodiment.
When the intermediate data generation processing is started in step 1100, first, map image data initialization processing is performed in
次に、ステップ１１０２において、色調補正処理を行う。色調補正処理は、色調補正用データ２４３に基づいて、全体入力画像データ２２１と左面入力画像データ２２２と右面入力画像データ２２３のそれぞれに画像補正を施した上で、あらためて、全体入力画像データ２２１、左面入力画像データ２２２、右面入力画像データ２２３として格納しなおす処理である。
Next, in step 1102, color tone correction processing is performed. In the color tone correction process, based on the color
次に、ステップ１１０３において、変換画像データ生成処理を行う。変換画像データ生成処理は、全体変換画像データ生成処理と、左面変換画像データ生成処理と、右面変換画像データ生成処理とで構成する。このうち、全体変換画像データ生成処理の詳細を図１３を用いて説明する。左面変換画像データ生成処理は、全体変換画像データ生成処理において使用される全体マップ画像データ６１１の代わりに左面マップ画像データ６１２を、全体入力画像データ２２１の代わりに左面入力画像データ２２２を、全体変換画像データ６２１の代わりに左面変換画像データ６２２を、それぞれ使用すればよい。右面変換画像データ生成処理に関しても、同様である。
Next, in step 1103, a converted image data generation process is performed. The converted image data generation process includes a whole converted image data generation process, a left side converted image data generation process, and a right side converted image data generation process. Of these, details of the entire converted image data generation processing will be described with reference to FIG. In the left side conversion image data generation process, the left side map image data 612 is used instead of the whole map image data 611 used in the whole conversion image data generation process, and the left side input image data 222 is used instead of the whole input image data 221. Instead of the
次に、ステップ１１０４において、各面マップ画像データ生成処理を行う。各面マップ画像データ生成処理は、左面マップ画像データ生成処理と、右面マップ画像データ生成処理とで構成する。このうち、左面マップ画像データ生成処理の詳細を図１４を用いて説明する。右面マップ画像データ生成処理に関しても、同様の処理で実施することができる。
次に、ステップ１１０５において、参照画像データ生成処理を行う。参照画像データ生成処理は、全体参照画像データ生成処理と、左面参照画像データ生成処理と、右面参照画像データ生成処理とで構成する。このうち、全体参照画像データ生成処理の詳細を図１６を用いて説明する。左面参照画像データ生成処理は、全体参照画像データ生成処理において使用される全体入力画像データ２２１の代わりに左面入力画像データ２２２を、全体マップ画像データ６１１の代わりに左面マップ画像データ６１２を、全体参照画像データ６３１の代わりに左面参照画像データ６３２を、それぞれ使用すればよい。右面参照画像データ生成処理に関しても、同様である。
Next, in step 1104, each surface map image data generation process is performed. Each surface map image data generation process includes a left surface map image data generation process and a right surface map image data generation process. Of these, details of the left map image data generation processing will be described with reference to FIG. The right map image data generation process can also be performed by the same process.
Next, in
次に、ステップ１１０６において、合成マップ画像データ生成処理を行う。合成マップ画像データ生成処理の詳細は、図１７及び図１８を用いて説明する。
Next, in
次に、ステップ１１０７において、出力画像データ生成処理を行う。出力画像データ生成処理の詳細は、図１９を用いて説明する。
Next, in
上記の処理を終了後、ステップ１１０８において中間データ生成処理を終了する。
図１２は、本実施例のシステムにおけるマップ画像データ初期化処理のフローチャートである。
After completing the above processing, the intermediate data generation processing is ended in step 1108.
FIG. 12 is a flowchart of map image data initialization processing in the system of this embodiment.
ステップ１２００でマップ画像データ初期化処理が開始されると、まず、ステップ１２０１において内部パラメタデータ２４１を読み込み、続いてステップ１２０２において出力パラメタデータ２４４を読み込む。
When the map image data initialization process is started in step 1200, first, the
次に、ステップ１２０３において、全体用初期値生成処理を行う。全体用初期値生成処理は、出力画像データ６５０を生成するためには、出力画像データ６５０の各画素は、全体入力画像データ２２１のどの座標の画素値をサンプリングしてくればよいかを算出し、該参照元の座標値を全体マップ画像データ６１１に格納する処理である。参照元座標値の算出処理は、内部パラメタデータ２４１と出力パラメタデータ２４４とを用いて、公知の技術により容易に実施することができる。
Next, in step 1203, an overall initial value generation process is performed. In the overall initial value generation process, in order to generate the
次に、ステップ１２０４において、外部パラメタデータ２４２を読み込む。
Next, in step 1204,
次に、ステップ１２０５において、左面用初期値生成処理を行う。左面用初期値生成処理は、出力画像データ６５０を生成するためには、出力画像データ６５０の各画素は、左面入力画像データ２２２のどの座標の画素値をサンプリングしてくればよいかを算出し、該参照元の座標値を左面マップ画像データ６１２に格納する処理である。ただしその際、被写体の立体形状等は分かっていないため、所定の曲面上にすべての被写体があるものと仮定して、参照元座標値の算出を行う。この参照元座標値の算出は、所定の曲面が与えられている場合に、内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４とから容易に実施することができる。
Next, in step 1205, left side initial value generation processing is performed. In the initial value generation process for the left side, in order to generate the
次に、ステップ１２０６において右面用初期値生成処理を行う。右面用初期値生成処理は、左面用初期値生成処理と同様の処理によって実施することができる。
Next, in
上記の処理を終了した後、ステップ１２０７においてマップ画像データ初期化処理を終了する。 After the above process is completed, the map image data initialization process is ended in step 1207.
図１３は、本実施例のシステムにおける全体変換画像データ生成処理のフローチャートである。 FIG. 13 is a flowchart of the entire converted image data generation process in the system of this embodiment.
ステップ１３００で全体変換画像データ生成処理が開始されると、まず、ステップ１３０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ１３０２において、全体マップ画像データ６１１のｎ番目の画素の画素値を読み込む。
When the entire converted image data generation process is started in
Next, in step 1302, the pixel value of the nth pixel of the entire map image data 611 is read.
次に、ステップ１３０３において、全体入力画像データ２２１上の、ステップ１３０２で読み込んだ参照元座標値に対応する位置の画素値を算出し、全体変換画像データ６２１のｎ番目の画素の画素値として設定する。ここで、参照元座標値は一般には整数値ではないが、画素値の算出は双線形補間などの公知の方法によって実施すればよい。
次に、ステップ１３０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１３０５において、全体変換画像データ６２１中のすべての画素について処理が終了したか否かを判定する。全体変換画像データ６２１中のすべての画素について処理が終了している場合にはステップ１３０６に進んで全体変換画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１３０２に進んで処理を続ける。
Next, in step 1303, the pixel value at the position corresponding to the reference source coordinate value read in step 1302 on the entire input image data 221 is calculated and set as the pixel value of the nth pixel in the entire
Next, in step 1304, n, which is the serial number of the pixel to be processed, is incremented by 1, and in
図１４は、本実施例のシステムにおける左面マップ画像データ生成処理のフローチャートである。 FIG. 14 is a flowchart of left-side map image data generation processing in the system of this embodiment.
ステップ１４００で左面マップ画像データ生成処理が開始されると、まず、ステップ１４０１において全体変換画像データ６２１を読み込み、続いてステップ１４０２において左面変換画像データ６２２を読み込む。
When the left side map image data generation process is started in
次に、ステップ１４０３において、左面マップ修正画像データ生成処理を行う。左面マップ修正画像データ生成処理は、全体変換画像データ６２１と左面変換画像データ６２２とに基づいて、左面マップ画像データ６１２の誤差分を修正するための左面マップ修正画像データ６１４を生成する処理である。全体変換画像データ６２１の各画素位置について、左面変換画像データ６２２のどの座標位置からサンプリングしてくればよいかを算出すればよく、パターンマッチング等の公知の技術を用いて実施することができる。なお、対応が求まらない画素に関しては、例外値を格納し、以降の処理を適宜スキップできるようにしておけばよい。
Next, in step 1403, left-side map corrected image data generation processing is performed. The left side map corrected image data generation process is a process of generating left side map corrected
次に、ステップ１４０４において、左面マップ画像データ合成処理を行う。左面マップ画像データ合成処理の詳細は、図１５を用いて説明する。
Next, in
上記処理を終了した後、ステップ１４０５において左面マップ画像データ生成処理を終了する。
After the above process is finished, the left map image data generation process is finished in
図１５は、本実施例のシステムにおけるマップ画像データの合成方法の説明図である。
左面マップ修正画像データ１５１０上の画素１５１１の参照元座標値が、左面マップ画像データ１５２０上の座標値１５２１であり、座標値１５２１の参照元座標値が、左面入力データ１５３０の座標値１５３１であるとき、左面マップ修正画像データ１５１０上の画素１５１１の参照元座標値を、座標値１５３１に更新する。この更新を左面マップ修正画像データ１５１０のすべての画素に対して実施した後、左面マップ修正画像データ１５１０を、あらためて、左面マップ画像データ１５２０として保存する。
FIG. 15 is an explanatory diagram of a map image data synthesis method in the system of this embodiment.
The reference source coordinate value of the pixel 1511 on the left side map corrected image data 1510 is the coordinate value 1521 on the left side map image data 1520, and the reference source coordinate value of the coordinate value 1521 is the coordinate value 1531 of the left side input data 1530. At this time, the reference source coordinate value of the pixel 1511 on the left side map corrected image data 1510 is updated to the coordinate value 1531. After this update is performed on all the pixels of the left-side map corrected image data 1510, the left-side map corrected image data 1510 is stored again as the left-side map image data 1520.
ここで、座標値１５２１は一般に画素中心の位置に一致しないため、双線形補間などによって座標値１５３１を算出する必要がある。すなわち、図１５において、座標値１５２１の参照元座標値を求める代わりに、画素中心の位置にある座標値１５２２及び座標値１５２３及び座標値１５２４及び座標値１５２５のそれぞれに対して左面マップ画像データ１５２０の画素値を参照して参照元座標値を求め、それらの双線形補間を行うことで座標値１５２１に対応する座標値１５３１を算出する。 Here, since the coordinate value 1521 generally does not coincide with the position of the pixel center, it is necessary to calculate the coordinate value 1531 by bilinear interpolation or the like. That is, in FIG. 15, instead of obtaining the reference source coordinate value of the coordinate value 1521, the left map image data 1520 for each of the coordinate value 1522, the coordinate value 1523, the coordinate value 1524, and the coordinate value 1525 at the pixel center position. The coordinate value 1531 corresponding to the coordinate value 1521 is calculated by obtaining a reference source coordinate value with reference to the pixel values of the pixel values and performing bilinear interpolation on the reference source coordinate values.
図１６は、本実施例のシステムにおける全体参照画像データ生成処理のフローチャートである。 FIG. 16 is a flowchart of overall reference image data generation processing in the system of the present embodiment.
ステップ１６００で全体参照画像データ生成処理が開始されると、まず、ステップ１６０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ１６０２において、全体マップ画像データ６１１のｎ番目の画素の画素値を読み込む。
When the entire reference image data generation process is started in
Next, in step 1602, the pixel value of the nth pixel of the entire map image data 611 is read.
次に、ステップ１６０３において、全体入力画像データ２２１上の、ステップ１６０２で読み込んだ参照元座標値に対応する位置の画素値を算出し、全体参照画像データ６３１のｎ番目の画素の画素値として設定する。ここで、参照元座標値は一般には整数値ではないが、画素値の算出は双線形補間などの公知の方法によって実施すればよい。
Next, in
次に、ステップ１６０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１６０５において、全体参照画像データ６３１中のすべての画素について処理が終了したか否かを判定する。全体参照画像データ６３１中のすべての画素について処理が終了している場合にはステップ１６０６に進んで全体参照画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１６０２に進んで処理を続ける。 In step 1604, n, which is the serial number of the pixel to be processed, is incremented by 1. Subsequently, in step 1605, it is determined whether or not the processing has been completed for all the pixels in the overall reference image data 631. If the process has been completed for all the pixels in the overall reference image data 631, the process proceeds to step 1606 to end the overall reference image data generation process, and if there is a pixel that has not been completed yet, the process proceeds to step 1606. Proceeding to 1602, processing continues.
図１７は、本実施例のシステムにおける合成マップ画像データ生成処理のフローチャートである。 FIG. 17 is a flowchart of the composite map image data generation process in the system of this embodiment.
ステップ１７００において合成マップ画像データ生成処理が開始されると、まず、ステップ１７０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ１７０２において、全体参照画像データ６３１のｎ番目の画素の画素値ＶＴと、左面参照画像データ６３２のｎ番目の画素の画素値ＶＬと、右面参照画像データ６３３のｎ番目の画素の画素値ＶＲとを読み込む。
When the composite map image data generation process is started in step 1700, first, in step 1701, n, which is the serial number of the pixel to be processed, is initialized to zero.
Next, in
次に、ステップ１７０３において、採用画素決定処理を行う。採用画素決定処理の詳細については、図１８を用いて説明する。 Next, in step 1703, adopted pixel determination processing is performed. Details of the adopted pixel determination process will be described with reference to FIG.
次に、ステップ１７０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１７０５において、合成マップ画像データ６１６中のすべての画素について処理が終了したか否かを判定する。合成マップ画像データ６１６中のすべての画素について処理が終了している場合にはステップ１７０６に進んで合成マップ画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１７０２に進んで処理を続ける。 In step 1704, n, which is the serial number of the pixel to be processed, is incremented by 1. Subsequently, in step 1705, it is determined whether or not processing has been completed for all the pixels in the composite map image data 616. If the process has been completed for all the pixels in the composite map image data 616, the process proceeds to step 1706 to end the composite map image data generation process, and if there is a pixel that has not been processed yet, the process proceeds to step 1706. Proceed to 1702 and continue processing.
図１８は、本実施例のシステムにおける採用画素決定処理のフローチャートである。 FIG. 18 is a flowchart of adopted pixel determination processing in the system of this embodiment.
ステップ１８００において採用画素決定処理が開始されると、まず、ステップ１８０１において所定の閾値に基づいてＶＴとＶＬの差が許容範囲内にあるか否かを判定する。ステップ１８０１において許容範囲内であると判定された場合には、ステップ１８０２に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「左面入力画像データ」を設定し、参照元Ｘ座標値７２２には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定する。
When the adopted pixel determination process is started in
ステップ１８０１において許容範囲外であると判定された場合には、ステップ１８０３の処理に進む。ステップ１８０３では、所定の閾値に基づいてＶＴとＶＲの差が許容範囲内にあるか否かを判定する。ステップ１８０３において許容範囲内であると判定された場合には、ステップ１８０４に進み、合成マップ画像データのｎ番目の画素の画素値として、入力データ識別子７２１には「右面入力画像データ」を設定し、参照元Ｘ座標値７２２には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定する。
If it is determined in step 1801 that the value is outside the allowable range, the process proceeds to step 1803. In
ステップ１８０３において許容範囲外であると判定された場合には、ステップ１８０５に進み、合成マップ画像データのｎ番目の画素の画素値として、入力データ識別子７２１には「全体入力画像データ」を設定し、参照元Ｘ座標値７２２には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定する。
If it is determined in
以上、ステップ１８０２、ステップ１８０４、ステップ１８０５、のいずれかの処理の終了後、ステップ１８０６において採用画素決定処理を終了する。
As described above, after completion of any one of the processing in step 1802, step 1804, and
図１９は、本実施例のシステムにおける出力画像データ生成処理のフローチャートである。 FIG. 19 is a flowchart of output image data generation processing in the system of this embodiment.
ステップ１９００において出力画像データ生成処理が開始されると、まず、ステップ１９０１において、処理すべき画素のシリアル番号であるｎを０に初期化し、続いてステップ１９０２において、合成マップ画像データ６１６のｎ番目の画素の画素値を読み込む。
次に、ステップ１９０３において、ステップ１９０２で読み込んだ画素値の入力データ識別子７２１で表される入力データ上で、参照元Ｘ座標値７２２と参照元Ｙ座標値７２３で表される座標の画素値を算出し、出力画像データ６５０のｎ番目の画素の画素値として設定する。ここで、参照元Ｘ座標値７２２及び参照元Ｙ座標値７２３は一般には整数値ではないが、画素値の算出は双線形補間などの公知の方法により実施すればよい。
When the output image data generation process is started in
Next, in step 1903, the pixel value of the coordinates represented by the reference source X coordinate value 722 and the reference source Y coordinate value 723 is obtained on the input data represented by the input data identifier 721 of the pixel value read in step 1902. Calculate and set as the pixel value of the nth pixel of the
次に、ステップ１９０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ１９０５において、出力画像データ６５０中のすべての画素について処理が終了したか否かを判定する。出力画像データ６５０中のすべての画素について処理が終了している場合にはステップ１９０６に進んで出力画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ１９０２に進んで処理を続ける。
Next, n, which is the serial number of the pixel to be processed, is incremented by 1 in
図２０は、本実施例のシステムにおける中間データ更新処理のフローチャートである。 FIG. 20 is a flowchart of intermediate data update processing in the system of this embodiment.
ステップ２０００において中間データ更新処理が開始されると、まず、ステップ２００１において色調補正処理を行う。ステップ２００１における色調補正処理は、ステップ１１０２における色調補正処理と同一の処理である。
When the intermediate data update process is started in
次に、ステップ２００２において、変換画像データ生成処理を行う。ステップ２００２における変換画像データ生成処理は、ステップ１１０３における変換画像データ生成処理と同一の処理である。
Next, in
次に、ステップ２００３において、変化画像データ生成処理を行う。変化画像データ生成処理は、全体変化画像データ生成処理と、左面変化画像データ生成処理と、右面変化画像データ生成処理とで構成する。このうち、全体変化画像データ生成処理の詳細を図２１を用いて説明する。左面変化画像データ生成処理は、全体変化画像データ生成処理において使用される全体参照画像データ６３１の代わりに左面参照画像データ６３２を、全体変換画像データ６２１の代わりに左面変換画像データ６２２を、全体変化画像データ６４１の代わりに左面変化画像データ６４２を、それぞれ使用すればよい。右面変化画像データ生成処理に関しても、同様である。
Next, in
次に、ステップ２００４において、各面マップ画像データ更新処理を行う。各面マップ画像データ更新処理は、左面マップ画像データ更新処理と、右面マップ画像データ更新処理とで構成する。このうち、左面マップ画像データ更新処理の詳細を図２２を用いて説明する。右面マップ画像データ更新処理に関しても、同様の処理で実施することができる。
Next, in
次に、ステップ２００５において、参照画像データ生成処理を行う。ステップ２００５における参照画像データ生成処理は、ステップ１１０５における参照画像データ生成処理と同一の処理である。
Next, in
次に、ステップ２００６において、合成マップ画像データ生成処理を行う。ステップ２００６における合成マップ画像データ生成処理は、ステップ１１０６における合成マップ画像データ生成処理と同一の処理である。
Next, in
次に、ステップ２００７において、出力画像データ生成処理を行う。ステップ２００７における出力画像データ生成処理は、ステップ１１０７における出力画像データ生成処理と同一の処理である。
Next, in
以上の処理を終了後、ステップ２００８において中間データ更新処理を終了する。
図２１は、本実施例のシステムにおける全体変化画像データ生成処理のフローチャートである。
After completing the above processing, in
FIG. 21 is a flowchart of overall change image data generation processing in the system of this embodiment.
ステップ２１００において全体変化画像データ生成処理が開始されると、まず、ステップ２１０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ２１０２において、全体参照画像データ６３１のｎ番目の画素の画素値Ｖ０を読み込み、続いてステップ２１０３において、全体変換画像データ６２１のｎ番目の画素の画素値Ｖ１を読み込む。
When the whole change image data generation process is started in
Next, in step 2102, the pixel value V0 of the nth pixel of the entire reference image data 631 is read. Subsequently, in
次に、ステップ２１０４において、所定の閾値に基づいてＶ０とＶ１の差が許容範囲内であるか否かを判定する。ステップ２１０４で許容範囲内であると判定された場合には、ステップ２１０５に進んで全体変化画像データ６４１のｎ番目の画素の画素値を０にする。ステップ２１０４で許容範囲外であると判定された場合には、ステップ２１０６に進んで全体変化画像データ６４１のｎ番目の画素の画素値を１にする。 Next, in step 2104, it is determined whether or not the difference between V0 and V1 is within an allowable range based on a predetermined threshold. If it is determined in step 2104 that the value is within the allowable range, the process proceeds to step 2105 to set the pixel value of the nth pixel of the entire change image data 641 to 0. If it is determined in step 2104 that the value is outside the allowable range, the process proceeds to step 2106 to set the pixel value of the nth pixel of the entire change image data 641 to 1.
ステップ２１０５またはステップ２１０６の終了後、ステップ２１０７において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２１０８において、全体変化画像データ６４１中のすべての画素について処理が終了したか否かを判定する。全体変化画像データ６４１中のすべての画素について処理が終了している場合にはステップ２１０９に進んで全体変化画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ２１０２に進んで処理を続ける。
After
図２２は、本実施例のシステムにおける左面マップ画像データ更新処理のフローチャートである。 FIG. 22 is a flowchart of left map image data update processing in the system of the present embodiment.
ステップ２２００において左面マップ画像データ更新処理が開始されると、まず、ステップ２２０１において全体変換画像データ６２１と左面変換画像データ６２２とを読み込み、続いてステップ２２０２において、全体変化画像データ６４１及び左面変化画像データ６４２を読み込む。
When the left side map image data update process is started in
次に、ステップ２２０３において左面マップ修正画像データ更新処理を行う。左面マップ修正画像データ更新処理は、全体変化画像データ６４１または左面変化画像データ６４２のいずれかにおいて画素値が１であるような画素に関しては、図１４のステップ１４０３で説明した左面マップ修正画像データ生成処理と同様にして左面マップ修正画像データ６１４の画素値を決定し、全体変化画像データ６４１及び左面変化画像データ６４２の両方で画素値が０であるような画素に関しては、該画素の座標値をそのまま該画素の参照元座標値として設定する処理である。変化画像データを使用することで、状態が変化した領域があらかじめ分かるため、パターンマッチング等の処理の高速化・頑健化が期待できる。また、状態の変化がない部分に関する計算量の削減が図れるため、処理の高速化が期待できる。
Next, in step 2203, a left map corrected image data update process is performed. In the left-side map corrected image data update processing, the left-side map corrected image data generation described in step 1403 of FIG. 14 is performed for pixels whose pixel value is 1 in either the entire changed image data 641 or the left-side changed
次に、ステップ２２０４において左面マップ画像データ合成処理を行う。ステップ２２０４における左面マップ画像データ合成処理は、図１４のステップ１４０４で説明した左面マップ画像データ合成処理と同じ処理である。
以上の処理を終了後、ステップ２２０５において左面マップ画像データ更新処理を終了する。
図６０は、ハードウェア構成図である。
Next, in
After finishing the above processing, the left map image data update processing is finished in
FIG. 60 is a hardware configuration diagram.
画像合成装置６０００は、ＵＳＢインターフェース６０１１と、ＵＳＢインターフェース６０１２と、ＵＳＢインターフェース６０１３と、ＣＰＵ６０２０と、メモリ６０２１と、ハードディスク６０２２と、画像ボード６０２３と、ネットワークカード６０２４とで構成する。
ハードディスク６０２２には、これまでに説明した各種処理に対応する各種プログラムと、全体制御部２８０に格納されるべき各種データ、及び、パラメタ記憶部２４０に格納されるべき各種データ、を格納しておく。
The image composition device 6000 includes a USB interface 6011, a
The
本実施例のシステムは、図６０に示すハードウェア構成で、ハードディスク６０２２からメモリ６０２１にロードされた各種プログラムが、ＣＰＵ６０２０によって実行されることにより実現される。
入力データ記憶部２２０と中間データ記憶部２６０の機能は、メモリ６０２１によって実現され、映像入力部２１０の機能は、ＵＳＢインターフェース６０１１と、ＵＳＢインターフェース６０１２と、ＵＳＢインターフェース６０１３によって実現され、映像出力部２７０の機能は画像ボード６０２３によって実現され、パラメタ設定部２５０の機能はネットワークカード６０２４によって実現される。
The system of this embodiment is realized by the
The functions of the input
また、全体撮影装置２０１、左面撮影装置２０２、右面撮影装置２０３の機能は、それぞれ、ＵＳＢカメラ６００１、ＵＳＢカメラ６００２、ＵＳＢカメラ６００３によって実現される。
Further, the functions of the whole
なお、ハードディスク６０２２が備えるべき機能としては、記憶した情報が電源断などによって失われないものであればよく、不揮発性のメモリでも代用可能であるし、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクのようなメディアと該メディアを読み込むためのインターフェースとの組で代用することもできる。
It should be noted that the
また、ＵＳＢインターフェース６０１１と、ＵＳＢインターフェース６０１２と、ＵＳＢインターフェース６０１３が備えるべき機能は、画像合成装置２００への入力信号をデジタル画像データとしてメモリ６０２１に書き込むことであり、入力信号に応じてＵＳＢインターフェースの代わりに適切なものを使用すればよい。例えば、入力信号がアナログ信号である場合にはＡ／Ｄ変換機能を有するキャプチャカードを使用すればよいし、入力信号がネットワークを介して送られてくるデジタルデータである場合にはネットワークカードを使用すればよい。
A function that the USB interface 6011, the
また、画像ボード６０２３が備えるべき機能は、合成した画像データを外部に出力することであり、Ｄ／Ａ変換機能の有無は、出力先に応じて変更すればよい。さらに、合成したデータをハードディスク等の記憶媒体に記憶する場合には該媒体に対応するインターフェースを使用すればよいし、ネットワークを介して伝送する場合にはネットワークカードを使用すればよい。さらに、該ネットワークカードとしてＭＰＥＧ２エンコード機能などのデータ圧縮機能を有するものを使用するようにしてもよい。 The function that the image board 6023 should have is to output the combined image data to the outside, and the presence / absence of the D / A conversion function may be changed according to the output destination. Furthermore, when storing the synthesized data in a storage medium such as a hard disk, an interface corresponding to the medium may be used, and when transmitting the data via a network, a network card may be used. Further, a network card having a data compression function such as an MPEG2 encoding function may be used.
また、ネットワークカード６０２４が備えるべき機能は、パラメタ記憶部２４０に格納されるべき各種データをハードディスク６０２２に書き込めることであり、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクのようなメディアと該メディアを読み込むためのインターフェースとの組で代用してもよいし、キーボードなどの外部入力インターフェースで代用するようにしてもよい。 なお、本ハードウェア構成は、他の実施例にも適用可能である。
A function that the network card 6024 should have is that various data to be stored in the
以上、本実施例によれば、１つの撮影装置で撮影した画像データと整合性のある画像データが撮像されることを保証しつつ、複数の撮影装置を使って高解像度の画像データを生成することが可能となる。 As described above, according to the present embodiment, high-resolution image data is generated using a plurality of imaging devices while ensuring that image data consistent with image data captured by one imaging device is captured. It becomes possible.
なお、本実施例においては、処理速度及び頑健性の観点から変化画像データを使用するように構成したが、本発明の実施の形態はこれに限るものではなく、常にすべての画素に対して処理を行うようにしてもよいことは明らかである。 In this embodiment, the change image data is used from the viewpoint of processing speed and robustness. However, the embodiment of the present invention is not limited to this, and processing is always performed for all pixels. Obviously, it may be possible to do this.
以下、図２３〜図３３を用いて、第２の実施の形態について説明する。 Hereinafter, the second embodiment will be described with reference to FIGS. 23 to 33.
本実施例は、実施例１に記載の例に対して、より単純な処理の組み合わせによって中間データを更新できるようにした例である。
図２３は、本実施例のシステムのシステム構成図である。図２３において、図２と同じ符号は、図２と同じものを表す。また、図６と同じ符号は、図６と同じものを表す。
本実施例の画像合成装置２３００は、画像合成装置２００に対して、中間データ記憶部２３６０を、デプス画像データ２３６０と探索用デプス集合データ２３７０とを格納できるように構成し、さらに、画像処理部２３３０で実施する中間データ生成処理及び中間データ更新処理に変更を加えたものである。
The present embodiment is an example in which intermediate data can be updated by a simpler combination of processes with respect to the example described in the first embodiment.
FIG. 23 is a system configuration diagram of the system of this embodiment. 23, the same reference numerals as those in FIG. 2 denote the same elements as those in FIG. The same reference numerals as those in FIG. 6 denote the same elements as those in FIG.
In the
ここで、デプス画像データ２３６０は、全体デプス画像データ２３６１と背景デプス画像データ２３６２とで構成する。ここで、全体デプス画像データ２３６１と背景デプス画像データ２３６２の解像度は、出力画像データ６５０の解像度と等しくなるように構成する。
Here, the
また、探索用デプス集合データ２３７０は、所定のデプス値の集合である規定探索デプス集合データ２３７１と、臨時探索距離集合データ２３７２と、最大探索距離集合データ２３７３とで構成する。規定探索デプス集合データ２３７１の構成方法については図２６を用いて、臨時探索距離集合データ２３７２と最大探索距離集合データ２３７３の構成方法については図３１を用いて、それぞれ説明する。
Further, the search depth set
図２４は、本実施例のシステムにおける中間データ生成処理のフローチャートである。図２４において、図１１と同じ符号は、図１１と同じ処理を表す。
ステップ２４０１のデプス画像データ生成処理の詳細については、図２５を用いて説明する。
FIG. 24 is a flowchart of intermediate data generation processing in the system of this embodiment. 24, the same reference numerals as those in FIG. 11 represent the same processes as those in FIG.
Details of the depth image data generation processing in
ステップ２４０２の各面マップ画像データ生成処理は、左面マップ画像データ生成処理と、右面マップ画像データ生成処理とで構成する。このうち、左面マップ画像データ生成処理の詳細を図２７を用いて説明する。右面マップ画像データ生成処理に関しても、同様の処理で実施することができる。
Each surface map image data generation process in
図２５は、本実施例のシステムにおけるデプス画像データ生成処理のフローチャートである。 FIG. 25 is a flowchart of depth image data generation processing in the system of this embodiment.
ステップ２５００においてデプス画像データ生成処理が開始されると、まず、ステップ２５０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。 When the depth image data generation process is started in step 2500, first, in step 2501, n, which is the serial number of the pixel to be processed, is initialized to zero.
次に、ステップ２５０２において、出力パラメタデータ２４４と出力画像データ６５０のｎ番目の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、所定の適合率評価関数に基づいて、各々の規定デプス集合データに含まれるデプス値ごとに、デプス値が当該デプス値の場合の適合率を算出する。
Next, in step 2502, a predetermined precision ratio with respect to a three-dimensional direction that is defined by the
次に、ステップ２５０３において、ステップ２５０２で算出した適合率が最も高いデプス値を選択し、全体デプス画像データ２３６１のｎ番目の画素値として設定する。 Next, in step 2503, the depth value with the highest relevance ratio calculated in step 2502 is selected and set as the nth pixel value of the entire depth image data 2361.
次に、ステップ２５０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２５０５において、全体デプス画像データ２３６１中のすべての画素について処理が終了したか否かを判定する。全体デプス画像データ２３６１中のすべての画素について処理が終了している場合にはステップ２５０６に進み、未だ処理が終了していない画素が存在する場合にはステップ２５０２に進んで処理を続ける。 Next, in step 2504, n, which is the serial number of the pixel to be processed, is incremented by 1, and in step 2505, it is determined whether or not the processing has been completed for all the pixels in the entire depth image data 2361. If all pixels in the entire depth image data 2361 have been processed, the process proceeds to step 2506. If there is a pixel that has not been processed yet, the process proceeds to step 2502 to continue the process.
ステップ２５０６において背景デプス画像データ２３６２の各画素の画素値を全体デプス画像データ２３６１の同位置の画素の画素値と同じ値に設定した後、ステップ２５０７においてデプス画像データ生成処理を終了する。
In
図２６は、本実施例のシステムにおける規定探索デプス集合データ２３７１の構成方法を説明するための図である。 FIG. 26 is a diagram for explaining a method of configuring the prescribed search depth set data 2371 in the system of the present embodiment.
図２６において、白丸が、各々１つのデプス値を表す。本実施例においては、所定の最小デプス値２６１０及び最大デプス値２６１１に対して、デプス集合データ２６２０のようにデプス値を等間隔に配置してもよいし、「画像データ上でのずれの量が概ね等しくなるように」という観点から、デプス集合データ２６２１のようにデプス値が小さい領域ほど密に配置してもよい。
In FIG. 26, each white circle represents one depth value. In this embodiment, the depth values may be arranged at equal intervals as in the depth set
図２７は、本実施例のシステムにおける左面マップ画像データ生成処理のフローチャートである。 FIG. 27 is a flowchart of left-side map image data generation processing in the system of the present embodiment.
ステップ２７００において左面マップ画像データ生成処理が開始されると、まず、ステップ２７０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
次に、ステップ２７０２において、出力パラメタデータ２４４と出力画像データ６５０のｎ番目の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、全体デプス画像データ２３６１上のデプス値から三次元空間上での位置Ｐを決定する。
When the left map image data generation process is started in
Next, in step 2702, the entire depth image data with respect to a three-dimensional direction that is defined by the
次に、ステップ２７０３において、ステップ２７０２で決定した位置Ｐと内部パラメタデータ２４１と外部パラメタデータ２４２に基づいて、左面入力画像データ２２２上の対応する位置を決定し、左面マップ画像データ６１２のｎ番目の画素の画素値として設定する。
Next, in step 2703, a corresponding position on the left side input image data 222 is determined based on the position P determined in step 2702, the
次に、ステップ２７０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２７０５において、左面マップ画像データ６１２中のすべての画素について処理が終了したか否かを判定する。左面マップ画像データ６１２中のすべての画素について処理が終了している場合にはステップ２７０６に進んで左面マップ画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ２７０２に進んで処理を続ける。
Next, in step 2704, n, which is the serial number of the pixel to be processed, is incremented by 1, and then, in
図２８は、本実施例のシステムにおける中間データ更新処理のフローチャートである。図２８において、図２０と同じ符号は、図２０と同じ処理を表す。
ステップ２８０１の全体デプス画像データ更新処理の詳細に関しては、図２９を用いて説明する。
FIG. 28 is a flowchart of the intermediate data update process in the system of this embodiment. 28, the same reference numerals as those in FIG. 20 represent the same processes as those in FIG.
Details of the entire depth image data update processing in
ステップ２８０２の背景デプス画像データ更新処理の詳細に関しては、図３２を用いて説明する。 Details of the background depth image data update processing in step 2802 will be described with reference to FIG.
ステップ２８０３の各面マップ画像データ更新処理は、左面マップ画像データ更新処理と、右面マップ画像データ更新処理とで構成する。このうち、左面マップ画像データ更新処理の詳細を図３３を用いて説明する。右面マップ画像データ更新処理に関しても、同様の処理で実施することができる。
Each area map image data update process in
図２９は、本実施例のシステムにおける全体デプス画像データ更新処理のフローチャートである。 FIG. 29 is a flowchart of the entire depth image data update process in the system of the present embodiment.
ステップ２９００において全体デプス画像データ更新処理が開始されると、まず、ステップ２９０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
When the entire depth image data update process is started in
次に、ステップ２９０２において、全体デプス画像データ２３６１のｎ番目の画素について、画素値優先デプス決定処理を行う。画素値優先デプス決定処理の詳細については、図３０及び図３１を用いて説明する。
Next, in
次に、ステップ２９０３において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ２９０４において、全体デプス画像データ２３６１中のすべての画素について処理が終了したか否かを判定する。全体デプス画像データ２３６１中のすべての画素について処理が終了している場合にはステップ２９０５に進んで全体デプス画像データ更新処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ２９０２に進んで処理を続ける。
Next, in
図３０は、本実施例のシステムにおける画素値優先デプス決定処理のフローチャートであり、図３１は、本実施例のシステムにおける臨時探索距離集合データ２３７２及び最大探索距離集合データ２３７３の構成方法を説明するための図である。図３１において、図２６と同じ符号は、図２６と同じものを表す。 FIG. 30 is a flowchart of pixel value priority depth determination processing in the system of the present embodiment, and FIG. 31 illustrates a configuration method of the temporary search distance set data 2372 and the maximum search distance set data 2373 in the system of the present embodiment. FIG. 31, the same reference numerals as those in FIG. 26 denote the same elements as those in FIG.
ステップ３０００において画素値優先デプス決定処理が開始されると、まず、ステップ３００１において全体デプス値近傍探索処理を行う。これは、全体デプス画像データ２３６１のｎ番目の画素の画素値である全体デプス値を読み込み、所定の間隔と所定の適合率評価関数に基づいて、全体デプス値の近傍のデプス値と、該デプス値における適合率と、の組を算出する処理である。例えば、図３１において、全体デプス値３１０１とその近傍のデプス値３１０２及びデプス値３１０３に対して、各々の適合率の算出をステップ３００１において行う。 When the pixel value priority depth determination process is started in step 3000, first, an overall depth value neighborhood search process is performed in step 3001. This is to read an overall depth value that is the pixel value of the nth pixel of the overall depth image data 2361, and based on a predetermined interval and a predetermined precision evaluation function, the depth value near the overall depth value, and the depth This is a process of calculating a set of the precision ratio in value. For example, in FIG. 31, each matching rate is calculated in step 3001 for the overall depth value 3101 and the depth value 3102 and depth value 3103 in the vicinity thereof.
次に、ステップ３００２において、背景デプス値近傍探索処理を行う。これは、背景デプス画像データ２３６２のｎ番目の画素の画素値である背景デプス値を読み込み、所定の間隔と所定の適合率評価関数に基づいて、背景デプス値の近傍のデプス値と、該デプス値における適合率と、の組を算出する処理である。例えば、図３１において、背景デプス値３１１１とその近傍のデプス値３１１２及びデプス値３１１３に対して、各々の適合率の算出をステップ３００２において行う。
Next, in
次に、ステップ３００３において、規定デプス値探索処理を行う。これは、規定探索デプス集合データ２３７１に含まれるデプス値に対して、所定の適合率評価関数に基づいて適合率を求める処理である。 Next, in step 3003, a prescribed depth value search process is performed. This is a process for obtaining the matching rate based on a predetermined matching rate evaluation function with respect to the depth value included in the prescribed search depth set data 2371.
次に、ステップ３００４において、最適デプス値選択処理を行う。これは、ステップ３００１及びステップ３００２及びステップ３００３において処理を行ったデプス値のうち、適合率が最も高いデプス値を選択し、全体デプス画像データ２３６１のｎ番目の画素の画素値として設定する処理である。結果として、デプス集合データ３１２１に含まれるデプス値のそれぞれに対して、所定の適合率評価関数に基づいて適合率を求めた上で、適合率が最も高いデプス値を選択したことと等価な処理となる。
Next, in
ステップ３００４の処理が終了した後、ステップ３００５において画素値優先デプス決定処理を終了する。
After the processing of
図３２は、本実施例のシステムにおける背景デプス画像データ更新処理のフローチャートである。 FIG. 32 is a flowchart of background depth image data update processing in the system of the present embodiment.
ステップ３２００において背景デプス画像データ更新処理が開始されると、まず、ステップ３２０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。 When the background depth image data update process is started in step 3200, first, in step 3201, n, which is the serial number of the pixel to be processed, is initialized to zero.
次に、ステップ３２０２において、全体デプス画像データ２３６１のｎ番目の画素の画素値Ｖ０を読み込み、続いてステップ３２０３において背景デプス画像データ２３６２のｎ番目の画素の画素値Ｖ１を読み込む。
Next, in
次に、ステップ３２０４において、Ｖ０とＶ１の値の比較を行い、Ｖ０の方が大きいと判定された場合には、ステップ３２０５に進んで背景デプス画像データ２３６２のｎ番目の画素の画素値をＶ０に設定する。 Next, in step 3204, the values of V0 and V1 are compared. If it is determined that V0 is larger, the process proceeds to step 3205, and the pixel value of the nth pixel of the background depth image data 2362 is set to V0. Set to.
以上の処理が終了した後、ステップ３２０６において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ３２０７において、背景デプス画像データ２３６２中のすべての画素について処理が終了したか否かを判定する。背景デプス画像データ２３６２中のすべての画素について処理が終了している場合にはステップ３２０８に進んで背景デプス画像データ更新処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ３２０２に進んで処理を続ける。 After the above processing is completed, n, which is the serial number of the pixel to be processed, is incremented by 1 in step 3206. Subsequently, in step 3207, whether or not the processing has been completed for all the pixels in the background depth image data 2362 is determined. judge. If the processing has been completed for all the pixels in the background depth image data 2362, the process proceeds to step 3208 to end the background depth image data update processing, and if there are pixels that have not been processed yet, step Proceed to 3202 and continue processing.
背景デプス画像データ２３６２をこのように更新することによって、背景デプス画像データ２３６２の各画素は、該画素に関して過去に選択されたデプス値のうちでもっとも値の大きなものを保持することができる。 By updating the background depth image data 2362 in this way, each pixel of the background depth image data 2362 can hold the largest value among the depth values selected in the past with respect to the pixel.
図３３は、本実施例のシステムにおける左面マップ画像データ更新処理のフローチャートである。 FIG. 33 is a flowchart of left map image data update processing in the system of the present embodiment.
ステップ３３００において左面マップ画像データ更新処理が開始されると、まず、ステップ３３０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。 When the left map image data update process is started in step 3300, first, in step 3301, n, which is the serial number of the pixel to be processed, is initialized to zero.
次に、ステップ３３０２において、被写体が変わったと判定される画素か否かを判定する。これは、全体変化画像データ６４１及び左面変化画像データ６４２を参照することによって実施すればよい。ステップ３３０２の判定において「変化なし」と判定された場合には、ステップ３３０５に進む。
Next, in
ステップ３３０２の判定において「変化あり」と判定された場合には、ステップ３３０３において、出力パラメタデータ２４４と出力画像データ６５０のｎ番目の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、全体デプス画像データ２３６１上のデプス値から三次元空間上での位置Ｐを決定する。
If it is determined in
次に、ステップ３３０４において、ステップ３３０３で決定した位置Ｐと内部パラメタデータ２４１と外部パラメタ２４２とから、左面入力画像データ２２２上の対応する座標値を決定して、左面マップ画像データ６１２のｎ番目の画素の画素値として設定する。
以上の処理を終了した後、ステップ３３０５において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ３３０６において、左面マップ画像データ６１２中のすべての画素について処理が終了したか否かを判定する。左面マップ画像データ６１２中のすべての画素について処理が終了している場合にはステップ３３０７に進んで左面マップ画像データ更新処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ３３０２に進んで処理を続ける。
Next, in step 3304, the corresponding coordinate value on the left side input image data 222 is determined from the position P determined in step 3303, the
After the above processing is completed, n, which is the serial number of the pixel to be processed, is incremented by 1 in
以上、本実施例によれば、実施例１のシステムに対して、より単純な処理の組み合わせによって中間データを更新することが可能である。 As described above, according to the present embodiment, it is possible to update the intermediate data by a simpler combination of processes with respect to the system of the first embodiment.
以下、図３４と図３５を用いて、第３の実施の形態について説明する。 Hereinafter, the third embodiment will be described with reference to FIGS. 34 and 35. FIG.
本実施例は、実施例２に記載の例に対して、移動体の検出を行うことでデプス値の探索を効率的かつ頑健に行えるようにした例である。 The present embodiment is an example in which a depth value search can be efficiently and robustly performed by detecting a moving object, compared to the example described in the second embodiment.
なお本実施例におけるシステムでは、実施例２のシステム構成において、中間データ記憶部２３６０の代わりに、図３４及び図３５で説明するデータをさらに格納できるようにした中間データ記憶部３４６０を備えるように構成する。
Note that the system according to the present embodiment includes an intermediate data storage unit 3460 that can further store data described with reference to FIGS. 34 and 35 in place of the intermediate
図３４は、本実施例のシステムにおける全体デプス画像データ更新処理のフローチャートである。図３４において、図２９と同じ符号は、図２９と同じ処理を表す。 FIG. 34 is a flowchart of the entire depth image data update process in the system of this embodiment. 34, the same reference numerals as those in FIG. 29 represent the same processes as those in FIG.
図３４の全体デプス画像データ更新処理と、図２９の全体デプス画像データ更新処理との違いは、ステップ３４０１、ステップ３４０２、ステップ３４０３、ステップ３４０４である。
The differences between the entire depth image data update process of FIG. 34 and the entire depth image data update process of FIG. 29 are step 3401,
ステップ３４０１の全体デプス画像データ複製処理は、全体デプス画像データ２３６１を複製して、複製全体デプス画像データ３４１０を生成する処理である。生成した複製全体デプス画像データ３４１０は、中間データ記憶部３４６０に格納する。全体デプス画像データ複製処理は、図３５で説明するフロー優先デプス決定処理において、処理している画素位置以外の位置における全体デプス画像データ中の画素値が必要となるため、全体デプス画像データ２３６１が画素毎の処理によって更新されてしまう前に、あらかじめ前の時刻におけるデータを保存しておくための処理である。 The entire depth image data duplicating process in step 3401 is a process of duplicating the entire depth image data 2361 to generate duplicate entire depth image data 3410. The generated entire copy depth image data 3410 is stored in the intermediate data storage unit 3460. In the overall depth image data duplication processing, since the pixel value in the overall depth image data at a position other than the pixel position being processed is required in the flow priority depth determination processing described with reference to FIG. This is a process for preliminarily storing data at the previous time before being updated by the process for each pixel.
ステップ３４０２のオプティカルフロー推定処理は、時刻（Ｔ−１）に撮影した画像データと、時刻Ｔに撮影した画像データとから、どの画素に写っていた被写体がどの画素に写るようになったかを推定する処理であり、公知の技術を用いて実施することが可能である。本実施例に適用する場合の具体的な入力データとしては、時刻（Ｔ−１）に撮影した画像データとして全体参照画像データ６３１を、時刻Ｔに撮影した画像データとして全体変換画像データ６２１を用いる。該オプティカルフロー推定処理の結果は、フローの信頼度と移動元の座標値との組を画素値として持つ、オプティカルフロー画像データ３４２０として、中間データ記憶部３４６０に記憶しておく。
The optical flow estimation processing in
ステップ３４０３では、オプティカルフロー画像データ３４２０の該当画素の画素値を読み込み、所定の閾値に基づいて、該画素のフローが信頼できるか否かを判定する。信頼できると判定した場合には、ステップ３４０４でフロー優先デプス決定処理を行い、信頼できないと判定した場合には、実施例２の場合と同様にステップ２９０２に進んで画素値優先デプス決定処理を行う。フロー優先デプス決定処理の詳細については、図３５を用いて説明する。 In step 3403, the pixel value of the corresponding pixel in the optical flow image data 3420 is read, and it is determined whether or not the flow of the pixel is reliable based on a predetermined threshold value. If it is determined to be reliable, a flow priority depth determination process is performed in step 3404. If it is determined to be unreliable, the process proceeds to step 2902 and the pixel value priority depth determination process is performed as in the second embodiment. . Details of the flow priority depth determination process will be described with reference to FIG.
図３５は、本実施例のシステムにおけるフロー優先デプス決定処理のフローチャートである。 FIG. 35 is a flowchart of flow priority depth determination processing in the system of the present embodiment.
ステップ３５００でフロー優先デプス決定処理が開始されると、まず、ステップ３５０１において移動元デプス値近傍探索処理を行う。移動元デプス値近傍探索処理とは、次のような処理である。
When the flow priority depth determination process is started in
まず、オプティカルフロー画像データ３４２０から現在処理を行っている画素の移動元座標値を読み込む。次に、複製全体デプス画像データ３４１０の該移動元座標値に対応する画素値を読み込んで、移動元デプス値とする。その上で、所定の間隔と所定の適合率評価関数に基づいて、移動元デプス値とその前後のデプス値に対して適合率を算出し、デプス値と適合率の組を中間データ記憶部３４６０に格納する。 First, the movement source coordinate value of the pixel currently being processed is read from the optical flow image data 3420. Next, the pixel value corresponding to the movement source coordinate value of the entire copy depth image data 3410 is read and set as the movement source depth value. Then, based on a predetermined interval and a predetermined precision evaluation function, the precision is calculated for the movement source depth value and the depth values before and after the movement source depth value, and the combination of the depth value and the precision ratio is an intermediate data storage unit 3460. To store.
続いてステップ３５０２において、最適デプス値選択処理を行う。これは、ステップ３５０１において格納されたデプス値と適合率の組から、適合率がもっとも高い組を選択する処理である。このとき選択された組のデプス値をフロー最適デプス値３５１０、このとき選択された組の適合率をフロー最適適合率３５１１とする。 Subsequently, at step 3502, an optimum depth value selection process is performed. This is a process of selecting a pair having the highest precision from the combinations of the depth value and precision that are stored in step 3501. The depth value of the set selected at this time is set as the flow optimum depth value 3510, and the matching rate of the set selected at this time is set as the flow optimum matching rate 3511.
ステップ３５０３において、フロー最適適合率３５１１が適合率として十分か否かを、所定の閾値に基づいて判定する。 In step 3503, it is determined based on a predetermined threshold whether or not the flow optimum matching rate 3511 is sufficient as the matching rate.
ステップ３５０３において適合率が十分であると判定された場合には、ステップ３５０４において、フロー最適デプス値３５１０を全体デプス画像データ２３６１の現在処理を行っている画素の画素値として書き込む。 If it is determined in step 3503 that the matching rate is sufficient, then in step 3504, the flow optimum depth value 3510 is written as the pixel value of the pixel currently being processed in the entire depth image data 2361.
ステップ３５０３において適合率が十分でないと判定された場合には、ステップ３５０５において候補付き画素値優先デプス決定処理を行う。候補付き画素値優先デプス決定処理とは、図３０で説明した画素値優先デプス決定処理のステップ３００４において、最適デプス値の選択肢として前記フロー最適デプス値３５１０を加え、選択の際の基準となる適合率としては前記フロー最適適合率３５１１を用いたものである。
If it is determined in step 3503 that the matching rate is not sufficient, candidate pixel value priority depth determination processing is performed in
以上の処理を終了した後、ステップ３５０６においてフロー優先デプス決定処理を終了する。 After the above processing is completed, the flow priority depth determination processing is ended in step 3506.
以上、本実施例によれば、実施例２に記載の例に対して、デプス値の探索を、より効率的かつ頑健に行うことができる。 As described above, according to the present embodiment, the depth value search can be performed more efficiently and robustly with respect to the example described in the second embodiment.
以下、図３６〜図３９を用いて、第４の実施の形態について説明する。 Hereinafter, the fourth embodiment will be described with reference to FIGS. 36 to 39.
本実施例は、実施例２に記載の例に対して、さらに、ユーザが指定した投影中心から撮影した画像データに擬似的に近くなるような出力画像データを生成するようにしたものである。これは例えば、遠隔会議システムなどにおいて、表示装置の画角に合わせて撮影した画像データを歪ませて表示するような場合に好適な例である。 In the present embodiment, output image data that is close to the image data photographed from the projection center designated by the user is generated in addition to the example described in the second embodiment. This is an example suitable for a case where, for example, in a teleconference system or the like, image data captured in accordance with the angle of view of the display device is distorted and displayed.
図３６は、本実施例のシステムのシステム構成図である。図３６において、図２３と同じ符号は、図２３と同じものを表す。 FIG. 36 is a system configuration diagram of the system of this embodiment. 36, the same reference numerals as those in FIG. 23 denote the same elements as those in FIG.
本実施例の画像合成装置３６００は、画像合成装置２３００に対して、パラメタ記憶部３６４０を、所定の映像生成視点データ３６４５を格納できるように構成し、中間データ記憶部３６６０を、環境再構築データ３６８０を格納できるように構成した上で、画像合成処理の処理内容を変更した画像処理部３６３０を備えるように構成した。
In the
映像生成視点データは、画像合成装置３６００の出力画像データの生成方法を定義するデータである。投影中心位置を全体撮影装置２０１の投影中心位置に等しくとり、座標系に関しても全体撮影装置２０１の座標系と等しくとった場合の、投影方法や画角などのパラメタを格納する。
The video generation viewpoint data is data that defines a method for generating output image data of the
また、環境再構築データ３６８０は、本システムで撮影している空間領域の、どこにどのような色のものがあるかを表現したデータであり、具体的には、各頂点が３次元座標を有するような三角形メッシュデータと、各頂点の色情報とで構成したデータである。 The environment reconstruction data 3680 is data that expresses where and what color of the space area photographed by this system exists. Specifically, each vertex has three-dimensional coordinates. Such data is composed of triangular mesh data and color information of each vertex.
環境再構築データ３６８０の生成方法に関しては図３９を用いて、また、変更後の画像合成処理の処理内容に関しては、図３７と図３８を用いて説明する。 The method for generating the environment reconstruction data 3680 will be described with reference to FIG. 39, and the contents of the image composition processing after the change will be described with reference to FIGS.
図３７は、本実施例のシステムにおける画像合成処理のフローチャートである。図３７において、図１０と同じ符号は、図１０と同じ処理を表す。 FIG. 37 is a flowchart of image composition processing in the system of this embodiment. 37, the same reference numerals as those in FIG. 10 represent the same processes as those in FIG.
本実施例の画像合成処理は、図１０で説明した画像合成処理に対して、合成画像データ出力処理１０１０の前に出力画像データ更新処理３７０１を加えただけのものである。出力画像データ更新処理３７０１の詳細は、図３８を用いて説明する。
The image composition process of this embodiment is obtained by adding an output image data update process 3701 before the composite image
図３８は、本実施例のシステムにおける出力画像データ更新処理のフローチャートである。 FIG. 38 is a flowchart of output image data update processing in the system of this embodiment.
ステップ３８００で出力画像データ更新処理が開始されると、ステップ３８０１において全体デプス画像データ２３６１を読み込み、続いてステップ３８０２において出力画像データ６５０を読み込む。
When the output image data update process is started in step 3800, the entire depth image data 2361 is read in step 3801, and then the
次に、ステップ３８０３において、全体デプス画像データ２３６１と出力画像データ６５０とに基づいて、環境再構築データ３６８０を生成する。環境再構築データ３６８０を生成するための具体的な処理については、図３９を用いて説明する。
Next, in Step 3803, environment reconstruction data 3680 is generated based on the entire depth image data 2361 and the
次に、ステップ３８０４において、映像生成視点データ３６４５を読み込む。 Next, in step 3804, the video generation viewpoint data 3645 is read.
次に、ステップ３８０５において、出力画像データ６５０の再描画を行う。映像生成視点データ３６４５と環境再構築データ３６８０とから透視変換の原理によって出力画像データ６５０を生成しなおせばよく、公知の技術によって実施することができる。
In
以上の処理を終了した後、ステップ３８０６において、出力画像データ更新処理を終了する。 After finishing the above processing, in step 3806, the output image data update processing is finished.
図３９は、本実施例のシステムにおける環境再構築データの生成方法を説明するための図である。 FIG. 39 is a diagram for explaining a method for generating environment reconstruction data in the system according to the present embodiment.
環境再構築データ３６８０の各頂点には、出力画像データ６５０の各画素を割り当てる。各頂点の３次元座標値に関しては、出力パラメタデータ２４４と出力画像データ６５０の各々の画素位置とで規定される、投影中心位置を基点として画素位置方向を向くような３次元方向に関して、全体デプス画像データ２３６１上の対応する画素に格納されているデプス値に基づいて決定すればよい。また、三角形メッシュデータとするための頂点同士の繋ぎ方に関しては、図３９に表されるように、各画素によって作られる単位格子に対して、対角線を挿入する向きをあらかじめ決めておき、その向きにしたがって規則的に繋いでいくことで実施すればよい。
Each pixel of the
具体的には、頂点間を正方格子状に繋いだ上で、頂点３９００、頂点３９０１、頂点３９０２、頂点３９０３に対して、頂点３９００と頂点３９０３、あるいは、頂点３９０１と頂点３９０２、のいずれを繋ぐかの規則を決めておき、該規則にしたがって規則的に繋いでいく。図３９は頂点３９００と頂点３９０３とを対角線３９１０によって繋いだ例である。なお、各頂点の色情報に関しては、出力画像データ６５０の該当画素の画素値をそのまま使用すればよい。
Specifically, after connecting the vertices in a square lattice shape, the
以上、本実施例によれば、見え隠れの違いや指向性を持つ光学特性に関する違いはあるものの、実施例２に記載の例に対して、さらに、ユーザが指定した投影中心から撮影した画像データに擬似的に近くなるような出力画像データを生成することができる。 As described above, according to the present embodiment, although there are differences in visibility and optical characteristics having directivity, the image data captured from the projection center designated by the user is further added to the example described in the second embodiment. It is possible to generate output image data that is close to pseudo.
なお、本実施例と公知技術との違いは、複数の撮影装置の投影中心が異なることによる画質の劣化は発生していない点である。 Note that the difference between the present embodiment and the publicly known technique is that the image quality is not deteriorated due to different projection centers of a plurality of photographing apparatuses.
以下、図４０〜図４４を用いて、第５の実施の形態について説明する。 Hereinafter, the fifth embodiment will be described with reference to FIGS. 40 to 44.
本実施例は、実施例１に記載の例に対して、さらに、左面撮影装置と右面撮影装置の撮影範囲が重複することができるようにした例であり、出力画像データ中の広い領域を高精細な画像データを接続して表現する場合に適した例である。 The present embodiment is an example in which the shooting ranges of the left and right photographing apparatuses can be overlapped with the example described in the first embodiment, and a wide area in the output image data is increased. This is an example suitable for connecting and expressing fine image data.
図４０は、本実施例のシステムにおける各撮影装置の撮影範囲と出力画像の生成範囲との関係を表す図である。 FIG. 40 is a diagram illustrating the relationship between the imaging range of each imaging apparatus and the output image generation range in the system of the present embodiment.
図４０において、撮影範囲４０００は全体撮影装置２０１の撮影範囲であり、撮影範囲４０１０は左面撮影装置２０２の撮影範囲であり、撮影範囲４０１１は右面撮影装置２０３の撮影範囲である。また、出力画像生成範囲４０２０は出力画像の生成範囲である。図４０は、本実施の形態を適用する場合の条件について説明するためのものであり、各々の範囲の実際の形状は図４０に記載のものと大きく異なっていてもよい。
In FIG. 40, an
本実施例は、撮影範囲４０００が出力画像生成範囲４０２０を含んでいる場合について適用するに好適な例である。撮影範囲４０１０と撮影範囲４０１１とに共通して含まれる範囲がある場合でも対応が可能であるようにした例ではあるが、撮影範囲４０１０と撮影範囲４０１１とに共通して含まれる範囲が存在することは、必ずしも本実施の形態に必要な条件ではない。
The present embodiment is an example suitable for application to a case where the
図４１は、本実施例のシステムにおける合成マップ画像データ６１６の画素値のデータ形式を説明する図である。 FIG. 41 is a diagram for explaining the data format of the pixel value of the composite map image data 616 in the system of the present embodiment.
本実施例においては、データ形式７２０の代わりに、データ形式４１２０を用いる。データ形式４１２０は、全体サンプリング用データ４１００と、左面サンプリング用データ４１０１と、右面サンプリング用データ４０１２とで構成したものである。
In this embodiment, a data format 4120 is used instead of the
全体サンプリング用データ４１００は、重み値ＷＴと、参照元Ｘ座標地ＸＴと、参照元Ｙ座標値ＹＴとで構成する。重み値ＷＴと参照元Ｘ座標値ＸＴと参照元Ｙ座標値ＹＴはいずれも実数値であり、参照元Ｘ座標地ＸＴと参照元Ｙ座標値ＹＴは全体入力画像データ２２１上の座標値を表す。
The
同様に、左面サンプリング用データ４１０１は、重み値ＷＬと、参照元Ｘ座標値ＸＬと、参照元Ｙ座標値ＹＬとで構成する。重み値ＷＬと参照元Ｘ座標値ＸＬと参照元Ｙ座標値ＹＬはいずれも実数値であり、参照元Ｘ座標値ＸＬと参照元Ｙ座標値ＹＬは左面入力画像データ２２２上の座標値を表す。 Similarly, the left side sampling data 4101 includes a weight value WL, a reference source X coordinate value XL, and a reference source Y coordinate value YL. The weight value WL, the reference source X coordinate value XL, and the reference source Y coordinate value YL are all real values, and the reference source X coordinate value XL and the reference source Y coordinate value YL represent the coordinate values on the left side input image data 222. .
同様に、右面サンプリング用データ４１０２は、重み値ＷＲと、参照元Ｘ座標値ＸＲと、参照元Ｙ座標値ＹＲとで構成する。重み値ＷＲと参照元Ｘ座標値ＸＲと参照元Ｙ座標値ＹＲはいずれも実数値であり、参照元Ｘ座標値ＸＲと参照元Ｙ座標値ＹＲは右面入力画像データ２２３上の座標値を表す。
Similarly, the right
図４２は、本実施例のシステムにおける重み値の算出方法を説明するための図である。 FIG. 42 is a diagram for explaining a weight value calculation method in the system according to the present embodiment.
図４２を用いて、参照元座標値が入力画像データ４２１０の座標値４２２０である場合の重みの算出方法を説明する。まず、Ｘ方向の算出基準距離ＤＸを算出する。これは、図４２のＸ方向距離ＤＸ１とＸ方向距離ＤＸ２のうち小さい方の値である。次に、同様に、Ｙ方向の算出基準距離ＤＹを算出する。すなわち、図４２のＹ方向距離ＤＹ１とＹ方向距離ＤＹ２のうち小さい方の値とする。Ｘ方向の算出基準距離ＤＸ及びＹ方向の算出基準距離ＤＹを算出した上で、重み値ＷをＤＸとＤＹの積として決定する。 A weight calculation method when the reference source coordinate value is the coordinate value 4220 of the input image data 4210 will be described with reference to FIG. First, a calculation reference distance DX in the X direction is calculated. This is the smaller value of the X-direction distance DX1 and the X-direction distance DX2 in FIG. Next, similarly, a calculation reference distance DY in the Y direction is calculated. That is, the smaller one of the Y-direction distance DY1 and the Y-direction distance DY2 in FIG. After calculating the calculation reference distance DX in the X direction and the calculation reference distance DY in the Y direction, the weight value W is determined as the product of DX and DY.
図４３は、本実施例のシステムにおける採用画素決定処理のフローチャートである。
ステップ４３００で採用画素決定処理が開始されると、まず、ステップ４３０１においてＷＴとＷＬとＷＲの値を初期化する。具体的には、「ＷＴ＝１」とし、ＷＬとＷＲの値に関しては、合成マップ画像データ６１６に格納されている参照元Ｘ座標値と参照元Ｙ座標値とに基づいて、図４２で説明した方法によって初期化する。
FIG. 43 is a flowchart of adopted pixel determination processing in the system of this embodiment.
When the adopted pixel determination process is started in step 4300, first, in step 4301, the values of WT, WL, and WR are initialized. Specifically, “WT = 1” is set, and the values of WL and WR are described with reference to FIG. 42 based on the reference source X coordinate value and the reference source Y coordinate value stored in the composite map image data 616. Initialize by the method you did.
次に、ステップ４３０２において、所定の閾値に基づいて、ＶＴとＶＬの差が許容範囲内か否かを判定し、許容範囲外と判定された場合には、ステップ４３０３においてＷＬの値を０とする。 Next, in Step 4302, it is determined whether or not the difference between VT and VL is within the allowable range based on a predetermined threshold. If it is determined that the difference is outside the allowable range, the value of WL is set to 0 in Step 4303. To do.
次に、ステップ４３０４において、所定の閾値に基づいて、ＶＴとＶＲの差が許容範囲内か否かを判定し、許容範囲外と判定された場合には、ステップ４３０５においてＷＲの値を０とする。
Next, in step 4304, based on a predetermined threshold value, it is determined whether or not the difference between VT and VR is within the allowable range. If it is determined that the difference is outside the allowable range, the value of WR is set to 0 in
次に、ステップ４３０６において、「ＷＬ＋ＷＲ＞０」、すなわち、ＷＬとＷＲの値の少なくとも一方は０でないか否かを判定する。ＷＬとＷＲの値の少なくとも一方が０でない場合には、ステップ４３０７でＷＴの値を０とする。 Next, in step 4306, it is determined whether or not “WL + WR> 0”, that is, at least one of the values of WL and WR is not zero. If at least one of the values of WL and WR is not 0, in step 4307, the value of WT is set to 0.
続いて、ステップ４３０８でＷＴとＷＬとＷＲの値を正規化する処理を行う。具体的には、ＷＴとＷＬとＷＲのそれぞれを、それらの値の総和（ＷＴ＋ＷＬ＋ＷＲ）で割ることにより、ＷＴとＷＬとＷＲの値の和が１となるようにする。
Subsequently, in
以上の処理が終了した後、ステップ４３０９において採用画素決定処理を終了する。
After the above processing is completed, the adopted pixel determination processing is ended in
図４４は、本実施例のシステムにおける出力画像データ生成処理のフローチャートである。 FIG. 44 is a flowchart of output image data generation processing in the system of this embodiment.
ステップ４４００で出力画像データ生成処理が開始されると、まず、ステップ４４０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
When the output image data generation process is started in
次に、ステップ４４０２において、合成マップ画像データ６１６からｎ番目の画素の画素値を読み込む。 Next, in step 4402, the pixel value of the nth pixel is read from the composite map image data 616.
次に、ステップ４４０３において、ステップ４４０２で読み込んだデータに基づいて、各入力画像データの画素値の重み付きの和を取ることにより、出力画像データ６５０のｎ番目の画素の画素値を決定する。
Next, in step 4403, the pixel value of the nth pixel of the
次に、ステップ４４０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ４４０５において、出力画像データ６５０中のすべての画素について処理が終了したか否かを判定する。出力画像データ６５０中のすべての画素について処理が終了している場合にはステップ４４０６に進んで出力画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ４４０２に進んで処理を続ける。
In step 4404, n, which is the serial number of the pixel to be processed, is incremented by 1. Subsequently, in
以上、本実施例によれば、実施例１に記載の例に対して、さらに、左面撮影装置と右面撮影装置の撮影範囲が重複する場合にも、適用することができる。 As described above, according to the present embodiment, the present invention can be applied to the example described in the first embodiment even when the shooting ranges of the left and right imaging apparatuses overlap.
以下、図４５〜図４９を用いて、第６の実施の形態について説明する。 Hereinafter, the sixth embodiment will be described with reference to FIGS. 45 to 49.
本実施例は、実施例５に記載の例に対して、さらに、全体撮影装置の撮影範囲に課する条件を、左面撮影装置と右面撮影装置が重複して撮影している領域だけを含んでいればよい、という条件に緩めた例であり、遠隔会議システムなどで広視野角の映像を得たい場合に好適な例である。 In this embodiment, in addition to the example described in the fifth embodiment, the conditions imposed on the shooting range of the whole shooting apparatus include only the area where the left shooting apparatus and the right shooting apparatus are shooting in an overlapping manner. This is an example that is relaxed under the condition that it is only necessary to have a wide viewing angle in a remote conference system or the like.
図４５は本実施例のシステムにおける各撮影装置の撮影範囲を説明するための状況説明図である。図４５において、図８と同じ符号は、図８と同じものを表す。 FIG. 45 is a situation explanatory diagram for explaining a photographing range of each photographing apparatus in the system of the present embodiment. 45, the same reference numerals as those in FIG. 8 represent the same elements as those in FIG.
本実施例は、図８の場合と異なり、図４５にあるように、全体撮影装置２０１の画角が十分に広角ではなく、表示したい領域全体を表示するためには、左面撮影装置２０２が単独で撮影している領域、または、右面撮影装置２０３が単独で撮影している領域、が必要となる例である。
Unlike the case of FIG. 8, the present embodiment differs from the case of FIG. 8 in that the angle of view of the whole
図４６は本実施例のシステムにおける各撮影装置の撮影範囲と出力画像の生成範囲との関係を表す図である。 FIG. 46 is a diagram illustrating the relationship between the imaging range of each imaging apparatus and the output image generation range in the system of the present embodiment.
図４６において、撮影範囲４６００は全体撮影装置２０１の撮影範囲であり、撮影範囲４６１０は左面撮影装置２０２の撮影範囲であり、撮影範囲４６１１は右面撮影装置２０３の撮影範囲である。また、出力画像生成範囲４６２０は出力画像の生成範囲である。図４６は、本実施の形態を適用する場合の条件について説明するためのものであり、各々の範囲の実際の形状は図４６に記載のものと大きく異なっていてもよい。
In FIG. 46, an
本実施例は、出力画像生成範囲４６２０の一部が撮影範囲４６００の外側にはみ出している場合について適用するに好適な例である。撮影範囲４６１０と撮影範囲４６１１とに共通して含まれる範囲がある場合でも対応が可能であるようにした例ではあるが、撮影範囲４６１０と撮影範囲４６１１とに共通して含まれる範囲が存在することは、必ずしも本実施の形態に必要な条件ではない。
This embodiment is an example suitable for application to a case where a part of the output image generation range 4620 protrudes outside the
本実施例の適用に関しては、出力画像生成範囲４６２０の全体が撮影範囲４６００と撮影範囲４６１０と撮影範囲４６１１の和集合に含まれることが必要条件となる。また、撮影範囲４６１０と撮影範囲４６１１と出力画像生成範囲４６２０とに共通して含まれる範囲が存在する場合には、該範囲を撮影範囲４６００が含んでいることが望ましい。
Regarding the application of this embodiment, it is a necessary condition that the entire output image generation range 4620 is included in the union of the
図４７は本実施例のシステムにおいて被写体位置による不整合の発生の仕方の違いを説明するための図である。 FIG. 47 is a diagram for explaining a difference in how inconsistencies occur depending on the subject position in the system of the present embodiment.
図４７において、視点位置４７００は全体撮影装置２０１が画像データを生成する際の投影中心となる位置、すなわち、出力画像データ生成時の投影中心となる位置であり、視点位置４７１０は左面撮影装置２０２が画像データを生成する際の投影中心となる位置であり、視点位置４７１１は右面撮影装置２０３が画像データを生成する際の投影中心となる位置である。
In FIG. 47, a
被写体４７３０と被写体４７３１は、視点位置４７００を中心とする円４７２０上に乗っている被写体、すなわち、視点位置４７００に関して等距離にある被写体である。この２つの被写体に対して、視点位置４７１０から見た場合と視点位置４７１１から見た場合の見える方向の差は、被写体４７３０に関しては角度４７４０となり、被写体４７３１に関しては角度４７４１となる。ここで、角度４７４０の方が角度４７４１よりも大きいことは明らかである。
A subject 4730 and a subject 4731 are subjects on a circle 4720 centered on the
この例から、本撮影システムの撮影領域の中央部に比べ、周辺部の方が不整合が目立ちにくいということが言える。本実施例は、この性質を利用し、中央部に関しては１つの撮影装置で撮影した画像データと整合性のある画像データを生成し、周辺部に関しては、中央部と滑らかに繋がるように別の撮影装置で撮影した画像データを接続しようというものである。本実施例においては、本質的に、１つの撮影装置で撮影した画像データと整合する画像データを撮像することは不可能であるが、そのような画像データに比べて見た目では遜色のない出力画像データを生成する。 From this example, it can be said that the inconsistency is less noticeable in the peripheral portion than in the central portion of the photographing region of the photographing system. The present embodiment utilizes this property, generates image data that is consistent with the image data captured by one photographing apparatus for the central portion, and separates the peripheral portion so as to be smoothly connected to the central portion. This is an attempt to connect image data photographed by a photographing apparatus. In the present embodiment, it is essentially impossible to capture image data that matches image data captured by a single imaging device, but an output image that is visually inferior to such image data. Generate data.
図４８は本実施例のシステムにおける採用画素決定処理のフローチャートである。図４８において、図４３と同じ符号は、図４３と同じものを表す。 FIG. 48 is a flowchart of adopted pixel determination processing in the system of this embodiment. 48, the same reference numerals as those in FIG. 43 denote the same elements as those in FIG.
図４８の採用画素決定処理において、図４３の採用画素決定処理と異なるのは、ステップ４８０１と、ステップ４８０２と、ステップ４８０３と、ステップ４８０４である。以下、これらのステップの詳細について説明する。
The adopted pixel determination process in FIG. 48 differs from the adopted pixel determination process in FIG. 43 in
ステップ４８０１における初期化処理の違いは、ＷＴの初期化処理である。図４３のステップ４３０１で説明した初期化処理においては、「ＷＴ＝１」となるように初期化を行ったが、本実施例のステップ４８０１においては、図４９で説明するように参照元座標値に依存した初期化を行う。なお、ＷＬとＷＲの初期化については、図４３のステップ４３０１と同じ処理を行う。
The difference in the initialization process in
ステップ４８０２は、図４３のステップ４３０３に対応する処理である。図４３のステップ４３０３においては、ＷＬの値を０としていたが、本実施例のステップ４８０２においてはＷＬの値をＷ０とする。ここでＷ０は、ＷＴが１である場合には結果に影響しないような非常に小さな数である。具体的には、出力画像データ６５０の画素値の取り得る範囲が０から２５５である場合には、例えばＷ０の値として１／５１２を採用すればよい。
Step 4802 is processing corresponding to step 4303 in FIG. In step 4303 of FIG. 43, the value of WL is set to 0. However, in step 4802 of this embodiment, the value of WL is set to W0. Here, W0 is a very small number that does not affect the result when WT is 1. Specifically, when the possible range of the pixel value of the
これは、出力画像データ６５０の画素値が離散値であることを利用したものであり、このような処理とするのは、全体サンプリング用データ４１００中の参照元座標値が全体入力画像データ２２１の端に近づくにしたがって、不整合が発生した場合においても、左面入力画像データ２２２または右面入力画像データ２２３の画素値を優先して出力画像データ６５０を生成するようにするためである。これにより、全体入力画像データ２２１に写っている領域から、全体入力画像データ２２１に写っておらず、したがって左面入力画像データ２２２または右面入力画像データ２２３の画素値のみから出力画像データ６５０の画素値を決定しなければならない領域に、滑らかに接続ができるようにする。
This is based on the fact that the pixel value of the
同様に、ステップ４８０３は、図４３のステップ４３０５に対応する処理である。図４３のステップ４３０５においては、ＷＲの値を０としていたが、本実施例のステップ４８０３においてはＷＲの値をＷ０とする。
Similarly, Step 4803 is processing corresponding to Step 4305 in FIG. In
ステップ４８０４は、図４３のステップ４３０６に対応する処理である。図４３のステップ４３０６においては「ＷＬ＋ＷＲ＞０」か否かの判定を行っていたが、本実施例のステップ４８０４では「ＷＬ＋ＷＲ≧１」か否かの判定を行う。これは、全体参照画像データ６３１の画素値と左面参照画像データ６３２の画素値、あるいは、全体参照画像データ６３１の画素値と右面参照画像データ６３３の画素値との間で、整合性がある場合にのみＷＴ＝０とし、その他の場合には、全体入力画像データ２２１の画素値と左面入力画像データ２２２の画素値と右面入力画像データ２２３の画素値とを重みを考慮してブレンドすることによって出力画像データ６５０の画素値を決定するようにするためである。
Step 4804 is processing corresponding to step 4306 in FIG. In step 4306 of FIG. 43, it is determined whether or not “WL + WR> 0”, but in step 4804 of this embodiment, it is determined whether or not “WL + WR ≧ 1”. This is because there is consistency between the pixel value of the overall reference image data 631 and the pixel value of the left reference image data 632, or between the pixel value of the overall reference image data 631 and the pixel value of the right reference image data 633. In other cases, the pixel value of the entire input image data 221, the pixel value of the left surface input image data 222, and the pixel value of the right surface input image data 223 are blended in consideration of the weight. This is because the pixel value of the
図４９は本実施例のシステムにおける全体サンプリング用データ４１００の重み値の決定方法を説明するための図である。図４９において、図４６と同じ符号は、図４６と同じものを表す。
FIG. 49 is a diagram for explaining a method of determining the weight value of the
ＷＴの初期値は、少なくとも撮影範囲４６１０と撮影範囲４６１１と出力画像生成範囲４６２０とに共通して含まれる範囲においては「ＷＴ＝１」とし、そこから撮影範囲４６００の境界に近づくにしたがって「ＷＴ＝０」となるように連続に変化させる。
The initial value of WT is “WT = 1” at least in a range included in common with the
具体的には、図４９の断面４９００におけるＷＴの初期値を決定するための関数として、関数４９１０を用いる。関数４９１０は、撮影範囲４６１０と撮影範囲４６１１と出力画像生成範囲４６２０とに共通して含まれる範囲を包含する領域４９２１では「ＷＴ＝１」であり、それ以外の領域となる領域４９２０及び領域４０２２では撮影範囲４６００の境界に近づくにしたがって「ＷＴ＝０」となるような連続関数である。
Specifically, a function 4910 is used as a function for determining the initial value of WT in the
以上、本実施例によれば、実施例５に記載の例に対して、さらに、全体撮影装置の撮影範囲に課する条件を、左面撮影装置と右面撮影装置が重複して撮影している領域だけを含んでいればよい、という条件に緩めた場合にも、適用することができる。 As described above, according to the present embodiment, in addition to the example described in the fifth embodiment, an area in which the left side photographing device and the right side photographing device are photographing the conditions imposed on the photographing range of the whole photographing device. It can be applied even when relaxed to the condition that it only has to be included.
以下、図５０〜図５５を用いて、第７の実施の形態について説明する。 Hereinafter, the seventh embodiment will be described with reference to FIGS. 50 to 55.
本実施例は、実施例２に記載の例に対して、さらに、全体撮影装置以外の撮影装置の焦点距離や姿勢の変更ができるようにした例である。これは例えば、遠隔会議システムにおいて、音声認識等によって発言者の位置が特定できる場合に、該発言者が中央に写るように姿勢を制御した上で、該発言者をズームアップして撮影し、該発言者の表情までを細やかに表現する、といったアプリケーションに適用するのに好適な例である。 The present embodiment is an example in which the focal length and posture of an imaging apparatus other than the whole imaging apparatus can be changed with respect to the example described in the second embodiment. For example, in a remote conference system, when the position of the speaker can be specified by voice recognition or the like, the posture is controlled so that the speaker is reflected in the center, and then the speaker is zoomed in and photographed. This is an example suitable for application to an application that expresses the expression of the speaker in detail.
図５０は本実施例のシステムのシステム構成図である。図５０において、図２３と同じ符号は、図２３と同じものを表す。 FIG. 50 is a system configuration diagram of the system of this embodiment. 50, the same reference numerals as those in FIG. 23 denote the same elements as those in FIG.
本実施例においては、左面撮影装置５０２０は、姿勢制御部５０２１と画角制御部５０２２とを備え、左面撮影装置２０２の機能に加え、撮影装置制御装置５０１０からの制御信号によって撮影姿勢及び撮影画角（あるいは焦点距離）を変更する機能を備える。同様に、右面撮影装置５０３０は、姿勢制御部５０３１と画角制御部５０３２とを備え、左面撮影装置２０３の機能に加え、撮影装置制御装置５０１０からの制御信号によって撮影姿勢及び撮影画角を変更する機能を備える。
In the present embodiment, the left
撮影装置制御装置５０１０は、外部からの制御信号によって左面撮影装置５０２０及び右面撮影装置５０３０の撮影姿勢や撮影画角を制御し、変更後の左面撮影装置５０２０及び右面撮影装置５０３０の撮影姿勢や撮影画角の情報を、画像合成装置５０００に送信する機能を持つ。
The photographing
本実施例における画像合成装置５０００は、全体制御部５０８０を、全体入力状態フラグ２８１、左面入力状態フラグ２８２、右面入力状態フラグ２８３、状態モードフラグ２８４、デフォルト画像データ２８５、に加え、動的内部パラメタデータ５０８１及び動的外部パラメタデータ５０８２を格納できるように構成し、撮影装置制御装置５０１より送信された、左面撮影装置５０２０及び右面撮影装置５０３０の撮影画角の情報を動的内部パラメタデータ５０８１に、撮影姿勢の情報を動的外部パラメタデータ５０８２に、それぞれ格納するように構成する。
The
また、画像処理部５０４０は、画像処理部２３３０に対して、図５３を用いて説明する左面中間データ更新処理と、それに対応する右面中間データ更新処理とをさらに処理できるように構成し、また、中間データ更新処理５１０１の処理内容の一部を変更したものである。具体的には、採用画素決定処理を図５４を用いて説明するものに変更し、また、出力画像データ生成処理２００７の終了後に、図５５を用いて説明する出力画像データ更新処理を実行するようにした。
Further, the
図５１は、本実施例のシステムにおける画像合成処理のフローチャートである。図５１において、図１０と同じ符号は、図１０と同じ処理を表す。 FIG. 51 is a flowchart of image composition processing in the system of this embodiment. 51, the same reference numerals as those in FIG. 10 represent the same processes as those in FIG.
ステップ５１０１の中間データ更新処理は、図２８で説明した中間データ更新処理に対して、採用画素決定処理を図５４を用いて説明するものに変更し、また、出力画像データ生成処理２００７の終了後に、図５５を用いて説明する出力画像データ更新処理を実行するようにしたものである。
In the intermediate data update process in
また、ステップ５１０２の撮影パラメタ変更関連処理の詳細については、図５２を用いて説明する。
Details of the photographing parameter change related processing in
図５２は、本実施例のシステムにおける撮影パラメタ変更関連処理のフローチャートである。 FIG. 52 is a flowchart of the photographing parameter change related process in the system of the present embodiment.
ステップ５２００で撮影パラメタ変更関連処理が開始されると、まず、ステップ５２０１において、左面撮影装置５０２０の撮影パラメタの変更が完了したか否かを判定する。このとき、左面撮影装置５０２０の撮影パラメタが変化していない場合には「否」であると判定する。
When the shooting parameter change-related process is started in step 5200, first, in step 5201, it is determined whether or not the shooting parameter change of the left
ステップ５２０１において左面撮影装置５０２０の撮影パラメタの変更が完了したと判定された場合には、ステップ５２０２において左面中間データ更新処理を行う。左面中間データ更新処理の詳細については、図５３を用いて説明する。
If it is determined in step 5201 that the change of the imaging parameter of the left
続いて、ステップ５２０３において、右面撮影装置５０３０の撮影パラメタの変更が完了したか否かを判定する。このとき、右面撮影装置５０３０の撮影パラメタが変化していない場合には「否」であると判定する。
Subsequently, in step 5203, it is determined whether or not the change of the shooting parameter of the right
ステップ５２０３において右面撮影装置５０３０の撮影パラメタの変更が完了したと判定された場合には、ステップ５２０４において右面中間データ更新処理を行う。右面中間データ更新処理は、ステップ５２０２における左面中間データ更新処理と同様の処理によって実施することができる。
If it is determined in step 5203 that the change of the shooting parameters of the right
以上の処理を終了後、ステップ５２０５において、撮影パラメタ変更関連処理を終了する。 After finishing the above processing, in step 5205, the photographing parameter change related processing is finished.
図５３は、本実施例のシステムにおける左面中間データ更新処理のフローチャートである。 FIG. 53 is a flowchart of the left side intermediate data update process in the system of the present embodiment.
ステップ５３００で左面中間データ更新処理が開始されると、まず、ステップ５３０１において内部パラメタデータ２４１と外部パラメタデータ２４２を読み込む。
When the left side intermediate data update process is started in step 5300, first, in step 5301, the
次に、ステップ５３０２において、動的内部パラメタデータ５０８１及び動的外部パラメタデータ５０８２を読み込む。 Next, in step 5302, dynamic internal parameter data 5081 and dynamic external parameter data 5082 are read.
次に、ステップ５３０３において、再マップ可能領域抽出処理を行う。これは、撮影パラメタの変更の前後で共通に撮影されている領域を出力画像データ６５０の座標上で抽出する処理であり、内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４と動的内部パラメタデータ５０８１と動的外部パラメタデータ５０８２に基づいて算出されるものである。
Next, in step 5303, a remappable area extraction process is performed. This is a process of extracting a region that is commonly photographed before and after the photographing parameter change on the coordinates of the
次に、ステップ５３０４において、再マップ可能領域中の画素に関して、中間データ再マップ処理を行う。これは、内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４と動的内部パラメタデータ５０８１と動的外部パラメタデータ５０８２とを使い、撮影パラメタの変更前の値に基づいてデプス画像データ２３６０とマップ画像データ６１０と参照画像データ６３０を更新する処理である。
Next, in step 5304, intermediate data remapping processing is performed on the pixels in the remappable area. This uses
次に、ステップ５３０５において、動的内部パラメタデータ５０８１で内部パラメタデータ２４１を更新し、続いてステップ５３０６において、動的外部パラメタデータ５０８２で外部パラメタデータ２４２を更新する。
Next, in step 5305, the
次に、ステップ５３０７において、再マップ可能領域以外の領域に存在する画素に関して、中間データ生成処理を行う。これは、処理すべき画素が限定されていることを除いては、図２４で説明した中間データ生成処理と同一の処理である。 Next, in step 5307, intermediate data generation processing is performed for pixels existing in an area other than the remappable area. This is the same process as the intermediate data generation process described with reference to FIG. 24 except that the pixels to be processed are limited.
以上の処理を終了後、ステップ５３０８において左面中間データ更新処理を終了する。 After finishing the above processing, the left side intermediate data update processing is ended in step 5308.
図５４は、本実施例のシステムにおける採用画素決定処理のフローチャートである。
ステップ５４００において採用画素決定処理が開始されると、まず、ステップ５４０１において左面撮影装置５０２０の撮影パラメタが変更中であるか否かを判定する。左面撮影装置５０２０の撮影パラメタが変更中でないと判定された場合には、ステップ５４０２においてＶＴとＶＬの差が許容範囲内にあるか否かを判定し、許容範囲内であると判定された場合には、ステップ５４０３に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「左面入力画像データ」を設定し、参照元Ｘ座標値７２２には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には左面マップ画像データ６１２のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定した後、ステップ５４０４に進んで採用画素決定処理を終了する。
FIG. 54 is a flowchart of adopted pixel determination processing in the system of this embodiment.
When the adopted pixel determination process is started in step 5400, first, in
ステップ５４０１において左面撮影装置５０２０の撮影パラメタが変更中であると判定された場合、あるいは、ステップ５４０２においてＶＴとＶＬの差が許容範囲内にないと判定された場合には、ステップ５４０５に進む。
If it is determined in
ステップ５４０５では、右面撮影装置５０３０の撮影パラメタが変更中であるか否かを判定する。右面撮影装置５０３０の撮影パラメタが変更中でないと判定された場合には、ステップ５４０６においてＶＴとＶＲの差が許容範囲内にあるか否かを判定し、許容範囲内であると判定された場合には、ステップ５４０７に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「右面入力画像データ」を設定し、参照元Ｘ座標値７２２には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には右面マップ画像データ６１３のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定した後、ステップ５４０４に進んで採用画素決定処理を終了する。
In step 5405, it is determined whether or not the shooting parameter of the right
ステップ５４０５において右面撮影装置５０３０の撮影パラメタが変更中であると判定された場合、あるいは、ステップ５４０６においてＶＴとＶＲの差が許容範囲内にないと判定された場合には、ステップ５４０８に進み、合成マップ画像データ６１６のｎ番目の画素の画素値として、入力データ識別子７２１には「全体入力画像データ」を設定し、参照元Ｘ座標値７２２には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｘ座標値７１１を設定し、参照元Ｙ座標値７２３には全体マップ画像データ６１１のｎ番目の画素の画素値である参照元Ｙ座標値７１２を設定した後、ステップ５４０４に進んで採用画素決定処理を終了する。
If it is determined in step 5405 that the imaging parameter of the right
図５５は、本実施例のシステムにおける出力画像データ更新処理のフローチャートである。出力画像データ更新処理は、左面撮影装置２０２や右面撮影装置２０３の撮影パラメタが変化している場合に、例えば、出力画像データ６５０中のどの部分をどの程度ズームアップしているのか、が分かるようにするための処理である。
FIG. 55 is a flowchart of output image data update processing in the system of this embodiment. In the output image data update processing, when the shooting parameters of the left
ステップ５５００で出力画像データ更新処理が開始されると、まず、ステップ５５０１において状態変化中撮影領域抽出用データを読み込む。状態変化中撮影領域抽出用データとは、具体的には、全体デプス画像データ２３６１と内部パラメタデータ２４１と外部パラメタデータ２４２と出力パラメタデータ２４４と動的内部パラメタデータ５０８１と動的外部パラメタデータ５０８２である。
When the output image data update process is started in
次に、ステップ５５０２で、出力画像データ６５０を読み込む。
Next, in
次に、ステップ５５０３で、出力画像データ６５０に、状態変化中撮影領域の境界線を描き込み、あらためて出力画像データ６５０として格納する。
以上の処理を終了後、ステップ５５０４において、出力画像データ更新処理を終了する。
Next, in step 5503, the boundary line of the imaging region during the state change is drawn in the
After finishing the above processing, in step 5504, the output image data update processing is finished.
以上、本実施例によれば、全体撮影装置以外の撮影装置の焦点距離や姿勢を変更し得る場合にも、適用することができる。 As described above, according to the present embodiment, the present invention can also be applied to cases where the focal length and posture of an imaging apparatus other than the whole imaging apparatus can be changed.
以下、図５６〜図５９を用いて、第８の実施の形態について説明する。 Hereinafter, the eighth embodiment will be described with reference to FIGS. 56 to 59.
本実施例は、実施例５に記載の例に対して、さらに、映像中の背景領域に相当する部分のうち、動きの少ない領域を高精細に表示できるようにした例である。 The present embodiment is an example in which, in addition to the example described in the fifth embodiment, an area with less movement among the portions corresponding to the background area in the video can be displayed with high definition.
図５６は、本実施例のシステムのシステム構成図である。図５６において、図２と同じ符号は、図２と同じものを表す。また、図５６において、図６と同じ符号は、図６と同じものを表す。 FIG. 56 is a system configuration diagram of the system of this embodiment. 56, the same reference numerals as those in FIG. 2 denote the same elements as those in FIG. 56, the same reference numerals as those in FIG. 6 denote the same elements as those in FIG.
本実施例の画像合成装置５６００では、まず、実施例５の画像合成装置に対して採用画素決定処理と出力画像データ生成処理の処理内容を変更した画像処理部５６３０を備えるようにした。変更後の採用画素決定処理の処理内容に関しては図５８を用いて、変更後の出力画像データ生成処理の処理内容に関しては図５９を用いて、それぞれ説明する。
In the image composition device 5600 of the present embodiment, first, an
本実施例の画像合成装置５６００では、さらに、中間データ記憶部５６６０を、変換画像データ６２０と参照画像データ６３０と変化画像データ６４０と出力画像データ６５０とに加えて、合成マップ画像データの画素値のデータ形式を図４１において説明した形式からさらに変更したマップ画像データ５６１０と、高精細背景画像データ５６９０とを格納できるように構成した。新たに変更した合成マップ画像データの画素値の形式については、図５７を用いて説明する。
In the image composition device 5600 of this embodiment, the intermediate data storage unit 5660 further includes the pixel value of the composite map image data in addition to the converted
高精細背景画像データ５６９０は、全体入力画像データ２２１より高品質な画像データとなるように、全体撮影装置２０１を用いて撮影したものである。
The high-definition background image data 5690 is taken using the whole photographing
全体撮影装置２０１が特別な機能を備えていない場合には、例えば、撮影を複数回実施して、その平均を取った画像データを生成し、高精細背景画像データ５６９０として格納すればよい。この場合、時間平均の効果により、全体入力画像データ２２１に比べてノイズの少ない高品質な画像を得ることができる。
In the case where the entire photographing
また、全体入力画像データ２２１が動画モードと静止画モードとの切替機能を備えている場合、一般には、静止画モードで撮影した方が高品質な画像データが撮影できるような仕組みとなっているため、該静止画モードで撮影した画像データを、そのまま高精細背景画像データ５６９０として格納してもよい。 In addition, when the entire input image data 221 has a function of switching between the moving image mode and the still image mode, in general, it is structured such that high quality image data can be captured when the image is captured in the still image mode. Therefore, the image data captured in the still image mode may be stored as the high-definition background image data 5690 as it is.
また、全体撮影装置２０１に対して焦点距離の制御や撮影姿勢の制御などが可能である場合には、超解像と呼ばれる技術を用いた画像処理により高精細背景画像データ５６９０を生成して格納してもよい。
In addition, when the focal length control or the shooting posture control can be performed on the whole photographing
図５７は、本実施例のシステムにおける合成マップ画像データ６１６の画素値のデータ形式を説明する図である。図５７において、図４１と同じ符号は、図４１と同じものを表す。 FIG. 57 is a diagram for explaining the data format of the pixel value of the composite map image data 616 in the system of the present embodiment. 57, the same reference numerals as those in FIG. 41 denote the same elements as those in FIG.
本実施例においては、データ形式４１２０の代わりに、データ形式４１２０に高精細背景サンプリング用データ５７００を加えた形式であるデータ形式５７２０を用いる。高精細背景サンプリング用データ５７００は、重み値ＷＨと、高精細背景画像データのＸ座標値ＸＨと、高精細背景画像データのＹ座標値ＹＨとで構成する。重み値ＷＨとＸ座標値ＸＨとＹ座標値ＹＨは、いずれも実数値である。 In this embodiment, instead of the data format 4120, a data format 5720 that is a format obtained by adding the high-definition background sampling data 5700 to the data format 4120 is used. The high-definition background sampling data 5700 includes a weight value WH, an X-coordinate value XH of the high-definition background image data, and a Y-coordinate value YH of the high-definition background image data. The weight value WH, the X coordinate value XH, and the Y coordinate value YH are all real values.
ここで、Ｘ座標値ＸＨとＹ座標値ＹＨは、本実施例の撮像システムの撮影領域全体に渡って被写体が静止していると仮定した場合に、合成マップ画像データのすべての画素の画素値において「ＷＴ＝１，ＷＬ＝ＷＲ＝ＷＨ＝０」として図５９で説明する出力画像データ生成処理を実行した場合と、合成マップ画像データのすべての画素の画素値において「ＷＨ＝１，ＷＴ＝ＷＬ＝ＷＲ＝０」として図５９で説明する出力画像データ生成処理を実行した場合とで、出力される画像データが略一致するように、高精細背景画像データ５６９０の生成方法と出力パラメタデータ２４４とに基づいて、あらかじめ計算され格納される値である。
Here, the X coordinate value XH and the Y coordinate value YH are the pixel values of all the pixels of the composite map image data when it is assumed that the subject is stationary over the entire imaging region of the imaging system of the present embodiment. In FIG. 59, the output image data generation process described in FIG. 59 is executed with “WT = 1, WL = WR = WH = 0”, and the pixel values of all the pixels of the composite map image data are “WH = 1, WT = The generation method of the high-definition background image data 5690 and the
図５８は、本実施例のシステムにおける採用画素決定処理のフローチャートである。
ステップ５８００で採用画素決定処理が開始されると、まず、ステップ５８０１においてＷＴとＷＬとＷＲとＷＨの値を初期化する。具体的には、ＷＴとＷＬとＷＲに関しては図４３のステップ４３０１と同じ値で初期化を行い、ＷＨに関しては１とする。
FIG. 58 is a flowchart of adopted pixel determination processing in the system of this embodiment.
When the adopted pixel determination process is started in step 5800, first, in step 5801, the values of WT, WL, WR, and WH are initialized. Specifically, WT, WL, and WR are initialized with the same values as in step 4301 in FIG. 43, and WH is set to 1.
次にステップ５８０２のＶＬ判定処理において、所定の閾値に基づいて、ＶＴとＶＬの値の差が許容範囲内か否かを判定し、許容範囲外の場合にはＷＬの値を０とする処理を行う。
Next, in the VL determination processing in
続いてステップ５８０３のＶＲ判定処理において、所定の閾値に基づいて、ＶＴとＶＲの値の差が許容範囲内か否かを判定し、許容範囲外の場合にはＷＲの値を０とする処理を行う。 Subsequently, in the VR determination process in step 5803, it is determined whether or not the difference between the values of VT and VR is within the allowable range based on a predetermined threshold value. If the difference is outside the allowable range, the WR value is set to 0. I do.
続いて、ステップ５８０４において、「ＷＬ＋ＷＲ＞０」、すなわち、ＷＬとＷＲの値の少なくとも一方は０でないか否かを判定する。ＷＬとＷＲの値の少なくとも一方が０でない場合には、ステップ５８０５でＷＴとＷＨの値を０とした上でステップ５８０９へ進み、ＷＬとＷＲの値の両方が０である場合には、そのままステップ５８０６へ進む。 Subsequently, in Step 5804, it is determined whether or not “WL + WR> 0”, that is, at least one of the values of WL and WR is not 0. If at least one of the values of WL and WR is not 0, the value of WT and WH is set to 0 in step 5805, and then the process proceeds to step 5809. If both the values of WL and WR are 0, they are left as they are. Proceed to step 5806.
ステップ５８０６では、所定の閾値に基づいて、ＶＴとＶＨの値の差が許容範囲内か否かを判定する。ここで、ＶＨは、合成マップ画像データ６１６のｎ番目の画素の画素値における高精細背景サンプリング用データ５７００と高精細背景画像データ５６９０とから算出される値である。該判定結果が許容範囲内である場合にはステップ５８０７に進んでＷＴの値を０とし、許容範囲外である場合にはステップ５８０８に進んでＷＨの値を０とする。 In step 5806, based on a predetermined threshold, it is determined whether or not the difference between the values of VT and VH is within an allowable range. Here, VH is a value calculated from the high-definition background sampling data 5700 and the high-definition background image data 5690 at the pixel value of the nth pixel of the composite map image data 616. If the determination result is within the allowable range, the process proceeds to step 5807 to set the WT value to 0, and if it is outside the allowable range, the process proceeds to step 5808 to set the WH value to 0.
続いて、ステップ５８０９でＷＴとＷＬとＷＲとＷＨの値を正規化する処理を行う。具体的には、ＷＴとＷＬとＷＲとＷＨのそれぞれを、それらの値の総和（ＷＴ＋ＷＬ＋ＷＲ＋ＷＨ）で割ることにより、ＷＴとＷＬとＷＲとＷＨの値の和が１となるようにする。 Subsequently, in step 5809, processing for normalizing the values of WT, WL, WR, and WH is performed. Specifically, the sum of the values of WT, WL, WR, and WH is set to 1 by dividing each of WT, WL, WR, and WH by the sum of their values (WT + WL + WR + WH).
以上の処理が終了した後、ステップ５８１０において採用画素決定処理を終了する。 After the above processing ends, the adopted pixel determination processing ends at step 5810.
図５９は、本実施例のシステムにおける出力画像データ生成処理のフローチャートである。 FIG. 59 is a flowchart of output image data generation processing in the system of this embodiment.
ステップ５９００で出力画像データ生成処理が開始されると、まず、ステップ５９０１において、処理すべき画素のシリアル番号であるｎを０に初期化する。
When the output image data generation process is started in
次に、ステップ５９０２において、合成マップ画像データ６１６からｎ番目の画素の画素値を読み込む。 Next, in step 5902, the pixel value of the nth pixel is read from the composite map image data 616.
次に、ステップ５９０３において、ステップ５９０２で読み込んだデータに基づいて、高精細背景画像データ５６９０の画素値を含めた各入力画像データの画素値の重み付きの和を取ることにより、出力画像データ６５０のｎ番目の画素の画素値を決定する。
Next, in step 5903, based on the data read in step 5902, the
次に、ステップ５９０４において処理すべき画素のシリアル番号であるｎを１増やし、続いてステップ５９０５において、出力画像データ６５０中のすべての画素について処理が終了したか否かを判定する。出力画像データ６５０中のすべての画素について処理が終了している場合にはステップ５９０６に進んで出力画像データ生成処理を終了し、未だ処理が終了していない画素が存在する場合にはステップ５９０２に進んで処理を続ける。
In
以上、本実施例によれば、実施例５に記載の例に対して、さらに、映像中の背景領域に相当する部分のうち、動きの少ない領域を高精細に表示することができる。また、高精細背景画像データ５６９０はあらかじめ生成しておくことの可能なデータであるため、遠隔会議システムなどのアプリケーションにおいて、ネットワークの負荷を増やすことなく、出力画像データの品質をよくすることができる。 As described above, according to the present embodiment, in addition to the example described in the fifth embodiment, it is possible to display a region with less movement among portions corresponding to the background region in the video with high definition. Further, since the high-definition background image data 5690 is data that can be generated in advance, the quality of the output image data can be improved without increasing the network load in an application such as a remote conference system. .
なお、上記実施例においては、高精細背景画像データ５６９０は全体撮影装置２０１を用いて撮影するものとしたが、高精細背景画像データ５６９０の画素に対しても全体参照画像データ６３１との整合性判定を行っているため、実施の形態はこれに限るものではない。左面撮影装置２０２や右面撮影装置２０３を用いて撮影した画像データに対して内部パラメタデータや外部パラメタデータを考慮した幾何変換処理を施して生成してもよいし、新たに備えた別の撮影装置を用いて撮影した画像データに対して同様の幾何変換処理を施して生成してもよい。
In the above-described embodiment, the high-definition background image data 5690 is taken using the whole photographing
なお、上記、実施例１から実施例８までの例においては、全体撮影装置１つとその他の撮影装置２つを備えた場合を例として実施の形態を説明してきたが、実施の形態はこれに限るものではなく、全体撮影装置１つに加えてその他の撮影装置を複数備えるような一般の構成に対して適用可能であることは明らかである。 In the above-described examples from Example 1 to Example 8, the embodiment has been described by way of an example in which one overall photographing apparatus and two other photographing apparatuses are provided. However, the embodiment is not limited thereto. The present invention is not limited, and it is obvious that the present invention can be applied to a general configuration including a plurality of other photographing apparatuses in addition to one whole photographing apparatus.
１１０、１２０、１３０・・・入力画像データ、１１１・・・出力画像データ、９１０・・・時刻（Ｔ−１）における全体入力画像データ、９２０・・・時刻（Ｔ−１）における右面入力画像データ、９１１・・・時刻Ｔにおける全体入力画像データ、９１２・・・更新前の全体参照画像データ、９１３・・・全体変換画像データ、９１４・・・全体変化画像データ、９１５・・・更新後の全体参照画像データ、９２１・・・時刻Ｔにおける右面入力画像データ、９２２・・・更新前の右面参照画像データ、９２３・・・右面変換画像データ、９２４・・・右面変化画像データ、９２５・・・更新後の右面参照画像データ、２６２０、２６２１、３１２１・・・デプス集合データ、４０００、４０１０、４０１１・・・撮影範囲、４０２０・・・出力範囲、４６００、４６１０、４６１１・・・撮影範囲、４６１２・・・重複撮影範囲、４６２０・・・出力範囲、４７００、４７１０、４７１１・・・投影中心位置、４７３０、４７３１・・・被写体位置、４９１０・・・ＷＴの初期値を決定するための関数
110, 120, 130 ... input image data, 111 ... output image data, 910 ... total input image data at time (T-1), 920 ... right input image at time (T-1) Data, 911 ... Overall input image data at time T, 912 ... Overall reference image data before update, 913 ... Overall converted image data, 914 ... Overall changed image data, 915 ... After update ,...,... Right side input image data at time T, 922... Right side reference image data before update, 923... Right side converted image data, 924. .. right-side reference image data after update, 2620, 2621, 3121 ... depth set data, 4000, 4010, 4011 ... shooting range, 4020
Claims (7)
前記出力画像データの各画素位置が前記第１の入力画像データ中のどの位置に対応するかを定義した第１の幾何変換パラメタと、前記出力画像データの各画素位置が前記第２の入力画像データ中のどの位置に対応するかを定義した第２の幾何変換パラメタと、を格納する幾何変換パラメタ記憶部と、
前記第１の幾何変換パラメタに基づいて前記第１の入力画像データを変換し第１の出力候補画像データを生成する第１の画像変換部と、
前記第２の幾何変換パラメタに基づいて前記第２の入力画像データを変換し第２の出力候補画像データを生成する第２の画像変換部と、
前記第１の出力候補画像データと前記第２の出力候補画像データを比較して、画素ごとに両者の差異が所定の許容範囲内にあるか否かを判定することによって整合性の有無を判定する整合性判定部と、
出力画像データの各画素に対して、前記整合性判定部によって整合性なしと判定された画素の画素値については前記第１の出力候補画像データの画素値に基づいて決定し、前記整合性判定部によって整合性ありと判定された画素の画素値については前記第２の出力候補画像データの画素値に基づいて決定することによって前記出力画像データを生成する出力画像データ生成部と、
を備えたことを特徴とする画像合成装置。 An image synthesis device that synthesizes first input image data and second input image data and outputs output image data of a predetermined resolution,
A first geometric transformation parameter defining which position in the first input image data each pixel position of the output image data corresponds to; and each pixel position of the output image data is the second input image. A second geometric transformation parameter defining which position in the data corresponds to; a geometric transformation parameter storage unit for storing;
A first image conversion unit that converts the first input image data based on the first geometric transformation parameter to generate first output candidate image data;
A second image conversion unit that converts the second input image data based on the second geometric conversion parameter to generate second output candidate image data;
The first output candidate image data and the second output candidate image data are compared, and whether or not there is consistency is determined by determining whether or not the difference between the two is within a predetermined allowable range for each pixel. A consistency determination unit to perform,
For each pixel of the output image data, the pixel value of the pixel determined to be inconsistent by the consistency determination unit is determined based on the pixel value of the first output candidate image data, and the consistency determination An output image data generation unit that generates the output image data by determining the pixel value of the pixel determined to be consistent by the unit based on the pixel value of the second output candidate image data;
An image composition device comprising:
前記出力画像データの各画素位置が前記第１の入力画像データ中のどの位置に対応するかを定義した第１の幾何変換パラメタと、前記出力画像データの各画素位置が前記第２の入力画像データ中のどの位置に対応するかを定義した第２の幾何変換パラメタと、前記出力画像データの各画素位置が前記第３の入力画像データ中のどの位置に対応するかを定義した第３の幾何変換パラメタと、を格納するパラメタ記憶部と、
前記第１の幾何変換パラメタに基づいて前記第１の入力画像データを変換し第１の出力候補画像データを生成する第１の画像変換部と、
前記第２の幾何変換パラメタに基づいて前記第２の入力画像データを変換し第２の出力候補画像データを生成する第２の画像変換部と、
前記第３の幾何変換パラメタに基づいて前記第３の入力画像データを変換し第３の出力候補画像データを生成する第３の画像変換部と、
前記第１の出力候補画像データと前記第２の出力候補画像データを比較して、画素ごとに両者の整合性の有無を判定する第１の整合性判定部と、
前記第１の出力候補画像データと前記第３の出力候補画像データを比較して、画素ごとに両者の整合性の有無を判定する第２の整合性判定部と、
前記第１の整合性判定部及び前記第２の整合性判定部のいずれによっても整合性ありと判定された画素の画素値を決定するために、前記第２の出力候補画像データの画素値と前記第３の出力候補画像データの画素値の寄与率を決定する寄与率決定部と、
出力画像データの各画素に対して、
前記第１の整合性判定部によって整合性なしと判定され、かつ、前記第２の整合性判定部によって整合性なしと判定された画素の画素値については、前記第１の出力候補画像データの画素値に基づいて決定し、
前記第１の整合性判定部によって整合性ありと判定され、かつ、前記第２の整合性判定部によって整合性なしと判定された画素の画素値については、前記第２の出力候補画像データの画素値に基づいて決定し、
前記第１の整合性判定部によって整合性なしと判定され、かつ、前記第２の整合性判定部によって整合性ありと判定された画素の画素値については、前記第３の出力候補画像データの画素値に基づいて決定し、
前記第１の整合性判定部によって整合性ありと判定され、かつ、前記第２の整合性判定部によって整合性ありと判定された画素の画素値については、前記寄与率決定部によって決定された寄与率に基づいて、前記第２の出力候補画像データの画素値と前記第３の出力候補画像データの画素値に基づいて決定することによって、
出力画像データを生成する出力画像データ生成部と、
を備えたことを特徴とする画像合成装置。 An image synthesis device that synthesizes first input image data, second input image data, and third input image data and outputs output image data of a predetermined resolution,
A first geometric transformation parameter defining which position in the first input image data each pixel position of the output image data corresponds to; and each pixel position of the output image data is the second input image. A second geometric transformation parameter defining which position in the data corresponds to, and a third geometric transformation defining which position in the third input image data each pixel position of the output image data corresponds to A parameter storage unit for storing geometric transformation parameters;
A first image conversion unit that converts the first input image data based on the first geometric transformation parameter to generate first output candidate image data;
A second image conversion unit that converts the second input image data based on the second geometric conversion parameter to generate second output candidate image data;
A third image conversion unit that converts the third input image data based on the third geometric conversion parameter to generate third output candidate image data;
A first consistency determination unit that compares the first output candidate image data with the second output candidate image data and determines whether or not there is consistency between the two for each pixel;
A second consistency determination unit that compares the first output candidate image data and the third output candidate image data and determines whether or not there is consistency between the two for each pixel;
In order to determine the pixel value of the pixel determined to be consistent by both the first consistency determination unit and the second consistency determination unit, the pixel value of the second output candidate image data A contribution rate determination unit that determines a contribution rate of pixel values of the third output candidate image data;
For each pixel of the output image data
The pixel values of the pixels determined to be inconsistent by the first consistency determining unit and determined to be inconsistent by the second consistency determining unit are the values of the first output candidate image data. Based on the pixel value,
The pixel values of the pixels that are determined to be consistent by the first consistency determination unit and are determined to be non-consistent by the second consistency determination unit are included in the second output candidate image data. Based on the pixel value,
The pixel values of the pixels determined to be non-consistent by the first consistency determining unit and determined to be consistent by the second consistency determining unit are included in the third output candidate image data. Based on the pixel value,
The pixel value of the pixel determined to be consistent by the first consistency determination unit and determined to be consistent by the second consistency determination unit is determined by the contribution rate determination unit. By determining based on the pixel value of the second output candidate image data and the pixel value of the third output candidate image data based on the contribution rate,
An output image data generation unit for generating output image data;
An image composition device comprising:
さらに、
高品質画像データを格納する高品質画像データ格納部と、 前記第１の出力候補画像データと前記高品質画像データを比較して、画素ごとに両者の整合性の有無を判定する高品質整合性判定部とを備え、
前記出力画像データ生成部は、出力画像データの各画素に対して、前記整合性判定部によって整合性なしと判定された画素の画素値については、該画素が前記高品質整合性判定部によって整合性ありと判定された画素である場合には前記高品質画像データの画素値に基づいて決定し、該画素が前記高品質整合性判定部によって整合性なしと判定された画素である場合には前記第１の出力候補画像データの画素値に基づいて決定し、前記整合性判定部によって整合性ありと判定された画素の画素値については前記第２の出力候補画像データの画素値に基づいて決定することによって出力画像データを生成するようにしたことを特徴とする画像合成装置。 The image composition device according to claim 1,
further,
A high-quality image data storage unit that stores high-quality image data; and high-quality consistency that compares the first output candidate image data with the high-quality image data and determines whether or not there is consistency between the two for each pixel. A determination unit,
The output image data generation unit matches each pixel of the output image data with respect to the pixel value of the pixel determined to be inconsistent by the consistency determination unit, by the high quality consistency determination unit. If the pixel is determined to be compatible, it is determined based on the pixel value of the high quality image data, and if the pixel is determined to be non-consistent by the high quality consistency determination unit The pixel value of the pixel determined based on the pixel value of the first output candidate image data and determined to be consistent by the consistency determination unit is based on the pixel value of the second output candidate image data. An image synthesizing apparatus characterized in that output image data is generated by determination.
前記画像合成装置は、
前記第１の撮影装置の撮影した画像データを前記第１の入力画像データとして入力し、前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力するように構成することで、所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。 An imaging system comprising: a first imaging device; a second imaging device that performs imaging so as to have an overlapping range with an imaging range of the first imaging device; and the image composition device according to claim 1,
The image composition device includes:
Image data captured by the first image capturing device is input as the first input image data, and image data captured by the second image capturing device is input as the second input image data. An imaging system, wherein image data having a predetermined resolution is output.
前記第２の撮影装置が前記第１の撮影装置の撮影範囲の内部を撮影するように構成されることを特徴とする撮像システム。 The imaging system according to claim 4 ,
The imaging system, wherein the second imaging device is configured to take an image of the inside of the imaging range of the first imaging device.
前記第２の撮影装置の撮影範囲と前記第３の撮影装置の撮影範囲は互いに重複を持つように構成され、さらに、前記第１の撮影装置の撮影範囲は前記第２の撮影装置と前記第３の撮影装置とが重複して撮影する範囲を含むように構成され、
前記画像合成装置は、
前記第１の撮影装置の撮影した画像データを前記第１の入力画像データとして入力し、前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力し、前記第３の撮影装置の撮影した画像データを前記第３の入力画像データとして入力するように構成することで、所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。 An imaging system comprising a first imaging device, a second imaging device, a third imaging device, and the image composition device according to claim 2,
The photographing range of the second photographing device and the photographing range of the third photographing device are configured to overlap each other, and the photographing range of the first photographing device is the second photographing device and the second photographing device. 3 is configured so as to include a range where the photographing device overlaps with the photographing device,
The image composition device includes:
Image data captured by the first image capturing device is input as the first input image data, image data captured by the second image capturing device is input as the second input image data, and the third input image data is input. An image pickup system configured to output image data having a predetermined resolution by inputting image data taken by an image pickup apparatus as the third input image data.
さらに、
前記第１の撮影装置を前記高品質撮影モードに設定して撮影した画像データを前記高品質画像データとして格納する高品質画像初期設定部を備え、
前記画像合成装置は、
前記第１の撮影装置を前記通常撮影モードに設定して撮影した画像データを前記第１の入力画像データとして入力し、前記第２の撮影装置の撮影した画像データを前記第２の入力画像データとして入力するように構成することで、
所定の解像度の画像データを出力するようにしたことを特徴とする撮像システム。 A first photographing apparatus having a high quality photographing mode that prioritizes the image quality of the photographed image data and a normal photographing mode that prioritizes other characteristics of the photographed image data, and overlaps with the photographing range of the first photographing apparatus. An imaging system comprising a second imaging device for imaging such a range, and the image composition device according to claim 3 ,
further,
A high-quality image initial setting unit that stores image data captured by setting the first imaging device in the high-quality imaging mode as the high-quality image data;
The image composition device includes:
Image data captured by setting the first imaging device to the normal imaging mode is input as the first input image data, and image data captured by the second imaging device is input to the second input image data. By configuring to enter as
An imaging system, wherein image data having a predetermined resolution is output.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005043367A JP4506501B2 (en) | 2005-02-21 | 2005-02-21 | Image composition device and imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005043367A JP4506501B2 (en) | 2005-02-21 | 2005-02-21 | Image composition device and imaging system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006229802A JP2006229802A (en) | 2006-08-31 |
| JP4506501B2 true JP4506501B2 (en) | 2010-07-21 |
Family
ID=36990727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005043367A Expired - Fee Related JP4506501B2 (en) | 2005-02-21 | 2005-02-21 | Image composition device and imaging system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4506501B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4943695B2 (en) | 2005-11-21 | 2012-05-30 | 富士フイルム株式会社 | Multifocal camera optical system |
| US7456779B2 (en) * | 2006-08-31 | 2008-11-25 | Sierra Nevada Corporation | System and method for 3D radar image rendering |
| JP4827101B2 (en) * | 2007-04-17 | 2011-11-30 | 富士フイルム株式会社 | Control device, control method, imaging system, imaging method, and program |
| US20140307055A1 (en) * | 2013-04-15 | 2014-10-16 | Microsoft Corporation | Intensity-modulated light pattern for active stereo |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1093808A (en) * | 1996-09-18 | 1998-04-10 | Sharp Corp | Image synthesis device/method |
| JPH10290389A (en) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | Multi-focus image formation method and image formation device |
| JPH11196319A (en) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | Image pickup device |
| JPH11205648A (en) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | Image synthesizing device |
| JP2000059725A (en) * | 1998-08-12 | 2000-02-25 | Minolta Co Ltd | Digital camera |
| JP2001036898A (en) * | 1999-07-22 | 2001-02-09 | Hitachi Ltd | Camera system for generating panoramic video |
| JP2002083285A (en) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | Image compositing device and image compositing method |
| JP2003288067A (en) * | 2002-03-28 | 2003-10-10 | Hitachi Ltd | Image display device |
| JP2005012619A (en) * | 2003-06-20 | 2005-01-13 | Mitsubishi Electric Corp | Device for forming panoramic image |
-
2005
- 2005-02-21 JP JP2005043367A patent/JP4506501B2/en not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1093808A (en) * | 1996-09-18 | 1998-04-10 | Sharp Corp | Image synthesis device/method |
| JPH10290389A (en) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | Multi-focus image formation method and image formation device |
| JPH11196319A (en) * | 1997-12-26 | 1999-07-21 | Minolta Co Ltd | Image pickup device |
| JPH11205648A (en) * | 1998-01-09 | 1999-07-30 | Olympus Optical Co Ltd | Image synthesizing device |
| JP2000059725A (en) * | 1998-08-12 | 2000-02-25 | Minolta Co Ltd | Digital camera |
| JP2001036898A (en) * | 1999-07-22 | 2001-02-09 | Hitachi Ltd | Camera system for generating panoramic video |
| JP2002083285A (en) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | Image compositing device and image compositing method |
| JP2003288067A (en) * | 2002-03-28 | 2003-10-10 | Hitachi Ltd | Image display device |
| JP2005012619A (en) * | 2003-06-20 | 2005-01-13 | Mitsubishi Electric Corp | Device for forming panoramic image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006229802A (en) | 2006-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4657367B2 (en) | Image processing apparatus, imaging apparatus, and image distortion correction method | |
| US6393162B1 (en) | Image synthesizing apparatus | |
| KR101408426B1 (en) | Image correcting apparatus, correction image generating method, correction table generating apparatus, correction table generating method, computer readable recording medium storing a correction table generating program, computer readable recording medium storing a correction image generating program | |
| JP4513906B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| CN100377171C (en) | Method and apparatus for generating deteriorated numeral image | |
| JP3650578B2 (en) | Panoramic image navigation system using neural network to correct image distortion | |
| JP6812862B2 (en) | Image processing system, imaging device, image processing method and program | |
| US20130058589A1 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| US20040061774A1 (en) | Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array | |
| Ha et al. | Panorama mosaic optimization for mobile camera systems | |
| JP6434209B2 (en) | Image generating apparatus, image generating method, and program | |
| JPWO2006077710A1 (en) | Image conversion method, texture mapping method, image conversion apparatus, server client system, image conversion program, shadow recognition method, and shadow recognition apparatus | |
| JP4871820B2 (en) | Video display system and parameter generation method for the system | |
| JP4506501B2 (en) | Image composition device and imaging system | |
| JP2008113176A (en) | Adjustment system of video display system | |
| JP2004135209A (en) | Generation device and method for wide-angle view high-resolution video image | |
| JP5566199B2 (en) | Image processing apparatus, control method therefor, and program | |
| US20120038785A1 (en) | Method for producing high resolution image | |
| JP4908350B2 (en) | Image processing method and imaging apparatus using the image processing method | |
| JP6702755B2 (en) | Image processing device, imaging device, image processing method, and program | |
| JP2018033080A (en) | Image processing apparatus, image processing method and program | |
| JP4686200B2 (en) | Image conversion method and apparatus | |
| KR102146839B1 (en) | System and method for building real-time virtual reality | |
| JP2013126123A (en) | Image processing device, imaging apparatus, and image processing method | |
| US20130343636A1 (en) | Image processing apparatus, control method of the same and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4506501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |