WO2022259296A1 - 画像生成システム及び画像処理方法 - Google Patents
画像生成システム及び画像処理方法 Download PDFInfo
- Publication number
- WO2022259296A1 WO2022259296A1 PCT/JP2021/021529 JP2021021529W WO2022259296A1 WO 2022259296 A1 WO2022259296 A1 WO 2022259296A1 JP 2021021529 W JP2021021529 W JP 2021021529W WO 2022259296 A1 WO2022259296 A1 WO 2022259296A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- image
- projection
- images
- unit
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- XHCLAFWTIXFWPH-UHFFFAOYSA-N [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[V+5].[V+5] XHCLAFWTIXFWPH-UHFFFAOYSA-N 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- HBMJWWWQQXIZIP-UHFFFAOYSA-N silicon carbide Chemical compound [Si+]#[C-] HBMJWWWQQXIZIP-UHFFFAOYSA-N 0.000 description 1
- 229910010271 silicon carbide Inorganic materials 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229910001935 vanadium oxide Inorganic materials 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
Definitions
- the present disclosure relates to an image generation system and an image processing method.
- the imaging unit capture images in a direction perpendicular to the turning axis, and the image is a high viewing angle (i.e., wide viewing angle) image including a subject existing on the extension of the turning axis.
- a high viewing angle i.e., wide viewing angle
- an omnidirectional image also called an “omnidirectional image” or an “omnidirectional image”
- an omnidirectional image cannot be generated with high image quality.
- An object of the present disclosure is to provide an image generation system and an image processing method capable of generating a high-quality omnidirectional image with a wide viewing angle.
- the image processing method of the present disclosure includes an imaging unit that is arranged in a state inclined at a tilt angle with respect to a plane orthogonal to a turning axis and that is rotatable about the turning axis;
- a method executed by an image generation system that generates an omnidirectional image based on a plurality of images output from the image pickup unit, the image generation system having a rotation drive unit that rotates about an axis, wherein the image pickup unit calculating an imaging direction for each pixel of the plurality of images based on an angle of view for each imaging pixel, coordinates for each pixel of the plurality of images, and a pan angle that is a turning angle of the imaging unit; calculating pixel projection coordinates, which are coordinates of a projection position in the coordinate system of the omnidirectional image, for each pixel of the image based on the imaging orientation for each pixel; and projecting onto the pixel projection coordinates on the projection plane of the coordinate system of the omnidirectional image.
- an omnidirectional image with a wide viewing angle can be generated with high image quality.
- an image generation system generates an omnidirectional image based on an infrared image
- the image forming system generates an omnidirectional image based on a visible light image. There may be.
- the temperature sensor uses a bolometer such as polysilicon, amorphous silicon, silicon carbide, or vanadium oxide, and a semiconductor element such as a diode or transistor. what was there is known.
- the configuration of the imaging unit 10 is not limited to the one described above, and may be of another type.
- a set of pixel signals output from a plurality of detection pixels of the imaging unit 10 constitutes an image.
- the imaging unit 10 outputs a plurality of images (that is, a group of images) DIN during one turn.
- the control unit 40 controls the operation of the entire device including the turning drive unit 20 and the processing execution unit included in the image processing unit 30.
- the imaging direction calculation unit 31 calculates pixels of a pixel line in a direction orthogonal to the turning direction from an image (12 shown in FIG. 2 to be described later) output from the imaging unit 10 at a certain moment among the plurality of images DIN. to extract multiple lines.
- a plurality of pixels extracted by the imaging direction calculator 31 are desirably extracted from an optical axis center region with small lens distortion. When extracting thermal pixel lines from an area where lens distortion is expected, it is desirable to perform lens distortion correction in preprocessing.
- the imaging direction calculator 31 calculates a plurality of An imaging direction Dp for each pixel of the image 12 is calculated.
- the pixel projection coordinate calculation unit 32 determines to which pixel position in the coordinate system of the output omnidirectional image DOUT all pixels in the plurality of images DIN are to be projected, based on the position information and the angle-of-view information for each pixel. calculate. That is, the pixel projection coordinate calculation unit 32 calculates the pixel projection coordinates (X, Y), which are the coordinates of the projection position on the projection plane of the coordinate system (xy plane) of the omnidirectional image, for each pixel of the plurality of images DIN. It is calculated based on the imaging direction Dp for each pixel.
- the pixel projection unit 33 projects each pixel of the plurality of images 12 onto pixel projection coordinates (X, Y) in the coordinate system (xy system) of the omnidirectional image. While the imaging unit 10 rotates multiple times (that is, performs 360° rotation multiple times), the pixel projection unit 33 projects each pixel of the multiple images 12 to the same pixel in the coordinate system (xy) of the celestial image. Project multiple times to projection coordinates (X, Y). Based on the imaging start position in the pan direction, how many times the plurality of images DIN have been rotated is calculated from the turning speed of the motor.
- FIG. 4 is a diagram showing the hardware configuration of the image generation system 1 according to Embodiment 1.
- the image processing unit 30 includes a processor 101 such as a CPU (Central Processing Unit), a memory 102 that is a volatile storage device, and a non-volatile memory such as a hard disk drive (HDD) or solid state drive (SSD). and a storage device 103 for the data.
- the memory 102 is, for example, a RAM (Random Access Memory).
- the image processing unit 30 also has an image interface 104 for communicating with the imaging unit 10 and an interface 105 for controlling the turning driving unit 20 .
- image processing unit 30 may be partly realized by dedicated hardware and partly realized by software or firmware.
- the processing circuitry may implement each of the functions described above in hardware, software, firmware, or any combination thereof.
- FIG. 5 is a flow chart showing the operation of the image generation system 1 according to Embodiment 1.
- the image processing unit 30 acquires an image group including a plurality of images DIN from the imaging unit 10 (step ST13), and calculates the imaging direction Dp for each pixel of the image 12 (step ST14).
- the image processing unit 30 calculates pixel projection coordinates (X, Y) based on the imaging direction Dp for each pixel (step ST15).
- the image processing section 30 projects each pixel of the image 12 onto the projection plane 14 (step ST16), and outputs the omnidirectional image DOUT (step ST17).
- the imaging unit 10 rotates in a fixed state of rotation in the tilt direction. may By using all the data captured at this time to generate an omnidirectional image, it is possible to further increase the viewing angle, increase the resolution, increase the SN ratio, or achieve two or more of these.
- the turning drive unit 20 is capable of turning 360 degrees, but if the imaging direction is narrow, the turning angle may be less than 360 degrees.
- FIG. 7 is an explanatory diagram showing image processing of the image generation system according to the third embodiment. If there are unused pixels P2 that are not used as pixels in the coordinate system (xy plane) of the omnidirectional image among the pixels of the plurality of images 12 captured by the imaging unit 10, the pixel projection unit 33 The pixel values I1 and I3 of the pixels P1 and P3 projected onto the projection plane 14 of the coordinate system of the omnidirectional image are the pixel values I1 and I3 of the pixels P1 and P3 projected onto the projection plane 14 of the coordinate system of the omnidirectional image and the omnidirectional image.
- the image processing unit 30, the processor attached to the imaging unit 10, and the image processing program can be implemented on a cloud server that can communicate with the image generation system.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
画像生成システム（１）は、チルト角度（Ｔ）傾斜した撮像部（１０）と、旋回駆動部（２０）と、撮像部（１０）から出力される複数の画像（１２）からなる画像群に基づいて全天周画像（ＤＯＵＴ）を生成する画像処理部（３０）とを有し、画像処理部（３０）は、撮像部（１０）の撮像画素毎の画角、複数の画像（１２）の画素毎の座標（Ｘ´，Ｙ´）、及び撮像部（１０）の旋回角度であるパン角度（φ）に基づいて、複数の画像（１２）の画素毎の撮像方位（Ｄｐ）を算出する撮像方位算出部（３１）と、複数の画像（１２）の画素毎の、全天周画像の座標系（ｘｙ）における投影位置の座標である画素投影座標（Ｘ，Ｙ）を、画素毎の撮像方位（Ｄｐ）に基づいて算出する画素投影座標算出部（３２）と、複数の画像（１２）の各画素を、全天周画像の座標系（ｘｙ）の投影面における画素投影座標（Ｘ，Ｙ）に投影する画素投影部（３３）とを含む。
Description
本開示は、画像生成システム及び画像処理方法に関する。
防犯、セキュリティ、見守りなどの人の行動をモニタリングする分野では、全方位を撮影した複数枚の画像を、１枚の合成画像として表示する取り組みがある。例えば、特許文献１は、撮像部を旋回させながら撮影した複数枚の画像を旋回方向に重畳することで、パノラマ画像を生成するシステムを提案している。
しかしながら、特許文献１のシステムでは、撮像部は旋回軸線に垂直な方向を撮影することが望ましく、旋回軸線の延長線上に存在する被写体を含む高視野角（すなわち、広い視野角）の画像である全天周画像（「全天球画像」又は「全方位画像」とも呼ばれる。）を高画質に生成できない場合がある。
本開示の目的は、高視野角の全天周画像を高画質に生成することができる画像生成システム及び画像処理方法を提供することである。
本開示の画像生成システムは、旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像処理部と、を備え、前記画像処理部は、前記撮像部の撮像画素毎の画角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出する撮像方位算出部と、前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出する画素投影座標算出部と、前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影する画素投影部と、を有することを特徴とする。
また、本開示の画像処理方法は、旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、を有し、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像生成システムが実行する方法であって、前記撮像部の撮像画素毎の画角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出するステップと、前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出するステップと、前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影するステップとを有することを特徴とする。
本開示によれば、高視野角の全天周画像を高画質に生成することができる。
以下に、実施の形態に係る画像生成システム及び画像処理方法を、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
また、以下の実施の形態では、画像生成システムが、赤外線画像に基づく全天周画像を生成する例を説明するが、画像形成システムは、可視光画像に基づく全天周画像を生成するものであってもよい。
また、図には、ｘｙｚ直交座標系の座標軸が示されている。各実施の形態では、ｘｙｚ直交座標系の原点Ｏに撮像部であるカメラ（「熱画像センサ」又は「熱画像カメラ」とも言う。）がチルト角度Ｔで旋回可能に設置されている。
実施の形態１．
図１は、実施の形態１に係る画像生成システム１の構成を示す機能ブロック図である。図１に示されるように、画像生成システム１は、撮像部１０と、旋回駆動部２０と、画像処理部３０とを有する。画像処理部３０は、撮像方位算出部３１と、画素投影座標算出部３２と、画素投影部３３と、制御部４０とを有する。画像処理部３０は、実施の形態１に係る画像処理方法を実施することができる。制御部４０は、画像処理部３０とは別の構成であってもよい。図１の画像処理部３０は、パーソナルコンピュータ（ＰＣ）であってもよい。
図１は、実施の形態１に係る画像生成システム１の構成を示す機能ブロック図である。図１に示されるように、画像生成システム１は、撮像部１０と、旋回駆動部２０と、画像処理部３０とを有する。画像処理部３０は、撮像方位算出部３１と、画素投影座標算出部３２と、画素投影部３３と、制御部４０とを有する。画像処理部３０は、実施の形態１に係る画像処理方法を実施することができる。制御部４０は、画像処理部３０とは別の構成であってもよい。図１の画像処理部３０は、パーソナルコンピュータ（ＰＣ）であってもよい。
撮像部１０は、例えば、熱型赤外線固体撮像素子からなる熱画像センサである。熱画像センサは、被写体から放射された光のうちの赤外線（一般的には、波長８μｍ～１２μｍの光）を検出する１次元又は２次元に配置された複数の撮像画素（「検出画素」とも言う。）を有する。撮像部１０は、ｚ軸に平行な旋回軸線１１に直交するｘｙ平面に対してチルト角度Ｔで傾斜した状態で旋回軸線１１上に配置され、旋回軸線１１を中心に旋回可能に備えられている。全天周画像を生成するために、撮像部１０の視野角θ内に、ｚ軸方向が含まれることが望ましい。チルト角度Ｔは、例えば、０度より大きく９０度未満の値に設定される。旋回駆動部２０は、チルト角度Ｔを変更する機能を備えてもよい。また、旋回駆動部２０は、旋回の角速度、及び旋回の回数を設定する機能を備えてもよい。
検出画素に用いる赤外線検出素子は、断熱構造を有し、１次元又は２次元に配列されている。２次元に配列された検出画素は、行ごとに駆動線に接続され、列ごとに信号線に接続されている。撮像部１０の垂直走査回路とスイッチにより各駆動線が順番に選択され、選択された駆動線を介して電源から検出画素に通電される。検出画素の出力は、信号線を介して積分回路に伝えられ、積分回路で積分及び増幅され、水平走査回路とスイッチによって順次出力端子へ出力される。
撮像部１０が非冷却型の赤外線検出素子を有する場合、温度センサには、ポリシリコン、アモルファスシリコン、炭化ケイ素、又は酸化バナジウム等のボロメータを用いたもの、及びダイオード又はトランジスタ等の半導体素子を用いたものが知られている。
なお、撮像部１０の構成は、以上に説明したものに限定されず、他の種類のものであってもよい。また、撮像部１０の複数の検出画素から出力される画素信号の集合が画像を構成する。また、撮像部１０は、１回の旋回の間に複数の画像（すなわち、画像群）ＤＩＮを出力する。
旋回駆動部２０は、モータ及びその駆動回路を有している。旋回駆動部２０は、撮像部１０を支持し、撮像部１０を旋回軸線１１を中心に旋回させる。旋回駆動部２０は、撮像部１０をチルト角度Ｔ傾けた状態で撮像部１０を旋回軸線１１を中心として旋回させる。撮像部１０が旋回軸線１１から離れるほど、撮像部１０の旋回軸線１１に直交する方向に並ぶ複数の画素ライン間での視差が大きくなるため、撮像部１０はできるだけ旋回軸線１１に近い位置に設置されることが望ましい。
旋回駆動部２０は、例えば、旋回と停止を繰り返すステップ旋回運動を行う、ステッピングモータで構成される。あるいは、旋回駆動部２０は、等速角速度運動を行う電子モータで構成されてもよい。
画像処理部３０は、撮像部１０から出力される複数の画像ＤＩＮに基づいて全天周画像ＤＯＵＴを生成する。
制御部４０は、旋回駆動部２０と、画像処理部３０に含まれる処理実行部を含む装置全体の動作を制御する。
撮像方位算出部３１は、複数の画像ＤＩＮのうちの、ある瞬間に撮像部１０から出力される画像（後述の図２に示される１２）から、旋回方向に対して直交方向の画素ラインの画素を複数ライン抽出する。撮像方位算出部３１が抽出する複数の画素は、レンズ歪の小さな光軸中心領域から抽出することが望ましい。レンズ歪の影響が想定される領域からも熱画素ラインを抽出する場合は、レンズ歪補正を前処理で行うことが望ましい。撮像方位算出部３１は、撮像部１０の視野角θ、複数の画像１２の画素毎の座標（Ｘ´，Ｙ´）、及び撮像部１０の旋回角度であるパン角度φに基づいて、複数の画像１２の画素毎の撮像方位Ｄｐを算出する。
画素投影座標算出部３２は、複数の画像ＤＩＮ中の全画素について、出力となる全天周画像ＤＯＵＴの座標系の、どの画素位置に投影するかを位置情報、及び画素毎の画角情報から算出する。つまり、画素投影座標算出部３２は、複数の画像ＤＩＮの画素毎の、全天周画像の座標系（ｘｙ平面）の投影面における投影位置の座標である画素投影座標（Ｘ，Ｙ）を、画素毎の撮像方位Ｄｐに基づいて算出する。
画素投影部３３は、複数の画像１２の各画素を、全天周画像の座標系（ｘｙ系）における画素投影座標（Ｘ，Ｙ）に投影する。撮像部１０が複数回旋回する（すなわち、３６０°旋回を複数回実行する）間に、画素投影部３３は、複数の画像１２の各画素を、天周画像の座標系（ｘｙ）における同じ画素投影座標（Ｘ，Ｙ）に複数回投影する。パン方向の撮像開始位置を基準として、複数の画像ＤＩＮが何度回転した状態で得られた画像であるかを、モータの旋回速度から計算する。
複数の画像ＤＩＮに含まれるすべての画素について、画像の中心をパン又はチルトを制御するモータによって設定された角度であるとし、そこから縦方向・横方向にどの程度離れた位置を撮像しているかを、撮像部１０の画素当たりの画角から計算する。なお、チルトの回転角については、チルト角度Ｔを縦方向の回転の中心として計算する。
図２は、実施の形態１に係る画像生成システム１の画素投影座標算出部３２の動作を示す説明図である。図２において、ｘｙ平面である投影面１４上に存在する仮想の円の半径をＲとする。また、撮像部１０から撮像方位Ｄｐを直線で表現し、図２中の半径Ｒの仮想の球と交わる点を（Ｘ´，Ｙ´）とする。
画素投影座標算出部３２は、点（Ｘ´，Ｙ´）から、投影する投影面１４の投影座標を計算する。図２のｘｙ平面の円で囲まれた領域が、全天周画像ＤＯＵＴの投影面１４となる。点（Ｘ´，Ｙ´）と図２の回転軸線上の座標（０，０，－Ｒ）の点１３とを直線１５で結び、この直線１５と投影面１４との交点となる座標を、指定画素の投影座標（Ｘ，Ｙ）とする。
図３は、実施の形態１に係る画像生成システム１の画素投影座標算出部３２の動作を示す簡略化された説明図である。画像処理部３０は、投影座標（Ｘ，Ｙ）に対応する画素の画素値を撮像部１０の旋回の回数に応じた回数、加算する。出力される全天周画像ＤＯＵＴの解像度は、Ｒ［ｍｍ］を２倍した値になることが望ましい。出力画像の解像度が既に決められている場合は、Ｒ［ｍｍ］を解像度の半分の値に設定することが望ましい。
画像処理部３０は、撮影した複数の画像の各画素に対して繰り返し同様の処理を実行する。同じ画素について、複数の画素値が加算される場合には、これらの平均値又は加重平均値を最終的な画素値としてもよい。
図４は、実施の形態１に係る画像生成システム１のハードウェア構成を示す図である。図４に示されるように、画像処理部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ１０１、揮発性の記憶装置であるメモリ１０２、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置１０３とを有する。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。また、画像処理部３０は、撮像部１０との通信を行う画像インタフェース１０４と、旋回駆動部２０を制御するためのインタフェース１０５とを有する。
画像処理部３０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。プログラムは、本実施の形態に係る画像処理方法を実施するためにこと用いる画像処理プログラムを含むことができる。画像処理プログラムは、コンピュータ読み取り可能な記録媒体（例えば、光ディスクなど）から、又は、インターネットなどのネットーワーク上のサーバからのダウンロードによって画像処理部３０にインストール可能である。
なお、画像処理部３０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。
図５は、実施の形態１に係る画像生成システム１の動作を示すフローチャートである。先ず、撮像部１０がチルト角度Ｔ傾斜するように設定されると（ステップＳＴ１１）、旋回駆動部２０は、旋回軸線１１を中心に予め決められた旋回速度によって撮像部１０を旋回させる（ステップＳＴ１２）。画像処理部３０は、撮像部１０から複数の画像ＤＩＮを含む画像群を取得し（ステップＳＴ１３）、画像１２の画素毎の撮像方位Ｄｐを算出する（ステップＳＴ１４）。次に、画像処理部３０は、画素毎の撮像方位Ｄｐに基づいて画素投影座標（Ｘ，Ｙ）を算出する（ステップＳＴ１５）。次に、画像処理部３０は、画像１２の各画素を投影面１４に投影し（ステップＳＴ１６）、全天周画像ＤＯＵＴを出力する（ステップＳＴ１７）。
以上に説明したように、実施の形態１に係る画像生成システム１では、撮像部１０と旋回駆動部２０を組み合わせることで、広い視野角を持つ合成画像である全天周画像を出力することができる。また、撮像部１０を旋回させて画像群を取得するので、合成画像である全天周画像の高解像度化及び高ＳＮ比化を実現することができる。
上記説明では、チルト方向への撮像部１０の回転が固定の状態で旋回した例を説明したが、例えば、異なる２種類以上のチルト角度を設定し、それぞれのチルト角度で撮像部１０を旋回させてもよい。このときに撮影されたデータをすべて、全天周画像の生成に使用することで、更に高視野角化、高解像度化、又は高ＳＮ比化、又はこれらの２つ以上を実現できる。
また、撮像部１０を旋回させながら撮影する際、旋回速度を遅くして同じ方位をより多い回数撮像することで、より一層の高視野角化、高解像度化、又は高ＳＮ比化を実現できる。
また、上記説明では、旋回駆動部２０は３６０度の旋回が可能であるが、撮影方位が狭い場合には、旋回可能な角度は３６０度未満であってもよい。
また、旋回駆動部２０を等角速度で旋回させる場合には、より短い時間で全天周画像を生成することができる。
また、旋回と停止を繰り返すステップ旋回を行う場合には、撮像部１０の動きブレの影響をより一層低減した全天周画像を生成することができる。
実施の形態２．
実施の形態２に係る画像生成システムは、投影座標（Ｘ，Ｙ）の算出方法の点が、実施の形態１の画像生成システム１と相違する。この点以外に関し、実施の形態２は、実施の形態１と同じである。したがって、実施の形態２では、図１及び図４も参照する。図６は、実施の形態２に係る画像生成システムの画素投影座標算出部３２の動作を示す簡略化された説明図である。実施の形態２では、画素投影座標算出部３２は、複数の画像１２の各画素（Ｘ´，Ｙ´）を通り全天周画像の座標系（ｘｙ）の投影面１４に垂直な直線１７と、全天周画像の座標系（ｘｙ平面）の投影面１４との交点を画素投影座標（Ｘ，Ｙ）とする。
実施の形態２に係る画像生成システムは、投影座標（Ｘ，Ｙ）の算出方法の点が、実施の形態１の画像生成システム１と相違する。この点以外に関し、実施の形態２は、実施の形態１と同じである。したがって、実施の形態２では、図１及び図４も参照する。図６は、実施の形態２に係る画像生成システムの画素投影座標算出部３２の動作を示す簡略化された説明図である。実施の形態２では、画素投影座標算出部３２は、複数の画像１２の各画素（Ｘ´，Ｙ´）を通り全天周画像の座標系（ｘｙ）の投影面１４に垂直な直線１７と、全天周画像の座標系（ｘｙ平面）の投影面１４との交点を画素投影座標（Ｘ，Ｙ）とする。
実施の形態２に係る画像生成システムでは、投影方式を変更することで、撮像素子から離れた場所を撮影した際の情報をより精密に表示できる。
実施の形態３．
実施の形態３に係る画像生成システムは、画像処理部３０が行う画像処理の点で、実施の形態１に係る画像生成システム１又は２と相違する。この点以外に関し、実施の形態３は、実施の形態１又は２と同じである。したがって、実施の形態２では、図１及び図４も参照する。
実施の形態３に係る画像生成システムは、画像処理部３０が行う画像処理の点で、実施の形態１に係る画像生成システム１又は２と相違する。この点以外に関し、実施の形態３は、実施の形態１又は２と同じである。したがって、実施の形態２では、図１及び図４も参照する。
図７は、実施の形態３に係る画像生成システムの画像処理を示す説明図である。撮像部１０によって撮影された複数の画像１２の画素のうちの、全天周画像の座標系（ｘｙ平面）において、画素として使用されない未使用画素Ｐ２が存在する場合、画素投影部３３は、全天周画像の座標系の投影面１４に投影される画素Ｐ１、Ｐ３の画素値Ｉ１、Ｉ３に、全天周画像の座標系の投影面１４に投影された画素Ｐ１、Ｐ３と全天周画像の座標系（ｘｙ平面）の投影面１４に投影された未使用画素Ｐ２との距離Ｌ１、Ｌ２に応じた比率Ｌ２／Ｌ０及びＬ１／Ｌ０を未使用画素Ｐ２の画素値Ｉ２に乗算して得られた加算画素値（Ｌ２／Ｌ０）Ｉ２及び（Ｌ１／Ｌ０）Ｉ２を加算する。ここで、Ｌ０＝Ｌ１＋Ｌ２である。また、比率は、「重み」ともいう。画素投影部３３は、以下の式によって得られる値を画素Ｐ１、Ｐ３の画素値とする。つまり、
画素Ｐ１の画素値は、「Ｉ１＋（Ｌ２／Ｌ０）Ｉ２」であり、
画素Ｐ２の画素値は、「Ｉ２＋（Ｌ１／Ｌ０）Ｉ２」である。
画素Ｐ１の画素値は、「Ｉ１＋（Ｌ２／Ｌ０）Ｉ２」であり、
画素Ｐ２の画素値は、「Ｉ２＋（Ｌ１／Ｌ０）Ｉ２」である。
比率Ｌ２／Ｌ０及び比率Ｌ１／Ｌ０は、距離Ｌ１又はＬ２が短いほど大きい値である。このように、実施の形態３では、重み付け加算によって未使用画素Ｐ２の画素値を用いている。全天周画像の解像度の制約によって、未使用画素Ｐ２が発生する場合であって、未使用画素Ｐ２の画素値を全天周画像に適切に反映させることができる。
複数の画素値が重み付け加算される場合、全天周画像ＤＯＵＴ上の該当座標の最終的な画素値は、画素値と重みの積の合計から、重みの合計を除算したものになる。例えば、画素Ｐ１の場合、
画素値と重みの積の合計は、｛Ｉ１＋（Ｌ２／Ｌ０）Ｉ２｝であり、
重みの合計は、｛１＋（Ｌ２／Ｌ０）｝であるから、
最終的な画素値は、以下の式で表される。
｛Ｉ１＋（Ｌ２／Ｌ０）Ｉ２｝／｛１＋（Ｌ２／Ｌ０）｝
画素値と重みの積の合計は、｛Ｉ１＋（Ｌ２／Ｌ０）Ｉ２｝であり、
重みの合計は、｛１＋（Ｌ２／Ｌ０）｝であるから、
最終的な画素値は、以下の式で表される。
｛Ｉ１＋（Ｌ２／Ｌ０）Ｉ２｝／｛１＋（Ｌ２／Ｌ０）｝
実施の形態３に係る画像生成システムでは、未使用画素Ｐ２の画素値を全天周画像に適切に反映させることができるので、より一層の高視野角化、高解像度化、及び高ＳＮ比化を実現できる。
変形例．
画像生成システムの内、画像処理部３０、撮像部１０に付随するプロセッサ、画像処理プログラムを、画像生成システムと通信可能なクラウドサーバ上に実装することができる。
画像生成システムの内、画像処理部３０、撮像部１０に付随するプロセッサ、画像処理プログラムを、画像生成システムと通信可能なクラウドサーバ上に実装することができる。
１ 画像生成システム、 １０ 撮像部、 １１ 旋回軸線、 １２ 画像（カメラ画像）、 １３ 旋回軸線上の点、 １４ 投影面（ｘｙ平面）、 １５ 直線、 １７ 直線、 ２０ 旋回駆動部、 ３０ 画像処理部、 ３１ 撮像方位算出部、 ３２ 画素投影座標算出部、 ３３ 画素投影部、 ４０ 制御部、 Ｔ チルト角度、 θ 視野角、 φ 旋回角度（パン角度）。
Claims (10)
- 旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、
前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、
前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像処理部と、
を備え、
前記画像処理部は、
前記撮像部の撮像画素毎の画角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出する撮像方位算出部と、
前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出する画素投影座標算出部と、
前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影する画素投影部と、
を有することを特徴とする画像生成システム。 - 前記撮像部が複数回旋回する間に、前記画素投影部は、前記複数の画像の各画素を、前記全天周画像の前記座標系における同じ前記画素投影座標に複数回投影する
ことを特徴とする請求項１に記載の画像生成システム。 - 前記チルト角度、前記撮像部の旋回の角速度、及び前記撮像部の旋回の回数を設定する
ことを特徴とする請求項１又は２に記載の画像生成システム。 - 前記チルト角度が０度より大きく９０度未満の値に設定された
ことを特徴とする請求項３に記載の画像生成システム。 - 前記画素投影座標算出部は、前記複数の画像の各画素と前記旋回軸線上の予め決められた点とを結ぶ直線と、前記全天周画像の前記座標系の投影面との交点を前記画素投影座標とする
請求項１から４のいずれか１項に記載の画像生成システム。 - 前記画素投影座標算出部は、前記複数の画像の各画素を通り前記全天周画像の前記座標系の投影面に垂直な直線と、前記全天周画像の前記座標系の前記投影面との交点を前記画素投影座標とする
請求項１から４のいずれか１項に記載の画像生成システム。 - 前記複数の画像の画素のうちの、前記全天周画像の前記座標系の画素として使用されない未使用画素が存在する場合、前記画素投影部は、前記全天周画像の前記座標系の前記投影面に投影される画素の画素値に、前記全天周画像の前記座標系の前記投影面に投影された前記画素と前記全天周画像の前記座標系の前記投影面に投影された前記未使用画素との距離に応じた比率を前記未使用画素の画素値に乗算して得られた加算画素値を加算することで、前記投影面に投影される画素の画素値を変更する
ことを特徴とする請求項１から６のいずれか１項に記載の画像生成システム。 - 前記比率は、前記距離が短いほど大きい値である
ことを特徴とする請求項７に記載の画像生成システム。 - 前記撮像部は、前記画像として熱画像を撮影する熱画像センサである
ことを特徴とする請求項１から８のいずれか１項に記載の画像生成システム。 - 旋回軸線に直交する平面に対してチルト角度傾斜した状態で配置され、前記旋回軸線を中心に旋回可能に備えられた撮像部と、
前記撮像部を前記旋回軸線を中心に旋回させる旋回駆動部と、
を有し、前記撮像部から出力される複数の画像に基づいて全天周画像を生成する画像生成システムが実行する画像処理方法であって、
前記撮像部の撮像画素毎の画角、前記複数の画像の画素毎の座標、及び前記撮像部の旋回角度であるパン角度に基づいて、前記複数の画像の画素毎の撮像方位を算出するステップと、
前記複数の画像の画素毎の、前記全天周画像の座標系における投影位置の座標である画素投影座標を、前記画素毎の前記撮像方位に基づいて算出するステップと、
前記複数の画像の各画素を、前記全天周画像の座標系の投影面における前記画素投影座標に投影するステップと
を有することを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023527140A JPWO2022259296A1 (ja) | 2021-06-07 | 2021-06-07 | |
| PCT/JP2021/021529 WO2022259296A1 (ja) | 2021-06-07 | 2021-06-07 | 画像生成システム及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/021529 WO2022259296A1 (ja) | 2021-06-07 | 2021-06-07 | 画像生成システム及び画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022259296A1 true WO2022259296A1 (ja) | 2022-12-15 |
Family
ID=84424957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/021529 WO2022259296A1 (ja) | 2021-06-07 | 2021-06-07 | 画像生成システム及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2022259296A1 (ja) |
| WO (1) | WO2022259296A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013069048A1 (ja) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
| JP2019012516A (ja) * | 2017-06-30 | 2019-01-24 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| WO2021079455A1 (ja) * | 2019-10-24 | 2021-04-29 | 三菱電機株式会社 | 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体 |
-
2021
- 2021-06-07 JP JP2023527140A patent/JPWO2022259296A1/ja active Pending
- 2021-06-07 WO PCT/JP2021/021529 patent/WO2022259296A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013069048A1 (ja) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
| JP2019012516A (ja) * | 2017-06-30 | 2019-01-24 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| WO2021079455A1 (ja) * | 2019-10-24 | 2021-04-29 | 三菱電機株式会社 | 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022259296A1 (ja) | 2022-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3996805B2 (ja) | 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法 | |
| KR102214193B1 (ko) | 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법 | |
| US9270885B2 (en) | Method, system, and computer program product for gamifying the process of obtaining panoramic images | |
| JP5371350B2 (ja) | 光線を操縦して視野を変えるセキュリティカメラシステムおよび方法 | |
| JP5613041B2 (ja) | カメラ装置、画像処理システムおよび画像処理方法 | |
| WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
| TWI642903B (zh) | 用於頭戴式顯示裝置的定位方法、定位器以及定位系統 | |
| JP2006352851A (ja) | 複合カメラによりシーンの画像を取得する方法及び装置 | |
| CN109297680B (zh) | 光轴偏移误差值的检测方法及装置 | |
| JP2009239499A (ja) | カメラシステム | |
| KR100442733B1 (ko) | 전방향 시각 시스템 | |
| TW201734948A (zh) | 用於在廣角圖像系統中生成相關的音頻和視覺信號的方法、系統及設備 | |
| WO2007119712A1 (ja) | カメラ装置、画像処理装置および画像処理方法 | |
| JP2008187393A (ja) | 露出制御システム、露出制御方法、そのプログラムと記録媒体およびカメラ制御システムとカメラ | |
| KR100585822B1 (ko) | 실시간 파노라마 비디오 영상을 이용한 감시 시스템 및 그시스템의 제어방법 | |
| WO2022259296A1 (ja) | 画像生成システム及び画像処理方法 | |
| WO2023241495A1 (zh) | 拍摄方法及其装置 | |
| JP2004146890A (ja) | 監視カメラ装置及び監視カメラシステム装置 | |
| US20100302403A1 (en) | Generating Images With Different Fields Of View | |
| JP2006203504A (ja) | 撮像装置 | |
| WO2021079455A1 (ja) | 画像生成システム及び画像処理装置、並びにプログラム及び記録媒体 | |
| KR100736565B1 (ko) | 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기 | |
| TWI672950B (zh) | 可補償影像變化的影像裝置 | |
| US11019264B2 (en) | Imaging device, control method, and recording medium | |
| US11637958B2 (en) | Control apparatus, control method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21944977 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2023527140 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21944977 Country of ref document: EP Kind code of ref document: A1 |