JPWO2004102479A1 - Image conversion program, image conversion method, and medium carrying program - Google Patents

Image conversion program, image conversion method, and medium carrying program Download PDF

Info

Publication number
JPWO2004102479A1
JPWO2004102479A1 JP2005506203A JP2005506203A JPWO2004102479A1 JP WO2004102479 A1 JPWO2004102479 A1 JP WO2004102479A1 JP 2005506203 A JP2005506203 A JP 2005506203A JP 2005506203 A JP2005506203 A JP 2005506203A JP WO2004102479 A1 JPWO2004102479 A1 JP WO2004102479A1
Authority
JP
Japan
Prior art keywords
image
coordinate system
dimensional orthogonal
annular
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005506203A
Other languages
Japanese (ja)
Inventor
建二 茂木
建二 茂木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LOARANT CORPORATION
MARUBUN CORP
Original Assignee
LOARANT CORPORATION
MARUBUN CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LOARANT CORPORATION, MARUBUN CORP filed Critical LOARANT CORPORATION
Publication of JPWO2004102479A1 publication Critical patent/JPWO2004102479A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させて変換するようにした。これにより、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができ、また、双曲面ミラーの双曲線の傾きに基づき円環座標系の画像を２次元直交座標系の画像に変換した場合に生じる左右両端の画像の歪曲をなくすことができる。It is determined which of the pixels constituting the image of the annular coordinate system corresponds to each pixel constituting the image of the two-dimensional orthogonal coordinate system, and the image of the annular coordinate system is based on the determination result Each of the pixels constituting the image is converted in correspondence with each pixel constituting the image of the two-dimensional orthogonal coordinate system. Thus, unlike the conventional case where the pixels of the annular coordinate system image are converted to the pixels of the two-dimensional orthogonal coordinate system image on a one-to-one basis, the number of pixels at the center of the image of the annular coordinate system is small. It is possible to prevent missing pixels on the image of the two-dimensional orthogonal coordinate system, and to convert the image of the annular coordinate system into the image of the two-dimensional orthogonal coordinate system based on the inclination of the hyperbola of the hyperboloid mirror. In this case, it is possible to eliminate the distortion of the images at the left and right ends.

Description

本発明は、全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換する画像変換プログラム及びその画像変換方法に関するものである。  The present invention relates to an image conversion program for converting an image in an annular coordinate system photographed by an omnidirectional photographing means into an image in a two-dimensional orthogonal coordinate system constituting an image for display output on a screen or the like, and an image conversion method therefor It is about.

従来より、周囲の視野を撮影可能な３６０度カメラ等の全方位撮影装置が知られている（例えば、特開平６−１５２９３８号公報参照）。全方位撮影装置では、一般的に双曲面ミラーが用いられている。この双曲面ミラーを有する全方位撮影装置で撮影された画像は、円環座標系の画像であるため、ユーザにとって見やすいものではない。従って、この種の装置で撮影された円環座標系の画像を２次元直交座標系の画像に変換して、ユーザにとって見やすい画像にする必要があった。そこで、従来は、全方位撮影装置で撮影された円環座標系の画像の画素を、双曲面ミラーの双曲線の傾きに基づいて、２次元直交座標系の画像の画素に、１対１で変換していた。  Conventionally, an omnidirectional photographing apparatus such as a 360 degree camera capable of photographing a surrounding visual field is known (see, for example, Japanese Patent Laid-Open No. 6-152938). In an omnidirectional photographing apparatus, a hyperboloid mirror is generally used. Since the image photographed by the omnidirectional photographing apparatus having the hyperboloid mirror is an image in an annular coordinate system, it is not easy for the user to see. Therefore, it has been necessary to convert an image in an annular coordinate system photographed by this type of apparatus into an image in a two-dimensional orthogonal coordinate system so that the image can be easily viewed by the user. Therefore, conventionally, a pixel in an annular coordinate system image captured by an omnidirectional imaging device is converted on a one-to-one basis to a pixel in a two-dimensional orthogonal coordinate system image based on the inclination of a hyperbola of a hyperboloid mirror. Was.

ここで、上記の変換方法について説明する。この変換方法の適用対象となる全方位撮影装置は、図１３に示されるような鉛直方向下向きに配設された双曲面ミラーと、その下に鉛直方向上向きに配設されたカメラから構成される。この全方位撮影装置では、双曲面ミラーの焦点ＯＭとカメラのレンズ中心ＯＣとは、それぞれ２葉双曲面の２焦点（０，０，＋ｃ），（０，０，−ｃ）に位置し、２次元直交座標系の画像面ｘｙはＸＹ平面に平行でカメラのレンズ中心ＯＣからカメラの焦点距離ｆだけ離れた平面となる。双曲面ミラーのミラー面、双曲面ミラーの焦点ＯＭ、及びカメラのレンズ中心ＯＣは、以下の各式で表わされる。
双曲面ミラーのミラー面・・・｛（Ｘ２＋Ｙ２）／ａ２｝−（Ｚ２／ｂ２）＝−１
（ただし、Ｚ＞０）
双曲面ミラーの焦点ＯＭ・・・（０，０，＋ｃ）
カメラのレンズ中心ＯＣ・・・（０，０，−ｃ）Here, the conversion method will be described. The omnidirectional imaging apparatus to which this conversion method is applied is composed of a hyperboloidal mirror disposed downward in the vertical direction as shown in FIG. 13 and a camera disposed downward in the vertical direction. . In this omnidirectional imaging apparatus, the lens center O C focus O M and camera hyperboloidal mirror, bifocal respectively 2 leaf hyperboloid (0,0, + c), located in (0,0, -c) and, image plane xy of the two-dimensional orthogonal coordinate system becomes apart planar focal length f of the camera from the lens center O C of the camera parallel to the XY plane. Mirror surface of the hyperbolic mirror, the focal point O M, and the lens center O C camera hyperboloidal mirror is represented by the following formulas:.
Mirror surface of the hyperboloidal mirror ... {(X 2 + Y 2 ) / a 2 }-(Z 2 / b 2 ) = − 1
(However, Z> 0)
The focus of the hyperboloid mirror O M ··· (0,0, + c )
The lens of the camera center O C ··· (0,0, -c)

また、空間内の任意の点Ｐ（Ｘ，Ｙ，Ｚ）に対する画像面ｘｙ上での写像点をｐ（ｘ，ｙ）とすると、双曲面ミラーの焦点ＯＭからの点Ｐの方位角θは次式で表わされる。

Figure 2004102479
Also, an arbitrary point P in space (X, Y, Z) when the mapping point on the image plane xy relative to p (x, y), the azimuth angle of point P from the focus O M hyperboloidal mirror θ Is expressed by the following equation.
Figure 2004102479

すなわち、Ｙ／Ｘで定まる（双曲面ミラーの焦点ＯＭからの）点Ｐの方位角θは、ｙ／ｘで定まる（カメラのレンズ中心ＯＣからの）写像点ｐの方位角θを算出することで得られる。この様に３６０度パノラマ状の領域内にある対象物体の方位角θが、その物体の画像面上の写像の方位として直接現れる。That is, determined by Y / X azimuth θ of (hyperboloid from the focus O M of the mirror) point P, defined by y / x (from the lens center O C of the camera) calculated azimuth angle θ of the mapping point p It is obtained by doing. Thus, the azimuth angle θ of the target object in the 360-degree panoramic region directly appears as the azimuth of the mapping of the object on the image plane.

また、図１４に示されるように、点Ｐと軸を含む鉛直断面とを想定すると、点Ｐとその写像点ｐとの間には次式の関係が成り立つ。

Figure 2004102479
Further, as shown in FIG. 14, assuming a point P and a vertical cross section including an axis, the relationship of the following equation is established between the point P and the mapped point p.
Figure 2004102479

すなわち、双曲面ミラーの焦点ＯＭからの点の方位角θ及び伏角αは、カメラのレンズ中心ＯＣを双曲面ミラーの他方の（外面側の）焦点位置にすることで、写像点ｐ（ｘ、ｙ）より、一意に求められる。このとき、双曲面ミラーの（内面側の）焦点ＯＭは固定なため、入力画像を、双曲面ミラーの焦点ＯＭに配したカメラを鉛直軸周りに回転して得られる画像（円筒状の全方位画像）や、双曲面ミラーの焦点ＯＭに配したカメラから見た画像（一般のカメラで撮影した画像）に変換することが可能である。That is, the azimuth angle θ and dip α points from the focus O M hyperboloid mirror, a lens center O C camera hyperboloidal mirror other (outer surface side) by the focal position, mapping point p ( x, y) is uniquely obtained. At this time, the hyperbolic mirror (the inner surface) for focusing O M is fixed, the input image, image (cylindrical obtained by rotating a camera arranged to focus O M hyperbolic mirror about a vertical axis omnidirectional image) or can be converted into an image as viewed from a camera placed in the focal point O M hyperboloid mirror (taken with ordinary camera images).

また、上記の式（１）〜（４）をｘ，ｙを求める形に変形した式が、下記の式（５）及び式（６）である。

Figure 2004102479
Figure 2004102479
Further, the following formulas (5) and (6) are obtained by transforming the above formulas (1) to (4) into a form for obtaining x and y.
Figure 2004102479
Figure 2004102479

上記の式（５）及び式（６）を利用することで、３次元空間中の点Ｐ（Ｘ，Ｙ，Ｚ）に対応する２次元直交座標系の画像面ｘｙ上の点ｐ（ｘ，ｙ）を求めることができる。  By using the above equations (5) and (6), the point p (x, x, y) on the image plane xy of the two-dimensional orthogonal coordinate system corresponding to the point P (X, Y, Z) in the three-dimensional space. y) can be determined.

しかしながら、上記のような双曲線の傾きに基づいて、（双曲面ミラーの外面側の焦点位置にレンズ中心ＯＣを配した）カメラで撮影した円環座標系の画像の画素を、２次元直交座標系の画像の画素に変換する方法では、２次元直交座標の中央近傍の画像は、人間の視覚通りに見えるが、左右両端の画像が歪曲してしまう。この理由は、以下の通りである。すなわち、上記の式（２）〜（４）は、カメラの魚眼レンズと双曲面ミラーの形状が数学上の２葉双曲面（双曲線をＺ軸周りに回転させることで得られる曲面）の形状と同じであることを前提として導かれた式であるが、カメラの魚眼レンズや双曲面ミラーの物理的な形状を数学上の２葉双曲面の形状に合わせることが難しいからである。また、双曲面ミラーの外面側の焦点位置とレンズ中心ＯＣとの位置合わせを正確に行うことが難しいからでもある。However, based on the hyperbolic slope as described above, (decor lens center O C at the focal point of the outer surface of the hyperboloidal mirror) image pixels annular coordinate system obtained by the camera, two-dimensional orthogonal coordinate In the method of converting to pixels of the system image, the image near the center of the two-dimensional orthogonal coordinates looks as if it is human vision, but the images on the left and right ends are distorted. The reason for this is as follows. That is, in the above equations (2) to (4), the shape of the fisheye lens and the hyperboloid mirror of the camera is the same as the shape of a mathematical two-leaf hyperboloid (a curved surface obtained by rotating the hyperbola around the Z axis). However, it is difficult to match the physical shape of the camera's fisheye lens or hyperboloidal mirror to the mathematical shape of a two-leaf hyperboloid. Further, there is also because it is difficult to align the focal position of the lens center O C of the outer surface side of the hyperbolic mirror accurately.

また、カメラで撮影した円環座標系の画像の画素と２次元直交座標系の画像の画素との対応関係を考えると、円環座標系の画像の画素は、円環の中心に近づくに従って画素数が減少するため、上記のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換する方法では、２次元直交座標系の画像上において、円環座標系の画像上の中心部に相当する部分の画素が欠落してしまう。  Further, considering the correspondence between the pixels of the annular coordinate system image photographed by the camera and the pixels of the two-dimensional orthogonal coordinate system image, the pixels of the annular coordinate system image become pixels closer to the center of the annular ring. Since the number is reduced, the method of converting the pixels of the annular coordinate system image into the pixels of the two-dimensional orthogonal coordinate system image on a one-to-one basis as described above, on the image of the two-dimensional orthogonal coordinate system, Pixels corresponding to the central portion on the coordinate system image are lost.

本発明は、上記の問題を解決するためになされたものであり、２次元直交座標系の画像上における左右両端部の歪曲を防ぎ、また、２次元直交座標系の画像上において、円環座標系の画像上の中心部に相当する部分の画素が欠落しないようにすることが可能な、円環座標系の画像から２次元直交座標系の画像への画像変換プログラム及びその画像変換方法を提供することを目的とする。  The present invention has been made to solve the above-described problem, and prevents distortion at both right and left ends on the image of the two-dimensional orthogonal coordinate system. Also, the ring coordinates are displayed on the image of the two-dimensional orthogonal coordinate system. Provided are an image conversion program and an image conversion method for converting an image in an annular coordinate system into an image in a two-dimensional orthogonal coordinate system that can prevent a pixel corresponding to a central portion on a system image from being lost. The purpose is to do.

上記目的を達成するため、本発明の一態様に係る画像変換プログラムは、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換するために、プロセッサーを、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する対応画素判定手段、対応画素判定手段による判定結果を記憶する記憶手段、及び記憶手段に格納された判定結果に基づいて、円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させることにより、円環座標系の画像を２次元直交座標系の画像に変換する変換手段として機能させる。  In order to achieve the above object, an image conversion program according to an aspect of the present invention provides an image of an annular coordinate system photographed by an omnidirectional photographing means having a hyperboloid mirror, and an image for display output on a screen or the like. In order to convert the image into a two-dimensional rectangular coordinate system image, the processor corresponds to which pixel in the two-dimensional rectangular coordinate system image corresponds to each pixel in the circular coordinate system image. Corresponding pixel determination means for determining whether to perform, storage means for storing the determination result by the corresponding pixel determination means, and each pixel constituting the image of the annular coordinate system based on the determination result stored in the storage means in two dimensions By making it correspond to each pixel constituting the image of the orthogonal coordinate system, it functions as conversion means for converting the image of the annular coordinate system into the image of the two-dimensional orthogonal coordinate system.

また、本発明の一態様に係る方法は、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定し、上記判定の結果を記憶し、上記記憶された判定の結果に基づいて、円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させることにより、円環座標系の画像を２次元直交座標系の画像に変換する。  Further, the method according to one embodiment of the present invention determines which of the pixels constituting the image of the annular coordinate system corresponds to each pixel constituting the image of the two-dimensional orthogonal coordinate system, The result of the determination is stored, and on the basis of the stored determination result, each pixel constituting the image of the annular coordinate system is associated with each pixel constituting the image of the two-dimensional orthogonal coordinate system. An image in a ring coordinate system is converted into an image in a two-dimensional orthogonal coordinate system.

さらにまた、本発明の一態様に係るプロセッサーにより読み取り可能な媒体は、２次元直交座標系の画像を構成する各画素が、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順と、上記判定の結果を記憶する手順と、上記記憶された判定の結果に基づいて、円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させることにより、円環座標系の画像を２次元直交座標系の画像に変換する手順とをプロセッサーに実行させるためのプログラムを少なくとも備える。  Furthermore, the medium readable by the processor according to one embodiment of the present invention is an annular coordinate system in which each pixel constituting the image of the two-dimensional orthogonal coordinate system is captured by an omnidirectional imaging unit having a hyperboloid mirror. Based on the procedure for determining which pixel corresponds to each pixel constituting the image, the procedure for storing the result of the determination, and the image of the annular coordinate system based on the stored determination result A program for causing a processor to execute a procedure for converting an image in an annular coordinate system into an image in a two-dimensional orthogonal coordinate system by associating each pixel to each pixel constituting an image in a two-dimensional orthogonal coordinate system At least.

このように、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させて変換することにより、双曲面ミラーの双曲線の傾きに基づき円環座標系の画像を２次元直交座標系の画像に変換した場合に生じる左右両端の画像の歪曲をなくすことができる。また、上記のように、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系から２次元直交座標系への画像変換を行うようにしたことにより、円環座標系の画像を構成する１つの画素が２次元直交座標系の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができる。  In this way, it is determined which of the pixels constituting the image of the annular coordinate system corresponds to each pixel constituting the image of the two-dimensional orthogonal coordinate system, and the annular ring is based on the determination result. By converting each pixel constituting the coordinate system image to correspond to each pixel constituting the two-dimensional orthogonal coordinate system image, the circular coordinate system image is two-dimensionally orthogonal based on the inclination of the hyperbola of the hyperboloid mirror. It is possible to eliminate the distortion of the images at the left and right ends that occur when the image is converted into a coordinate system image. In addition, as described above, it is determined which pixel that constitutes the image of the two-dimensional orthogonal coordinate system corresponds to each pixel that constitutes the image of the annular coordinate system, and the determination result is Based on the image conversion from the annular coordinate system to the two-dimensional orthogonal coordinate system, one pixel constituting the image of the annular coordinate system becomes a plurality of pixels constituting the image of the two-dimensional orthogonal coordinate system. Unlike the case where the pixel of the annular coordinate system image is converted to the pixel of the two-dimensional orthogonal coordinate system on a one-to-one basis as before, It is possible to prevent missing of pixels on the image of the two-dimensional orthogonal coordinate system due to the small number of pixels.

望ましくは、アークタンジェント関数を用いて、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する。上記の双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像では、円の中心部に向かうに従って被写体が縦軸方向に圧縮されるが、上記のように、アークタンジェント関数を用いて、２次元直交座標系の画像を構成する各画素と、円環座標系の画像を構成する各画素との対応関係を判定することにより、縦軸方向に圧縮された円環座標系の画像を、通常のカメラで撮影した画像と同様な（縦軸方向に引き伸ばされた）２次元直交座標系の画像に変換することができる。  Desirably, an arctangent function is used to determine which pixel that constitutes an image in a two-dimensional orthogonal coordinate system corresponds to each pixel that constitutes an image in an annular coordinate system. In the image of the annular coordinate system photographed by the omnidirectional photographing means having the above hyperboloidal mirror, the subject is compressed in the vertical axis direction toward the center of the circle, but the arctangent function is expressed as described above. And determining the correspondence between each pixel constituting the image of the two-dimensional orthogonal coordinate system and each pixel constituting the image of the annular coordinate system, and The image can be converted into an image of a two-dimensional orthogonal coordinate system similar to an image captured by a normal camera (stretched in the vertical axis direction).

［図１］本発明の一実施形態に係る画素補間プログラムを格納したＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムの構成図。
［図２］上記ＤＳＰボードの構成図。
［図３］図２中のＤＳＰ本体の構成図。
［図４］上記ＤＳＰボードにおいて行われる画像処理のフローチャート。
［図５］上記ＤＳＰボードから転送された画像データに対してパソコン本体部が行う画像処理のフローチャート。
［図６］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の線分と円環座標系の画像上の線分との対応関係を示す図。
［図７］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の画素位置に対応する円環座標系の画像上の画素位置を求める処理の説明図。
［図８］上記処理の対象となる２次元直交座標系の画像上の画素位置Ｐを示す図。
［図９］上記処理の対象となる円環座標系の画像上の画素位置Ｐ’を示す図。
［図１０］上記処理において求められる円環座標系における弧長ｓを示す図。
［図１１］従来の双曲面を用いた画像変換方法による２次元直交座標系の画像示す図。
［図１２］本実施形態の画像変換方法による２次元直交座標系の画像を示す図。
［図１３］従来の画像変換方法の適用対象となる全方位撮影装置における双曲面ミラーとカメラのレンズ中心との位置関係を示す図。
［図１４］上記従来の全方位撮影装置において、３次元空間中の点Ｐに対応する２次元直交座標系の画像面上の点ｐを求める方法を示す図。FIG. 1 is a configuration diagram of an omnidirectional camera system including a personal computer equipped with a DSP board storing a pixel interpolation program and an omnidirectional camera according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the DSP board.
FIG. 3 is a block diagram of the DSP main body in FIG.
FIG. 4 is a flowchart of image processing performed in the DSP board.
FIG. 5 is a flowchart of image processing performed by the personal computer main unit on the image data transferred from the DSP board.
FIG. 6 is a diagram showing a correspondence relationship between a line segment on an image of a two-dimensional orthogonal coordinate system and a line segment on an image of an annular coordinate system performed in the DSP board.
FIG. 7 is an explanatory diagram of processing for obtaining a pixel position on an image in an annular coordinate system corresponding to a pixel position on an image in a two-dimensional orthogonal coordinate system performed in the DSP board.
[FIG. 8] A diagram showing a pixel position P on an image of a two-dimensional orthogonal coordinate system to be processed.
FIG. 9 is a diagram showing a pixel position P ′ on an image in an annular coordinate system to be processed.
FIG. 10 is a diagram showing an arc length s in an annular coordinate system obtained in the above processing.
FIG. 11 is a diagram showing an image of a two-dimensional orthogonal coordinate system by an image conversion method using a conventional hyperboloid.
FIG. 12 is a diagram showing an image of a two-dimensional orthogonal coordinate system by the image conversion method of the present embodiment.
FIG. 13 is a diagram showing a positional relationship between a hyperboloid mirror and a lens center of a camera in an omnidirectional photographing apparatus to which a conventional image conversion method is applied.
FIG. 14 is a diagram showing a method for obtaining a point p on an image plane of a two-dimensional orthogonal coordinate system corresponding to a point P in a three-dimensional space in the conventional omnidirectional photographing apparatus.

以下、本発明を具体化した実施形態について図面を参照して説明する。本実施形態による画像変換プログラムは、パソコンに搭載されるＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ボードで使用可能なプログラムである。図１は、これらのプログラムを格納したＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムを示す。このカメラシステム１を構成する全方位カメラ３（全方位撮影手段）は、周囲３６０度の視野を撮影可能なカメラである。パソコン２は、全方位カメラ３で撮影された画像に対して各種の画像処理等を行うためのＤＳＰボード４と、ＤＳＰボード４から出力された圧縮輝度信号の形式の画像データをＲＧＢ輝度信号の形式の画像データに変換してモニタ５に出力するパソコン本体部５と、パソコン本体部５から出力されたＲＧＢ輝度信号の形式の画像データを表示するモニタ６とから構成されている。また、ＤＳＰボード４とパソコン本体部５との間のデータの入出力は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス７を介して行われる。  DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, embodiments of the invention will be described with reference to the drawings. The image conversion program according to the present embodiment is a program that can be used on a DSP (Digital Signal Processor) board mounted on a personal computer. FIG. 1 shows an omnidirectional camera system composed of a personal computer equipped with a DSP board storing these programs and an omnidirectional camera. An omnidirectional camera 3 (omnidirectional photographing means) constituting the camera system 1 is a camera capable of photographing a field of view around 360 degrees. The personal computer 2 includes a DSP board 4 for performing various image processing and the like on an image captured by the omnidirectional camera 3, and image data in the form of a compressed luminance signal output from the DSP board 4 as RGB luminance signals. The personal computer main unit 5 converts the image data into a format and outputs it to the monitor 5, and the monitor 6 displays the image data in the RGB luminance signal format output from the personal computer main unit 5. Data input / output between the DSP board 4 and the personal computer main body 5 is performed via a PCI (Peripheral Component Interconnect) bus 7.

次に、図２を参照して、上記ＤＳＰボード４内の構成について説明する。ＤＳＰボード４は、ＤＳＰ本体１１、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ ａｒｒａｙ）１２、ＦＩＦＯ１３〜１５、入力画像を記憶するための入力画像用ＳＤＲＡＭ（Ｓｔａｔｉｃ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６、及び出力画像等の記憶用のＳＤＲＡＭ１７から構成されている。ＦＰＧＡ１２は、全方位カメラ３より入力された輝度信号Ｙと色信号Ｃｂ，Ｃｒの形式の画像データを、ＤＳＰ本体１１による処理効率を向上させるために、３２ビットの圧縮輝度信号ＹＣ（４：４：４）の形式の画像データに変換させたり、ＤＳＰ本体１１とパソコン本体部５との間のコマンドの仲介等の処理を行うための回路である。ＤＳＰボード４内における各回路間のデータの入出力には、ローカルバス１８が用いられ、また、ＤＳＰボード４とパソコン本体部５との間における画像等のデータの入出力には、ＰＣＩバス７が用いられる。  Next, the configuration within the DSP board 4 will be described with reference to FIG. The DSP board 4 is for storing a DSP main body 11, an FPGA (Field-Programmable Gate array) 12, FIFOs 13 to 15, an input image SDRAM (Static Dynamic Random Access Memory) 16 for storing an input image, and an output image. SDRAM17. The FPGA 12 uses a 32-bit compressed luminance signal YC (4: 4) in order to improve the processing efficiency of the DSP main body 11 for the luminance signal Y and the color signals Cb and Cr input from the omnidirectional camera 3. : 4) a circuit for converting the image data into the format of the image data, and for performing processing such as command mediation between the DSP main body 11 and the personal computer main body 5. A local bus 18 is used for input / output of data between circuits in the DSP board 4, and a PCI bus 7 is used for input / output of data such as images between the DSP board 4 and the personal computer main body 5. Is used.

次に、図３を参照して、上記ＤＳＰ本体１１内における回路の構成について説明する。ＤＳＰ本体１１は、装置全体の制御やＦＩＲフィルター処理等の各種演算処理を行うＣＰＵ２１と、各種のプログラムを格納したプログラム用ＲＡＭ２２と、画像変換用のテーブルを含む各種のデータを格納するデータ用ＲＡＭ２３（記憶手段）と、パソコン本体部５等の外部装置との間でデータの入出力を行うための各種入出力装置を有するペリフェラル２４とから構成されている。ＣＰＵ２１は、請求項における対応画素判定手段及び変換手段としても機能する。また、プログラム用ＲＡＭ２２には、全方位カメラ３で撮影された円環座標系の画像を２次元直交座標系の画像に変換する画像変換プログラムや、全方位カメラ３で撮影された画像を構成する画素を補間する画素補間プログラムが格納されている。このプログラム用ＲＡＭ２２が、請求項における「プロセッサーを制御するためのプログラムを担持した、プロセッサーにより読み取り可能な媒体」に相当する。  Next, a circuit configuration in the DSP main body 11 will be described with reference to FIG. The DSP main body 11 includes a CPU 21 that performs various arithmetic processes such as control of the entire apparatus and FIR filter processing, a program RAM 22 that stores various programs, and a data RAM 23 that stores various data including an image conversion table. (Storage means) and a peripheral 24 having various input / output devices for inputting / outputting data to / from an external device such as the personal computer main body 5. The CPU 21 also functions as corresponding pixel determination means and conversion means in the claims. Further, the program RAM 22 includes an image conversion program for converting an annular coordinate system image captured by the omnidirectional camera 3 into a two-dimensional orthogonal coordinate system image, and an image captured by the omnidirectional camera 3. A pixel interpolation program for interpolating pixels is stored. The program RAM 22 corresponds to “a medium readable by a processor carrying a program for controlling the processor” in the claims.

次に、図４のフローチャートを参照して、上記のＤＳＰボード４において行われる画像処理について説明する。全方位カメラ３で撮影された画像データは、輝度信号Ｙと色信号Ｃ（Ｃｒ及びＣｂ）に分離されてＤＳＰボード４側のＦＰＧＡ１２へ送られる。ＦＰＧＡ１２は、ＤＳＰ本体１１による画像処理の効率を向上させるために、受信した輝度信号Ｙと色信号Ｃｒ，Ｃｂの形式の画像データを、輝度信号Ｙと色信号Ｃｒと色信号Ｃｂとの比率が４：４：４である３２ビットの圧縮輝度信号ＹＣ（４：４：４）の形式に変換して、ＦＩＦＯ１４にセットする（Ｓ１）。ＤＳＰ本体１１は、ＦＩＦＯ１４内に画像データが蓄積されたことを検知すると、この圧縮輝度信号形式の画像データをＦＩＦＯ１４から入力画像用ＳＤＲＡＭ１６に転送すると共に（Ｓ２）、この圧縮輝度信号形式の画像データを、画像変換プログラムにより円環座標系の画像から２次元直交座標系の画像に変換する（Ｓ３）。そして、この変換後の画像に対していわゆるパン処理を行う際に、画素補間プログラムを用いて画像中の画素の補間処理を行う（Ｓ４）。この補間処理における画素修正は、人間の視覚感度性を考慮して、圧縮輝度信号ＹＣ（４：４：４）中の輝度信号Ｙに対してのみ行われ、色信号Ｃｒ，Ｃｂに対しては行われない。上記Ｓ４に示される画素補間処理が終了すると、ＤＳＰ本体１１は、補間処理後の画像データを、ＦＩＦＯ１５とＰＣＩバス７とを介してパソコン本体部５へ転送する（Ｓ５）。そして、ＤＳＰ本体１１及びＦＰＧＡ１２は、全方位カメラ３からの画像信号の入力が終了するまで（Ｓ６でＮＯ）、上記Ｓ１乃至Ｓ５の処理を繰り返す。  Next, image processing performed in the DSP board 4 will be described with reference to the flowchart of FIG. Image data captured by the omnidirectional camera 3 is separated into a luminance signal Y and color signals C (Cr and Cb) and sent to the FPGA 12 on the DSP board 4 side. In order to improve the efficiency of image processing by the DSP main body 11, the FPGA 12 converts the received luminance signal Y and color signal Cr, Cb format image data into a ratio of the luminance signal Y, the color signal Cr, and the color signal Cb. It is converted into a 32-bit compressed luminance signal YC (4: 4: 4) of 4: 4: 4 and set in the FIFO 14 (S1). When the DSP main body 11 detects that the image data is stored in the FIFO 14, the DSP main body 11 transfers the image data in the compressed luminance signal format from the FIFO 14 to the SDRAM 16 for input images (S2), and the image data in the compressed luminance signal format. Is converted from a ring coordinate system image into a two-dimensional orthogonal coordinate system image by an image conversion program (S3). Then, when performing so-called pan processing on the converted image, interpolation processing of pixels in the image is performed using a pixel interpolation program (S4). The pixel correction in this interpolation processing is performed only for the luminance signal Y in the compressed luminance signal YC (4: 4: 4) in consideration of human visual sensitivity, and for the color signals Cr and Cb. Not done. When the pixel interpolation processing shown in S4 is completed, the DSP main body 11 transfers the image data after the interpolation processing to the personal computer main body 5 via the FIFO 15 and the PCI bus 7 (S5). The DSP main body 11 and the FPGA 12 repeat the processes of S1 to S5 until the input of the image signal from the omnidirectional camera 3 is completed (NO in S6).

次に、図５のフローチャートを参照して、上記Ｓ５の処理でパソコン本体部５へ転送された画像データが、パソコン本体部５においてどのように処理されるかについて説明する。パソコン本体部５は、ＤＳＰボード４内のＤＳＰ本体１１から転送された圧縮輝度信号ＹＣ（４：４：４）の形式の画像データを受信すると、受信した画像データをＲＧＢの形式の画像データに変換して（Ｓ１１）、変換後の画像データをモニタ６上に画面表示する（Ｓ１２）。そして、ＤＳＰ本体１１から送信された画像データの受信が終了するまで（Ｓ１３でＮＯ）、上記Ｓ１１及びＳ１２の処理を繰り返す。  Next, how the image data transferred to the personal computer main body 5 in the process of S5 is processed in the personal computer main body 5 will be described with reference to the flowchart of FIG. When receiving the image data in the format of the compressed luminance signal YC (4: 4: 4) transferred from the DSP main body 11 in the DSP board 4, the personal computer main body 5 converts the received image data into RGB format image data. After conversion (S11), the converted image data is displayed on the screen of the monitor 6 (S12). Then, the processes of S11 and S12 are repeated until the reception of the image data transmitted from the DSP main body 11 is completed (NO in S13).

次に、上記図４中のＳ３に示される円環座標系の画像から２次元直交座標系の画像への変換処理に用いられている画像変換方法について概念的に説明する。いま、図６を参照して円環座標系の画像と２次元直交座標系の画像との関係を考えると、図中の線分ｌと線分ｌ’、及び線分ｍと線分ｍ’とはそれぞれ対応していることが解る。また、円環座標系の画像では円の中心に行くに従って被写体が縦軸方向に圧縮されることになる。本実施形態による画像変換処理では、この圧縮具合を関数で表すと共に、上記の円環座標系の画像上における各線分と２次元直交座標系の画像上における各線分との対応関係を利用することにより、計算量の軽減を行なうことができる。  Next, the image conversion method used for the conversion process from the image in the annular coordinate system shown in S3 in FIG. 4 to the image in the two-dimensional orthogonal coordinate system will be conceptually described. Now, with reference to FIG. 6, considering the relationship between the image of the annular coordinate system and the image of the two-dimensional orthogonal coordinate system, the line segment l and the line segment l ′, and the line segment m and the line segment m ′ in the figure. It can be seen that and correspond to each other. In the image of the annular coordinate system, the subject is compressed in the vertical axis direction as it goes to the center of the circle. In the image conversion processing according to the present embodiment, the degree of compression is expressed as a function, and the correspondence between each line segment on the image in the annular coordinate system and each line segment on the image in the two-dimensional orthogonal coordinate system is used. Thus, the amount of calculation can be reduced.

上記の円環座標系の画像上における各線分と２次元直交座標系の画像上における各線分との対応関係の利用について具体的に述べる。先ず、２次元直交座標系の画像上におけるα＝０の位置に存在する線分上の各画素位置から、順番に円環座標系の画像上における各画素位置への変換を行う。より詳細に説明すると、２次元直交座標系の画像上におけるｘ軸方向の画素位置ｘｉを固定しつつ、ｙ軸方向の画素位置ｙｉをｙｉ＝０〜Ｎと変化させて、２次元直交座標系の画像上の各画素位置（ｘｉ，ｙｉ）に対応する円環座標系の画像上の各画素位置（ｘｊ，ｙｊ）を求める。そして、ｘ軸方向の画素位置ｘｉをｘｉ＝０〜Ｎと変化させて、上記の処理を繰り返すのである。The use of the correspondence between each line segment on the image of the above-mentioned annular coordinate system and each line segment on the image of the two-dimensional orthogonal coordinate system will be specifically described. First, each pixel position on the line segment existing at the position of α = 0 on the image of the two-dimensional orthogonal coordinate system is sequentially converted to each pixel position on the image of the annular coordinate system. More specifically, the pixel position x i in the x-axis direction on the image of the two-dimensional orthogonal coordinate system is fixed, and the pixel position y i in the y-axis direction is changed to y i = 0 to N to obtain a two-dimensional Each pixel position (x j , y j ) on the annular coordinate system image corresponding to each pixel position (x i , y i ) on the orthogonal coordinate system image is obtained. Then, the pixel position x i in the x-axis direction is changed as x i = 0 to N, and the above processing is repeated.

次に、上記の画像変換方法について、詳細に説明する。一般に、人間の視野に入る３次元の写像体は、網膜上で２次元直交座標軸上に展開されている。そこで、まず、２次元直交座標系の画像上の被写体を考えて、その被写体の各画素が円環座標系の画像上のどの画素に対応するかを求める。このとき、人間の目の視点動作を水平軸方向に大地と平行して動くものと仮定して、２次元直交座標系の画像上の各画素が円環座標系の画像上のどの画素に対応しているかを考える。図７は、２次元直交座標系３１の画像３２上の画素位置Ｐが円環座標系３３の画像３４上の画素位置Ｐ’に対応していることを示す。このように、２次元直交座標系３１の画像３２を構成する各画素が、円環座標系３３の画像３４を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３の画像３４から２次元直交座標系３１の画像３２への変換を行う。  Next, the image conversion method will be described in detail. In general, a three-dimensional mapping body that enters the human visual field is developed on a two-dimensional orthogonal coordinate axis on the retina. Therefore, first, a subject on the image of the two-dimensional orthogonal coordinate system is considered, and which pixel on the image of the annular coordinate system corresponds to each pixel of the subject. At this time, assuming that the viewpoint movement of the human eye moves in parallel to the ground in the horizontal axis direction, each pixel on the image in the two-dimensional orthogonal coordinate system corresponds to which pixel on the image in the annular coordinate system Think about what you are doing. FIG. 7 shows that the pixel position P on the image 32 of the two-dimensional orthogonal coordinate system 31 corresponds to the pixel position P ′ on the image 34 of the annular coordinate system 33. In this way, it is determined which of the pixels constituting the image 32 of the annular coordinate system 33 corresponds to each pixel constituting the image 32 of the two-dimensional orthogonal coordinate system 31, and the determination result Based on the above, the image 34 in the annular coordinate system 33 is converted into the image 32 in the two-dimensional orthogonal coordinate system 31.

次に、図８乃至図１０を参照して、具体的に２次元直交座標系３１における、ある画素位置が円環座標系３３におけるどの画素位置に対応するかについて説明する。図８に示されるｙ軸、ｘ軸、直線ｙ＝ｍ２、及び直線ｘ＝ｎ１で囲まれた長方形３５上に被写体３６が投影されているものとし、また、図８中の画素位置Ｐ（ｘ０，ｙ０）は、図９中の円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）と対応しているものとする。直交座標系３１上における被写体３６のｘ軸方向の中点ｎ（図８中の点Ａ及び点Ｃに相当）に対しての画素位置Ｐ（ｘ０，ｙ０）の開き角φを求める。ここで、図８中の点Ｏに視点を置いて直角三角形ＯＡＣを角φ度回転させたときの直角三角形をＯＡ’Ｃ’として、この直角三角形ＯＡ’Ｃ’を含む平面が直線ｙ＝ｍ２と交わる点が求める画素位置Ｐ（ｘ０，ｙ０）であるとする。この２次元直交座標系３１上の画素位置Ｐ（ｘ０，ｙ０）の画素が図９に示される円環座標系３３上のどの位置に写像されるかを以下のように計算する。Next, with reference to FIGS. 8 to 10, a specific pixel position in the annular coordinate system 33 corresponding to a certain pixel position in the two-dimensional orthogonal coordinate system 31 will be described. Assume that the subject 36 is projected on a rectangle 35 surrounded by the y-axis, the x-axis, the straight line y = m 2 , and the straight line x = n 1 shown in FIG. 8, and the pixel position P in FIG. (x 0, y 0) is assumed to correspond to the pixel position P '(x 0, y 0) in the annular coordinate system 33 in FIG. The opening angle φ of the pixel position P (x 0 , y 0 ) with respect to the midpoint n (corresponding to the points A and C in FIG. 8) of the subject 36 in the x-axis direction on the orthogonal coordinate system 31 is obtained. Here, when the right triangle OAC is rotated by an angle φ degree with the viewpoint at the point O in FIG. 8, the right triangle is OA′C ′, and the plane including the right triangle OA′C ′ is a straight line y = m. Assume that the point intersecting 2 is the pixel position P (x 0 , y 0 ) to be obtained. The position where the pixel at the pixel position P (x 0 , y 0 ) on the two-dimensional orthogonal coordinate system 31 is mapped on the annular coordinate system 33 shown in FIG. 9 is calculated as follows.

まず、図１０に示される円環座標系３３における弧長ｓを下記の式（７）で求める。

Figure 2004102479
Figure 2004102479
First, the arc length s in the annular coordinate system 33 shown in FIG. 10 is obtained by the following equation (7).
Figure 2004102479
Figure 2004102479

そして、下記の式（８）のように、上記式（７）で求めた弧長ｓに対応した開き角（式（８）のｓ／Ｒで表される角度）にプログラマーが任意に指定するオフセットであるＢｉａｓを加えて、図９に示される円環座標系３３における開き角φ１を求める。

Figure 2004102479
Then, as shown in the following equation (8), the programmer arbitrarily designates an opening angle (an angle represented by s / R in equation (8)) corresponding to the arc length s obtained in the above equation (7). By adding Bias which is an offset, an opening angle φ 1 in the annular coordinate system 33 shown in FIG. 9 is obtained.
Figure 2004102479

次に、上記のφ１を用いて円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）を求めるには、図９に示される長さｒを求めなければならない。そこで、図８と図９との対応関係を考慮して、下記の式（９）を用いてｒを求める。ただし、下記の式中のｄは、見かけ上の高さ方向の調整用のパラメータである。

Figure 2004102479
Next, in order to obtain the pixel position P ′ (x 0 , y 0 ) in the annular coordinate system 33 using φ 1 described above, the length r shown in FIG. 9 must be obtained. Therefore, in consideration of the correspondence between FIG. 8 and FIG. 9, r is obtained using the following equation (9). However, d in the following formula is a parameter for adjustment in the apparent height direction.
Figure 2004102479

上記の式（７）〜（９）より長さｒを求めた上で、図９中の円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）を、下記の式（１０）〜（１２）を用いて求める。

Figure 2004102479
After obtaining the length r from the above equations (7) to (9), the pixel position P ′ (x 0 , y 0 ) in the annular coordinate system 33 in FIG. Obtained using (12).
Figure 2004102479

上記のアルゴリズムを用いることにより、図８に示される２次元直交座標系３１における全ての点を、図９に示される円環座標系３３における画素と対応付けることができる。この対応関係に基づき、円環座標系３３の画像を構成する各画素を２次元直交座標系３１の画像を構成する各画素に対応させて変換する。これにより、円環座標系３３の画像を構成する１つの画素が２次元直交座標系３１の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系３３の画像の画素を２次元直交座標系３１の画像の画素に単純に１対１で変換した場合と異なり、円環座標系３３の画像上の中心部の画素が少ないことに起因する２次元直交座標系３１の画像上における画素の欠落を防止することができる。また、従来のように、双曲面ミラーの双曲線の傾きに基づき（カメラの魚眼レンズ及び双曲面ミラーの形状が数学上の２葉双曲面の形状と同じであると仮定して）、円環座標系の画像を２次元直交座標系の画像に変換した場合には、カメラの魚眼レンズや双曲面ミラーの物理的な形状を数学上の２葉双曲面の形状に合わせることが難しいことから、図１１に示されるように、２次元直交座標系の画像上における左右両端部には画像の歪曲が生じていた。しかし、上記の画像変換方法を用いることにより、図１２に示されるように、２次元直交座標系３１の画像３２上における左右両端部の歪曲をなくすことができる。  By using the above algorithm, all the points in the two-dimensional orthogonal coordinate system 31 shown in FIG. 8 can be associated with the pixels in the annular coordinate system 33 shown in FIG. Based on this correspondence, each pixel constituting the image of the annular coordinate system 33 is converted to correspond to each pixel constituting the image of the two-dimensional orthogonal coordinate system 31. Thereby, even if one pixel constituting the image of the annular coordinate system 33 corresponds to a plurality of pixels constituting the image of the two-dimensional orthogonal coordinate system 31, Unlike the case where the pixel of the image is simply converted to the pixel of the image of the two-dimensional orthogonal coordinate system 31 on a one-to-one basis, the two-dimensional orthogonal coordinate resulting from the small number of pixels in the center of the image of the annular coordinate system 33 Missing pixels on the image of the system 31 can be prevented. Moreover, based on the inclination of the hyperbola of the hyperboloidal mirror (assuming that the shape of the fisheye lens of the camera and the hyperboloidal mirror are the same as the mathematical shape of the two-leaf hyperboloid), as in the past, an annular coordinate system 11 is converted to an image of a two-dimensional orthogonal coordinate system, it is difficult to match the physical shape of the fisheye lens or hyperboloid mirror of the camera to the mathematical shape of a two-leaf hyperboloid in FIG. As shown in the figure, image distortion occurs at both left and right ends of the image in the two-dimensional orthogonal coordinate system. However, by using the image conversion method described above, it is possible to eliminate the distortion at both the left and right ends on the image 32 of the two-dimensional orthogonal coordinate system 31, as shown in FIG.

次に、上記の画像変換処理に採用されている演算の高速化を図るための工夫について説明する。上記の画像変換処理では、三角関数の値のテーブルを用いて、上記の画像変換処理におけるＡｒｃｔａｎ，ｓｉｎ，ｃｏｓの演算を避けることにより、画像変換処理に要する時間の大幅な短縮を行っている。このテーブルは、ＤＳＰ本体１１内のデータ用ＲＡＭ２３に格納されている。このテーブルは、整数型のデータによって構成されており、高速演算処理及びＡＳＩＣ化アルゴリズムに対応したものである。ここで、画像変換及び画素補間の過程で生じる乗算並びに加算が実数型演算である場合の処理速度と整数型演算である場合の処理速度とを比較すると、圧倒的に整数型演算である場合の処理速度の方が早い。従って、上記のように、Ａｒｃｔａｎ，ｓｉｎ，ｃｏｓを含む数式の全体を整数型のデータによって構成されたテーブルを用いて演算することにより、処理時間を短縮することができる。  Next, a device for speeding up the calculation employed in the image conversion process will be described. In the above-described image conversion processing, the time required for the image conversion processing is greatly reduced by avoiding the calculation of Arctan, sin, cos in the above-described image conversion processing using a table of trigonometric function values. This table is stored in the data RAM 23 in the DSP main body 11. This table is composed of integer type data and corresponds to high-speed arithmetic processing and an ASIC algorithm. Here, when the processing speed when multiplication and addition occurring in the process of image conversion and pixel interpolation are real type operations and the processing speed when they are integer type operations are compared, it is overwhelming in the case of integer type operations. Processing speed is faster. Accordingly, as described above, the processing time can be shortened by calculating the entire mathematical formula including Arctan, sin, and cos using a table composed of integer type data.

上記のテーブルの作成は、全方位カメラシステム１の初期化時に行うのが一般的であるが、必ずしも実機で行う必要はない。つまり、テーブルを別の機器で作成して、ファイルとして本システムに登録してもよい。また、全方位カメラ３のレンズを変更して、Ｒ，ｌのパラメータが変わった場合でも、テーブルの入れ換えのみで対応することができる。  The above-described table is generally created when the omnidirectional camera system 1 is initialized, but it is not always necessary to use an actual machine. That is, the table may be created by another device and registered in the system as a file. Further, even when the lens of the omnidirectional camera 3 is changed and the parameters of R and l are changed, it can be dealt with only by changing the table.

上述したように、本実施形態の画像変換プログラム、及びその画像変換方法によれば、２次元直交座標系３１の画像を構成する各画素が、円環座標系３３の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３の画像を構成する各画素を２次元直交座標系３１の画像を構成する各画素に対応させて変換するようにした。これにより、従来のように双曲面ミラーの双曲線の傾きに基づき円環座標系３３の画像を２次元直交座標系３１の画像に変換した場合に生じる左右両端の画像の歪曲をなくすことができる。また、上記のように、２次元直交座標系３１の画像を構成する各画素が、円環座標系３３の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３から２次元直交座標系３１への画像変換を行うようにしたことにより、円環座標系３３の画像を構成する１つの画素が２次元直交座標系３１の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系３３の画像の画素を２次元直交座標系３１の画像の画素に１対１で変換した場合と異なり、円環座標系３３の画像上の中心部の画素が少ないことに起因する２次元直交座標系３１の画像上における画素の欠落を防止することができる。  As described above, according to the image conversion program and the image conversion method of the present embodiment, each pixel constituting the image of the two-dimensional orthogonal coordinate system 31 corresponds to each pixel constituting the image of the annular coordinate system 33. Of these, it is determined which pixel corresponds, and based on the determination result, each pixel constituting the image of the annular coordinate system 33 is converted to correspond to each pixel constituting the image of the two-dimensional orthogonal coordinate system 31. I did it. Thereby, it is possible to eliminate the distortion of the images at the left and right ends that occur when the image of the annular coordinate system 33 is converted into the image of the two-dimensional orthogonal coordinate system 31 based on the inclination of the hyperbola of the hyperboloidal mirror as in the prior art. Further, as described above, it is determined which pixel constituting the image of the two-dimensional orthogonal coordinate system 31 corresponds to each pixel constituting the image of the annular coordinate system 33, and the determination is made. By performing image conversion from the annular coordinate system 33 to the two-dimensional orthogonal coordinate system 31 based on the result, one pixel constituting the image of the annular coordinate system 33 converts the image of the two-dimensional orthogonal coordinate system 31 into an image. Although it corresponds to a plurality of constituting pixels, unlike the conventional case where the pixels of the image of the annular coordinate system 33 are converted into the pixels of the image of the two-dimensional orthogonal coordinate system 31 on a one-to-one basis, It is possible to prevent missing of pixels on the image of the two-dimensional orthogonal coordinate system 31 due to the small number of pixels in the center of the ring coordinate system 33 on the image.

なお、本発明は、上記実施形態に限られるものではなく、様々な変形が可能である。例えば、本実施形態では、画像変換プログラムをＤＳＰ本体１１により実行したが、これらのプログラムを実行するためのプロセッサーは、これに限られず、例えばパソコン本体部であってもよい。また、データ用ＲＡＭ２３内の三角関数の値のテーブルに格納されるデータは、整数型に限られず、実数型であってもよい。  In addition, this invention is not restricted to the said embodiment, Various deformation | transformation are possible. For example, in this embodiment, the image conversion program is executed by the DSP main body 11, but the processor for executing these programs is not limited to this, and may be a personal computer main body, for example. The data stored in the trigonometric value table in the data RAM 23 is not limited to the integer type, and may be a real number type.

本願は日本国特許出願２００３−１３６５０４に基づいており、その内容は、上記特許出願の明細書及び図面を参照することによって結果的に本願発明に合体されるべきものである。  This application is based on the Japan patent application 2003-136504, The content should be united with this invention by referring the description and drawing of the said patent application as a result.

また、本願発明は、添付した図面を参照した実施の形態により十分に記載されているけれども、さまざまな変更や変形が可能であることは、この分野の通常の知識を有するものにとって明らかであろう。それゆえ、そのような変更及び変形は、本願発明の範囲を逸脱するものではなく、本願発明の範囲に含まれると解釈されるべきである。
産業上の利用分野Further, although the present invention has been fully described by the embodiments with reference to the accompanying drawings, it is apparent to those skilled in the art that various changes and modifications are possible. . Therefore, such changes and modifications do not depart from the scope of the present invention and should be construed as being included in the scope of the present invention.
Industrial application fields

以上説明したように、本発明によれば、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系の画像を構成する各画素を２次元直交座標系の画像を構成する各画素に対応させて変換するようにした。これにより、従来のように双曲面ミラーの双曲線の傾きに基づき円環座標系の画像を２次元直交座標系の画像に変換した場合に生じていた左右両端の画像の歪曲をなくすことができる。また、上記のように、２次元直交座標系の画像を構成する各画素が、円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系から２次元直交座標系への画像変換を行うようにしたことにより、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができる。  As described above, according to the present invention, it is determined which pixel that constitutes the image of the two-dimensional orthogonal coordinate system corresponds to each pixel that constitutes the image of the annular coordinate system. Based on the determination result, each pixel constituting the image in the annular coordinate system is converted in correspondence with each pixel constituting the image in the two-dimensional orthogonal coordinate system. As a result, it is possible to eliminate the distortion of the images at the left and right ends that occurs when the image of the annular coordinate system is converted into the image of the two-dimensional orthogonal coordinate system based on the inclination of the hyperbola of the hyperboloidal mirror as in the prior art. In addition, as described above, it is determined which pixel that constitutes the image of the two-dimensional orthogonal coordinate system corresponds to each pixel that constitutes the image of the annular coordinate system, and the determination result is Based on the image conversion from the annular coordinate system to the two-dimensional orthogonal coordinate system, the pixels of the image of the annular coordinate system are converted to the pixels of the image of the two-dimensional orthogonal coordinate system as in the conventional manner. Unlike the case of the conversion, it is possible to prevent the pixel from being lost on the image of the two-dimensional orthogonal coordinate system due to the small number of pixels in the center of the image of the annular coordinate system.

【０００５】
て、その判定結果に基づき円環座標系から２次元直交座標系への画像変換を行うようにしたことにより、円環座標系の画像を構成する１つの画素が２次元直交座標系の画像を構成する複数の画素に対応することはあっても、従来のように円環座標系の画像の画素を２次元直交座標系の画像の画素に１対１で変換した場合と異なり、円環座標系の画像上の中心部の画素が少ないことに起因する２次元直交座標系の画像上における画素の欠落を防止することができる。
【００１７】 望ましくは、前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する処理は、前記全方位撮影手段の視点中心Ｏと２次元直交座標の原点とみなされる位置Ａとの間の距離ｌを算出する処理と、前記距離ｌと、前記２次元直交座標系の画像を構成する各画素（以下、２次元直交座標系の各画素と略す）の座標に基づいて、前記２次元直交座標系の各画素に対応する前記円環座標系の画像の画素（以下、円環座標系の画素と略す）の位置から前記円環座標の中心までの距離Ｒ’を算出する処理と、前記円環座標系の画素の位置の開き角を算出する処理と、前記距離Ｒ’と前記開き角とに基づいて、前記２次元直交座標系の各画素が、前記円環座標系の各画素のうち、どの画素に対応するかを判定する処理とを含む。
【図面の簡単な説明】
【００１８】［図１］本発明の一実施形態に係る画素補間プログラムを格納したＤＳＰボードを搭載したパソコンと全方位カメラとから構成される全方位カメラシステムの構成図。
［図２］上記ＤＳＰボードの構成図。
［図３］図２中のＤＳＰ本体の構成図。
［図４］上記ＤＳＰボードにおいて行われる画像処理のフローチャート。
［図５］上記ＤＳＰボードから転送された画像データに対してパソコン本体部が行う画像処理のフローチャート。
［図６］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の線分と円環座標系の画像上の線分との対応関係を示す図。
［図７］上記ＤＳＰボードにおいて行われる２次元直交座標系の画像上の画素位置に対応する円環座標系の画像上の画素位置を求める処理の説明図。
［図８］上記処理の対象となる２次元直交座標系の画像上の画素位置Ｐを示す図。
［図９］上記処理の対象となる円環座標系の画像上の画素位置Ｐ’を示す図。[0005]
Thus, by performing image conversion from the annular coordinate system to the two-dimensional orthogonal coordinate system based on the determination result, one pixel constituting the image of the annular coordinate system converts the image of the two-dimensional orthogonal coordinate system. Unlike the conventional case where pixels in an annular coordinate system image are converted to pixels in a two-dimensional orthogonal coordinate system on a one-to-one basis, the annular coordinates may correspond to a plurality of constituent pixels. It is possible to prevent missing of pixels on the image of the two-dimensional orthogonal coordinate system due to the small number of pixels at the center of the system image.
Preferably, the process of determining which pixel that constitutes the image of the two-dimensional orthogonal coordinate system corresponds to which of the pixels that constitute the image of the annular coordinate system corresponds to all of the pixels. A process for calculating a distance l between the viewpoint center O of the azimuth photographing means and the position A regarded as the origin of the two-dimensional orthogonal coordinates, and the pixels constituting the image of the distance l and the two-dimensional orthogonal coordinate system ( Hereinafter, based on the coordinates of each pixel in the two-dimensional orthogonal coordinate system, pixels in the image in the annular coordinate system corresponding to the pixels in the two-dimensional orthogonal coordinate system (hereinafter referred to as pixels in the annular coordinate system). A process of calculating a distance R ′ from the position of the abbreviated) to the center of the annular coordinate system, a process of calculating an opening angle of a pixel position of the annular coordinate system, and the distance R ′ and the opening angle. Each pixel of the two-dimensional orthogonal coordinate system is represented by each pixel of the annular coordinate system. Among them, and a process for determining corresponds to which pixel.
[Brief description of the drawings]
FIG. 1 is a block diagram of an omnidirectional camera system comprising a personal computer equipped with a DSP board storing a pixel interpolation program and an omnidirectional camera according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the DSP board.
FIG. 3 is a configuration diagram of the DSP main body in FIG.
FIG. 4 is a flowchart of image processing performed in the DSP board.
FIG. 5 is a flowchart of image processing performed by the personal computer main unit on the image data transferred from the DSP board.
FIG. 6 is a diagram showing a correspondence relationship between a line segment on an image of a two-dimensional orthogonal coordinate system and a line segment on an image of an annular coordinate system performed in the DSP board.
FIG. 7 is an explanatory diagram of processing for obtaining a pixel position on an image in an annular coordinate system corresponding to a pixel position on an image in a two-dimensional orthogonal coordinate system performed in the DSP board.
[FIG. 8] A diagram showing a pixel position P on an image of a two-dimensional orthogonal coordinate system to be processed.
FIG. 9 is a diagram showing a pixel position P ′ on an image in an annular coordinate system to be processed.

【０００９】
素位置ｘｉをｘｉ＝Ｏ〜Ｎと変化させて、上記の処理を繰り返すのである。
【００２６】 次に、上記の画像変換方法について、詳細に説明する。一般に、人間の視野に入る３次元の写像体は、網膜上で２次元直交座標軸上に展開されている。そこで、まず、２次元直交座標系の画像上の被写体を考えて、その被写体の各画素が円環座標系の画像上のどの画素に対応するかを求める。このとき、人間の目の視点動作を水平軸方向に大地と平行して動くものと仮定して、２次元直交座標系の画像上の各画素が円環座標系の画像上のどの画素に対応しているかを考える。図７は、２次元直交座標系３１の画像３２上の画素位置Ｐが円環座標系３３の画像３４上の画素位置Ｐ’に対応していることを示す。このように、２次元直交座標系３１の画像３２を構成する各画素が、円環座標系３３の画像３４を構成する各画素のうち、どの画素に対応するかを判定して、その判定結果に基づき円環座標系３３の画像３４から２次元直交座標系３１の画像３２への変換を行う。
【００２７】 次に、図８乃至図１０を参照して、具体的に２次元直交座標系３１における、ある画素位置が円環座標系３３におけるどの画素位置に対応するかについて説明する。図８に示されるｙ軸、ｘ軸、直線ｙ＝ｍ２、及び直線ｘ＝ｎ１で囲まれた長方形３５上に被写体３６が投影されているものとし、また、図８中の画素位置Ｐ（ｘ０，ｙ０）は、図９中の円環座標系３３における画素位置Ｐ’（ｘ０，ｙ０）と対応しているものとする。直交座標系３１上における被写体３６のｘ軸方向の中点ｎ（図８中の点Ａ（請求の範囲第２、４、６、８項における「２次元直交座標の原点とみなされる位置」に相当）及び点Ｃに相当）に対しての画素位置Ｐ（ｘ０，ｙ０）の開き角φを求める。ここで、図８中の点Ｏ（請求の範囲第２、４、６、８項における「全方位撮影手段の視点中心」に相当）に視点を置いて直角三角形ＯＡＣを角φ度回転させたときの直角三角形をＯＡ’Ｃ’として、この直角三角形ＯＡ’Ｃ’を含む平面が直線ｙ＝ｍ２と交わる点が求める画素位置Ｐ（ｘ０，ｙ０）であるとする。この２次元直交座標系３１上の画素位置Ｐ（ｘ０，ｙ０）の画素が図９に示される円環座標系３３上のどの位置に写像されるかを以下のように計算する。
【００２８】 まず、図１０に示される円環座標系３３における弧長ｓを下記の式（７）で求める。

Figure 2004102479
[0009]
The above process is repeated by changing the prime position x i to x i = O to N.
Next, the image conversion method will be described in detail. In general, a three-dimensional mapping body that enters the human visual field is developed on a two-dimensional orthogonal coordinate axis on the retina. Therefore, first, a subject on the image of the two-dimensional orthogonal coordinate system is considered, and which pixel on the image of the annular coordinate system corresponds to each pixel of the subject. At this time, assuming that the viewpoint movement of the human eye moves in parallel to the ground in the horizontal axis direction, each pixel on the image in the two-dimensional orthogonal coordinate system corresponds to which pixel on the image in the annular coordinate system Think about what you are doing. FIG. 7 shows that the pixel position P on the image 32 of the two-dimensional orthogonal coordinate system 31 corresponds to the pixel position P ′ on the image 34 of the annular coordinate system 33. In this way, it is determined which of the pixels constituting the image 32 of the annular coordinate system 33 corresponds to each pixel constituting the image 32 of the two-dimensional orthogonal coordinate system 31, and the determination result Based on the above, the image 34 in the annular coordinate system 33 is converted into the image 32 in the two-dimensional orthogonal coordinate system 31.
Next, with reference to FIGS. 8 to 10, specifically, which pixel position in the annular coordinate system 33 corresponds to a certain pixel position in the two-dimensional orthogonal coordinate system 31 will be described. Assume that the subject 36 is projected on a rectangle 35 surrounded by the y-axis, the x-axis, the straight line y = m 2 , and the straight line x = n 1 shown in FIG. 8, and the pixel position P in FIG. (x 0, y 0) is assumed to correspond to the pixel position P '(x 0, y 0) in the annular coordinate system 33 in FIG. The midpoint n of the subject 36 in the x-axis direction on the Cartesian coordinate system 31 (the point A in FIG. 8 (the “position regarded as the origin of the two-dimensional Cartesian coordinates” in claims 2, 4, 6, and 8) And the opening angle φ of the pixel position P (x 0 , y 0 ) with respect to the point C). Here, the right triangle OAC is rotated by an angle φ degrees with the viewpoint at point O in FIG. 8 (corresponding to “the viewpoint center of the omnidirectional photographing means” in claims 2, 4, 6, and 8). Let OA′C ′ be the right triangle at that time, and suppose that the point where the plane containing the right triangle OA′C ′ intersects the straight line y = m 2 is the pixel position P (x 0 , y 0 ) to be obtained. The position where the pixel at the pixel position P (x 0 , y 0 ) on the two-dimensional orthogonal coordinate system 31 is mapped on the annular coordinate system 33 shown in FIG. 9 is calculated as follows.
First, the arc length s in the annular coordinate system 33 shown in FIG. 10 is obtained by the following equation (7).
Figure 2004102479

Claims (8)

双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換するために、プロセッサーを、
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する対応画素判定手段、
前記対応画素判定手段による判定結果を記憶する記憶手段、及び
前記記憶手段に格納された判定結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換する変換手段として機能させるための画像変換プログラム。In order to convert an image in an annular coordinate system photographed by an omnidirectional photographing means having a hyperboloidal mirror into an image in a two-dimensional orthogonal coordinate system constituting an image for display output on a screen or the like, a processor is provided.
Corresponding pixel determination means for determining which of the pixels constituting the image of the annular coordinate system corresponds to each pixel constituting the image of the two-dimensional orthogonal coordinate system;
Storage means for storing the determination result by the corresponding pixel determination means, and based on the determination result stored in the storage means, each pixel constituting the image of the annular coordinate system is converted into an image of the two-dimensional orthogonal coordinate system. An image conversion program for causing an image in the annular coordinate system to function as a conversion unit that converts the image in the annular coordinate system into an image in the two-dimensional orthogonal coordinate system by corresponding to each pixel constituting the image. 前記対応画素判定手段は、アークタンジェント関数を用いて、前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定するようにした請求項１に記載の画像変換プログラム。The corresponding pixel determining means uses an arctangent function to determine which pixel constituting the image of the two-dimensional orthogonal coordinate system corresponds to each pixel constituting the image of the annular coordinate system. The image conversion program according to claim 1, wherein the image conversion program is determined. プログラムされたプロセッサーによって、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換する方法であって、
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定するステップと、
前記判定の結果を記憶するステップと、
前記記憶された判定の結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換するステップと
からなることを特徴とする画像変換方法。A method of converting an annular coordinate system image captured by an omnidirectional imaging means having a hyperboloidal mirror into a two-dimensional orthogonal coordinate system image constituting an image for display output on a screen or the like by a programmed processor Because
Determining which pixel constituting each of the two-dimensional orthogonal coordinate system images corresponds to each pixel constituting the annular coordinate system image;
Storing the result of the determination;
Based on the stored determination result, each pixel constituting the image of the annular coordinate system is associated with each pixel constituting the image of the two-dimensional orthogonal coordinate system, whereby the image of the annular coordinate system is obtained. Converting the image into an image of the two-dimensional orthogonal coordinate system. 前記判定するステップにおいて、アークタンジェント関数を用いて、前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定するようにした請求項３に記載の画像変換方法。In the determining step, by using an arctangent function, it is determined which pixel that constitutes the image of the two-dimensional orthogonal coordinate system corresponds to each pixel that constitutes the image of the annular coordinate system. The image conversion method according to claim 3, wherein the determination is performed. 双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を、画面等への表示出力用の画像を構成する２次元直交座標系の画像に変換するためにプロセッサーを用いる方法において、
前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定し、
前記の判定の結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換すること。In a method using a processor to convert an image in an annular coordinate system photographed by an omnidirectional photographing means having a hyperboloid mirror into a two-dimensional orthogonal coordinate system image constituting an image for display output on a screen or the like ,
Determining which pixel constituting the image of the two-dimensional orthogonal coordinate system corresponds to each pixel constituting the image of the annular coordinate system;
Based on the result of the determination, each of the pixels constituting the image of the annular coordinate system corresponds to each pixel of the image of the two-dimensional orthogonal coordinate system, so that the image of the annular coordinate system is Convert to a two-dimensional Cartesian coordinate system image. 前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する際に、アークタンジェント関数を用いる請求項５の方法。6. The arctangent function is used when determining which of the pixels constituting the image of the annular coordinate system each pixel constituting the image of the two-dimensional orthogonal coordinate system corresponds to. the method of. プロセッサーを制御するためのプログラムを担持した、プロセッサーにより読み取り可能な媒体であって、
２次元直交座標系の画像を構成する各画素が、双曲面ミラーを有する全方位撮影手段で撮影された円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順と、
前記判定の結果を記憶する手順と、
前記記憶された判定の結果に基づいて、前記円環座標系の画像を構成する各画素を前記２次元直交座標系の画像を構成する各画素に対応させることにより、前記円環座標系の画像を前記２次元直交座標系の画像に変換する手順とを前記プロセッサーに実行させるためのプログラムを少なくとも備えることを特徴とする媒体。A processor-readable medium carrying a program for controlling the processor,
It is determined which pixel that constitutes an image in a two-dimensional orthogonal coordinate system corresponds to each pixel that constitutes an image in an annular coordinate system captured by an omnidirectional imaging unit having a hyperboloid mirror. Procedure and
A procedure for storing the result of the determination;
Based on the stored determination result, each pixel constituting the image of the annular coordinate system is associated with each pixel constituting the image of the two-dimensional orthogonal coordinate system, whereby the image of the annular coordinate system is obtained. And a program for causing the processor to execute a procedure for converting the image into an image of the two-dimensional orthogonal coordinate system. 前記２次元直交座標系の画像を構成する各画素が、前記円環座標系の画像を構成する各画素のうち、どの画素に対応するかを判定する手順において、アークタンジェント関数を用いる請求項７の媒体。8. The arctangent function is used in a procedure for determining which pixel constituting the image of the two-dimensional orthogonal coordinate system corresponds to each pixel constituting the image of the annular coordinate system. Medium.
JP2005506203A 2003-05-14 2004-05-14 Image conversion program, image conversion method, and medium carrying program Pending JPWO2004102479A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003136504 2003-05-14
JP2003136504 2003-05-14
PCT/JP2004/006559 WO2004102479A1 (en) 2003-05-14 2004-05-14 Image converting program, image converting method, and medium carrying program

Publications (1)

Publication Number Publication Date
JPWO2004102479A1 true JPWO2004102479A1 (en) 2006-07-13

Family

ID=33447229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005506203A Pending JPWO2004102479A1 (en) 2003-05-14 2004-05-14 Image conversion program, image conversion method, and medium carrying program

Country Status (2)

Country Link
JP (1) JPWO2004102479A1 (en)
WO (2) WO2004102479A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7333559B2 (en) * 2019-10-18 2023-08-25 日本電信電話株式会社 POSITION DETECTION SYSTEM, POSITION DETECTION DEVICE, POSITION DETECTION METHOD, AND PROGRAM

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10308650A (en) * 1997-05-08 1998-11-17 Sony Corp Filter design method and digital filter
JP2002036954A (en) * 2000-05-18 2002-02-06 Suekage Sangyo Kk Vehicle surroundings monitor and vehicle surroundings monitoring system
JP2001333303A (en) * 2000-05-23 2001-11-30 Sharp Corp Omnidirectional vision system
JP3627914B2 (en) * 2000-05-23 2005-03-09 シャープ株式会社 Vehicle perimeter monitoring system
JP2001352230A (en) * 2000-06-07 2001-12-21 Sony Corp Fir filter and method for setting coefficients of the filter
JP2002203237A (en) * 2000-08-30 2002-07-19 Usc Corp Curved image conversion method and recording medium with the curved image conversion method recorded thereon
JP2002101296A (en) * 2000-09-21 2002-04-05 Sony Corp Image processing method and image processor

Also Published As

Publication number Publication date
WO2004102480A1 (en) 2004-11-25
WO2004102479A1 (en) 2004-11-25

Similar Documents

Publication Publication Date Title
JP7291244B2 (en) Projector Keystone Correction Method, Apparatus, System and Readable Storage Medium
US20200288059A1 (en) Image processor, image processing method and program, and imaging system
TWI524306B (en) Image transformation and multi-view output systems and methods
JP4629131B2 (en) Image converter
JP5454674B2 (en) Image generation apparatus, image generation program, synthesis table generation apparatus, and synthesis table generation program
JP5676092B2 (en) Panorama image generation method and panorama image generation program
JP6223169B2 (en) Information processing apparatus, information processing method, and program
JPWO2018235163A1 (en) Calibration apparatus, calibration chart, chart pattern generation apparatus, and calibration method
JP5046132B2 (en) Image data converter
JP2006330735A (en) Apparatus for providing panoramic stereo image with single camera
CN105324791A (en) Coordinate computation device and method, and image processing device and method
JP2000235645A (en) Arithmetic device for image transformation
JP5029645B2 (en) Image data converter
JP2002236918A (en) Image pickup system, program used in image data control, distortion correcting method for picked up image in the image pickup system and storage medium storing the procedure
JP2017092756A (en) Image processing system, image processing method, image projecting system and program
US20040104996A1 (en) Wide-angle image generating device
TWI615808B (en) Image processing method for immediately producing panoramic images
JP2020129823A (en) Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program
CN114511447A (en) Image processing method, device, equipment and computer storage medium
JP5245963B2 (en) Image converter
JP5169787B2 (en) Image conversion apparatus and image conversion method
JP3594225B2 (en) Wide-field camera device
WO2017163527A1 (en) Image processing system, image processing method, and program
JP2015046813A (en) Imaging device, imaging method, and program
JPWO2004102479A1 (en) Image conversion program, image conversion method, and medium carrying program

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20060105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051202

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060630

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090120