WO2012081367A1 - 画像変換装置 - Google Patents
画像変換装置 Download PDFInfo
- Publication number
- WO2012081367A1 WO2012081367A1 PCT/JP2011/076998 JP2011076998W WO2012081367A1 WO 2012081367 A1 WO2012081367 A1 WO 2012081367A1 JP 2011076998 W JP2011076998 W JP 2011076998W WO 2012081367 A1 WO2012081367 A1 WO 2012081367A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- pixel
- coordinate
- reference coordinates
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Definitions
- the present invention relates to an image conversion apparatus.
- Patent Document 1 In an image conversion apparatus that converts an equidistant projection image photographed with a fisheye lens into a central projection image without distortion, an image conversion method as shown in Patent Document 1 is used.
- image conversion apparatus disclosed in Patent Document 1 pixel values of pixels around a position on the equidistant projection image corresponding to the pixel of the central projection image are weighted according to the position and added. Thus, high-precision interpolation is performed, and the contour of the subject in the converted central projection image is smoothed.
- each coordinate (output coordinate) of the central projection image, a plurality of coordinates of the equidistant projection image for obtaining the pixel value at this output coordinate, and each weight are stored in association with each other. There is a problem that the storage area becomes large because it is necessary.
- the present invention has been made in view of such problems, and an object of the present invention is to provide an image conversion apparatus capable of performing high-precision interpolation with a small storage capacity in image conversion processing.
- an image conversion apparatus is an image conversion apparatus that converts a first image into a second image, an image storage unit that stores the first image, and a second Information on the position of the first image for calculating the pixel value of the pixel of the second image for each pixel of the image of the first image, the reference coordinate indicating the pixel of the first image and the reference coordinate from the reference coordinate
- a table storage unit that stores a coordinate conversion table composed of relative positions, a pixel value of a pixel indicated by the reference coordinates of the first image, and a pixel value of a pixel of the first image located in the vicinity of the reference coordinates
- An image processing unit that performs image conversion from the first image to the second image by calculating the pixel value of the pixel of the second image by calculating with an arithmetic expression corresponding to the relative position. It is characterized by.
- the relative position of the coordinate conversion table is obtained by dividing the first image into a plurality of regions including the pixel for each pixel of the first image, and further dividing the region into a plurality of sub-regions. It is preferable to indicate a sub-region in the region including the reference coordinates when divided into two.
- the pixel of the first image located in the vicinity of the reference coordinates for calculating the pixel value of the second image by the image processing unit is a pixel adjacent to the pixel of the reference coordinates. Preferably there is.
- the reference coordinates of the coordinate conversion table are stored as a difference from the adjacent reference coordinates in the coordinate conversion table.
- the first image is an equidistant projection image and the second image is a center projection image.
- the image conversion apparatus is an image conversion apparatus that converts a first image, which is an image of a predetermined projection method, into a projection method different from the first image and outputs it as a second image.
- Information on a position in the first image corresponding to the pixel of the second image when the projection method is converted, and the reference coordinates indicating the pixel of the first image in the vicinity of the position and the position A table storage unit for storing a set of relative positions from the reference coordinates as a coordinate conversion table for the pixels of the second image, and for each pixel of the second image, the pixel of the second image of the coordinate conversion table
- the pixel value of the pixel indicated by the reference coordinate of the first image and the pixel value of the pixel adjacent to the pixel of the reference coordinate are calculated using an arithmetic expression corresponding to the relative position.
- Compute pixel of second image By calculating the pixel value, and having an image processing unit that performs image conversion from the first image to the second image.
- the relative position of the coordinate conversion table is obtained by dividing the first image into a plurality of regions including the pixel for each pixel of the first image, and further dividing the region into a plurality of sub-regions. It is preferable to indicate a sub-region in the region including the reference coordinates when divided into two.
- the pixel of the first image located in the vicinity of the reference coordinates for calculating the pixel value of the second image by the image processing unit is a pixel adjacent to the pixel of the reference coordinates. Preferably there is.
- the reference coordinates of the coordinate conversion table are stored as a difference from the adjacent reference coordinates in the coordinate conversion table.
- the first image is an equidistant projection image and the second image is a center projection image.
- the capacity of the coordinate conversion table stored in the table storage unit is reduced, so that high-precision interpolation can be performed with a small storage capacity in the image conversion process. .
- the image conversion apparatus 10 includes a fisheye lens, and includes an imaging optical system 1 that forms an image of a subject, an imaging element 2 that includes a CCD, a CMOS, and the like, and that detects an image formed by the imaging optical system 1; An image processing unit 3 that converts a first image detected by the image sensor 2 (hereinafter described as an “equal distance projection image”) into a second image (hereinafter described as a “center projection image”); An image storage unit 4 that temporarily stores the equidistant projection image detected by the image sensor 2 and captured by the image processing unit 3, and information (coordinate conversion) used when changing from the equidistant projection image to the central projection image A table storage unit 5 for storing (table).
- the image processing unit 3 includes a CPU, and may be configured to execute the above-described image conversion by executing a program having the image conversion method according to the present embodiment, or may be configured as an ASIC or DSP,
- the image conversion method according to this embodiment may be implemented as a logic circuit.
- the image storage unit 4 is composed of a volatile memory such as SRAM, and the table storage unit 5 is composed of a nonvolatile memory such as flash memory. Further, the central projection image converted by the image processing unit 3 is passed to and used by a processing unit (not shown).
- FIG. 2 shows one image, and it is assumed that the width is W pixels (pixels) and the vertical is H pixels (pixels).
- data whose coordinates are represented by (x, y) are set as one-dimensional data and managed as (y ⁇ W + x) -th data.
- Such a data structure is, for example, an image obtained by sequentially extracting values (pixel values) detected by each pixel of the image sensor 2 in the horizontal direction from the upper left to the lower right and arranging them one-dimensionally. It is.
- This image has a pixel value (luminance value) at coordinates (x, y) as P (x, As y), this value is stored one-dimensionally in the order described above for the number of pixels of the image sensor 2.
- the coordinates on the equidistant projection image corresponding to each pixel of the central projection image are as follows. , It does not always coincide with the position of the pixel. For this reason, the pixel value (luminance value) at a specific position of the equidistant projection image needs to be obtained by interpolation using the arithmetic expression from the pixel values acquired at the surrounding pixels. This interpolation method will be described with reference to FIG.
- each of nine pixels centered on a pixel at a coordinate (x, y) in the equidistant projection image is surrounded by a rectangular area Z.
- each pixel is located at the center of the region Z, and each region Z is further divided into nine sub-regions Z1 to Z9.
- the pixel value (luminance value) of each pixel is represented by P (x, y)
- the interpolated pixel values (luminance values) Pz1 to Pz9 in the sub-regions Z1 to Z9 are expressed by the following equation (1). It is obtained by (9).
- Pz1 (P (x-1, y-1) + P (x, y-1) + P (x-1, y) + P (x, y)) / 4 (1)
- Pz2 (P (x, y-1) + P (x, y)) / 2 (2)
- Pz3 (P (x, y-1) + P (x + 1, y-1) + P (x, y) + P (x + 1, y)) / 4
- Pz4 (P (x-1, y) + P (x, y)) / 2 (4)
- Pz5 P (x, y) (5)
- Pz6 (P (x, y) + P (x + 1, y)) / 2 (6)
- Pz7 (P (x-1, y) + P (x, y) + P (x-1, y + 1) + P (x, y + 1)) / 4 (7)
- Pz8 (P (x, y) + P (x, y +
- the reference coordinates (x, y) that are the coordinates of the pixel in the center of the region, and the subregions Z1 to Z9
- the pixel value of the pixel on the reference coordinate of the equidistant projection image and the pixel value of the pixel in the vicinity of the reference coordinate (adjacent to the reference coordinate in this embodiment)
- the pixel value (luminance value) of the output coordinates in the central projection image can be obtained by using the above-described arithmetic expressions (1) to (9).
- FIG. 4 shows the data structure of the coordinate conversion table 50 stored in the table storage unit 5.
- the coordinate conversion table 50 includes reference coordinates (coordinates of pixels of the original equidistant projection image) 51 for calculating the output coordinates for each output coordinate (coordinates of the central projected image after conversion). And a sub-region (identifier) 52 in the region Z including the reference coordinates is stored. Since the sizes of the equidistant projection image and the central projection image (the number of pixels in the horizontal direction ⁇ the number of pixels in the vertical direction) are known, the output coordinates are stored in the coordinate conversion table 50 as long as the storage order is determined. There is no need to keep it.
- the image processing unit 3 reads one image (equal distance projection image) from the image sensor 2 and stores it in the image storage unit 4 (step S100).
- the values of the reference coordinates 51 and the sub area 52 are read out from the coordinate conversion table 50 stored in the table storage unit 5 in the stored order (step S110). At this time, one record may be read out or a plurality of records may be read out collectively.
- the pixel value of the output coordinate is obtained for each read reference coordinate and sub-region using the above-described arithmetic expressions (1) to (9) (step S120). Specifically, the pixel values of nine coordinates including the reference coordinates are read from the image storage unit 4 based on the reference coordinates, and further, the sub area is selected from the above-described arithmetic expressions (1) to (9). Is selected, and the pixel value of the sub-region is calculated based on the calculation formula. Note that an arithmetic expression may be determined from the sub-region, and a pixel value of a pixel necessary for the expression may be extracted from the image storage unit 4 and the calculation may be performed.
- the calculated result is output from the image processing unit 3 to the outside as a pixel value at the output coordinates of the central projection image (step S130).
- the conversion of one equidistant projection image extracted from the image sensor 2 into the central projection image is terminated. Note that, when images are continuously captured from the image sensor 2 and processed as moving images, it can be realized by repeatedly executing the above steps S100 to S140.
- image conversion is performed by processing images output from the respective imaging elements 2 according to the above procedure. It is possible.
- the records of the coordinate conversion table 50 are arranged in the order of the predetermined output coordinates, the reference coordinates and sub-regions are extracted in that order, and the pixel values of the output coordinates are calculated and output. Thus, a desired central projection image can be obtained.
- the table stored in advance in the image conversion apparatus 10 is only the coordinate conversion table 50 stored in the table storage unit 5 as described above. Since the coordinate conversion table 50 stores only a set of reference coordinates and sub-region information for each output coordinate, it can have a very small data capacity. Therefore, an ASIC or DSP having a small storage capacity can be used for the image processing unit 3 (and the table storage unit 5) of the image conversion apparatus 10 according to the present embodiment.
- the method of obtaining the interpolation value by dividing each pixel of the equidistant projection image acquired by the image sensor 2 into the rectangular region Z including the pixel as the center has been described.
- the arrangement of the region Z is not limited to the above description.
- the region A is determined so that each pixel is positioned at the vertex of a rectangle, and any coordinate (for example, the upper left coordinate) is used as a reference coordinate, and this region is divided into a plurality of sub-regions (
- the above-described coordinate conversion table 50 can be configured with a set of reference coordinates and sub-regions even if divided into 4 ⁇ 4 16 sub-regions Z1 to Z16).
- the pixel value (luminance value) in each sub-region is calculated from the pixel values of four pixels surrounding the region Z based on a predetermined arithmetic expression. Also, the arithmetic expression is determined according to the arrangement of the region Z, the number of sub-regions divided, and the size. Further, the shape of the sub-region may be changed for each region as shown in FIG. 3, or may be divided by the same size as shown in FIG.
- the reference coordinate 51 of the coordinate conversion table 50 stores the value of the corresponding coordinate. However, if the difference from the coordinate of the previous record is stored, Since the data size is reduced, the capacity of the coordinate conversion table 50, that is, the storage capacity of the table storage unit 5 can be further reduced.
- the coordinates of the first record can be a difference from the reference coordinates stored separately.
- the record of the coordinate conversion table 50 (a set of the reference coordinate 51 and the sub-region 52) is uniquely determined corresponding to the output coordinate.
- the output coordinate is, for example, from the upper left to the lower right of the image.
- the coordinates of the pixels in the horizontal direction are arranged one-dimensionally in order. For this reason, the reference coordinates corresponding to the output coordinates also have coordinates that are not far apart from adjacent coordinates, and the difference value often does not increase.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
画像変換処理において、少ない記憶容量で高精度な補間を行うことができる画像変換装置を提供する。 第１の画像を第２の画像に変換する画像変換装置は、第１の画像を記憶する画像記憶部と、第２の画像の画素毎に、当該第２の画像の画素の画素値を算出するための第１の画像の位置に関する情報であって、第１の画像の画素を示す参照座標及び当該参照座標からの相対位置（サブ領域）からなる座標変換テーブルを記憶するテーブル記憶部と、第１の画像の参照座標に示される画素の画素値、及び、この参照座標の近傍に位置する第１の画像の画素の画素値を、相対位置に対応する演算式により演算して第２の画像の画素の画素値を算出することにより、第１の画像から第２の画像への画像変換を行う画像処理部と、を有する。
Description
本発明は、画像変換装置に関する。
魚眼レンズで撮影された等距離射影画像を、歪みのない中心射影画像に変換する画像変換装置においては、特許文献１に示すような画像の変換方法が用いられている。この特許文献１に開示された画像変換装置では、中心射影画像の画素に対応する等距離射影画像上の位置の周囲にある画素の画素値を、その位置に応じて重み付けをして加算することにより、高精度な補間を行い、変換後の中心射影画像における被写体の輪郭を滑らかにするように構成されている。
しかしながら、従来の方法によると、中心射影画像の各々の座標（出力座標）と、この出力座標における画素値を求めるための等距離射影画像の複数の座標及びそれぞれの重みとを対応付けて記憶する必要があるため、記憶領域が大きくなってしまうという課題があった。
本発明はこのような課題に鑑みてなされたものであり、画像変換処理において、少ない記憶容量で高精度な補間を行うことができる画像変換装置を提供することを目的とする。
前記課題を解決するために、本発明に係る画像変換装置は、第１の画像を第２の画像に変換する画像変換装置であって、第１の画像を記憶する画像記憶部と、第２の画像の画素毎に、当該第２の画像の画素の画素値を算出するための第１の画像の位置に関する情報であって、第１の画像の画素を示す参照座標及び当該参照座標からの相対位置からなる座標変換テーブルを記憶するテーブル記憶部と、第１の画像の参照座標に示される画素の画素値、及び、この参照座標の近傍に位置する第１の画像の画素の画素値を、相対位置に対応する演算式により演算して第２の画像の画素の画素値を算出することにより、第１の画像から第２の画像への画像変換を行う画像処理部と、を有することを特徴とする。
このような画像変換装置において、座標変換テーブルの相対位置は、第１の画像を当該第１の画像の画素毎に当該画素を含む複数の領域に分割し、さらに、この領域を複数のサブ領域に分割したときの、参照座標を含む領域におけるサブ領域を示すものであることが好ましい。
また、このような画像変換装置において、画像処理部で第２の画像の画素値を算出するための参照座標の近傍に位置する第１の画像の画素は、参照座標の画素に隣接する画素であることが好ましい。
また、このような画像変換装置において、座標変換テーブルの参照座標は、当該座標変換テーブルにおいて隣接する参照座標からの差分として記憶されていることが好ましい。
また、このような画像変換装置において、第１の画像は等距離射影画像であって、第２の画像は中心射影画像であることが好ましい。
また、本発明に係る画像変換装置は、所定の射影方式の画像である第１の画像をこの第１の画像とは異なる射影方式に変換して第２の画像として出力する画像変換装置であって、射影方式を変換したときの第２の画像の画素に対応する第１の画像内の位置に関する情報であって、前記位置の近傍にある第１の画像の画素を示す参照座標及び前記位置の参照座標からの相対位置の組を、第２の画像の画素に対する座標変換テーブルとして記憶するテーブル記憶部と、第２の画像の画素毎に、座標変換テーブルの当該第２の画像の画素に対応する参照座標及び相対位置に基づいて、第１の画像の参照座標に示される画素の画素値及びこの参照座標の画素に隣接する画素の画素値を、相対位置に対応する演算式を用いて演算して第２の画像の画素の画素値を算出することにより、第１の画像から第２の画像への画像変換を行う画像処理部と、を有することを特徴とする。
このような画像変換装置において、座標変換テーブルの相対位置は、第１の画像を当該第１の画像の画素毎に当該画素を含む複数の領域に分割し、さらに、この領域を複数のサブ領域に分割したときの、参照座標を含む領域におけるサブ領域を示すものであることが好ましい。
また、このような画像変換装置において、画像処理部で第２の画像の画素値を算出するための参照座標の近傍に位置する第１の画像の画素は、参照座標の画素に隣接する画素であることが好ましい。
また、このような画像変換装置において、座標変換テーブルの参照座標は、当該座標変換テーブルにおいて隣接する参照座標からの差分として記憶されていることが好ましい。
また、このような画像変換装置において、第１の画像は等距離射影画像であって、第２の画像は中心射影画像であることが好ましい。
本発明に係る画像変換装置を以上のように構成すると、テーブル記憶部に記憶される座標変換テーブルの容量が小さくなるため、画像変換処理において、少ない記憶容量で高精度な補間を行うことができる。
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて、本実施形態に係る画像変換装置の構成について説明する。この画像変換装置１０は、魚眼レンズを含み、被写体の像を結像する撮像光学系１と、ＣＣＤやＣＭＯＳ等で構成され、撮像光学系１により結像された像を検出する撮像素子２と、撮像素子２で検出された第１の画像（以下、「等距離射影画像」として説明する）を第２の画像（以下、「中心射影画像」として説明する）に変換する画像処理部３と、撮像素子２で検出され、画像処理部３により取り込まれた等距離射影画像を一次的に記憶する画像記憶部４と、等距離射影画像から中心射影画像に変化するときに用いられる情報（座標変換テーブル）を記憶するテーブル記憶部５と、から構成される。なお、画像処理部３は、ＣＰＵを有し、本実施形態に係る画像変換方法を有するプログラムを実行して、上記画像変換を行うように構成しても良いし、ＡＳＩＣやＤＳＰとして構成し、本実施形態に係る画像変換方法を論理回路として実装しても良い。また、画像記憶部４は、ＳＲＡＭ等の揮発性メモリで構成され、テーブル記憶部５は、フラッシュメモリ等の不揮発性メモリで構成される。さらに、画像処理部３で変換された中心射影画像は、図示しない処理部に渡され利用される。
ここで、等距離射影画像及び中心射影画像を処理する際のデータ構造について図２を用いて説明する。この図２は、１枚の画像を示し、その幅がＷピクセル（画素）、縦がＨピクセル（画素）で構成されているとする。本実施形態に係る画像変換装置１０では、図２に示すように座標が（ｘ，ｙ）で示されるデータを１次元データとし、（ｙ×Ｗ＋ｘ）番目のデータとして管理している。このようなデータ構造は、例えば、画像を、左上から右下に向かって、撮像素子２の各画素で検出される値（画素値）を、水平方向に順に取り出して一次元的に並べたものである。図１に示す画像記憶部４には、撮像素子２から取得された等距離射影画像が記憶されるが、この画像は、座標（ｘ，ｙ）における画素値（輝度値）をＰ（ｘ，ｙ）として、この値が撮像素子２の画素数分、上述の順序で一次元的に並んで記憶される。
ところで、等距離射影画像から中心射影画像に変換する際に、中心射影画像を、上記画素（ピクセル）単位で表すと、この中心射影画像の各々の画素に対応する等距離射影画像上の座標は、その画素の位置に一致するとは限らない。そのため、等距離射影画像の特定の位置における画素値（輝度値）は、その周辺の画素で取得された画素値から演算式を用いて補間して求める必要がある。この補間方法について、図３を用いて説明する。
図３において、等距離射影画像のある座標（ｘ，ｙ）の画素を中心とした９つの画素の各々は、矩形の領域Ｚで囲まれている。ここで、各画素は領域Ｚの中心に位置し、また、各領域Ｚは、さらに、９つのサブ領域Ｚ１～Ｚ９に分割されている。今、各画素の画素値（輝度値）をＰ（ｘ，ｙ）で表すと、各サブ領域Ｚ１～Ｚ９における補間された画素値（輝度値）Ｐｚ１～Ｐｚ９は、次の演算式（１）～（９）により求められる。
Pz1=(P(x-1,y-1)+P(x,y-1)+P(x-1,y)+P(x,y))/4 （１）
Pz2=(P(x,y-1)+P(x,y))/2 （２）
Pz3=(P(x,y-1)+P(x+1,y-1)+P(x,y)+P(x+1,y))/4 （３）
Pz4=(P(x-1,y)+P(x,y))/2 （４）
Pz5=P(x,y) （５）
Pz6=(P(x,y)+P(x+1,y))/2 （６）
Pz7=(P(x-1,y)+P(x,y)+P(x-1,y+1)+P(x,y+1))/4 （７）
Pz8=(P(x,y)+P(x,y+1))/2 （８）
Pz9=(P(x,y)+P(x+1,y)+P(x,y+1)+P(x+1,y+1))/4 （９）
Pz2=(P(x,y-1)+P(x,y))/2 （２）
Pz3=(P(x,y-1)+P(x+1,y-1)+P(x,y)+P(x+1,y))/4 （３）
Pz4=(P(x-1,y)+P(x,y))/2 （４）
Pz5=P(x,y) （５）
Pz6=(P(x,y)+P(x+1,y))/2 （６）
Pz7=(P(x-1,y)+P(x,y)+P(x-1,y+1)+P(x,y+1))/4 （７）
Pz8=(P(x,y)+P(x,y+1))/2 （８）
Pz9=(P(x,y)+P(x+1,y)+P(x,y+1)+P(x+1,y+1))/4 （９）
以上より、ある領域Ｚ内の点を、サブ領域Ｚ１～Ｚ９のいずれに属するかにより特定すると、その領域の中心にある画素の座標である参照座標（ｘ，ｙ）、及び、サブ領域Ｚ１～Ｚ９のいずれに属するかの情報に基づいて、等距離射影画像の参照座標上の画素の画素値と、この参照座標の近傍にある（本実施形態では、参照座標に隣接する）画素の画素値とから、中心射影画像における出力座標の画素値（輝度値）を上記演算式（１）～（９）を用いることにより求めることができる。このように、画素値を求めようとする位置の近傍にある座標（参照座標）の画素値とその近傍にある（隣接する）画素の画素値とを用いて補間することより、例えば中心射影画像における被写体の輪郭等のエッジ部分をなめらかにすることができる。
図４は、テーブル記憶部５に記憶されている座標変換テーブル５０のデータ構造を示している。このように、座標変換テーブル５０は、出力座標（変換後の中心射影画像の座標）毎に、その出力座標を算出するための、参照座標（元になる等距離射影画像の画素の座標）５１及びその参照座標を含む領域Ｚにおけるサブ領域（の識別子）５２が記憶されている。なお、等距離射影画像及び中心射影画像のサイズ（横方向のピクセル数×縦方向のピクセル数）は既知であるため、その格納順序さえ決めておけば、座標変換テーブル５０に出力座標を記憶させておく必要はない。
図５を用いて、撮像素子２から等距離射影画像を読み出して、中心距離射影画像に変換して出力する本実施形態に係る画像変換方法であって、画像処理部３で実行される処理について説明する。まず、画像処理部３は、撮像素子２から一枚の画像（等距離射影画像）を読み出し、画像記憶部４に記憶する（ステップＳ１００）。次に、テーブル記憶部５に記憶されている座標変換テーブル５０から、参照座標５１及びサブ領域５２の値を、記憶されている順序で読み出す（ステップＳ１１０）。なお、このとき、１レコードずつ読み出しても良いし、複数レコードまとめて読み出しても良い。
そして、読み出した参照座標及びサブ領域毎に出力座標の画素値を、上述の演算式（１）～（９）を用いて求める（ステップＳ１２０）。具体的には、参照座標に基づいて画像記憶部４から、その参照座標を含む９個の座標の画素値を読み出し、さらに、上述の演算式（１）～（９）の中から、サブ領域に対応した演算式を選択し、その演算式に基づいて当該サブ領域の画素値を算出する。なお、サブ領域から演算式を決定し、その式に必要な画素の画素値を画像記憶部４から取り出して演算を行うように構成しても良い。演算された結果は、中心射影画像の出力座標における画素値として、この画像処理部３から外部に出力される（ステップＳ１３０）。上記演算結果の出力が終わると、全ての中心射影画像の画素の演算が終わったか否かを判断し（ステップＳ１４０）、まだ演算していない画素がある場合は、ステップＳ１１０に戻って上記処理を繰り返す。全ての画素について演算（変換）が終わっていると判断したときは、撮像素子２から取り出された一枚の等距離射影画像の中心射影画像への変換を終了する。なお、撮像素子２から連続して画像を撮りだして動画像として処理する場合は、上述のステップＳ１００～Ｓ１４０を、繰り返し実行することにより実現可能である。また、２以上の撮像光学系１及び撮像素子２の組を用いて被写体を立体視する場合には、それぞれの撮像素子２から出力される画像を上記手順に従って処理することにより、画像変換を行うことが可能である。
上述のように、座標変換テーブル５０のレコードは、予め決められた出力座標の順序で並べられているので、その順序で参照座標及びサブ領域を取り出して出力座標の画素値を算出して出力すれば、所望の中心射影画像を得ることができる。また、この画像変換装置１０に予め記憶させておくテーブルは、上述のようにテーブル記憶部５に記憶されている座標変換テーブル５０のみである。そして、この座標変換テーブル５０は、各出力座標に対して、参照座標とサブ領域の情報の組だけを記憶しているため、非常に小さなデータ容量とすることができる。そのため、本実施形態に係る画像変換装置１０の画像処理部３（及びテーブル記憶部５）に記憶容量が小さなＡＳＩＣやＤＳＰを用いることもできる。
なお、以上の説明では、撮像素子２で取得された等距離射影画像の各画素に対して、その画素を中心に含む矩形の領域Ｚに分割して補間値を求める方法について説明したが、この領域Ｚの配置は上記説明に限定されない。例えば、図６に示すように、矩形の頂点に各画素が位置するように領域Ａを決定し、何れかの座標（例えば、左上の座標）を参照座標とし、この領域を複数のサブ領域（例えば、図６では、４×４の１６のサブ領域Ｚ１～Ｚ１６）に分割しても、参照座標とサブ領域の組で、上述の座標変換テーブル５０を構成することができる。この図６に示す場合、各サブ領域における画素値（輝度値）は、領域Ｚを囲む４つの画素の画素値から所定の演算式に基づいて算出される。また、演算式は、領域Ｚの配置、サブ領域の分割数や大きさに応じて決定される。また、サブ領域の形状は、図３に示すように、領域毎にその大きさを変えても良いし、図６に示すように、同じ大きさで分割しても良い。
また、上述の説明において、座標変換テーブル５０の参照座標５１には、対応する座標の値が記憶されているが、一つ前のレコードの座標との差分を記憶するように構成すると、座標のデータのサイズが小さくなるので、座標変換テーブル５０の容量、すなわち、テーブル記憶部５の記憶容量を更に小さくすることができる。この場合、最初のレコードの座標は、別途記憶してある基準座標からの差分とすることができる。上述のように、この座標変換テーブル５０のレコード（参照座標５１とサブ領域５２の組）は、出力座標に対応して一意に決まり、この出力座標は、例えば、画像の左上から右下に向かって水平方向の画素の座標が順に一次元状に並んでいる。そのため、この出力座標に対応する参照座標も、隣接する座標に対しては、距離が大きく離れていない座標が並ぶことになり、差分の値は大きくならない場合が多いためである。
３ 画像処理部 ４ 画像記憶部 ５ テーブル記憶部
１０ 画像変換装置 ５０ 座標変換テーブル
１０ 画像変換装置 ５０ 座標変換テーブル
Claims (10)
- 第１の画像を第２の画像に変換する画像変換装置であって、
前記第１の画像を記憶する画像記憶部と、
前記第２の画像の画素毎に、当該第２の画像の画素の画素値を算出するための前記第１の画像の位置に関する情報であって、前記第１の画像の画素を示す参照座標及び当該参照座標からの相対位置からなる座標変換テーブルを記憶するテーブル記憶部と、
前記第１の画像の前記参照座標に示される画素の画素値、及び、前記参照座標の近傍に位置する前記第１の画像の画素の画素値を、前記相対位置に対応する演算式により演算して前記第２の画像の画素の画素値を算出することにより、前記第１の画像から前記第２の画像への画像変換を行う画像処理部と、を有することを特徴とする画像変換装置。 - 前記座標変換テーブルの前記相対位置は、前記第１の画像を当該第１の画像の画素毎に当該画素を含む複数の領域に分割し、さらに、前記領域を複数のサブ領域に分割したときの、前記参照座標を含む前記領域における前記サブ領域を示すものであることを特徴とする請求項１に記載の画像変換装置。
- 前記画像処理部で前記第２の画像の画素値を算出するための前記参照座標の近傍に位置する前記第１の画像の画素は、前記参照座標の画素に隣接する画素であることを特徴とする請求項１または２に記載の画像変換装置。
- 前記座標変換テーブルの前記参照座標は、当該座標変換テーブルにおいて隣接する前記参照座標からの差分として記憶されていることを特徴とする請求項１～３のいずれか一項に記載の画像変換装置。
- 前記第１の画像は等距離射影画像であって、前記第２の画像は中心射影画像であることを特徴とする請求項１～４のいずれか一項に記載の画像変換装置。
- 所定の射影方式の画像である第１の画像を前記第１の画像とは異なる射影方式に変換して第２の画像として出力する画像変換装置であって、
前記射影方式を変換したときの前記第２の画像の画素に対応する前記第１の画像内の位置に関する情報であって、前記位置の近傍にある前記第１の画像の画素を示す参照座標及び前記位置の前記参照座標からの相対位置の組を、前記第２の画像の画素に対する座標変換テーブルとして記憶するテーブル記憶部と、
前記第２の画像の画素毎に、前記座標変換テーブルの当該第２の画像の画素に対応する前記参照座標及び前記相対位置に基づいて、前記第１の画像の前記参照座標に示される画素の画素値及び前記参照座標の画素に隣接する画素の画素値を、前記相対位置に対応する演算式を用いて演算して前記第２の画像の画素の画素値を算出することにより、前記第１の画像から前記第２の画像への画像変換を行う画像処理部と、を有することを特徴とする画像変換装置。 - 前記座標変換テーブルの前記相対位置は、前記第１の画像を当該第１の画像の画素毎に当該画素を含む複数の領域に分割し、さらに、前記領域を複数のサブ領域に分割したときの、前記参照座標を含む前記領域における前記サブ領域を示すものであることを特徴とする請求項６に記載の画像変換装置。
- 前記画像処理部で前記第２の画像の画素値を算出するための前記参照座標の近傍に位置する前記第１の画像の画素は、前記参照座標の画素に隣接する画素であることを特徴とする請求項６または７に記載の画像変換装置。
- 前記座標変換テーブルの前記参照座標は、当該座標変換テーブルにおいて隣接する前記参照座標からの差分として記憶されていることを特徴とする請求項６～８のいずれか一項に記載の画像変換装置。
- 前記第１の画像は等距離射影画像であって、前記第２の画像は中心射影画像であることを特徴とする請求項６～９のいずれか一項に記載の画像変換装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010276698A JP2012128476A (ja) | 2010-12-13 | 2010-12-13 | 画像変換装置 |
| JP2010-276698 | 2010-12-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012081367A1 true WO2012081367A1 (ja) | 2012-06-21 |
Family
ID=46244480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2011/076998 Ceased WO2012081367A1 (ja) | 2010-12-13 | 2011-11-24 | 画像変換装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2012128476A (ja) |
| WO (1) | WO2012081367A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007079708A (ja) * | 2005-09-12 | 2007-03-29 | Konica Minolta Holdings Inc | 画像処理装置及び画像処理方法 |
| JP2007251914A (ja) * | 2006-02-20 | 2007-09-27 | Matsushita Electric Works Ltd | 映像信号処理装置、仮想現実感生成システム |
| WO2007108081A1 (ja) * | 2006-03-20 | 2007-09-27 | Fujitsu Limited | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 |
-
2010
- 2010-12-13 JP JP2010276698A patent/JP2012128476A/ja active Pending
-
2011
- 2011-11-24 WO PCT/JP2011/076998 patent/WO2012081367A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007079708A (ja) * | 2005-09-12 | 2007-03-29 | Konica Minolta Holdings Inc | 画像処理装置及び画像処理方法 |
| JP2007251914A (ja) * | 2006-02-20 | 2007-09-27 | Matsushita Electric Works Ltd | 映像信号処理装置、仮想現実感生成システム |
| WO2007108081A1 (ja) * | 2006-03-20 | 2007-09-27 | Fujitsu Limited | 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012128476A (ja) | 2012-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9532018B2 (en) | Projection system, device and method for the output of calibration projection scenes | |
| JP4657367B2 (ja) | 画像処理装置、撮像装置、および画像歪み補正方法 | |
| JP5141245B2 (ja) | 画像処理装置、補正情報生成方法、および撮像装置 | |
| JP2020511022A (ja) | デュアルコアフォーカシングイメージセンサ、そのフォーカシング制御方法、および電子装置 | |
| JP5535053B2 (ja) | 画像処理装置、及び画像処理方法 | |
| JP6027777B2 (ja) | 画素情報管理装置およびそれを用いた撮像装置 | |
| US10122939B2 (en) | Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium | |
| JP2006270918A (ja) | 画像補正方法、撮影装置、画像補正装置およびプログラム並びに記録媒体 | |
| JP6557499B2 (ja) | 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体 | |
| JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5676233B2 (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
| US20170034423A1 (en) | Image capturing apparatus | |
| JP4866147B2 (ja) | 画像シフト検出方法および装置および画像入力装置 | |
| JP2012256964A (ja) | 撮像装置 | |
| JP2012128476A (ja) | 画像変換装置 | |
| JP2016066995A (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
| JP6604783B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP6468751B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2007079708A (ja) | 画像処理装置及び画像処理方法 | |
| KR100733505B1 (ko) | 해상도변환방법 | |
| US10200674B2 (en) | Image processing apparatus, image capturing apparatus, and recording medium | |
| JP6440465B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN119963660B (zh) | 用于拍摄设备的外参标定方法、设备和计算机程序产品 | |
| JP6566765B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11848348 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 11848348 Country of ref document: EP Kind code of ref document: A1 |