WO2008020516A1 - dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue - Google Patents

dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue Download PDF

Info

Publication number
WO2008020516A1
WO2008020516A1 PCT/JP2007/063604 JP2007063604W WO2008020516A1 WO 2008020516 A1 WO2008020516 A1 WO 2008020516A1 JP 2007063604 W JP2007063604 W JP 2007063604W WO 2008020516 A1 WO2008020516 A1 WO 2008020516A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
projection model
virtual image
vehicle
Prior art date
Application number
PCT/JP2007/063604
Other languages
English (en)
French (fr)
Inventor
Kazufumi Mizusawa
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to US12/377,964 priority Critical patent/US20100165105A1/en
Priority to EP07768329A priority patent/EP2053860A4/en
Publication of WO2008020516A1 publication Critical patent/WO2008020516A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an in-vehicle image processing apparatus that converts an image input from an imaging unit that captures a real image into a virtual image viewed from a predetermined virtual viewpoint, and a viewpoint conversion information generation method thereof.
  • a composite image viewed from a virtual viewpoint above the vehicle is obtained using captured images of a plurality of cameras that capture the surroundings of the vehicle.
  • an image processing device to generate see, for example, Patent Document 1.
  • mapping table A procedure for creating this mapping table will be described.
  • the procedure for determining this correspondence corresponds to the step of obtaining the position of the point on the world coordinate corresponding to each pixel of the composite image from the virtual viewpoint and the actual position of the point on the obtained world coordinate. This can be divided into two stages: the process of obtaining pixel coordinates.
  • mapping table The relationship that is finally recorded in the mapping table is only the relationship between each pixel of the composite image of the virtual viewpoint and the pixel of each camera image (real image).
  • the procedure for creating the mapping table is as follows. Although not limited to the above-mentioned method via the points on the world coordinates, the mapping table via the points on the world coordinates is the coordinates of the composite image in the real world. Since the meaning in the world coordinate system becomes clear, it is easy to correlate the surrounding situation with the actual distance and positional relationship.
  • Fig. 12 schematically shows the conversion of the camera coordinate system force of the virtual camera into the world coordinate system and the conversion from the world coordinate system into the camera coordinate system of the real camera.
  • the image M represented by the camera coordinate system C of the virtual camera and the image M represented by the camera coordinate system C ′ of the actual camera are associated through the image world coordinate system O.
  • This image composition conversion device has a three-dimensional coordinate recording means for recording a three-dimensional position on a projection model corresponding to a pixel position of a virtual camera calculated in advance. This eliminates the need to perform the enormous amount of calculations required to determine the three-dimensional position when creating the mapping table, and it is only necessary to perform perspective projection conversion and distortion correction calculations.
  • Patent Document 1 International Publication No. 00Z64175 Pamphlet
  • Patent Document 2 JP 2003-256874 A
  • the above-described image composition conversion apparatus uses a three-dimensional coordinate recording means in which pixels on the virtual image and points on the projection model are associated in advance, The image is fixed to a predetermined area of the projection model.
  • the range on the projection model that the actual mela can image varies depending on the mounting position and angle.
  • a virtual image may use only about half of the range that can be captured with an actual mela in a certain vehicle type, or may include a range that cannot be captured with an actual mela in a different vehicle type. Can also occur. Therefore, an appropriate virtual image suitable for the imaging range of the actual mela is obtained. Therefore, there is a situation that it is necessary to prepare a three-dimensional coordinate recording means that associates a pixel on the virtual image with a point on the projection model for each vehicle type.
  • the present invention has been made in view of the above circumstances, and provides an in-vehicle image processing apparatus and its viewpoint conversion information generation method capable of easily obtaining an appropriate virtual image corresponding to a vehicle type. For the purpose.
  • the present invention is, firstly, an in-vehicle image processing apparatus that converts an image input from an imaging unit that captures an actual image into a virtual image viewed from a predetermined virtual viewpoint, and includes a predetermined projection model.
  • a projection model storage unit that stores positional information of a plurality of points above, and the projection in which pixels on the virtual image are projected over a region on the projection model separately designated as a display range target of the virtual image Using a point on the model as a virtual image corresponding point, the position information acquisition unit that acquires the position information with reference to the projection model storage unit, and a pixel on the real image that reflects the virtual image corresponding point,
  • An in-vehicle image processing apparatus including a viewpoint conversion information acquisition unit that acquires viewpoint conversion information indicating a correspondence between a pixel on the virtual image and a pixel on the real image is provided.
  • the present invention provides the in-vehicle image processing device according to the first aspect, wherein the position information acquisition unit is stored in the projection model storage unit! If the number of points in the upper region does not match the number of pixels on the virtual image, the position information of the virtual image corresponding points is obtained using the points stored in the projection model storage unit.
  • An in-vehicle image processing apparatus that can be obtained is provided.
  • the viewpoint conversion information can be generated flexibly according to the area on the projection model that is the target of the virtual image.
  • the present invention provides the in-vehicle image processing device according to the first or second aspect, wherein the projection model storage unit indicates a trajectory indicating a travel trajectory predicted according to a state of the vehicle. Data is stored in association with position information of a plurality of points on the projection model, and the position information is stored.
  • the information acquisition unit associates the locus data with the position information of the virtual image corresponding point, and the viewpoint conversion information acquisition unit associates the locus data with the pixel on the virtual image to generate the viewpoint conversion information.
  • An in-vehicle image processing apparatus is provided.
  • the present invention provides a viewpoint conversion information generation method for an in-vehicle image processing device that converts an image input from an imaging unit that captures an actual image into the virtual image viewed from a predetermined virtual viewpoint.
  • a point on the projection model in which a pixel on the virtual image is projected in a region on a predetermined projection model separately designated as a display range target of the virtual image, and the position of the point as a virtual image corresponding point Obtaining information with reference to a projection model storage unit that stores position information of a plurality of points on the projection model, obtaining pixels on the real image that reflect the virtual image corresponding points,
  • a viewpoint conversion information generating method S having a step of acquiring viewpoint conversion information indicating the correspondence between the pixels of the real image and the pixels on the actual image.
  • the present invention provides a viewpoint conversion information generation program for causing a computer to execute each procedure of the viewpoint conversion information generation method described in the fourth aspect.
  • FIG. 1 is a block diagram showing the main configuration of an in-vehicle image processing apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a flowchart for explaining a procedure of a conversion table creation method of the in-vehicle image processing device according to the first embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating a method for specifying an output range of the in-vehicle image processing device according to the first embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating a method for specifying an output range of the in-vehicle image processing device according to the first embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating viewpoint conversion by a projection model used in the in-vehicle image processing apparatus according to the first embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating a mapping table used in the in-vehicle image processing device according to the first embodiment of the present invention.
  • FIG. 7 is a block diagram showing the main configuration of an in-vehicle image processing device according to a second embodiment of the present invention.
  • FIG. 8 is a conceptual diagram showing a first example of a table including trajectory information used in the in-vehicle image processing apparatus according to the second embodiment of the present invention.
  • FIG. 9 is a conceptual diagram showing a second example of a table including trajectory information used in the in-vehicle image processing device according to the second embodiment of the present invention.
  • FIG. 10 is a conceptual diagram illustrating a mapping table used in an in-vehicle image processing device according to a second embodiment of the present invention.
  • FIG. 11 is an explanatory diagram showing an example of an output image of the in-vehicle image processing device according to the second embodiment of the present invention.
  • FIG. 12 Explanatory diagram showing the relationship between camera coordinates and world coordinates of virtual camera and actual mela.
  • FIG. 1 is a block diagram showing the main configuration of the in-vehicle image processing apparatus according to the first embodiment of the present invention.
  • the in-vehicle image processing apparatus of the present embodiment includes an imaging unit 10, an output range specifying unit 20, a calculation unit 30, a mapping table reference unit 40, an image composition unit 50, and an image output unit. 60, which converts an image input from the imaging unit 10 into a virtual image viewed from a predetermined virtual viewpoint and outputs the image as an output image.
  • the image capturing unit 10 includes a camera 11 that captures a real image and a frame memory 13 that records video captured by the camera 11.
  • the imaging unit 10 may include one or more cameras.
  • the imaging unit 10 of this embodiment includes a camera 12 and a frame memory 14 in addition to the camera 11 and the frame memory 13.
  • the output range specifying unit 20 specifies an area on the projection model that is the target of the output image as an output range.
  • the calculation unit 30 functions as an example of a position information acquisition unit and a viewpoint conversion information acquisition unit, and an input image necessary for generating an output image of the output range specified by the output range specification unit 20 Is calculated. Then, the calculation unit 30 records the calculated result in the mapping table reference unit 40 as a mapping table which is an example of viewpoint conversion information indicating the correspondence between the pixel on the output image and the pixel on the actual image. .
  • Calculation unit 30 Is mainly composed of a processor operated by a viewpoint conversion information generation program.
  • the mapping table reference unit 40 includes a projection model storage unit 41 that stores positional information of a plurality of points on a predetermined projection model, and a mapping table storage unit 42 that stores a mapping table.
  • the image synthesis unit 50 refers to the mapping table reference unit 40, reads an input image corresponding to the pixel of the output image from the imaging unit 10, and generates a pixel of the output image.
  • the image output unit 60 also generates and outputs an output image with the pixel power generated by the image composition unit 50.
  • FIG. 2 is a flowchart for explaining the procedure of the conversion table creation method of the in-vehicle image processing apparatus according to the first embodiment of the present invention.
  • the output range specifying unit 20 specifies an area on the projection model stored in the projection model storage unit 41 as an output range (step Sl).
  • FIG. 3 (A) shows the vehicle la to which the camera 2a is attached
  • FIG. 3 (B) shows the vehicle lb to which the camera 2b is attached and the vehicle type is different from the vehicle la.
  • virtual viewpoints for converting images captured by the cameras 2a and 2b virtual cameras 3a and 3b that look down on the road surface of the vehicles la and lb will be described as an example.
  • the cameras 2a and 2b are attached to vehicles la and lb of different vehicle types, the mounting positions and the mounting angles are different, so that they are indicated by broken lines in FIGS. 3 (A) and 3 (B). In this way, the imaging range is different. That is, as shown in FIG. 3 (A), the camera 2a captures the range from the position O to the position A, whereas the camera 2b captures the range from the position O force to the position B. It is.
  • the virtual camera 3a can specify a range in which the position O force is imaged up to the position A
  • the virtual camera 3b can specify a range in which the image is captured from the position O to the position B.
  • the output range specifying unit 20 can easily obtain an appropriate virtual image corresponding to the vehicle type by specifying the output range according to the range in which the actual mela can be imaged. Can do. That is, as shown in FIG. 4, the output range specifying unit 20 uses the range 4a as the imaging range of the virtual camera 3a and the range as the imaging range of the virtual camera 3b from the region 4 stored in the projection model storage unit 41. Cut out 4b and specify.
  • an operator obtains an output range by simulation for each vehicle type and camera mounting position, and the parameters (on the projection model) are output to the output range specifying unit 20.
  • the output range specification unit 20 specifies the output range by inputting the coordinate range. Further, instead of the operator obtaining the output range, the output range specifying unit 20 calculates the coordinate range on the projection model based on the vehicle type information and the like, and specifies the output range according to the calculation result. Also good.
  • the computing unit 30 obtains a coordinate range and a sample interval determined according to the number of pixels of the output image from the output range specified by the output range specifying unit 20, and the projection model storage unit 41. Then, the coordinates of the point of the projection model corresponding to the pixel position of the output image are obtained (step S2).
  • the calculation unit 30 does not match the number of points in the region on the projection model designated as the output range stored in the projection model storage unit 41 with the pixel on the output image!
  • the position information (coordinates) of the point corresponding to the pixel position of the output image is obtained by interpolating by the thinning interpolation or the like using the position information of the point stored in the projection model storage unit 41.
  • the projection model storage unit 41 has four points indicated by the circles shown in FIG. If there are 7 pixels in the output image that are stored, the coordinates of the mark X shown in FIG. 4, which is a point on the projection model corresponding to the pixel position of the output image, are obtained. Thereby, a mapping table can be generated flexibly according to the output range.
  • the correspondence between the pixel position on the output image and the position information on the projection model obtained by the calculation unit 30 in this way is recorded in the first storage unit of the mapping table storage unit 42.
  • the calculation unit 30 further acquires the pixel position of the effective mela with respect to the corresponding point on the projection model.
  • Step S3 associating the pixel position of the output image with the pixel position of the input image (Step S4), as a mapping table in the second storage means of the mapping table storage unit 42
  • Step S4 associating the pixel position of the output image with the pixel position of the input image
  • FIG. 5 is a conceptual diagram for explaining viewpoint conversion by a projection model used in the in-vehicle image processing apparatus according to the first embodiment of the present invention.
  • projection models two planes A and B are shown. It is a figure which shows the example by which the plane is set.
  • the projection model storage unit 41 stores the coordinates of the three-dimensional position in the two planes A and B.
  • the coordinates (xla, yla, zla) of the point R1A on the plane A are stepped. It is acquired by S2 and stored in the first storage means of the mapping table storage unit 42.
  • the coordinates (x2b, y2b, z2b) of the point R2B on the plane B are acquired in step S2 as a three-dimensional position corresponding to the position (u2, v2) of the pixel R2 of the output image, and the mapping table storage unit It is stored in 42 first storage means.
  • the positional relationship between the virtual camera and the actual mela can be predicted in advance with a certain accuracy, it is possible to calculate the force at which the corresponding point on the projection model has the corresponding point.
  • surveillance cameras and in-vehicle cameras, etc. are usually limited in their installation locations as positions that can be imaged, so the positional relationship between the virtual camera and the actual camera can be predicted and predicted.
  • the position data of the actual mela is input to the calculation unit 30 as camera parameters, and the mapping table can be created using the recording data of the first storage means of the mapping table storage unit 42.
  • the computing unit 30 uses the virtual camera based on the three-dimensional coordinates corresponding to the pixel position of the virtual camera obtained by referring to the three-dimensional coordinate recording means 32 and the camera parameters of the actual mela that are input separately.
  • the pixel position on the actual mela that corresponds to the pixel position is calculated.
  • the first storage unit of the mapping table storage unit 42 stores, for example, the plane A as a three-dimensional position corresponding to the position (ul, vl) of the pixel R1 of the output image.
  • the coordinates (x2b, y2b, z2b) of the point R2B on the plane B are the three-dimensional position corresponding to the position (u2, v2) of the pixel R2 of the output image, where the coordinates (xla, yla, zla) of the point R1A are It is recorded.
  • point R1A is projected to point I 1 (Ul, VI) and point R2B is projected to point I2 (U2, V2). .
  • the computing unit 30 creates a mapping table from this result, and the second recording in the mapping table recording unit 42. Store in memory.
  • the pixel position of the actual mela with respect to the corresponding point on the projection model corresponding to the pixel on the virtual camera can be easily measured by known calibration means.
  • the positional relationship between the virtual camera and the ability mela can be set.
  • FIG. 6 is a conceptual diagram illustrating a mapping table used in the in-vehicle image processing device according to the first embodiment of the present invention.
  • the mapping table storage unit 42 stores a mapping table indicating the correspondence between the pixels on the virtual camera and the pixels on the real camera calculated by the calculation unit 30.
  • the first storage means of the mapping table storage unit 42 first stores the pixel coordinate position (u, V) of the virtual camera obtained in step S2 and the coordinates (X, y, z) on the projection model. The relationship is recorded.
  • step S3 the calculation unit 30 calculates the relationship between the coordinates on the projection model and the pixel coordinate position (U, V) of the actual mela based on the stored information
  • step S4 the virtual unit 30
  • the relationship between the pixel coordinate position (u, V) of the camera and the pixel coordinate position (U, V) of the actual mela is created and stored as a mapping table.
  • this mapping table the identifier of the actual camera (illustrated as “C1” in FIG. 6) and the necessity level of each camera when a plurality of cameras correspond are recorded as necessary. In this way, a mapping table is created.
  • the imaging unit 10 records images captured by the camera 11 and the camera 12 in the frame memories 13 and 14, respectively.
  • the mapping table reference unit 40 refers to the mapping table stored in the mapping table storage unit 42 and changes the pixel position of the output image generated by the image composition unit 50 to the pixel position of the input image corresponding to the pixel. And convert. One pixel position force of the output image When it corresponds to multiple pixel positions of the input image, the mapping table force is also read out.
  • the image composition unit 50 reads the pixel of the input image corresponding to the pixel of the output image to be generated from the imaging unit 10 with reference to the mapping table reference unit 40.
  • the output image pixel corresponds to only one input image pixel
  • the input pixel value is output to the image output unit 60.
  • a predetermined value is output to the image output unit 60.
  • One pixel position force of the output image When corresponding to a plurality of pixel positions of the input image, those pixel values are synthesized according to the necessity of each pixel referenced simultaneously with the pixel position of the input image. Simply, the pixel values of the output image are added according to the inverse ratio of the necessary degree.
  • the image output unit 60 generates and outputs an output image from the pixels of the output image generated by the image composition unit 50.
  • the projection model to be the target of the virtual image is stored. Since viewpoint conversion information is generated by designating a region on the vehicle, an appropriate virtual image corresponding to the vehicle type can be easily obtained.
  • FIG. 7 is a block diagram showing the main configuration of the in-vehicle image processing apparatus according to the second embodiment of the present invention.
  • parts that are the same as those in FIG. 1 described in the first embodiment are given the same reference numerals.
  • the in-vehicle image processing apparatus of the present embodiment includes an imaging unit 10, an output range specifying unit 20, a calculation unit 30, a mapping table reference unit 140, and an image composition unit 150. And an image output unit 60.
  • the mapping table reference unit 140 includes a projection model storage unit 141 and a mapping table storage unit 142.
  • Projection model storage unit 141 stores trajectory data indicating a travel trajectory predicted according to the state of the vehicle in association with position information of points on the projection model. An example of data stored in the projection model storage unit 141 will be described with reference to FIGS.
  • FIG. 8 is a conceptual diagram showing a first example of a table including trajectory information used in the in-vehicle image processing device according to the second embodiment of the present invention.
  • trajectory data indicating a travel trajectory predicted according to the state of the vehicle is associated with the coordinates of a point on the projection model.
  • the vehicle width and the steering angle of the steering wheel of the vehicle are shown as elements indicating the state of the vehicle included in the trajectory data.
  • the point p2 (x 2, y2, z2) indicate that the vehicle is expected to travel when the vehicle width is 160cm and the steering angle is 30 degrees.
  • FIG. 9 is a conceptual diagram showing a second example of a table including trajectory information used in the in-vehicle image processing device according to the second embodiment of the present invention.
  • the coordinates of the points on the projection model are associated with the trajectory data having the vehicle width and steering angle elements.
  • the arithmetic unit 30 stores the pixel position of the output image and the coordinates of the point on the projection model based on the output range specified by the output range specifying unit 20 in the projection model storage unit 141.
  • the trajectory data is associated with the pixel position of the output image and recorded in the mapping table storage unit 142.
  • the calculation unit 30 records the pixel position of the output pixel associated with the trajectory data in the mapping table storage unit 142 as a mapping table in association with the pixel position of the input image.
  • FIG. 10 is a conceptual diagram illustrating a mapping table used in the in-vehicle image processing device according to the second embodiment of the present invention.
  • the pixel position (u, V) of the virtual camera includes the pixel position (U, V) of the input image and the trajectory data of the vehicle width W and the steering angle A in addition to the camera identifier C. Is added. From this, it is possible to determine whether the pixel position of the output pixel is on the predicted travel locus according to the vehicle width and the steering angle.
  • the in-vehicle image processing apparatus creates a mapping table in which the trajectory data is associated, and stores it in the mapping table storage unit 142. If the vehicle width and turning radius are the same, the trajectory traveling on the projection model is the same, even for different vehicle types. For example, even if the model is the same, if the vehicle type or model is different, the turning radius is often the same. In such a case, the trajectory data can be embedded in the mapping table using common data.
  • the imaging unit 10 records images captured by the camera 11 and the camera 12 in the frame memories 13 and 14, respectively.
  • the mapping table reference unit 140 refers to the mapping table stored in the mapping table storage unit 142 and generates an output generated by the image composition unit 150.
  • the pixel position of the force image is converted into the pixel position of the input image corresponding to the pixel.
  • the necessity of these pixels is also read out from the mapping table.
  • the mapping table reference unit 140 is referred to, and the input image pixel corresponding to the generated output image pixel is read from the imaging unit 10.
  • Output image pixel force S When only one input image pixel is supported, the value of the input pixel is output to the image output unit 60. If there is no corresponding pixel, a predetermined value is output to the image output unit 60.
  • the image composition unit 150 based on a signal indicating the state of the vehicle output from the sensor group 170 including the steering angle sensor 171 installed in the vehicle, trajectory data that matches the current state of the vehicle. Is superimposed on the output pixel associated with.
  • FIG. 11 is an explanatory diagram showing an example of an output image of the in-vehicle image processing device according to the second embodiment of the present invention.
  • the image compositing unit 150 based on the signal from the steering angle sensor 171, the pixel positions P1L, P2L, P3L of the output pixels associated with the trajectory data and the pixel positions P1R, P2R and P3R are extracted, tied as these predicted travel loci LL and LR, and superimposed on the output image VI.
  • the image output unit 60 generates and outputs an output image from the pixels of the output image and the predicted travel locus generated by the image composition unit 150.
  • the predicted travel trajectory is calculated and calculated each time according to the output of the sensor force. Since it is not necessary, it is possible to suppress the amount of calculation for displaying the predicted traveling locus superimposed on the virtual image.
  • the input pixel position, the vehicle width, and the navigation angle data are provided in one mapping table. This may be divided into mapping data 1 having only input pixels and mapping data 2 having a position for displaying the navigation angle. Also, the data The format is an example and may be different.
  • the in-vehicle image processing apparatus and the viewpoint conversion information generation method thereof according to the present invention have an effect that an appropriate virtual image corresponding to the vehicle type can be easily obtained, and are useful for an in-vehicle camera system and the like.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

明 細 書
車載画像処理装置及びその視点変換情報生成方法
技術分野
[0001] 本発明は、実画像を撮像する撮像部カゝら入力される画像を、所定の仮想視点から 見た仮想画像に変換する車載画像処理装置及びその視点変換情報生成方法に関 する。
背景技術
[0002] 車両の運転者などのユーザの利便性を向上させることを目的として、車両の周囲を 撮影する複数のカメラの撮像画像を用いて、車両の上方の仮想視点から見た合成画 像を生成する画像処理装置がある (例えば、特許文献 1参照)。
[0003] この特許文献 1に記載された画像処理装置では、出力画素の位置座標と入力画像 の画素位置との対応を示す変換アドレス（マッピングテーブル）に従って、 2つの異な るカメラ力 入力される画像を合成したり、画素位置を変更したりして出力画像を生成 することで、異なる複数のカメラからの入力画像を滑らかに合成したり、仮想視点から の映像へと変換したりすることをリアルタイムに実現するものである。しかし、リアルタイ ムに画像合成を行うには、画像合成に使用するマッピングテーブルが予め記録され ていることが必要である。
[0004] このマッピングテーブルの作成手順を説明する。マッピングテーブルを作成するた めには、仮想視点 (仮想カメラの設置位置)から見た合成画像の各画素に対応する 各カメラ画像の画素の座標を決める必要がある。この対応を決める手順は、仮想視 点からの合成画像の各画素に対応する世界座標上での点の位置を求める段階と、 求めた世界座標上での点の位置の実力メラ上で対応する画素の座標を求める段階 の 2段階に分けられる。
[0005] 尚、最終的にマッピングテーブルに記録される関係は、仮想視点の合成画像の各 画素と各カメラ画像 (実画像)の画素との関係だけであり、マッピングテーブルを作成 する手順は、上記の世界座標上の点を経由する方式に限定されるものではないが、 この世界座標上の点を経由するマッピングテーブルは、合成画像の実世界での座標 である世界座標系での意味付けが明確になるため、周囲の状況を実際の距離、位置 関係と対応付けやす!ヽ合成画像を生成する点で優れて!ヽる。
[0006] 仮想カメラの画素位置 [mi] = (xi, yi)と仮想カメラのカメラ座標 [Pi] = (Xi, Yi, Zi )とは、次の関係にある。
xi=XiZZi (ただし、 Ziは 0でない）
yi=YiZZi (ただし、 Ziは 0でない）
[0007] 仮想カメラのカメラ座標 [Pi]から、世界座標 [Pw]へは、 3次元の回転 [Ri]、及び、 並進 [Ti]によって次のように変換される。
[Pw] = [Ri] [Pi] + [Ti]
[0008] 同様に、世界座標 [Pw]から実力メラのカメラ座標 [Pr]へは、 3次元の回転 [Rr]、 及び、並進 [Tr]によって次のように変換される。
[Pr] = [Rr] [Pw] + [Tr]
[0009] この仮想カメラのカメラ座標系力も世界座標系への変換、ならびに、世界座標系か ら実カメラのカメラ座標系への変換を模式的に図 12に示す。即ち、仮想カメラのカメ ラ座標系 Cで表される画像 Mと、実力メラのカメラ座標系 C'で表される画像 M，とは、 画像世界座標系 Oを介して対応付けられる。
[0010] また、実力メラのカメラ座標 [Pr] = (Vxe, Vye, Vze)から、実力メラの投影面上の 2 次元座標 [Mr] = (xr, yr)へは、透視投影変換により焦点距離 fvを用いて次のよう に変換される。
xr= (fv/Vze) 'Vxe
yr= (fv/Vze) 'Vye
[0011] これを、画素の単位に変換し、実力メラに即したレンズ歪みを考慮して位置を補正 した位置力 実力メラでの画素の位置となる。レンズ歪みの補正には、レンズ中心から の距離と補正量との関係を記録したテーブルを利用したり、数学的な歪みモデルに より近似するなどの方式がある。
[0012] このとき、世界座標系に存在する物体の 3次元形状が未知であるため、仮想カメラ の画素位置 [mi]から仮想カメラのカメラ座標 [Pi]への変換の際、 [Pi]の倍率え ( λ は 0以外の実数）が不定となる。つまり、図 12において、直線 1上の点、例えば、点 Κ、 点 Qは全て同じ画素位置 X(xi, yi)に投影される。このため、仮想視点から見える対 象物の形状に適当な投影モデルを仮定することにより、直線 1上の一点を決定する。 つまり、投影モデルと直線 1との交点を求め世界座標上の点とする。
[0013] 尚、投影モデルとしては、例えば、世界座標系の Zw=0の平面などが考えられる。
このように適当な投影モデルを設定することで、上記の手順により仮想視点の合成画 像上の各画素 [Pi]と、実力メラ画像上の画素 [Pr]との対応関係が計算可能となる。
[0014] これらの対応関係の算出には、投影モデル上の点の座標計算や、カメラ座標と世 界座標との変換、さらに、カメラ数が多い場合は、投影モデル上の座標がどのカメラ に映って 、る力の計算等、膨大な量の演算が必要となる。
[0015] そこで、実力メラの撮像画像を仮想視点カゝら見た画像に変換するマッピングテープ ルを、少ない演算量で簡単に作成可能とした画像合成変換装置がある (例えば、特 許文献 2参照)。
[0016] この画像合成変換装置は、予め計算された仮想カメラの画素位置に対応する投影 モデル上の三次元位置を記録する三次元座標記録手段を有する。これにより、 3次 元位置を求めるために必要な膨大な量の演算をマッピングテーブル作成時に実施 する必要がなくなり、透視投影変換と歪み補正演算のみを実施するだけで済むもの である。
[0017] 特許文献 1：国際公開第 00Z64175号パンフレット
特許文献 2：特開 2003 - 256874号公報
発明の開示
発明が解決しょうとする課題
[0018] しカゝしながら、上記の画像合成変換装置にあっては、仮想画像上の画素と投影モ デル上の点とが予め対応付けられた三次元座標記録手段が用いられるため、仮想 画像は、投影モデルの定められた領域に固定されることになる。一方で、実力メラが 撮像可能な投影モデル上の範囲は、その取り付け位置や角度によって異なる。
[0019] 例えば、仮想画像に、ある車種では実力メラで撮像可能な範囲の半分程度しか用 V、な 、場合もあれば、異なる車種では実力メラで撮像不可能な範囲が含まれてしまう 場合も生じ得る。したがって、実力メラの撮像範囲に適合した適切な仮想画像を得る ためには、仮想画像上の画素と投影モデル上の点とを対応付けた三次元座標記録 手段を、車種毎に準備する必要があるといった事情がある。
[0020] 本発明は、上記の事情に鑑みてなされたものであって、車種に応じた適切な仮想 画像を簡易に得ることが可能な車載画像処理装置及びその視点変換情報生成方法 を提供することを目的とする。
課題を解決するための手段
[0021] 本発明は、第 1に、実画像を撮像する撮像部から入力される画像を、所定の仮想視 点から見た仮想画像に変換する車載画像処理装置であって、所定の投影モデル上 の複数の点の位置情報を記憶する投影モデル記憶部と、前記仮想画像の表示範囲 対象として別途指定された前記投影モデル上の領域にぉ ヽて、前記仮想画像上の 画素が映す前記投影モデル上の点を仮想画像対応点として、その位置情報を、前 記投影モデル記憶部を参照して取得する位置情報取得部と、前記仮想画像対応点 を映す前記実画像上の画素を求め、前記仮想画像上の画素と前記実画像上の画素 との対応を示す視点変換情報を取得する視点変換情報取得部とを備える車載画像 処理装置が提供されるものである。
[0022] この構成により、投影モデル記憶部により記憶された投影モデル上の複数の点の 位置情報に基づ!ヽて、仮想画像の対象となる投影モデル上の領域を指定して視点 変換情報を生成するので、車種に応じた適切な仮想画像を簡易〖こ得ることができる。
[0023] 本発明は、第 2に、上記第 1に記載の車載画像処理装置であって、前記位置情報 取得部は、前記投影モデル記憶部に記憶されて!、る前記指定された投影モデル上 の領域における点の数が前記仮想画像上の画素数と一致しな 1ヽ場合は、前記投影 モデル記憶部に記憶されて!ヽる点を用いて、前記仮想画像対応点の位置情報を求 める車載画像処理装置が提供されるものである。
[0024] この構成により、仮想画像の対象となる投影モデル上の領域に応じて柔軟に視点 変換情報を生成することができる。
[0025] 本発明は、第 3に、上記第 1又は第 2に記載の車載画像処理装置であって、前記投 影モデル記憶部は、車両の状態に応じて予測される走行軌跡を示す軌跡データを、 前記投影モデル上における複数の点の位置情報に対応付けて記憶し、前記位置情 報取得部は、前記仮想画像対応点の位置情報に前記軌跡データを対応付け、前記 視点変換情報取得部は、前記仮想画像上の画素に前記軌跡データを対応付けて 前記視点変換情報を生成する車載画像処理装置が提供されるものである。
[0026] この構成により、視点変換情報に軌跡データが対応付けられているので、予測走行 軌跡を仮想画像に重畳して表示するための演算量を抑制することができる。
[0027] 本発明は、第 4に、実画像を撮像する撮像部から入力される画像を、所定の仮想視 点から見た前記仮想画像に変換する車載画像処理装置の視点変換情報生成方法 であって、前記仮想画像の表示範囲対象として別途指定された所定の投影モデル 上の領域にお 、て、前記仮想画像上の画素が映す前記投影モデル上の点を仮想 画像対応点として、その位置情報を、前記投影モデル上の複数の点の位置情報を 記憶する投影モデル記憶部を参照して取得するステップと、前記仮想画像対応点を 映す前記実画像上の画素を求め、前記仮想画像上の画素と前記実画像上の画素と の対応を示す視点変換情報を取得するステップとを有する視点変換情報生成方法 力 S提供されるちのである。
[0028] この方法により、投影モデル記憶部により記憶された投影モデル上の複数の点の 位置情報に基づ!ヽて、仮想画像の対象となる投影モデル上の領域を指定して視点 変換情報を生成するので、車種に応じた適切な仮想画像を簡易〖こ得ることができる。
[0029] 本発明は、第 5に、コンピュータに、上記第 4に記載された視点変換情報生成方法 の各手順を実行させる視点変換情報生成プログラムが提供されるものである。
[0030] このプログラムにより、投影モデル記憶部により記憶された投影モデル上の複数の 点の位置情報に基づ!、て、仮想画像の対象となる投影モデル上の領域を指定して 視点変換情報を生成するので、車種に応じた適切な仮想画像を簡易に得ることがで きる。
発明の効果
[0031] 本発明によれば、車種に応じた適切な仮想画像を簡易に得ることが可能な車載画 像処理装置及びその視点変換情報生成方法を提供することができる。
図面の簡単な説明
[0032] [図 1]本発明の第 1の実施形態に係る車載画像処理装置の主要な構成を示すブロッ ク図
[図 2]本発明の第 1の実施形態に係る車載画像処理装置の変換テーブル作成方法 の手順を説明するフローチャート
[図 3]本発明の第 1の実施形態に係る車載画像処理装置の出力範囲の指定方法を 説明する概念図
[図 4]本発明の第 1の実施形態に係る車載画像処理装置の出力範囲の指定方法を 説明する概念図
[図 5]本発明の第 1の実施形態に係る車載画像処理装置にて用いられる投影モデル による視点変換を説明する概念図
[図 6]本発明の第 1の実施形態に係る車載画像処理装置にて用いられるマッピングテ 一ブルを説明する概念図
[図 7]本発明の第 2の実施形態に係る車載画像処理装置の主要な構成を示すブロッ ク図
[図 8]本発明の第 2の実施形態に係る車載画像処理装置にて用いられる軌跡情報を 含むテーブルの第 1例を示す概念図
[図 9]本発明の第 2の実施形態に係る車載画像処理装置にて用いられる軌跡情報を 含むテーブルの第 2例を示す概念図
[図 10]本発明の第 2の実施形態に係る車載画像処理装置にて用いられるマッピング テーブルを説明する概念図
[図 11]本発明の第 2の実施形態に係る車載画像処理装置の出力画像の一例を示す 説明図
[図 12]仮想カメラ及び実力メラのカメラ座標並びに世界座標の関係を示す説明図 符号の説明
la, lb 車両
2a, 2b, 11 , 12 カメラ
3a, 3b 仮想カメラ
4, 4a, 4b 投影モデル上の領域
10 撮像部 13, 14 フレームメモリ
20 出力範囲指定部
30 演算部
40, 140 マッピングテーブル参照部
41, 141 投影モデル記憶部
42, 142 マッピングテーブル記憶部
50, 150 画像合成部
60 画像出力部
170 センサ群
171 舵角センサ
発明を実施するための最良の形態
[0034] (第 1の実施形態）
図 1は、本発明の第 1の実施形態に係る車載画像処理装置の主要な構成を示すブ ロック図である。図 1に示すように、本実施形態の車載画像処理装置は、撮像部 10と 、出力範囲指定部 20と、演算部 30と、マッピングテーブル参照部 40と、画像合成部 50と、画像出力部 60とを備え、撮像部 10から入力される画像を所定の仮想視点か ら見た仮想画像に変換して、出力画像として出力するものである。
[0035] 撮像部 10は、実画像を撮影するカメラ 11と、カメラ 11で撮像した映像を記録するフ レームメモリ 13とを備える。撮像部 10が備えるカメラは 1台または複数台であってもよ ぐこの実施形態の撮像部 10はカメラ 11及びフレームメモリ 13の他に、カメラ 12とフ レームメモリ 14を備える。
[0036] 出力範囲指定部 20は、出力画像の対象となる投影モデル上の領域を、出力範囲 として指定する。
[0037] 演算部 30は、位置情報取得部及び視点変換情報取得部の一例として機能するも のであり、出力範囲指定部 20にて指定された出力範囲の出力画像の生成に必要と する入力画像の画素位置を算出する。そして、演算部 30は、その算出した結果を、 出力画像上の画素と実画像上の画素との対応を示す視点変換情報の一例であるマ ッビングテーブルとして、マッピングテーブル参照部 40へ記録する。なお、演算部 30 は、視点変換情報生成プログラムによって動作するプロセッサを主体に構成される。
[0038] マッピングテーブル参照部 40は、所定の投影モデル上における複数の点の位置 情報を記憶する投影モデル記憶部 41と、マッピングテーブルを記憶するマッピング テーブル記憶部 42とを備える。
[0039] 画像合成部 50は、マッピングテーブル参照部 40を参照して出力画像の画素に対 応する入力画像を撮像部 10から読み出して、出力画像の画素を生成する。また、画 像出力部 60は、画像合成部 50で生成された画素力も出力画像を生成して出力する
[0040] 次に、上述した画像合成換装置の動作を説明する。最初に、マッピングテーブル作 成の手順を説明する。図 2は本発明の第 1の実施形態に係る車載画像処理装置の 変換テーブル作成方法の手順を説明するフローチャートである。
[0041] まず、出力範囲指定部 20は、投影モデル記憶部 41に記憶されて 、る投影モデル 上の領域を、出力範囲として指定する (ステップ Sl)。図 3及び図 4は本発明の第 1の 実施形態に係る車載画像処理装置の出力範囲の指定方法を説明する概念図である 。図 3 (A)は、カメラ 2aが取り付けられた車両 laを示し、図 3 (B)は、カメラ 2bが取り付 けられ、車両 laとは車種が異なる車両 lbを示す。ここで、図 3及び図 4では、カメラ 2a , 2bにて撮像した画像を変換する仮想視点として、車両 la, lbそれぞれの前方上方 力も路面を見下ろす仮想カメラ 3a, 3bを例にとって説明する。
[0042] カメラ 2a, 2bは、それぞれ車種の異なる車両 la, lbに取り付けられることから、取り 付け位置や取り付け角度が異なるので、図 3 (A)及び図 3 (B)中の破線にて示すよう に、撮像する範囲が異なる。すなわち、図 3 (A)に示すように、カメラ 2aは位置 Oから 位置 Aまでの範囲を撮像するものであるのに対して、カメラ 2bは位置 O力も位置 Bま での範囲を撮像するものである。
[0043] したがって、仮想カメラ 3aは位置 O力も位置 Aまで撮像する範囲を指定することが 可能であり、仮想カメラ 3bは位置 Oから位置 Bまで撮像する範囲を指定することが可 能である。
[0044] そこで、本実施形態では、出力範囲指定部 20が、実力メラが撮像可能な範囲に応 じて出力範囲を指定することにより、車種に応じた適切な仮想画像を簡易に得ること ができる。すなわち、出力範囲指定部 20は、図 4に示すように、投影モデル記憶部 4 1に記憶されている領域 4から、仮想カメラ 3aの撮像範囲として範囲 4aを、仮想カメラ 3bの撮像範囲として範囲 4bを切り出して指定する。
[0045] なお、上述した出力範囲の指定方法の一例としては、操作者が、車種やカメラ取り 付け位置毎にシミュレーションにより出力範囲を求め、出力範囲指定部 20にパラメ一 タ (投影モデル上の座標の範囲等)を入力することにより、出力範囲指定部 20が出力 範囲を指定する。また、操作者が出力範囲を求める代わりに、出力範囲指定部 20が 、車種の情報等に基づいて投影モデル上の座標の範囲等を演算し、その演算結果 に応じて出力範囲を指定してもよい。
[0046] 次に、演算部 30は、出力範囲指定部 20により指定された出力範囲から、座標の範 囲と、出力画像の画素数に応じて定まるサンプル間隔とを求め、投影モデル記憶部 41から、出力画像の画素位置に対応する投影モデルの点の座標を取得する (ステツ プ S2)。
[0047] なお、演算部 30は、投影モデル記憶部 41に記憶されている出力範囲として指定さ れた投影モデル上の領域における点の数が、出力画像上の画素と一致しな!、場合 には、投影モデル記憶部 41に記憶されて 、る点の位置情報を用いて間引き補間等 で補間し、出力画像の画素位置に対応する点の位置情報 (座標）を求める。
[0048] 例えば、図 4に示す例にぉ 、て、範囲 4bにお 、て、投影モデル記憶部 41が、線分 X— Xにおける点が図 4に示す丸印で示す 4個の点が記憶されており、対応する出力 画像の画素が 7個の場合は、出力画像の画素位置に対応する投影モデル上の点で ある図 4に示す X印の座標を求める。これにより、出力範囲に応じて柔軟にマッピング テーブルを生成することができる。
[0049] このようにして演算部 30により求められた出力画像上の画素位置と、投影モデル上 の位置情報との対応は、マッピングテーブル記憶部 42の第一の記憶手段に記録さ れる。
[0050] 演算部 30は、更に、投影モデル上の対応点に対する実力メラの画素位置を取得し
(ステップ S3)、出力画像の画素位置と入力画像の画素位置とを対応付け (ステップ S4)、マッピングテーブル記憶部 42の第二の記憶手段に、マッピングテーブルとして 記憶する。
[0051] 図 5は本発明の第 1の実施形態に係る車載画像処理装置にて用いられる投影モデ ルによる視点変換を説明する概念図であり、投影モデルとして平面 A、平面 Bの 2つ の平面を設定されている例を示す図である。図 5の場合、投影モデル記憶部 41には 、平面 A及び平面 Bの 2つの平面における 3次元位置の座標が記憶されている。
[0052] 例えば、出力画像の画素 R1の位置 (ul, vl)に対応する 3次元位置 (投影モデル 上の位置情報）として、平面 A上の点 R1Aの座標（xla, yla, zla)がステップ S2に て取得され、マッピングテーブル記憶部 42の第一の記憶手段に記憶されている。ま た、出力画像の画素 R2の位置 (u2, v2)に対応する 3次元位置として、平面 B上の点 R2Bの座標（x2b, y2b, z2b)がステップ S2にて取得され、マッピングテーブル記憶 部 42の第一の記憶手段に記憶されている。
[0053] ここで、仮想カメラと実力メラとの位置関係が予め一定の精度で予測可能な場合、 投影モデル上の対応点がいずれのカメラに対応点を持つ力を計算することが可能で ある。例えば、監視カメラや車載カメラ等は、監視対象等を撮像できる位置としてその 設置場所が限られてしまうのが普通であるため、仮想カメラと実力メラとの位置関係は 予測可能であり、予測した実力メラの位置データを、カメラパラメータとして演算部 30 に入力し、マッピングテーブル記憶部 42の第一の記憶手段の記録データを用いて マッピングテーブルを作成することができる。
[0054] 演算部 30は、 3次元座標記録手段 32を参照して得られる仮想カメラの画素位置に 対応する 3次元座標と、別途入力される実力メラのカメラパラメータとを基に、仮想カメ ラの画素位置に対応する実力メラ上の画素位置を算出する。図 5の場合、前述したよ うに、マッピングテーブル記憶部 42の第一の記憶手段には、例えば、出力画像の画 素 R1の位置（ul, vl)に対応する 3次元位置として、平面 Aの点 R1Aの座標（xla, yla, zla)が、出力画像の画素 R2の位置（u2, v2)に対応する 3次元位置として、平 面 B上の点 R2Bの座標（x2b, y2b, z2b)が記録されている。
[0055] 透視変換によりこれらの点が実力メラ上に投影される点を計算すると、点 R1Aは点 I 1 (Ul, VI)に、点 R2Bは点 I2 (U2, V2)にそれぞれ投影される。演算部 30は、この 結果から、マッピングテーブルを作成し、マッピングテーブル記録部 42の第二の記 憶手段へ格納する。
[0056] また、仮想カメラ上の画素に対応する投影モデル上の対応点に対する実力メラの画 素位置は、周知の校正手段によって容易に計測することができるため、この計測デ ータを取り込めば、仮想カメラと実力メラとの位置関係を設定することができる。
[0057] 図 6は本発明の第 1の実施形態に係る車載画像処理装置にて用いられるマツピン グテーブルを説明する概念図である。
[0058] マッピングテーブル記憶部 42は、演算部 30で計算された仮想カメラ上の画素と実 カメラ上の画素との対応関係を示すマッピングテーブルを記憶するものである。マツ ビングテーブル記憶部 42の第一の記憶手段には、まず、ステップ S2において求めら れた仮想カメラの画素座標位置 (u, V)と投影モデル上の座標 (X, y, z)との関係が 記録される。
[0059] そして、演算部 30は、ステップ S3にて、投影モデル上の座標と実力メラの画素座標 位置 (U, V)との関係をこの記憶情報に基づき算出し、ステップ S4にて、仮想カメラ の画素座標位置 (u, V)と実力メラの画素座標位置 (U, V)との関係を作成してこれを マッピングテーブルとして記憶する。このマッピングテーブルには、必要に応じて、実 カメラの識別子（図 6中に「C1」として例示）と、複数のカメラが対応する場合の各カメ ラの必要度とが記録される。このようにして、マッピングテーブルが作成される。
[0060] 次に、上述したようにして演算部 30がマッピングテーブルを作成し、マッピングテー ブル記憶部 42に記録した後の動作を説明する。
[0061] 撮像部 10では、カメラ 11とカメラ 12とにより撮像した画像をそれぞれフレームメモリ 13、 14へ記録する。マッピングテーブル参照部 40は、マッピングテーブル記憶部 42 に記憶されているマッピングテーブルを参照して、画像合成部 50が生成する出力画 像の画素位置を、その画素に対応する入力画像の画素位置へと変換する。出力画 像の 1つの画素位置力 入力画像の複数の画素位置に対応する場合は、それらの 画素の必要度もマッピングテーブル力 読み出す。
[0062] 画像合成部 50では、マッピングテーブル参照部 40を参照し、生成する出力画像の 画素に対応する入力画像の画素を撮像部 10から読み出す。出力画像の画素が 1つ の入力画像の画素のみに対応する場合は、入力画素の値を画像出力部 60へと出 力する。また、対応する画素が存在しない場合は、予め定めた値を画像出力部 60へ と出力する。
[0063] 出力画像の 1つの画素位置力 入力画像の複数の画素位置に対応する場合は、 入力画像の画素位置と同時に参照した各画素の必要度に応じて、それらの画素値 を合成する。単純には、必要度の逆比に応じて加算し、出力画像の画素値とする。 画像出力部 60は、画像合成部 50で生成された出力画像の画素から出力画像を生 成し、出力する。
[0064] このような本発明の第 1の実施形態によれば、投影モデル記憶部により記憶された 投影モデル上の複数の点の位置情報に基づ 、て、仮想画像の対象となる投影モデ ル上の領域を指定して視点変換情報を生成するので、車種に応じた適切な仮想画 像を簡易に得ることができる。
[0065] (第 2の実施形態）
図 7は本発明の第 2の実施形態に係る車載画像処理装置の主要な構成を示すプロ ック図である。図 7において、第 1の実施形態で説明した図 1と重複する部分につい ては同一の符号を付す。
[0066] 図 7に示すように、本実施形態の車載画像処理装置は、撮像部 10と、出力範囲指 定部 20と、演算部 30と、マッピングテーブル参照部 140と、画像合成部 150と、画像 出力部 60とを備える。
[0067] マッピングテーブル参照部 140は、投影モデル記憶部 141とマッピングテーブル記 憶部 142とを有する。
[0068] 投影モデル記憶部 141は、車両の状態に応じて予測される走行軌跡を示す軌跡 データを、投影モデル上における点の位置情報に対応付けて記憶する。投影モデ ル記憶部 141に記憶されるデータの例について、図 8及び図 9を参照して説明する。
[0069] 図 8は、本発明の第 2の実施形態に係る車載画像処理装置にて用いられる軌跡情 報を含むテーブルの第 1例を示す概念図である。図 8に示す例では、投影モデル上 の点の座標に、車両の状態に応じて予測される走行軌跡を示す軌跡データが対応 付けられている。この例では、軌跡データに含まれる車両の状態を示す要素として、 車幅及び車両のハンドルの操舵角が示されている。図 8に示された例では、点 p2 (x 2, y2, z2)が、車両の車幅が 160cmの車で操舵角が 30度の場合に、車両の走行 が予測される位置であることを示す。
[0070] 図 9は、本発明の第 2の実施形態に係る車載画像処理装置にて用いられる軌跡情 報を含むテーブルの第 2例を示す概念図である。図 9に示す例では、車幅及び操舵 角の要素を有する軌跡データに、投影モデル上の点の座標が対応付けられている。
[0071] 演算部 30は、出力範囲指定部 20にて指定された出力範囲に基づいて出力画像 の画素位置と投影モデル上の点の座標とを対応付ける際に、投影モデル記憶部 14 1に記憶されて ヽる投影モデル上の点の座標に軌跡データが対応付けられて ヽる場 合、出力画像の画素位置に軌跡データを対応付け、マッピングテーブル記憶部 142 に記録する。更に、演算部 30は、軌跡データが対応付けられた出力画素の画素位 置を、入力画像の画素位置を対応付けてマッピングテーブルとしてマッピングテープ ル記憶部 142に記録する。
[0072] 図 10は、本発明の第 2の実施形態に係る車載画像処理装置にて用いられるマツピ ングテーブルを説明する概念図である。図 10に示すように、仮想カメラの画素位置（ u, V)には、入力画像の画素位置 (U, V)のほか、カメラの識別子 Cに加え、車幅 W 及び舵角 Aの軌跡データが付加されている。これ〖こより、車幅及び舵角に応じて、そ の出力画素の画素位置が、予測走行軌跡上であるかを判定することができる。
[0073] このようにして、本実施形態の車載画像処理装置は、軌跡データを対応付けたマツ ビングテーブルを作成し、マッピングテーブル記憶部 142に記憶するものである。車 幅や回転半径が同じであれば、異なる車種であっても、投影モデル上を走行する軌 跡は同じである。例えば、同じモデルであっても車種や型式が異なる場合、回転半径 が同じであることが多い。このような場合は、共通のデータを用いて、軌跡データをマ ッビングテーブルに埋め込むことができる。
[0074] 次に、上述したようにして演算部 30がマッピングテーブルを作成し、マッピングテー ブル記憶部 142に記録した後の動作を説明する。
[0075] 撮像部 10では、カメラ 11とカメラ 12とにより撮像した画像をそれぞれフレームメモリ 13、 14へ記録する。マッピングテーブル参照部 140は、マッピングテーブル記憶部 1 42に記憶されているマッピングテーブルを参照して、画像合成部 150が生成する出 力画像の画素位置を、その画素に対応する入力画像の画素位置へと変換する。出 力画像の 1つの画素位置が、入力画像の複数の画素位置に対応する場合は、それ らの画素の必要度もマッピングテーブル力 読み出す。
[0076] 画像合成部 150では、マッピングテーブル参照部 140を参照し、生成する出力画 像の画素に対応する入力画像の画素を撮像部 10から読み出す。出力画像の画素 力 S1つの入力画像の画素のみに対応する場合は、入力画素の値を画像出力部 60へ と出力する。また、対応する画素が存在しない場合は、予め定めた値を画像出力部 6 0へと出力する。
[0077] 出力画像の 1つの画素位置力 入力画像の複数の画素位置に対応する場合は、 入力画像の画素位置と同時に参照した各画素の必要度に応じて、それらの画素値 を合成する。単純には、必要度の逆比に応じて加算し、出力画像の画素値とする。
[0078] さらに、画像合成部 150は、車両に設置された舵角センサ 171を含むセンサ群 170 から出力される、車両の状態を示す信号に基づいて、現在の車両の状態に合致する 軌跡データが対応付けられている出力画素に予測走行軌跡を重畳する。
[0079] 図 11は、本発明の第 2の実施形態に係る車載画像処理装置の出力画像の一例を 示す説明図である。図 11に示すように、画像合成部 150は、舵角センサ 171からの 信号に基づいて、軌跡データが対応付けられた出力画素の画素位置 P1L, P2L, P 3L及び出力画像の画素位置 P1R, P2R, P3Rを抽出し、これら予測走行軌跡 LL, LRとして結び、出力画像 VIに重畳する。そして、画像出力部 60は、画像合成部 15 0で生成された、出力画像の画素及び予測走行軌跡から出力画像を生成し、出力す る。
[0080] このような本発明の第 2の実施形態によれば、マッピングテーブルに軌跡データが 対応付けられていることから、センサ力 の出力に応じてその都度予測走行軌跡を演 算して求める必要がな 、ので、予測走行軌跡を仮想画像に重畳して表示するための 演算量を抑制することができる。
[0081] なお、本発明の第 2の実施形態では、 1つのマッピングテーブル内に入力画素位置 と車幅と航角データを持たせている。これを、入力画素のみを持つマッピングデータ 1と、航角を表示する位置を持つマッピングデータ 2とに分けても良い。また、データ の形式は一例であり、これと異なっても良い。
[0082] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲 を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明ら かである。
本出願は、 2006年 8月 18日出願の日本特許出願 No.2006-223278に基づくものであ り、その内容はここに参照として取り込まれる。
産業上の利用可能性
[0083] 本発明の車載画像処理装置及びその視点変換情報生成方法は、車種に応じた適 切な仮想画像を簡易に得ることが可能な効果を有し、車載カメラシステム等に有用で ある。

Claims

請求の範囲
[1] 実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た仮想画 像に変換する車載画像処理装置であって、
所定の投影モデル上の複数の点の位置情報を記憶する投影モデル記憶部と、 前記仮想画像の表示範囲対象として別途指定された前記投影モデル上の領域に ぉ ヽて、前記仮想画像上の画素が映す前記投影モデル上の点を仮想画像対応点と して、その位置情報を、前記投影モデル記憶部を参照して取得する位置情報取得 部と、
前記仮想画像対応点を映す前記実画像上の画素を求め、前記仮想画像上の画素 と前記実画像上の画素との対応を示す視点変換情報を取得する視点変換情報取得 部と
を備える車載画像処理装置。
[2] 請求項 1に記載の車載画像処理装置であって、
前記位置情報取得部は、前記投影モデル記憶部に記憶されている前記指定され た投影モデル上の領域における点の数が前記仮想画像上の画素数と一致しない場 合は、前記投影モデル記憶部に記憶されている点を用いて、前記仮想画像対応点 の位置情報を求める車載画像処理装置。
[3] 請求項 1又は 2に記載の車載画像処理装置であって、
前記投影モデル記憶部は、車両の状態に応じて予測される走行軌跡を示す軌跡 データを、前記投影モデル上における複数の点の位置情報に対応付けて記憶し、 前記位置情報取得部は、前記仮想画像対応点の位置情報に前記軌跡データを対 応付け、 前記視点変換情報取得部は、前記仮想画像上の画素に前記軌跡データ を対応付けて前記視点変換情報を生成する車載画像処理装置。
[4] 実画像を撮像する撮像部から入力される画像を、所定の仮想視点から見た前記仮 想画像に変換する車載画像処理装置の視点変換情報生成方法であって、
前記仮想画像の表示範囲対象として別途指定された所定の投影モデル上の領域 にお ヽて、前記仮想画像上の画素が映す前記投影モデル上の点を仮想画像対応 点として、その位置情報を、前記投影モデル上の複数の点の位置情報を記憶する投 影モデル記憶部を参照して取得するステップと、
前記仮想画像対応点を映す前記実画像上の画素を求め、前記仮想画像上の画素 と前記実画像上の画素との対応を示す視点変換情報を取得するステップと
を有する視点変換情報生成方法。
コンピュータに、請求項 4に記載された視点変換情報生成方法の各手順を実行さ せる視点変換情報生成プログラム。
PCT/JP2007/063604 2006-08-18 2007-07-06 dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue WO2008020516A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/377,964 US20100165105A1 (en) 2006-08-18 2007-07-06 Vehicle-installed image processing apparatus and eye point conversion information generation method
EP07768329A EP2053860A4 (en) 2006-08-18 2007-07-06 ON-BOARD IMAGE PROCESSING DEVICE AND METHOD FOR GENERATING POINT-OF-THE-ART CONVERTING INFORMATION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006223278A JP5013773B2 (ja) 2006-08-18 2006-08-18 車載画像処理装置及びその視点変換情報生成方法
JP2006-223278 2006-08-18

Publications (1)

Publication Number Publication Date
WO2008020516A1 true WO2008020516A1 (fr) 2008-02-21

Family

ID=39082044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/063604 WO2008020516A1 (fr) 2006-08-18 2007-07-06 dispositif de traitement d'image embarqué et son procédé de génération d'informations de conversion de point de vue

Country Status (5)

Country Link
US (1) US20100165105A1 (ja)
EP (1) EP2053860A4 (ja)
JP (1) JP5013773B2 (ja)
CN (1) CN101513062A (ja)
WO (1) WO2008020516A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800854B (zh) * 2009-02-05 2013-01-02 索尼公司 图像拾取装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239345B1 (en) * 2001-10-12 2007-07-03 Worldscape, Inc. Camera arrangements with backlighting detection and methods of using same
JP5195592B2 (ja) * 2009-03-31 2013-05-08 富士通株式会社 映像処理装置
FR2945491A1 (fr) * 2009-05-18 2010-11-19 Peugeot Citroen Automobiles Sa Procede et dispositif pour etendre une zone de visibilite
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
CN102652321B (zh) 2009-12-11 2014-06-04 三菱电机株式会社 图像合成装置以及图像合成方法
CN101819678A (zh) * 2010-03-16 2010-09-01 昆明理工大学 驾驶模拟系统三维虚拟图像的标定方法
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP2011257940A (ja) 2010-06-08 2011-12-22 Panasonic Corp 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
JP2012244196A (ja) * 2011-05-13 2012-12-10 Sony Corp 画像処理装置及び方法
JP6155674B2 (ja) * 2013-02-07 2017-07-05 市光工業株式会社 車両用視認装置
CN106546257B (zh) * 2013-04-16 2019-09-13 合肥杰发科技有限公司 车距测量方法及装置、车辆相对速度测量方法及装置
EP3301645B1 (en) * 2013-10-02 2019-05-15 Given Imaging Ltd. System and method for size estimation of in-vivo objects
JP6276719B2 (ja) * 2015-02-05 2018-02-07 クラリオン株式会社 画像生成装置、座標変換テーブル作成装置および作成方法
WO2018087856A1 (ja) * 2016-11-10 2018-05-17 三菱電機株式会社 映像合成装置及び映像合成方法
JP7086522B2 (ja) * 2017-02-28 2022-06-20 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
DE102017220282A1 (de) * 2017-11-14 2019-05-16 Robert Bosch Gmbh Testverfahren für ein Kamerasystem, ein Steuergerät des Kamerasystems, das Kamerasystem und ein Fahrzeug mit diesem Kamerasystem
JP7109907B2 (ja) * 2017-11-20 2022-08-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10635938B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Learning method and learning device for allowing CNN having trained in virtual world to be used in real world by runtime input transformation using photo style transformation, and testing method and testing device using the same
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法
CN111738909B (zh) * 2020-06-11 2023-09-26 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN117312591B (zh) * 2023-10-17 2024-03-12 南京海汇装备科技有限公司 一种基于虚拟现实的图像数据存储管理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239999A (ja) * 1994-02-28 1995-09-12 Isuzu Motors Ltd 車両後方監視装置
JP2000079860A (ja) * 1998-06-26 2000-03-21 Aisin Seiki Co Ltd 駐車補助装置
WO2000064175A1 (fr) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2003256874A (ja) 2002-03-04 2003-09-12 Matsushita Electric Ind Co Ltd 画像合成変換装置
JP2003346132A (ja) * 2002-05-28 2003-12-05 Toshiba Corp 座標変換装置、座標変換プログラム
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2006223278A (ja) 2005-02-16 2006-08-31 Crescendo Corporation 納豆のたれ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3183632B2 (ja) * 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP2004064441A (ja) * 2002-07-29 2004-02-26 Sumitomo Electric Ind Ltd 車載画像処理装置及び周囲モニタシステム
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239999A (ja) * 1994-02-28 1995-09-12 Isuzu Motors Ltd 車両後方監視装置
JP2000079860A (ja) * 1998-06-26 2000-03-21 Aisin Seiki Co Ltd 駐車補助装置
WO2000064175A1 (fr) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2003256874A (ja) 2002-03-04 2003-09-12 Matsushita Electric Ind Co Ltd 画像合成変換装置
JP2003346132A (ja) * 2002-05-28 2003-12-05 Toshiba Corp 座標変換装置、座標変換プログラム
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2006223278A (ja) 2005-02-16 2006-08-31 Crescendo Corporation 納豆のたれ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2053860A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101800854B (zh) * 2009-02-05 2013-01-02 索尼公司 图像拾取装置

Also Published As

Publication number Publication date
CN101513062A (zh) 2009-08-19
JP2008048266A (ja) 2008-02-28
EP2053860A4 (en) 2010-01-20
EP2053860A1 (en) 2009-04-29
US20100165105A1 (en) 2010-07-01
JP5013773B2 (ja) 2012-08-29

Similar Documents

Publication Publication Date Title
JP5013773B2 (ja) 車載画像処理装置及びその視点変換情報生成方法
JP4021685B2 (ja) 画像合成変換装置
EP1850595B1 (en) Periphery supervising device, and periphery supervising method
JP6079131B2 (ja) 画像処理装置、方法、及びプログラム
US7307655B1 (en) Method and apparatus for displaying a synthesized image viewed from a virtual point of view
WO2009119110A1 (ja) 死角表示装置
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
CN107465890B (zh) 车辆的图像处理装置
JP2009017462A (ja) 運転支援システム及び車両
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2002135765A (ja) カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2009118416A (ja) 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP2002228442A (ja) 位置姿勢の決定方法及び装置並びに記憶媒体
WO2021237471A1 (en) Depth-guided video inpainting for autonomous driving
JP2010103730A (ja) 車載カメラのキャリブレーション装置およびキャリブレーション方法
US20230351625A1 (en) A method for measuring the topography of an environment
JP6910454B2 (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
KR101771657B1 (ko) 차량 주변 실사 영상과 주행 지리 정보를 합성하여 표시하는 내비게이션 장치 및 그 방법
JP2003346189A (ja) 車両用映像表示装置
JP2019185520A (ja) 画像処理装置および方法
JP2005063041A (ja) ３次元モデリング装置、方法、及びプログラム
JP6216525B2 (ja) カメラ画像のキャリブレーション方法およびキャリブレーション装置
JP2821042B2 (ja) 画像合成装置
US10825135B2 (en) Method and device for determining a transition between two display images, and vehicle
Esparza et al. Wide base stereo with fisheye optics: A robust approach for 3d reconstruction in driving assistance

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780030779.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07768329

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007768329

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12377964

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU