WO2011155112A1 - 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム - Google Patents

逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム Download PDF

Info

Publication number
WO2011155112A1
WO2011155112A1 PCT/JP2011/002210 JP2011002210W WO2011155112A1 WO 2011155112 A1 WO2011155112 A1 WO 2011155112A1 JP 2011002210 W JP2011002210 W JP 2011002210W WO 2011155112 A1 WO2011155112 A1 WO 2011155112A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
conversion
viewpoint
inverse
conversion table
Prior art date
Application number
PCT/JP2011/002210
Other languages
English (en)
French (fr)
Inventor
高橋　幸司
一ノ瀬　忠夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180003251XA priority Critical patent/CN102473284A/zh
Priority to EP11792075.1A priority patent/EP2581875A1/en
Publication of WO2011155112A1 publication Critical patent/WO2011155112A1/ja
Priority to US13/358,072 priority patent/US20120188267A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Definitions

  • the present invention relates to an inverse conversion table generation method, an inverse conversion table generation program, an image conversion apparatus, an image conversion method, and an image conversion program.
  • the input image obtained from the camera is expanded in frequency by fast Fourier transform and wavelet transform, and other than the target object to be extracted is removed from the judgment target area using the frequency as a threshold value
  • an image recognition apparatus that detects a target object by comparing the target object with a template that is held in advance is known (see, for example, Patent Document 1).
  • the template amount is obtained by expanding the pedestrian's outline, and the amount of template required for comparison is reduced compared to the case where the image is a template.
  • the processing load can be reduced and the speed can be increased.
  • an in-vehicle image processing device that converts a captured image of a camera into a viewpoint conversion image viewed from a predetermined virtual viewpoint and outputs the viewpoint conversion image to an external device.
  • a captured image is referred to by referring to a viewpoint conversion table that holds a coordinate relationship between each pixel of an image (viewpoint converted image) viewed from a virtual viewpoint and each pixel of a camera image (captured image). Can be calculated into a viewpoint-converted image.
  • an image obtained by frequency-expanding an image for a template is held as a template, and image recognition is performed by comparing the frequency-expanded image captured by the camera with this template.
  • image recognition is performed by comparing the frequency-expanded image captured by the camera with this template.
  • the present invention has been made in view of the above circumstances, and is an inverse conversion table generation method, an inverse conversion table generation program, and an image conversion capable of acquiring an image before performing viewpoint conversion on a predetermined image. It is an object to provide an apparatus, an image conversion method, and an image conversion program.
  • the inverse conversion table generation method of the present invention creates an inverse conversion table for generating an inverse conversion table for generating an image before viewpoint conversion processing related to the viewpoint conversion image from the viewpoint conversion image as an inverse conversion image.
  • the distance between the conversion reference coordinates stored in the table coordinates of the viewpoint conversion table for generating the viewpoint conversion image and the calculation target table coordinates of the inverse conversion table is determined by the conversion reference by the control unit. Calculated for each coordinate, and based on the table coordinate of the viewpoint conversion table and the distance related to the conversion reference coordinate stored in the table coordinate, the inverse conversion reference stored in the calculation target table coordinate of the inverse conversion table Calculate the coordinates.
  • This method makes it possible to easily generate an inverse conversion table for generating an inversely converted image before the viewpoint conversion process from the viewpoint converted image.
  • control unit excludes the conversion reference coordinates stored in the table coordinates located outside the predetermined range in the viewpoint conversion table from the conversion reference coordinates used for the calculation of the distance.
  • This method can further reduce the processing load when generating the reverse conversion table. That is, the number of conversion reference coordinates on the viewpoint conversion table to be obtained in order to obtain one reverse conversion reference coordinate can be changed depending on the range to be specified, and coordinates that do not significantly affect the calculated reverse conversion reference coordinates. Can be omitted. Therefore, there is no deterioration in the accuracy of the calculation result, and the calculation amount can be suppressed.
  • the reverse conversion table generation program of the present invention is a program for executing the procedure of the reverse conversion table generation method.
  • This program makes it possible to easily generate a reverse conversion table for generating a reverse conversion image before the viewpoint conversion processing from the viewpoint conversion image.
  • the image conversion apparatus of the present invention inputs the viewpoint conversion image from a memory that stores the reverse conversion table generated by the above-described reverse conversion table generation method and an imaging apparatus that generates a viewpoint conversion image from the captured image.
  • An image conversion unit that generates, from the viewpoint conversion image, an image before the viewpoint conversion processing related to the viewpoint conversion image is performed as an inverse conversion image using the image input unit, the inverse conversion table, and the image conversion
  • An image output unit that outputs the inversely converted image generated by the calculation unit.
  • an inversely converted image can be easily generated even when a viewpoint converted image is input from an imaging device having a viewpoint converting function.
  • the inverse conversion table is stored in the image conversion apparatus in advance, the calculation time of the inverse conversion reference coordinates is not required, so that the calculation time is greatly reduced and the real-time output of the inverse conversion image is possible.
  • the detection device can easily perform image recognition using the inversely converted image.
  • the image conversion calculation unit performs an interpolation process on the viewpoint conversion image based on pixel values around the coordinates indicated by the reverse conversion reference coordinates included in the reverse conversion table. To generate the inversely transformed image.
  • This configuration makes it possible to smoothen the inversely transformed image with higher image quality.
  • the image conversion apparatus of the present invention further includes a memory that stores a viewpoint conversion table for performing viewpoint conversion processing on the inversely converted image, and the image conversion arithmetic unit recognizes an object in the inversely converted image.
  • the viewpoint conversion image is generated from the inversely converted image using the viewpoint conversion table.
  • the viewpoint conversion table is the same viewpoint conversion table as the viewpoint conversion table held in the imaging apparatus.
  • the viewpoint conversion table is a viewpoint conversion table different from the viewpoint conversion table held in the imaging apparatus.
  • the image conversion method of the present invention includes a step of inputting the viewpoint conversion image from an imaging device that generates a viewpoint conversion image from the captured image, and an inverse generated by the reverse conversion table generation method stored in the memory. Using the conversion table, generating from the viewpoint conversion image an image before the viewpoint conversion processing related to the viewpoint conversion image is performed as an inverse conversion image; and outputting the generated reverse conversion image; Have.
  • This method makes it possible to easily and accurately perform image recognition even when a viewpoint conversion image is input from an imaging apparatus having a viewpoint conversion function. Also, by preparing an inverse conversion table in advance, the calculation time of the inverse conversion reference coordinates is not required, so that the calculation time is greatly reduced, and real-time output of the inversely converted image is possible.
  • the image conversion program of the present invention is a program for executing the procedure of the image conversion method.
  • This program makes it possible to perform image recognition easily and with high accuracy even when a viewpoint conversion image is input from an imaging apparatus having a viewpoint conversion function. Also, by preparing an inverse conversion table in advance, the calculation time of the inverse conversion reference coordinates is not required, so that the calculation time is greatly reduced, and real-time output of the inversely converted image is possible.
  • the block diagram which shows an example of a structure of the reverse conversion table production
  • 1 is a block diagram showing an example of the configuration of an image conversion apparatus according to a first embodiment of the present invention.
  • the image figure of the reverse conversion process performed using the reverse conversion table in the 1st Embodiment of this invention The block diagram which shows an example of a structure of the image converter in the 2nd Embodiment of this invention.
  • the flowchart which shows an example of operation
  • the image conversion apparatus is, for example, an in-vehicle camera.
  • the image conversion apparatus performs an inverse conversion process for generating an inversely converted image from a viewpoint converted image using the inversely converted table generated by the inversely converted table generating method.
  • the inverse conversion table is a table for converting from the coordinate system of the viewpoint conversion image to the coordinate system before the viewpoint conversion processing is performed (that is, the coordinate system of the captured image).
  • the inverse conversion table stores information (hereinafter, also referred to as inverse conversion reference coordinates) indicating to which pixel in the viewpoint conversion image each pixel of the captured image corresponds.
  • the image conversion apparatus is an apparatus that inputs an image from a vehicle-mounted camera, for example.
  • FIG. 1 is a block diagram showing an example of the configuration of an inverse conversion table generation device according to the first embodiment of the present invention.
  • the reverse conversion table generation device generates the reverse conversion table by the reverse conversion table generation method.
  • the reverse conversion table generating apparatus 10 illustrated in FIG. 1 mainly includes a control unit 11, a memory 12, and an input / output unit 13.
  • the control unit 11 is configured by a CPU or the like, and supervises the processing in each of the configuration units 11 to 13 of the reverse conversion table generation device 10. In addition, the control unit 11 performs a calculation process for calculating the reverse conversion reference coordinates of the reverse conversion table.
  • the memory 12 stores various types of information, for example, a viewpoint conversion table used for the viewpoint conversion processing from the coordinate system of the captured image to the coordinate system of the viewpoint conversion image.
  • the viewpoint conversion table stores information (hereinafter also referred to as conversion reference coordinates) indicating which pixel in the captured image corresponds to each pixel of the viewpoint conversion image.
  • the memory 12 can also store an inverse conversion table generated by the control unit 11.
  • the memory 12 can also store an inverse conversion table generation program for generating an inverse conversion table executed by the control unit 11.
  • the input / output unit 13 inputs / outputs various information, and outputs, for example, an inverse conversion table generated by the control unit 11.
  • an inverse conversion table generated by the control unit 11.
  • the information of the reverse conversion table is transmitted to and received from the external device, and the storage medium such as a CD-ROM is used. Includes storing the information of the inverse conversion table.
  • the x coordinate of the transformation reference coordinate P (a, b) stored in a certain table coordinate (a, b) on the viewpoint transformation table T2 held in the imaging device 25 is Px, and the y coordinate is Py. Then, it can be expressed as follows.
  • the control unit 11 determines each distance L () between the table coordinates (i, j) for which the inverse conversion reference coordinates are calculated and each conversion reference coordinate P (a, b) stored in the viewpoint conversion table T2. a, b) (two of L1 and L2 are shown in FIG. 2).
  • This distance L (a, b) can be expressed as follows. This distance L (a, b) is calculated for each conversion reference coordinate for the table coordinates to be calculated.
  • each conversion reference coordinate P (a, b) indicates each conversion reference coordinate stored in all table coordinates in the search range of the viewpoint conversion table T2.
  • the control unit 11 may set the search range of the viewpoint conversion table T2 as the entire viewpoint conversion table T2, or may limit the search range to a predetermined range. By limiting within the predetermined range, it is possible to reduce the load of calculation processing such as distance calculation when generating the inverse conversion table.
  • the control unit 11 calculates a weighting coefficient K (a, b) of each conversion reference coordinate P (a, b).
  • This weight coefficient K (a, b) can be expressed as follows.
  • the weight coefficient K (a, b) is calculated for each conversion reference coordinate. That is, the weight coefficient K is calculated based on the distance L (a, b).
  • R represents the maximum distance between the table coordinates (i, j) for which the inversely converted reference coordinates are calculated and the converted reference coordinates P (a, b), and matches the accuracy and calculation amount. Can be determined arbitrarily. Also, the conversion reference coordinates P (a, b) for which the weight coefficient K is negative are not targeted.
  • control unit 11 calculates Ax and Ay of the inverse transformation reference coordinates A (i, j) stored in the inverse transformation table T1 using each weight coefficient K.
  • Ax and Ay of the inverse transformation reference coordinates A (i, j) can be expressed as follows.
  • the reverse conversion reference coordinates calculated by the reverse conversion reference coordinate calculation process of the reverse conversion table T1 are stored in the reverse conversion table T1. In this way, the inverse conversion table T1 is generated.
  • the image conversion apparatus can accurately output an inversely converted image from an input viewpoint converted image in a short time.
  • an inverse conversion device that inputs and converts an output image of a vehicle-mounted camera (an example of an imaging device) can be considered.
  • FIG. 3 is a block diagram showing an example of the configuration of the image conversion apparatus according to the first embodiment of the present invention. 3 is mounted on a vehicle (not shown).
  • the vehicle mainly includes an imaging device 25, a vehicle display unit 26, a detection device 27, and a control device 28.
  • the imaging device 25 images the periphery of the vehicle, converts the acquired image using the viewpoint conversion table, and outputs a viewpoint conversion image.
  • the vehicle display unit 26 is a display unit such as an in-vehicle monitor installed in the vehicle that displays the viewpoint conversion image input from the imaging device 25.
  • the detection device 27 detects a person or an object from the image input from the image conversion device 20, detects a white line, a traffic signal, or the like, and outputs the detection result as a detection signal.
  • the control device 28 controls the steering wheel operation, the brake operation, the engine operation, and the like based on the detection signal input from the detection device 27. These devices are electrically connected.
  • the imaging device 25, the vehicle display unit 26, and the detection device 27 connected to the image conversion device 20 may be connected via an electronic control unit (Electrical Control Unit) (not shown) installed in the vehicle.
  • an electronic control unit Electric Control Unit (Electrical Control Unit) (not shown) installed in the vehicle.
  • the image conversion apparatus 20 mainly includes an image input unit 21, an image conversion calculation unit 22, and an image output unit 24.
  • the image input unit 21 acquires the viewpoint conversion image from the imaging device 25 and stores it in the frame memory. Note that this frame memory is randomly accessible because the reading process is irregularly performed in the inverse conversion process performed by the image conversion calculation unit 22.
  • the image conversion calculation unit 22 performs an inverse conversion process on the viewpoint conversion image input from the image input unit 21 with reference to the inverse conversion table.
  • the inverse conversion table T1 is an inverse conversion table generated by the above-described inverse conversion table generation method, and is held in a memory (not shown) in the image conversion apparatus 20.
  • FIG. 4 is an image diagram of the reverse conversion process performed using the reverse conversion table T1.
  • (3, 3) is stored as the inverse transformation reference coordinate at the position of the table coordinate (1, 1) of the inverse transformation table T1 (see FIG. 4A).
  • the result of the inverse transformation process includes the pixel value of each coordinate in the output image.
  • the image conversion calculation unit 22 may perform an interpolation process on the viewpoint conversion image when performing the inverse conversion process.
  • the image transformation calculation unit 22 reads out pixel values around the coordinates indicated by the inverse transformation reference coordinates from the frame memory.
  • the periphery of the coordinates indicated by the inverse transformation reference coordinates is, for example, four integer coordinates adjacent to the inverse transformation reference coordinates. Then, for example, an average value of the read pixel values is calculated as an interpolation pixel value.
  • the information of the result of the inverse conversion process by the image conversion calculation unit 22 or the result of the interpolation process is sent to the image output unit 24.
  • the image output unit 24 holds the result of the inverse conversion process by the image conversion calculation unit 22 or the result of the interpolation process in the frame memory. That is, the image output unit 24 holds each pixel value of each coordinate of the output image.
  • the image output unit 24 is connected to an external device such as the detection device 27 and outputs an inversely converted image that has been subjected to an inverse conversion process.
  • an image conversion program for executing image conversion by the image conversion apparatus can be stored in a memory (not shown).
  • an inversely converted image is output to the detection apparatus 27. Therefore, the detection apparatus 27 acquires an image before viewpoint conversion by the imaging apparatus 25, and performs processing such as object recognition. Can be performed with high accuracy. Further, by holding the inverse conversion table T1 generated by the inverse conversion table generation method in the image conversion apparatus 20 in advance, the calculation time of the inverse conversion reference coordinates is not required at the time of image conversion, and if necessary, interpolation is performed. Since only the processing needs to be performed, the computation time is greatly reduced, and an inversely transformed image can be output in real time.
  • FIG. 5 is a block diagram showing an example of the configuration of an image conversion apparatus according to the second embodiment of the present invention.
  • An image conversion device 30 shown in FIG. 5 is mounted on a vehicle (not shown).
  • the vehicle mainly includes an imaging device 25, a vehicle display unit 26, a detection device 35, and a vehicle display unit 36.
  • the same components as those described in FIG. 3 are denoted by the same reference numerals, and the description thereof is simplified or omitted.
  • the detection device 35 detects a person or an object from the image input from the image conversion device 20, detects a state of a white line, a traffic signal, or the like, and outputs the detection result as a detection signal. In addition, the detection device 35 outputs a switching signal for turning on the switch units 33 and 34 of the image conversion device 30. Further, the detection device 35 outputs the inversely converted image to the image conversion device 30. The vehicle display part 36 superimposes and outputs the object recognition result by the detection apparatus 35 on a viewpoint conversion image. These devices are electrically connected.
  • the imaging device 25, the vehicle display unit 26, the detection device 35, and the vehicle display unit 36 connected to the image conversion device 30 are connected via an electronic control unit (Electrical Control Unit) (not shown) installed in the vehicle. May be.
  • an electronic control unit Electric Control Unit (Electrical Control Unit) (not shown) installed in the vehicle. May be.
  • the image conversion apparatus 30 mainly includes an input changeover switch unit 33, an image input unit 21, an image conversion calculation unit 31, an image output unit 24, and an output changeover switch unit 34.
  • the image conversion calculation unit 31 receives the switching signal output by the detection device 35, and selects either the inverse conversion table or the viewpoint conversion table based on the switching signal. When an inverse conversion table is selected, an inverse conversion process or an interpolation process is performed. When a viewpoint conversion table is selected, a viewpoint conversion process is performed.
  • the viewpoint conversion process can be performed by a known method. Note that the inverse conversion table T1 and the viewpoint conversion table T2 are stored in advance in a memory (not shown).
  • the viewpoint conversion table T2 may be a viewpoint conversion table different from that held in the imaging device 25, or may be the same viewpoint conversion table as that held in the imaging device 25.
  • viewpoint conversion table T2 By holding the same viewpoint conversion table T2 as the viewpoint conversion table of the imaging device 25, it is possible to acquire an image before obtaining an inversely converted image. Further, by holding a viewpoint conversion table T2 different from the viewpoint conversion table of the imaging device 25, an image viewed from the third viewpoint can be obtained. Further, even if the image is not viewed from the third viewpoint, a viewpoint conversion image is generated by holding a table that generates an output image by enlarging or reducing a specific portion of the input image as the viewpoint conversion table T2. Also, a third image different from the inversely transformed image can be obtained.
  • the input changeover switch unit 33 is connected to the imaging device 25 and the detection device 35 on the input side, receives the switching signal output by the detection device 35, and switches the input path to the image input unit 21.
  • the input changeover switch 33 includes a viewpoint conversion image output from the imaging device 25 and a detection image (an image including the reverse conversion image and the detection result) on which the detection result output from the detection device 35 is superimposed, Is entered.
  • the input changeover switch unit 33 receives the switching signal output by the detection device 35 and selects an image held in the image input unit 21 based on the switching signal.
  • the output changeover switch unit 34 is connected to the image output unit 24 on the input side, receives a switching signal output from the detection device 35, and is one of the detection device 35 and the vehicle display unit 36 connected to the image conversion device 30. Switch the output path to one. That is, the image output from the image output unit 24 is input to the output changeover switch unit 34. Then, the output changeover switch unit 34 outputs an image to one of the detection device 35 and the vehicle display unit 36 connected to the image conversion device 30 in accordance with the switching signal output by the detection device 35.
  • FIG. 6 is a flowchart illustrating an example of the operation of the image conversion apparatus 30.
  • the input changeover switch unit 33 is connected to the imaging device 25 or the detection device 35, and inputs a viewpoint conversion image from the imaging device 25 or a detection image from the detection device 35 (step S11). Subsequently, the input changeover switch unit 33 selects a viewpoint conversion image from the imaging device 25 or a detection image from the detection device 35 as an image to be sent to the image input unit 21 based on the switching signal output by the detection device 35. (Step S12).
  • the switching signal includes a switching signal indicating the detection image input timing (hereinafter referred to as a Y signal) and a switching signal indicating that the detection image input timing is not satisfied (hereinafter referred to as an N signal). . That is, the Y signal indicates that the object recognition by the detection device 35 has been completed.
  • the input changeover switch unit 33 When the input changeover switch unit 33 receives the N signal, the imaging device 25 and the image input unit 21 are connected, and the image input unit 21 inputs the viewpoint conversion image output from the imaging device 25 (step S13). . On the other hand, when the input changeover switch unit 33 receives the Y signal, the detection device 35 and the image input unit 21 are connected, and the image input unit 21 inputs a detection image output from the detection device 35 (step S14). It is assumed that an N signal is transmitted from the detection device 35 when an image of the first frame is input in the input changeover switch unit 33 (that is, during an initial operation).
  • the image conversion calculation unit 31 selects a viewpoint conversion table or an inverse conversion table as a table for reading the reference coordinates based on the switching signal output by the detection device 35 (step S15).
  • the image conversion calculation unit 31 selects the reverse conversion table and reads the reverse conversion reference coordinates (step S16). Then, the image conversion calculation unit 31 generates an inversely converted image from the viewpoint converted image held in the image input unit 21 based on the inversely converted reference coordinates, and outputs it to the image output unit 24 (step S17).
  • the image conversion calculation unit 31 selects the viewpoint conversion table and reads the conversion reference coordinates (step S18). Then, the image conversion calculation unit 31 generates a viewpoint conversion image from the detected image held in the image input unit 21 based on the conversion reference coordinates, and outputs the viewpoint conversion image to the image output unit 24 (step S19).
  • the output changeover switch unit 34 selects an output destination for outputting the inversely converted image or the viewpoint converted image from the image output unit 24 (step S20).
  • the output changeover switch unit 34 outputs an inversely converted image to the detection device 35 (step S21).
  • the detection apparatus 35 produces
  • the vehicle display unit 36 outputs a viewpoint conversion image (step S23).
  • a detection result obtained by detecting an object or the like by the detection device 35 is superimposed on the viewpoint conversion image. For example, a frame indicating a recognized object is displayed together with the viewpoint conversion image.
  • object detection or the like can be performed using the inversely converted image, and the detection result can be displayed superimposed on the viewpoint converted image.
  • the image conversion calculation unit 31 holds a viewpoint conversion table different from that stored in the imaging device 25, the detection result information is transferred to the driver, unlike the image output from the imaging device 25.
  • the configuration of the image conversion device 30 according to the present embodiment is realized by using the image conversion device 20 according to the first embodiment, the system configuration will be enlarged, but the image conversion device 30 according to the present embodiment will be expanded. According to this, the system configuration can be simplified.
  • the viewpoint for viewing the image is changed to acquire images viewed from different viewpoints, that is, the object is projected onto various projection planes in space.
  • acquiring an image obtained by partially enlarging or reducing a partial region of the image is also included in the viewpoint conversion process and the inverse conversion process in the present embodiment.
  • the present invention relates to an inverse conversion table generation method, an inverse conversion table generation program, an image conversion apparatus, an image conversion method, an image conversion program, and the like that can acquire an image before performing viewpoint conversion on a predetermined image. Useful.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　所定の画像に対して視点変換を行う前の画像を取得することを可能とする逆変換テーブル生成方法を提供する。 本逆変換テーブル生成方法は、視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルＴ１を生成するための方法であって、制御部により、視点変換テーブルＴ２のテーブル座標（ａ,ｂ）に格納された変換参照座標Ｐ（ａ,ｂ）と逆変換テーブルＴ１の算出対象のテーブル座標（ｉ,ｊ）との距離Ｌ（ａ,ｂ）を、変換参照座標毎に算出し、視点変換テーブルＴ２のテーブル座標（ａ,ｂ）と、このテーブル座標（ａ,ｂ）に格納された変換参照座標に係る距離Ｌ（ａ,ｂ）と、に基づいて、逆変換テーブルＴ１の算出対象のテーブル座標（ｉ,ｊ）に格納される逆変換参照座標Ａ（ｉ,ｊ）を算出する。

Description

逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
　本発明は、逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムに関する。
　近年、道路交通の安全性向上のために、運転者が前方、後方、左右の死角を車内に設置された車載モニタにて確認できるように、カメラ（撮像装置）を搭載する車が非常に多くなってきている。加えて、カメラによって取得された画像を用いて、人認識、物体認識、白線検知等のセンシングを行い、その結果を元に各種制御を行う運転支援システムが提案されている。この制御には、ハンドル制御、ブレーキ制御、エンジン制御等の車両走行状態の制御や、車載モニタへの出力、音声出力、シートベルト制御等によって運転者への警告を促す制御などがある。
　撮影された画像から人認識、物体認識を行う装置として、カメラから得た入力画像を高速フーリエ変換やウェーブレット変換によって周波数展開し、判定対象領域から周波数を閾値として、抽出したい対象物体以外を除去したのち、対象物体と予め保持しておいたテンプレートとを比較し、対象物体を検知する画像認識装置が知られている（例えば、特許文献１参照）。この画像認識装置によれば、歩行者認識を行う場合、歩行者の輪郭を周波数展開したものをテンプレートとすることで、画像をテンプレートとした場合に比べ、比較するために必要なテンプレート量を削減し、処理負荷を軽減して高速化を図ることができる。
　また、運転者の利便性の向上のため、カメラの撮像画像を所定の仮想視点から見た視点変換画像に変換し、この視点変換画像を外部機器に出力する車載画像処理装置が知られている（例えば、特許文献２参照）。この車載画像処理装置によれば、仮想視点から見た画像（視点変換画像）の各画素とカメラ画像（撮像画像）の各画素との座標関係を保持した視点変換テーブルを参照して、撮像画像を視点変換画像に変換する演算を行うことができる。
日本国特開２００８－１８１４２２号公報 日本国特開２００８－０４８２６６号公報
　特許文献２の車載画像処理装置では、視点変換画像に、視点変換テーブルに基づいて生成されることに伴う歪み、伸び等が付加されてしまう可能性がある。そのため、撮像画像と視点変換画像との周波数特性が異なっている可能性がある。さらに、画像の各領域で、視点変換により撮像画像に付加される歪み率、伸び率等が異なることで、視点変換による周波数特性も一律でない可能性がある。
　特許文献１の画像認識装置では、テンプレート用の画像について周波数展開したものをテンプレートとして保持し、カメラが撮影した画像を周波数展開したものとこのテンプレートとを比較することで、画像認識を行う。ここで、仮に特許文献２の技術で得られる視点変換画像を用いて画像認識を行う場合には、歪み、伸び等を考慮してテンプレートを用意すると、視点変換テーブル毎、且つ、画像の領域毎に必要となり、さらに比較による演算量も大幅に増加してしまう。したがって、画像認識処理には、歪み、伸び等がない視点変換前の画像を用いることが望ましい。
　また、画像認識を行う際には、一般的に、画像のエッジ、形状等のある特定の情報を強調して、当該画像の特定の領域を抽出する必要がある。しかしながら、仮に視点変換画像について特定の領域を抽出する場合には、視点変換処理によって加わる伸びと歪みにより、安定的に画像抽出することが困難である。そのため、画像認識を行うために必要な画像抽出処理には、歪み、伸び等がない視点変換前の画像を用いることが望ましい。
　ただし、近年では、画像を撮影するカメラが視点変換機能を有しているものがあり、このようなカメラの画像を入力する装置では、カメラが撮像画像に対して視点変換を行う前の画像を単純に得ることはできない。
　本発明は、上記事情を鑑みてなされたものであって、所定の画像に対して視点変換を行う前の画像を取得することが可能な逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムを提供することを目的とする。
　本発明の逆変換テーブル生成方法は、視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルを生成するための逆変換テーブル作成方法であって、制御部により、前記視点変換画像を生成するための視点変換テーブルのテーブル座標に格納された変換参照座標と前記逆変換テーブルの算出対象のテーブル座標との距離を、前記変換参照座標毎に算出し、前記視点変換テーブルのテーブル座標と当該テーブル座標に格納された変換参照座標に係る前記距離に基づいて、前記逆変換テーブルの前記算出対象のテーブル座標に格納される逆変換参照座標を算出する。
　この方法により、視点変換画像から視点変換処理前の逆変換画像を生成するための逆変換テーブルを容易に生成することができる。
　本発明の逆変換テーブル生成方法は、前記制御部により、前記視点変換テーブルにおいて所定範囲外に位置するテーブル座標に格納された変換参照座標を、前記距離の算出に用いる変換参照座標から除外する。
　この方法により、逆変換テーブルを生成する際の処理負荷をより軽減することができる。つまり、逆変換参照座標を１つ求めるために対象とする視点変換テーブル上の変換参照座標の個数を、指定する範囲によって変えることができ、算出される逆変換参照座標にあまり影響がない座標を省略することができる。そのため、算出結果の精度の劣化がなく、計算量を抑制することができる。
　本発明の逆変換テーブル生成プログラムは、上記の逆変換テーブル生成方法の手順を実行させるためのプログラムである。
　このプログラムにより、視点変換画像から視点変換処理前の逆変換画像を生成するための逆変換テーブルを容易に生成することができる。
　また、本発明の画像変換装置は、上記の逆変換テーブル生成方法により生成された逆変換テーブルを記憶するメモリと、撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力する画像入力部と、前記逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成する画像変換演算部と、前記画像変換演算部により生成された前記逆変換画像を出力する画像出力部と、を備える。
　この構成により、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、逆変換画像を容易に生成することができる。また、予め画像変換装置内に逆変換テーブルが保持されていることで、逆変換参照座標の算出時間を必要しないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。さらに、逆変換画像を外部の検知装置が入力した場合には、当該検知装置によって、逆変換画像を用いて画像認識を容易に行うことが可能となる。
　また、本発明の画像変換装置は、前記画像変換演算部が、前記逆変換テーブルが有する前記逆変換参照座標が示す座標の周辺の画素値に基づいて、前記視点変換画像に対して補間処理を行い、前記逆変換画像を生成する。
　この構成により、逆変換画像をより滑らかに高画質にすることができる。
　また、本発明の画像変換装置は、前記逆変換画像に対して視点変換処理を行うための視点変換テーブルを記憶するメモリを備え、前記画像変換演算部が、前記逆変換画像内の物体認識を行う検知装置からの前記物体認識が完了したことを示す切替信号を受信した場合、前記視点変換テーブルを用いて、前記逆変換画像から前記視点変換画像を生成する。
　この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換し、視点変換画像に反映して表示することができるので、ユーザの利便性が向上する。
　また、本発明の画像変換装置は、前記視点変換テーブルが、前記撮像装置に保持されている視点変換テーブルと同一の視点変換テーブルである。
　この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換することで、逆変換処理前の画像と同じ画像にその認識結果を反映して表示することができるので、ユーザの利便性が向上する。
　また、本発明の画像変換装置は、前記視点変換テーブルが、前記撮像装置に保持されている視点変換テーブルとは異なる視点変換テーブルである。
　この構成により、逆変換画像を用いて検知装置により行われた画像認識の認識結果を含めて視点変換することで、逆変換画像及び逆変換処理前の画像とは異なる第３の画像に、その認識結果を反映して表示することができるので、ユーザの利便性が向上する。
　また、本発明の画像変換方法は、撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力するステップと、メモリに記憶された上記の逆変換テーブル生成方法により生成された逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するステップと、前記生成された前記逆変換画像を出力するステップと、を有する。
　この方法により、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、画像認識を容易かつ高精度に行うことが可能となる。また、予め逆変換テーブルを用意することで、逆変換参照座標の算出時間を必要しないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。
　また、本発明の画像変換プログラムは、上記の画像変換方法の手順を実行させるためのプログラムである。
　このプログラムにより、視点変換機能を有する撮像装置から視点変換画像を入力する場合であっても、画像認識を容易かつ高精度に行うことが可能となる。また、予め逆変換テーブルを用意することで、逆変換参照座標の算出時間を必要としないため、演算時間が大幅に削減され、逆変換画像のリアルタイム出力が可能となる。
　本発明によれば、所定の画像に対して視点変換を行う前の画像を取得することが可能となる。
本発明の第１の実施形態における逆変換テーブル生成装置の構成の一例を示すブロック図 本発明の第１の実施形態における逆変換参照座標を求めるための説明図 本発明の第１の実施形態における画像変換装置の構成の一例を示すブロック図 本発明の第１の実施形態における逆変換テーブルを用いて行われる逆変換処理のイメージ図 本発明の第２の実施形態における画像変換装置の構成の一例を示すブロック図 本発明の第２の実施形態における画像変換装置の動作の一例を示すフローチャート
　以下、本発明の実施形態の逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラムについて、図面を用いて説明する。
　本実施形態の画像変換装置は、例えば車載用カメラである。
　本実施形態では、画像変換装置が、逆変換テーブル生成方法により生成された逆変換テーブルを用いて、視点変換画像から逆変換画像を生成する逆変換処理を行う。逆変換テーブルとは、視点変換画像の座標系から視点変換処理が行われる前の座標系（つまり撮像画像の座標系）へ変換するためのテーブルである。逆変換テーブルには、撮像画像の各画素が視点変換画像におけるどの位置の画素に対応するかを示す情報（以降、逆変換参照座標ともいう）が格納される。また、画像変換装置は、例えば車載用カメラからの画像を入力する装置である。
（第１の実施形態）
　まず、本実施形態の逆変換テーブルの生成方法について説明する。
　図１は、本発明の第１の実施形態に係る逆変換テーブル生成装置の構成の一例を示すブロック図である。逆変換テーブル生成装置は、逆変換テーブル生成方法により、逆変換テーブルを生成する。図１に示す逆変換テーブル生成装置１０は、主に、制御部１１、メモリ１２、入出力部１３を備える。
　制御部１１は、ＣＰＵ等により構成され、逆変換テーブル生成装置１０の各構成部１１～１３における処理を統括する。また、制御部１１は、逆変換テーブルの逆変換参照座標を算出するための演算処理を行う。
　メモリ１２は、各種情報を記憶するものであり、例えば撮像画像の座標系から視点変換画像の座標系への視点変換処理に用いられた視点変換テーブルを記憶する。なお、視点変換テーブルには、視点変換画像の各画素が撮像画像におけるどの位置の画素に対応するかを示す情報（以降、変換参照座標ともいう）が格納される。また、メモリ１２は、制御部１１により生成された逆変換テーブルを記憶することもできる。また、メモリ１２は、制御部１１により実行される逆変換テーブルを生成するための逆変換テーブル生成プログラムを記憶することもできる。
　入出力部１３は、各種情報の入出力を行うものであり、例えば制御部１１により生成された逆変換テーブルを出力する。この入出力には、図示しない外部装置へ生成された逆変換テーブルの情報を提供するために、外部装置との間で逆変換テーブルの情報の送受信を行うことや、ＣＤ－ＲＯＭ等の記憶媒体に逆変換テーブルの情報を記憶させることを含む。
　次に、図２を用いて、逆変換テーブルＴ１の生成方法、つまり、逆変換テーブルＴ１の逆変換参照座標の算出方法について説明する。
　まず、逆変換テーブルＴ１上のあるテーブル座標(ｉ，ｊ)に格納される逆変換参照座標Ａ（ｉ，ｊ）のｘ座標をＡｘ、ｙ座標をＡｙとすると、次のように表せる。
Figure JPOXMLDOC01-appb-M000001
　同様に、撮像装置２５に保持されている視点変換テーブルＴ２上のあるテーブル座標（ａ，ｂ）に格納されている変換参照座標Ｐ（ａ，ｂ）のｘ座標をＰｘ、ｙ座標をＰｙとすると、次のように表せる。
Figure JPOXMLDOC01-appb-M000002
　制御部１１は、逆変換参照座標を算出する対象となっているテーブル座標（ｉ，ｊ）と視点変換テーブルＴ２に格納されている各変換参照座標Ｐ（ａ，ｂ）との各距離Ｌ（ａ，ｂ）（図２ではＬ１、Ｌ２の２つが示されている）を算出する。この距離Ｌ（ａ、ｂ）は、次のように表せる。この距離Ｌ（ａ,ｂ）は、算出対象のテーブル座標について、変換参照座標毎に算出される。
Figure JPOXMLDOC01-appb-M000003
　ここで、各変換参照座標Ｐ（ａ，ｂ）とは、視点変換テーブルＴ２の探索範囲の全てのテーブル座標に格納された各々の変換参照座標であることを示している。制御部１１は、視点変換テーブルＴ２の探索範囲を、視点変換テーブルＴ２の全体としてもよいし、所定範囲内に制限してもよい。所定範囲内に制限することにより、逆変換テーブル生成時の距離の算出等の演算処理の負荷を軽減することができる。
　続いて、制御部１１は、各変換参照座標Ｐ（ａ，ｂ）の重み係数Ｋ（ａ，ｂ）を算出する。この重み係数Ｋ（ａ,ｂ）は、次のように表せる。この重み係数Ｋ（ａ,ｂ）は、変換参照座標毎に算出される。つまり、重み係数Ｋは、距離Ｌ（ａ、ｂ）に基づいて算出される。
Figure JPOXMLDOC01-appb-M000004
　ここで、Ｒは、逆変換参照座標を算出する対象となっているテーブル座標（ｉ，ｊ）と変換参照座標Ｐ（ａ，ｂ）との最大距離を表しており、精度と計算量に合わせて任意に決定することができる。また、重み係数Ｋが負になる変換参照座標Ｐ（ａ，ｂ）は、対象としない。
　続いて、制御部１１は、各重み係数Ｋを用いて、逆変換テーブルＴ１に格納される逆変換参照座標Ａ（ｉ，ｊ）のＡｘ、Ａｙを算出する。この逆変換参照座標Ａ（ｉ，ｊ）のＡｘ、Ａｙは、次のように表せる。
Figure JPOXMLDOC01-appb-M000005
　このような逆変換テーブルＴ１の逆変換参照座標の算出処理により算出された逆変換参照座標は、逆変換テーブルＴ１に格納される。このようにして、逆変換テーブルＴ１が生成される。
　次に、本実施形態の画像変換装置及び画像変換方法について説明する。
　本実施形態に係る画像変換装置は、入力された視点変換画像を、短時間で正確に逆変換画像を出力できる。画像変換装置としては、例えば車載用カメラ（撮像装置の一例）の出力画像を入力して変換する逆変換装置が考えられる。
　図３は、本発明の第１の実施形態に係る画像変換装置の構成の一例を示すブロック図である。図３に示す画像変換装置２０は、図示しない車両に搭載される。この車両には、画像変換装置２０の他に、主に、撮像装置２５、車両表示部２６、検知装置２７、制御装置２８が搭載される。
　撮像装置２５は、車両周辺を撮像し、取得した画像を視点変換テーブルにより変換処理し、視点変換画像を出力する。車両表示部２６は、撮像装置２５から入力された視点変換画像を表示する、車内に設置された車載モニタ等の表示部である。検知装置２７は、画像変換装置２０から入力された画像から人や物体の検知、白線や交通信号機等の状態検知を行い、その検知結果を検知信号として出力する。制御装置２８は、検知装置２７から入力される検知信号に基づいて、ハンドル動作、ブレーキ動作、エンジン動作等を制御する。これらの装置は、電気的に接続される。
　尚、画像変換装置２０と接続される撮像装置２５、車両表示部２６、検知装置２７は、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して接続されていても良い。
　画像変換装置２０は、主に、画像入力部２１、画像変換演算部２２、画像出力部２４、を備える。
　画像入力部２１は、撮像装置２５から視点変換画像を取得し、フレームメモリに保持させる。なお、このフレームメモリは、画像変換演算部２２により行われる逆変換処理において不規則に読み出し処理がされるため、ランダムアクセス可能なものである。
　画像変換演算部２２は、逆変換テーブルを参照して、画像入力部２１から入力される視点変換画像に対して、逆変換処理を行う。この逆変換テーブルＴ１は、先に説明した逆変換テーブル生成方法により生成された逆変換テーブルであり、画像変換装置２０内の図示しないメモリに保持されている。
　図４は、逆変換テーブルＴ１を用いて行われる逆変換処理のイメージ図である。図４に示す例では、逆変換テーブルＴ１のテーブル座標（１，１）の位置に、逆変換参照座標として（３，３）が格納されている（図４（ａ）参照）。これは、入力画像４１（視点変換画像）の（３、３）の位置の画素を（図４（ｂ）参照）、出力画像４２（視点変換前の撮像画像）の（１，１）の位置に格納すること（図４（ｃ）参照）を示している。これにより、画像変換装置２０は、視点変換処理がされる前の画像を得ることができる。逆変換処理された結果には、出力画像における各座標の画素値が含まれる。
　また、画像変換演算部２２は、逆変換処理を行う際に、視点変換画像に対して補間処理を行ってもよい。補間処理では、画像変換演算部２２は、逆変換テーブルＴ１の逆変換参照座標に整数でないものを含む場合、逆変換参照座標が示す座標の周辺の画素値を、フレームメモリから読み出す。逆変換参照座標が示す座標の周辺とは、例えば逆変換参照座標に隣り合った４つの整数座標である。そして、読み出した各画素値の例えば平均値を補間画素値として算出する。例えば、逆変換テーブルＴ１のテーブル座標（２，２）の位置に、逆変換参照座標として（５．５，５．５）が格納されている場合には、入力画像の（５．５，５．５）の座標周辺である（５，５）、（５，６）、（６，５）、（６，６）の各座標の画素値を平均化し、その結果を補間画素値とする。したがって、この補間画素値を、出力画像の（２，２）の位置に格納する。これにより、画像を滑らかに逆変換することができる。
　画像変換演算部２２によって逆変換処理された結果、もしくはあわせて補間処理された結果の情報は、画像出力部２４へ送られる。
　画像出力部２４は、画像変換演算部２２により逆変換処理された結果もしくはあわせて補間処理された結果をフレームメモリに保持する。つまり、画像出力部２４は、出力画像の各座標の各画素値を保持する。また、画像出力部２４は、検知装置２７等の外部機器に接続され、逆変換処理等された逆変換画像を出力する。
　なお、図示しないメモリには、画像変換装置による画像変換を実行するための画像変換プログラムを記憶することもできる。
　このような本実施形態に係る画像変換装置２０によれば、逆変換画像を検知装置２７に出力するので、検知装置２７は撮像装置２５による視点変換前の画像を取得し、物体認識等の処理を高精度に行うことができる。また、逆変換テーブル生成方法によって生成された逆変換テーブルＴ１をあらかじめ画像変換装置２０内に保持しておくことで、画像変換時に逆変換参照座標の算出時間を必要とせず、必要があれば補間処理のみ実施すればよいので、演算時間が大幅に削減され、逆変換画像をリアルタイムで出力することが可能となる。
（第２の実施形態）
　図５は、本発明の第２の実施形態に係る画像変換装置の構成の一例を示すブロック図である。図５に示す画像変換装置３０は、図示しない車両に搭載される。この車両には、画像変換装置３０の他に、主に、撮像装置２５、車両表示部２６、検知装置３５、車両表示部３６が搭載される。なお、図５において、図３で説明した構成要素と同一の構成要素については、同一の符号を付し、説明を簡略化または省略する。
　検知装置３５は、検知装置２７と同様に、画像変換装置２０から入力された画像から人や物体の検知、白線や交通信号機等の状態検知を行い、その検知結果を検知信号として出力する。また、検知装置３５は、画像変換装置３０の各スイッチ部３３、３４をＯＮにするための切替信号を出力する。また、検知装置３５は、逆変換画像を画像変換装置３０へ出力する。車両表示部３６は、視点変換画像に検知装置３５による物体認識結果を重畳して出力する。これらの装置は、電気的に接続される。
　尚、画像変換装置３０と接続される撮像装置２５、車両表示部２６、検知装置３５、車両表示部３６は、車両内に設置された図示しない電子制御ユニット（Electrical Control Unit）を介して接続されていても良い。
　画像変換装置３０は、主に、入力切替スイッチ部３３、画像入力部２１、画像変換演算部３１、画像出力部２４、出力切替スイッチ部３４を備える。
　画像変換演算部３１は、検知装置３５によって出力された切替信号を受信し、切替信号に基づいて、逆変換テーブル及び視点変換テーブルのいずれかを選択する。そして、逆変換テーブルを選択した場合には、逆変換処理もしくはあわせて補間処理を行い、視点変換テーブルを選択した場合には、視点変換処理を行う。視点変換処理は公知の方法で行うことができる。なお、逆変換テーブルＴ１及び視点変換テーブルＴ２は、図示しないメモリにあらかじめ保持されている。視点変換テーブルＴ２は、撮像装置２５に保持されているものとは異なった視点変換テーブルでもよいし、撮像装置２５に保持されているものと同一の視点変換テーブルでもよい。撮像装置２５の視点変換テーブルと同一の視点変換テーブルＴ２を保持することで、逆変換画像を得る前の画像を取得することができる。また、撮像装置２５の視点変換テーブルとは異なる視点変換テーブルＴ２を保持することで、第３の視点から見た画像を得ることができる。また、第３の視点から見た画像以外であっても、視点変換テーブルＴ２として入力画像の特定の部分を拡大もしくは縮小して出力画像を生成するようなテーブルを保持することで、視点変換画像及び逆変換画像とは異なる第３の画像を得ることもできる。
　入力切替スイッチ部３３は、入力側に撮像装置２５と検知装置３５とが接続され、検知装置３５によって出力された切替信号を受信し、画像入力部２１への入力経路を切り替える。また、入力切替スイッチ３３には、撮像装置２５から出力される視点変換画像と、検知装置３５によって出力される検知結果が重畳された検知画像（逆変換画像と検知結果とを含む画像）と、が入力される。入力切替スイッチ部３３は、検知装置３５によって出力された切替信号を受信し、この切替信号に基づいて、画像入力部２１に保持される画像を選択する。
　出力切替スイッチ部３４は、入力側に画像出力部２４が接続され、検知装置３５によって出力される切替信号を受信し、画像変換装置３０に接続された検知装置３５及び車両表示部３６のいずれか一方に出力経路を切り替える。つまり、出力切替スイッチ部３４には、画像出力部２４から出力された画像が入力される。そして、出力切替スイッチ部３４は、検知装置３５によって出力された切替信号に応じて、画像変換装置３０に接続されている検知装置３５及び車両表示部３６のいずれか一方に画像を出力する。
　次に、本実施形態の画像変換装置３０の動作について説明する。
　図６は、画像変換装置３０の動作の一例を示すフローチャートである。
　まず、入力切替スイッチ部３３は、撮像装置２５又は検知装置３５と接続され、撮像装置２５からの視点変換画像又は検知装置３５からの検知画像を入力する（ステップＳ１１）。続いて、入力切替スイッチ部３３は、検知装置３５によって出力された切替信号に基づいて、画像入力部２１へ送る画像として撮像装置２５からの視点変換画像又は検知装置３５からの検知画像を選択する（ステップＳ１２）。上記の切替信号には、検知画像の入力タイミングを示す切替信号（以下、Ｙ信号と称する）と、検知画像の入力タイミングではないことを示す切替信号（以下、Ｎ信号と称する）と、がある。つまり、Ｙ信号は、検知装置３５による物体認識が完了していることを示す。
　入力切替スイッチ部３３がＮ信号を受信している場合、撮像装置２５と画像入力部２１が接続され、画像入力部２１は、撮像装置２５から出力される視点変換画像を入力する（ステップＳ１３）。一方、入力切替スイッチ部３３がＹ信号を受信している場合、検知装置３５と画像入力部２１が接続され、画像入力部２１は、検知装置３５から出力される検知画像を入力する（ステップＳ１４）。尚、入力切替スイッチ部３３において、１フレーム目の画像が入力される際（すなわち、初期動作時）には、検知装置３５からＮ信号が発信されているものとする。
　続いて、画像変換演算部３１は、検知装置３５によって出力された切替信号に基づいて、参照座標を読み出すためのテーブルとして、視点変換テーブル又は逆変換テーブルを選択する（ステップＳ１５）。
　ここで、画像変換演算部３１は、Ｎ信号を受信している場合、逆変換テーブルを選択して逆変換参照座標を読み出す（ステップＳ１６）。そして、画像変換演算部３１は、逆変換参照座標に基づいて、画像入力部２１に保持されている視点変換画像から逆変換画像を生成し、画像出力部２４へ出力する（ステップＳ１７）。一方、画像変換演算部３１は、Ｙ信号を受信している場合、視点変換テーブルを選択して変換参照座標を読み出す（ステップＳ１８）。そして、画像変換演算部３１は、変換参照座標に基づいて、画像入力部２１に保持されている検知画像から視点変換画像を生成し、画像出力部２４へ出力する（ステップＳ１９）。
　続いて、出力切替スイッチ部３４は、画像出力部２４からの逆変換画像又は視点変換画像を出力する出力先を選択する（ステップＳ２０）。このとき、出力切替スイッチ部３４は、Ｎ信号を受信している場合、検知装置３５に逆変換画像を出力する（ステップＳ２１）。そして、検知装置３５は、入力された逆変換画像を用いて検知画像を生成する（Ｓ２２）。この検知画像は、Ｙ信号と共に、検知装置３５に接続された入力切替スイッチ部３３に送られる。
　一方、出力切替スイッチ部３４がＹ信号を受信している場合、車両表示部３６は、視点変換画像を出力する（ステップＳ２３）。この視点変換画像には、検知装置３５により物体等が検知された検知結果が重畳されており、例えば、認識物体を示す枠が視点変換画像とともに表示される。
　このような本実施形態に係る画像変換装置３０によれば、逆変換画像を用いて物体検知等を行い、その検知結果を視点変換画像に重畳して表示させることができる。また、画像変換演算部３１が撮像装置２５に保持されているものとは異なった視点変換テーブルを合わせて保持する場合には、撮像装置２５から出力された画像と異なり、検知結果情報を運転者にさらに理解し易い仮想視点で再視点変換された画像を提供することが可能となる。また、本実施形態に係る画像変換装置３０の構成を第１実施形態に係る画像変換装置２０を用いて実現しようとすると、システム構成が拡大化してしまうが、本実施形態の画像変換装置３０によれば、システム構成を単純化することができる。
　なお、本実施形態では、視点変換処理及び逆変換処理として、画像を見る視点を変更して異なる視点から見た画像を取得すること、つまり、空間上の様々な投影面に対象物を投影し、これを実際の視点とは異なる仮想視点から見た画像を取得することとして主に説明したが、これに限られない。例えば、画像の一部領域を部分的に拡大もしくは縮小した画像を取得することも、本実施形態での視点変換処理及び逆変換処理に含まれる。
　以上に本発明の好適な実施形態を説明した。しかし、本発明は上述の実施形態に限定されず、当業者が本発明の範囲内で上述の実施形態を変形可能なことはもちろんである。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、2010年6月8日出願の日本特許出願No.2010-131237に基づくものであり、その内容はここに参照として取り込まれる。
　本発明は、所定の画像に対して視点変換を行う前の画像を取得することが可能な逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム等に有用である。
１０　逆変換テーブル生成装置
１１　制御部
１２　メモリ
１３　入出力部
２０，３０　画像変換装置
２１　画像入力部
２２，３１　画像変換演算部
２４　画像出力部
２５　撮像装置
２６，３６　車両表示部
２７，３５　検知装置
２８　制御装置
３３　入力切替スイッチ部
３４　出力切替スイッチ部
Ｔ１　逆変換テーブル
Ｔ２　視点変換テーブル

Claims (10)

  1. 　視点変換画像から当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するための逆変換テーブルを生成するための逆変換テーブル生成方法であって、
    　制御部により、
    　前記視点変換画像を生成するための視点変換テーブルのテーブル座標に格納された変換参照座標と前記逆変換テーブルの算出対象のテーブル座標との距離を、前記変換参照座標毎に算出し、
    　前記視点変換テーブルのテーブル座標と当該テーブル座標に格納された変換参照座標に係る前記距離に基づいて、前記逆変換テーブルの前記算出対象のテーブル座標に格納される逆変換参照座標を算出する逆変換テーブル生成方法。
  2. 　請求項１に記載の逆変換テーブル生成方法であって、
    　前記制御部により、
    　前記視点変換テーブルにおいて所定範囲外に位置するテーブル座標に格納された変換参照座標を、前記距離の算出に用いる変換参照座標から除外する逆変換テーブル生成方法。
  3. 　請求項１または２に記載の逆変換テーブル生成方法の手順をコンピュータに実行させるための逆変換テーブル生成プログラム。
  4. 　請求項１または２に記載の逆変換テーブル生成方法により生成された逆変換テーブルを記憶するメモリと、
    　撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力する画像入力部と、
    　前記逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成する画像変換演算部と、
    　前記画像変換演算部により生成された前記逆変換画像を出力する画像出力部と、
    　を備える画像変換装置。
  5. 　請求項４に記載の画像変換装置であって、
    　前記画像変換演算部は、前記逆変換テーブルが有する前記逆変換参照座標が示す座標の周辺の画素値に基づいて、前記視点変換画像に対して補間処理を行い、前記逆変換画像を生成する画像変換装置。
  6. 　請求項４または５に記載の画像変換装置であって、更に、
    　前記逆変換画像に対して視点変換処理を行うための視点変換テーブルを記憶するメモリ備え、
    　前記画像変換演算部は、前記逆変換画像内の物体認識を行う検知装置からの前記物体認識が完了したことを示す切替信号を受信した場合、前記視点変換テーブルを用いて、前記逆変換画像から前記視点変換画像を生成する画像変換装置。
  7. 　請求項６に記載の画像変換装置であって、
    　前記視点変換テーブルは、前記撮像装置に保持されている視点変換テーブルと同一の視点変換テーブルである画像変換装置。
  8. 　請求項６に記載の画像変換装置であって、
    　前記視点変換テーブルは、前記撮像装置に保持されている視点変換テーブルとは異なる視点変換テーブルである画像変換装置。
  9. 　撮像画像から視点変換画像を生成する撮像装置から、前記視点変換画像を入力するステップと、
    　メモリに記憶された請求項１または２に記載の逆変換テーブル生成方法により生成された逆変換テーブルを用いて、前記視点変換画像から、当該視点変換画像に係る視点変換処理が行われる前の画像を逆変換画像として生成するステップと、
    　前記生成された前記逆変換画像を出力するステップと、
    　を備える画像変換方法。
  10. 　請求項９に記載の画像変換方法の手順をコンピュータに実行させるための画像変換プログラム。
PCT/JP2011/002210 2010-06-08 2011-04-14 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム WO2011155112A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180003251XA CN102473284A (zh) 2010-06-08 2011-04-14 逆变换表生成方法、逆变换表生成程序、图像变换装置、图像变换方法、以及图像变换程序
EP11792075.1A EP2581875A1 (en) 2010-06-08 2011-04-14 Inverse transformation table generation method, inverse transformation table generation program, image transformation device, image transformation method, and image transformation program
US13/358,072 US20120188267A1 (en) 2010-06-08 2012-01-25 Method of generating inverse conversion table, program for generating inverse conversion table, image conversion device, image conversion method, and image conversion program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-131237 2010-06-08
JP2010131237A JP2011257940A (ja) 2010-06-08 2010-06-08 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/358,072 Continuation US20120188267A1 (en) 2010-06-08 2012-01-25 Method of generating inverse conversion table, program for generating inverse conversion table, image conversion device, image conversion method, and image conversion program

Publications (1)

Publication Number Publication Date
WO2011155112A1 true WO2011155112A1 (ja) 2011-12-15

Family

ID=45097734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002210 WO2011155112A1 (ja) 2010-06-08 2011-04-14 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム

Country Status (5)

Country Link
US (1) US20120188267A1 (ja)
EP (1) EP2581875A1 (ja)
JP (1) JP2011257940A (ja)
CN (1) CN102473284A (ja)
WO (1) WO2011155112A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6140976B2 (ja) * 2012-11-02 2017-06-07 キヤノン株式会社 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム
CN110786004B (zh) * 2017-08-25 2021-08-31 本田技研工业株式会社 显示控制装置、显示控制方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215299A (ja) * 1999-01-27 2000-08-04 Toshiba Corp 画像監視装置
JP2007150658A (ja) * 2005-11-28 2007-06-14 Alpine Electronics Inc 車載周辺画像表示装置
JP2008048266A (ja) 2006-08-18 2008-02-28 Matsushita Electric Ind Co Ltd 車載画像処理装置及びその視点変換情報生成方法
JP2008181422A (ja) 2007-01-25 2008-08-07 Fujitsu Ten Ltd 画像認識装置、画像認識方法、車両制御装置および車両制御方法
WO2010044127A1 (ja) * 2008-10-16 2010-04-22 三菱電機株式会社 車外障害物高度検出装置
JP2010131237A (ja) 2008-12-05 2010-06-17 Konica Minolta Medical & Graphic Inc 医用画像表示装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP5195592B2 (ja) * 2009-03-31 2013-05-08 富士通株式会社 映像処理装置
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215299A (ja) * 1999-01-27 2000-08-04 Toshiba Corp 画像監視装置
JP2007150658A (ja) * 2005-11-28 2007-06-14 Alpine Electronics Inc 車載周辺画像表示装置
JP2008048266A (ja) 2006-08-18 2008-02-28 Matsushita Electric Ind Co Ltd 車載画像処理装置及びその視点変換情報生成方法
JP2008181422A (ja) 2007-01-25 2008-08-07 Fujitsu Ten Ltd 画像認識装置、画像認識方法、車両制御装置および車両制御方法
WO2010044127A1 (ja) * 2008-10-16 2010-04-22 三菱電機株式会社 車外障害物高度検出装置
JP2010131237A (ja) 2008-12-05 2010-06-17 Konica Minolta Medical & Graphic Inc 医用画像表示装置及びプログラム

Also Published As

Publication number Publication date
JP2011257940A (ja) 2011-12-22
US20120188267A1 (en) 2012-07-26
EP2581875A1 (en) 2013-04-17
CN102473284A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
JP5053043B2 (ja) 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
JP4731392B2 (ja) 車載周辺状況提示装置
US20120069153A1 (en) Device for monitoring area around vehicle
WO2012096058A1 (ja) 画像生成装置
JP5058002B2 (ja) 物体検出装置
JP5760559B2 (ja) ステレオカメラ装置、視差画像生成方法
JP2009012652A (ja) 車両の周辺監視装置
WO2017022497A1 (ja) 運転者に支援画像を提示する装置及びその方法
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP4797877B2 (ja) 車両用映像表示装置及び車両周囲映像の表示方法
JP2007188417A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP6253467B2 (ja) 画像処理装置および画像処理プログラム
US20100002078A1 (en) Periphery monitoring apparatus
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
WO2011155112A1 (ja) 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
JP2006127083A (ja) 画像処理方法及び画像処理装置
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JP2012116400A (ja) コーナーポール投影装置
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
JP2019175210A (ja) 口形状検出装置
JP2021056968A (ja) 物体判定装置
JP2021051348A (ja) 物体距離推定装置及び物体距離推定方法
JP6606858B2 (ja) 物体検出装置および物体検出方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180003251.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792075

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011792075

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE