WO2018168506A1 - 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2018168506A1
WO2018168506A1 PCT/JP2018/007880 JP2018007880W WO2018168506A1 WO 2018168506 A1 WO2018168506 A1 WO 2018168506A1 JP 2018007880 W JP2018007880 W JP 2018007880W WO 2018168506 A1 WO2018168506 A1 WO 2018168506A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
memory
address
input image
Prior art date
Application number
PCT/JP2018/007880
Other languages
English (en)
French (fr)
Inventor
剛 早川
丈明 佐藤
幸栄 室賀
Original Assignee
Necソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necソリューションイノベータ株式会社 filed Critical Necソリューションイノベータ株式会社
Priority to JP2019505871A priority Critical patent/JPWO2018168506A1/ja
Publication of WO2018168506A1 publication Critical patent/WO2018168506A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the present invention relates to an image conversion support apparatus and an image conversion support method for creating a look-up table used for image conversion processing, and further, a computer-readable recording medium on which a program for realizing these is recorded and creation
  • the present invention relates to an image conversion apparatus using a look-up table.
  • the fish-eye camera has a feature that can capture and acquire a wide viewing angle exceeding 180 ° as one image, and is used in industrial fields such as monitoring, map generation, and rear view monitor for automobiles.
  • Patent Document 1 and Patent Document 2 disclose a technique for correcting distortion of a person or the like that appears in a fisheye camera image by geometrically converting the image of the fisheye camera.
  • Patent Document 1 discloses an image conversion apparatus.
  • the image conversion apparatus disclosed in Patent Document 1 corrects distortion by modeling a fisheye image on a virtual sphere surface and projecting it onto a cylindrical coordinate system to generate a curved regular image.
  • the horizontal direction is set to the tangential direction of the spherical surface
  • the vertical direction is set to the axial direction of the spherical surface.
  • Patent Document 2 discloses an image presentation apparatus using the image conversion apparatus disclosed in Patent Document 1.
  • the image processing apparatus disclosed in Patent Document 2 uses the curved regular image disclosed in Patent Document 1 to correct a plurality of human images in the horizontal visual field range from the central visual field of the fisheye image.
  • a lookup table indicating the correspondence between the input image and the output image is created (see FIG. 9).
  • the look-up table is mounted on the image conversion device.
  • the image conversion device performs image conversion (geometric conversion) on the image using the look-up table. Do.
  • the image after geometric conversion is used for the above-described object detection and the like.
  • FIG. 9 is a diagram showing an example of a conventional lookup table. As shown in FIG. 9, in the lookup table, the comparison relationship between the address of the output image and the address of the input image is registered in the order of the address of the output image.
  • the correspondence is in the order of the addresses of the output images because the image data of the output images are read in this order.
  • DRAM Dynamic Random Access Memory
  • the time required for the image conversion process can be shortened. In this case, The cost of the image conversion device increases.
  • FPGA Field Programmable Gate Array
  • An example of an object of the present invention is to solve the above-described problem and enable image conversion processing to be shortened without increasing the capacity of a cache memory, an image conversion support device, an image conversion device, an image conversion support method, and To provide a computer-readable recording medium.
  • an image conversion support apparatus provides: A sample image acquisition unit that acquires a sample input image and a sample output image, and stores them in a memory; A correspondence specifying unit that specifies, for each pixel of the output image, a pixel of the input image corresponding to the pixel, and specifies a correspondence between each pixel of the output image and each pixel of the input image; , An address specifying unit that specifies an address of each pixel of the input image on the memory and an address of each pixel of the output image on the memory; Using the correspondence relationship, for each pixel address of the input image on the memory, a relationship between the address and the address of each pixel of the output image on the memory is obtained, and the relationship between the obtained addresses Are arranged in the order of the addresses of the pixels of the input image on the memory, and a table creation unit for creating a lookup table for converting the input image into the output image; It is characterized by having.
  • an image conversion apparatus is an apparatus for converting an input image on a memory into an output image
  • An image acquisition unit for acquiring the input image and storing the input image on a memory; In the order of the address of each pixel of the input image on the memory, the relationship between the address of each pixel of the input image on the memory and the address of each pixel of the output image on the memory is registered.
  • An image conversion unit that converts the input image stored in a memory into the output image using a lookup table; It is characterized by having.
  • an image conversion support method includes: (A) obtaining a sample input image and a sample output image and storing each in a memory; (B) identifying, for each pixel of the output image, a pixel of the input image corresponding to the pixel, and identifying a correspondence between each pixel of the output image and each pixel of the input image; , (C) identifying an address of each pixel of the input image on the memory and an address of each pixel of the output image on the memory; (D) Using the correspondence relationship, for each address of each pixel of the input image on the memory, a relationship between the address and the address of each pixel of the output image on the memory is obtained, and the obtained address Creating a lookup table for converting the input image into the output image by arranging the relationship between them in the order of addresses of each pixel of the input image on the memory; and It is characterized by having.
  • a computer-readable recording medium in a computer.
  • a program including an instruction for executing is recorded.
  • FIG. 1 is a block diagram showing a configuration of an image conversion support apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a correspondence relationship between each pixel of the sample output image and each pixel of the sample input image specified in the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a temporary information table created in the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a lookup table created in the embodiment of the present invention.
  • FIG. 5 is a diagram showing another example of the lookup table created in the embodiment of the present invention.
  • FIG. 6 is a flowchart showing the operation of the image conversion support apparatus according to the embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of the image conversion apparatus according to the embodiment of the present invention.
  • FIG. 8 is a block diagram illustrating an example of a computer that implements the image conversion support apparatus according to the embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of a conventional lookup table.
  • FIG. 1 is a block diagram showing a configuration of an image conversion support apparatus according to an embodiment of the present invention.
  • the image conversion support apparatus 10 is an apparatus that supports image conversion in the image conversion apparatus by creating a lookup table 42 used by the image conversion apparatus (see FIG. 7 described later). As illustrated in FIG. 1, the image conversion support apparatus 10 includes a sample image acquisition unit 11, a correspondence relationship specifying unit 12, an address specifying unit 13, and a table creating unit 14.
  • the sample image acquisition unit 11 acquires an input image as a sample (hereinafter referred to as “sample input image”) and an output image as a sample (hereinafter referred to as “sample output image”). Store in the memory 20.
  • the correspondence specifying unit 12 specifies, for each pixel of the sample output image, a pixel of the sample input image corresponding to each pixel, and specifies a correspondence between each pixel of the sample output image and each pixel of the sample input image. To do.
  • the address specifying unit 13 specifies the address of each pixel of the sample input image on the memory 20 and the address of each pixel of the sample output image on the memory 20.
  • the relationship between the address of each pixel of the output image and the address of each pixel of the input image is They are arranged in the order of the addresses of the pixels of the input image on the memory. Therefore, according to the present embodiment, in the image conversion process, it is possible to efficiently access the storage area in which the input image is stored, so that the image conversion process can be performed without increasing the capacity of the cache memory. Can be shortened.
  • FIG. 2 is a diagram illustrating an example of a correspondence relationship between each pixel of the sample output image and each pixel of the sample input image specified in the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a temporary information table created in the embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a lookup table created in the embodiment of the present invention.
  • FIG. 5 is a diagram showing another example of the lookup table created in the embodiment of the present invention.
  • a fisheye camera image photographed by an imaging device equipped with a fisheye lens can be cited.
  • Examples of the sample output image include an image obtained by performing geometric transformation on a fisheye camera image that is a sample input image.
  • the sample image acquisition unit 11 acquires these prepared images and stores the image data of these images in the memory 20.
  • the correspondence specifying unit 12 first specifies the correspondence between each pixel of the sample output image and each pixel of the sample input image. Specifically, as shown in FIG. 2, the correspondence relationship specifying unit 12 creates a correspondence relationship table that specifies the correspondence relationship between each pixel of the sample output image and each pixel of the sample input image. This correspondence table is arranged in the order of the coordinates of the pixels of the output image.
  • the correspondence specifying unit 12 uses the correspondence table to indicate the number of corresponding output images and the coordinates of the corresponding output image for each pixel coordinate of the input image. Create a temporary information table.
  • the address specifying unit 13 acquires an address for each pixel designated when the sample input image and the sample output image are written in the memory from the sample image acquisition unit 11. Thereby, the address specifying unit 13 specifies the address of each pixel of the sample input image and the address of each pixel of the sample output image.
  • the table creation unit 14 first converts the pixel coordinates of the sample input image and the pixel coordinates of the sample output image into addresses on the memory 20 in the temporary information table shown in FIG. Thereby, the table creation unit 14 can obtain the relationship between the address of each pixel of the sample input image on the memory 20 and the address of each pixel of the sample output image on the memory 20.
  • the table creation unit 14 creates a lookup table by arranging the relationship between addresses in the order of the addresses of the pixels of the input image on the memory.
  • the table creation unit 14 can also divide the lookup table into a plurality of blocks according to the burst length at the time of reading from the memory 20.
  • the input address is registered by registering the start address of the input source image (input start address) and the number of pixels of the input source image (number of input pixels).
  • the address of the original image can be omitted.
  • the lookup table shown in FIG. 5 when there is a pixel whose reading is skipped in the input source image, the number of output destinations is set to 0 (zero). According to the lookup table shown in FIG. 5, the data size can be reduced.
  • FIG. 6 is a flowchart showing the operation of the image conversion support apparatus according to the embodiment of the present invention.
  • FIG. 1 is taken into consideration as appropriate.
  • the image conversion support method is implemented by operating the image conversion support device 10. Therefore, the description of the image conversion support method in the present embodiment is replaced with the following description of the operation of the image conversion support apparatus 10.
  • the sample image acquisition unit 11 acquires a sample input image and a sample output image from the outside, and stores them in a memory (step A1).
  • the sample image acquiring unit 11 further notifies the address specifying unit 13 of the write destination address for each pixel of the sample input image and the sample output image.
  • the correspondence specifying unit 12 specifies the correspondence between each pixel of the sample output image and each pixel of the sample input image, and creates the correspondence table shown in FIG. 2 (step A2). Subsequently, the correspondence relationship specifying unit 12 creates the temporary information table shown in FIG. 3 using the correspondence relationship table created in Step A2 (Step A3).
  • the address specifying unit 13 specifies the address of each pixel of the sample input image and the address of each pixel of the sample output image from the address notified from the sample image acquiring unit 11 (step A4).
  • the table creation unit 14 obtains a relationship between the address and the address of each pixel of the sample output image on the memory (step A5). Specifically, the table creation unit 14 converts the pixel coordinates of the sample input image and the pixel coordinates of the sample output image into addresses on the memory 20 in the temporary information table created in step A3.
  • the table creation unit 14 creates a lookup table by arranging the relationship between the addresses obtained in step A5 in the order of the addresses of the pixels of the sample input image on the memory 20 (step A6).
  • the look-up table shown in FIG. 4 or 5 is created by the above steps A1 to A6.
  • the created lookup table is used in an image conversion apparatus described later.
  • FIG. 7 is a block diagram showing the configuration of the image conversion apparatus according to the embodiment of the present invention.
  • the image acquisition unit 31 acquires an input image and stores it on the memory 40.
  • the image acquisition unit 31 acquires a fisheye camera image as an input image from the imaging device 50 and stores each pixel of the acquired input image at a set address on the memory 40.
  • the image conversion unit 32 converts the input image 41 stored on the memory 40 into the output image 43 using the lookup table 42 created by the image conversion support apparatus 10 shown in FIG.
  • the lookup table 42 shows the relationship between the address of each pixel of the input image on the memory 40 and the address of each pixel of the output image 43 on the memory 40 in the order of the address of each pixel of the input image 41 on the memory 40. Registered.
  • the image conversion unit 32 performs information on each pixel of the input image 41 in the order of the address of each pixel of the input image 41 along the arrangement of the lookup table 42 illustrated in FIG. 4 or FIG.
  • the output address 43 is created from the input image 41 on the memory 40 by reading the address of the output destination pixel.
  • the image conversion unit 32 takes out the output image 43 created on the memory 40 and outputs the taken out output image 43 in accordance with an external request.
  • an output destination of the output image 43 for example, when the image conversion device 30 is mounted on a vehicle, an arithmetic device on the vehicle may be used.
  • the program in the present embodiment may be a program that causes a computer to execute steps A1 to A6 shown in FIG.
  • the processor of the computer functions as the sample image acquisition unit 11, the correspondence relationship specifying unit 12, the address specifying unit 13, and the table creating unit 14, and performs processing.
  • each computer may function as any of the sample image acquisition unit 11, the correspondence relationship specifying unit 12, the address specifying unit 13, and the table creating unit 14, respectively.
  • FIG. 8 is a block diagram illustrating an example of a computer that implements the image conversion support apparatus according to the embodiment of the present invention.
  • a computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. With. These units are connected to each other via a bus 121 so that data communication is possible.
  • the computer 110 may include a GPU (GraphicsGraphProcessing Unit) or FPGA in addition to the CPU 111 or instead of the CPU 111.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the image conversion support apparatus 10 can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Further, part of the image conversion support apparatus 10 may be realized by a program, and the remaining part may be realized by hardware.
  • a sample image acquisition unit that acquires a sample input image and a sample output image, and stores them in a memory;
  • a correspondence specifying unit that specifies, for each pixel of the output image, a pixel of the input image corresponding to the pixel, and specifies a correspondence between each pixel of the output image and each pixel of the input image;
  • An address specifying unit that specifies an address of each pixel of the input image on the memory and an address of each pixel of the output image on the memory;
  • Using the correspondence relationship for each pixel address of the input image on the memory, a relationship between the address and the address of each pixel of the output image on the memory is obtained, and the relationship between the obtained addresses Are arranged in the order of the addresses of the pixels of the input image on the memory, and a table creation unit for creating a lookup table for converting the input image into the output image;
  • An image conversion support apparatus comprising:
  • (Appendix 2) A temporary information table indicating the number of corresponding output images and the coordinates of the corresponding output image for each pixel coordinate of the input image using the correspondence relationship identified by the correspondence relationship specifying unit. make, The table creation unit converts the coordinates of the pixels of the input image and the coordinates of the pixels of the output image in the temporary information table into addresses on the memory, and addresses of the pixels of the input image on the memory Each time, the relationship between the address and the address of each pixel of the output image on the memory is obtained.
  • the image conversion support device according to attachment 1.
  • the table creation unit divides the lookup table into a plurality of blocks according to the burst length at the time of reading the memory.
  • the image conversion support device according to appendix 1 or 2.
  • An apparatus for converting an input image on a memory into an output image An image acquisition unit for acquiring the input image and storing the input image on a memory; In the order of the address of each pixel of the input image on the memory, the relationship between the address of each pixel of the input image on the memory and the address of each pixel of the output image on the memory is registered.
  • An image conversion unit that converts the input image stored in a memory into the output image using a lookup table;
  • An image conversion apparatus comprising:
  • the image conversion unit reads the information of each pixel of the input image in the order of the address of each pixel of the input image along the arrangement of the lookup table, and converts the input image into the output image.
  • the image conversion apparatus according to appendix 4.
  • step (b) a temporary information table indicating the number of corresponding output images and the coordinates of the corresponding output image for each pixel coordinate of the input image, using the identified correspondence relationship.
  • step (d) the coordinates of the pixels of the input image and the coordinates of the pixels of the output image in the temporary information table are converted into addresses on the memory, and each pixel of the input image on the memory is converted. For each address, the relationship between the address and the address of each pixel of the output image on the memory is obtained.
  • step (d) the lookup table is divided into a plurality of blocks according to the burst length at the time of reading the memory.
  • (Appendix 9) On the computer, (A) obtaining a sample input image and a sample output image and storing each in a memory; (B) identifying, for each pixel of the output image, a pixel of the input image corresponding to the pixel, and identifying a correspondence between each pixel of the output image and each pixel of the input image; , (C) identifying an address of each pixel of the input image on the memory and an address of each pixel of the output image on the memory; (D) Using the correspondence relationship, for each address of each pixel of the input image on the memory, a relationship between the address and the address of each pixel of the output image on the memory is obtained, and the obtained address Creating a lookup table for converting the input image into the output image by arranging the relationship between them in the order of addresses of each pixel of the input image on the memory; and The computer-readable recording medium which recorded the program containing the instruction
  • step (b) a temporary information table indicating the number of corresponding output images and the coordinates of the corresponding output image for each pixel coordinate of the input image, using the identified correspondence relationship.
  • step (d) the coordinates of the pixels of the input image and the coordinates of the pixels of the output image in the temporary information table are converted into addresses on the memory, and each pixel of the input image on the memory is converted. For each address, the relationship between the address and the address of each pixel of the output image on the memory is obtained.
  • the lookup table is divided into a plurality of blocks according to the burst length at the time of reading the memory.
  • the computer-readable recording medium according to appendix 9 or 10.
  • the present invention it is possible to shorten the image conversion process without increasing the capacity of the cache memory.
  • the present invention is useful for an image processing apparatus that requires real-time image conversion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

画像変換支援装置10は、サンプルとなる入力画像及び出力画像をメモリ20に格納するサンプル画像取得部11と、出力画像の画素毎に、対応する入力画像の画素を特定して、出力画像の各画素と入力画像の各画素との対応関係を特定する対応関係特定部12と、メモリ20上の入力画像の各画素のアドレスと出力画像の各画素のアドレスとを特定するアドレス特定部13と、対応関係を用いてメモリ上の入力画像の各画素のアドレス毎に、それとメモリ上の出力画像の各画素のアドレスとの関係を求め、求めた関係をメモリ20上の入力画像の各画素のアドレスの順に配列して、入力画像を出力画像に変換するためのルックアップテーブルを作成するテーブル作成部14とを備える。

Description

画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体
 本発明は、画像変換処理に用いるルックアップテーブルを作成するための、画像変換支援装置及び画像変換支援方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体、作成されたルックアップテーブルを用いる画像変換装置に関する。
 魚眼カメラは、180°を超える広視野角を一つの画像として撮像及び取得できる特徴を備えており、その特徴から、監視、地図生成、自動車のリアビューモニタなどの産業分野で利用されている。
 一方、魚眼カメラは、撮像画像に大きな光学歪を生じることが知られている。このため、魚眼カメラでは、画像上の歩行者など特定の物体を検出するようなタスクに置いては、検出が困難となることがある。このため、例えば、特許文献1及び特許文献2は、魚眼カメラの画像を幾何学変換することによって、魚眼カメラ画像に写る人物などの歪みを補正する技術を開示している。
 具体的には、特許文献1は画像変換装置を開示している。特許文献1に開示された画像変換装置は、魚眼画像を仮想球体面上にモデル化し、これを円柱座標系に投影して湾曲正則画像を生成することで、歪みを補正している。なお、円柱座標系では、水平方向は球体面の接線方向に設定され、垂直方向を球体面の軸方向に設定されている。
 また、特許文献2は、特許文献1に開示された画像変換装置を用いた画像提示装置を開示している。特許文献2に開示された画像処理装置は、特許文献1に開示された湾曲正則画像を用いて、魚眼画像の中心視野から水平方向の視野範囲において複数の人物画像を補正している。
 また、このような画像の幾何学変換が行なわれた後は、入力画像と出力画像との対応関係を示すルックアップテーブルが作成される(図9参照)。そして、ルックアップテーブルは、画像変換装置に搭載され、画像変換装置は、魚眼カメラから画像が入力されると、ルックアップテーブルを用いて、この画像に対して画像変換(幾何学変換)を行なう。また、幾何学変換後の画像は、上述した物体検出等に用いられる。
 図9は、従来からのルックアップテーブルの一例を示す図である。図9に示すように、ルックアップテーブルには、出力画像のアドレスの順に、出力画像のアドレスと入力画像のアドレスとの対比関係が登録されている。
特許第4629131号公報 特許第5569329号公報
 ところで、図9に示すルックアップテーブルにおいて、対応関係が、出力画像のアドレスの順となっているのは、この順に、出力画像の画像データの読み出しが行なわれるからである。しかしながら、この場合は、不連続なアドレスの順に、入力画像が記憶されている記憶領域にアクセスする必要があるため、入力画像がDRAM(Dynamic Random Access Memory)等に格納されている場合は、画像変換処理に時間がかかってしまう。
 一方、入力画像が、DRAMではなくて、画像変換装置を構成しているプロセッサのキャッシュメモリに格納されるようにすれば、画像変換処理にかかる時間の短縮化は図られるが、この場合は、画像変換装置のコストが上昇してしまう。
 また、近年においては、集積回路でありながらユーザが自由にプログラミングできる点から、FPGA(Field Programmable Gate Array)が、種々の機器において採用されている。そして、画像変換装置をFPGAによって構成する例が増加しているが、FPGAにおいて、キャッシュメモリの容量拡大は困難である。
 本発明の目的の一例は、上記問題を解消し、キャッシュメモリの容量を増加させることなく、画像変換処理の短縮化を可能にし得る、画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本発明の一側面における画像変換支援装置は、
 サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、サンプル画像取得部と、
 前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、対応関係特定部と、
 前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、アドレス特定部と、
 前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、テーブル作成部と、
を備えていることを特徴とする。
 上記目的を達成するため、本発明の一側面における画像変換装置は、メモリ上の入力画像を出力画像に変換するための装置であって、
 前記入力画像を取得して、メモリ上に格納する、画像取得部と、
 前記メモリ上の前記入力画像の各画素のアドレスの順に、前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を登録している、ルックアップテーブルを用いて、メモリ上に格納されている前記入力画像を前記出力画像に変換する、画像変換部と、
を備えていることを特徴とする。
 また、上記目的を達成するため、本発明の一側面における画像変換支援方法は、
(a)サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、ステップと、
(b)前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、ステップと、
(c)前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、ステップと、
(d)前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、ステップと、
を有することを特徴とする。
 更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータに、
(a)サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、ステップと、
(b)前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、ステップと、
(c)前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、ステップと、
(d)前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
 以上のように、本発明によれば、キャッシュメモリの容量を増加させることなく、画像変換処理の短縮化を可能にすることができる。
図1は、本発明の実施の形態における画像変換支援装置の構成を示すブロック図である。 図2は、本発明の実施の形態で特定される、サンプル出力画像の各画素とサンプル入力画像の各画素との対応関係の一例を示す図である。 図3は、本発明の実施の形態で作成される一時情報テーブルの一例を示す図である。 図4は、本発明の実施の形態で作成されるルックアップテーブルの一例を示す図である。 図5は、本発明の実施の形態で作成されるルックアップテーブルの他の例を示す図である。 図6は、本発明の実施の形態における画像変換支援装置の動作を示すフロー図である。 図7は、本発明の実施の形態における画像変換装置の構成を示すブロック図である。 図8は、本発明の実施の形態における画像変換支援装置を実現するコンピュータの一例を示すブロック図である。 図9は、従来からのルックアップテーブルの一例を示す図である。
(実施の形態)
 以下、本発明の実施の形態における、画像変換支援装置、画像変換装置、画像変換支援方法、及びプログラムについて、図1~図8を参照しながら説明する。
[画像変換支援装置の構成]
 最初に、図1を用いて、本実施の形態における画像変換支援装置の構成について説明する。図1は、本発明の実施の形態における画像変換支援装置の構成を示すブロック図である。
 図1に示すように、画像変換支援装置10は、画像変換装置(後述の図7参照)が利用するルックアップテーブル42を作成することによって、画像変換装置における画像変換を支援する装置である。図1に示すように、画像変換支援装置10は、サンプル画像取得部11と、対応関係特定部12と、アドレス特定部13と、テーブル作成部14とを備えている。
 サンプル画像取得部11は、サンプルとなる入力画像(以下「サンプル入力画像」と表記する。)と、サンプルとなる出力画像(以下「サンプル出力画像」と表記する。)とを取得し、それぞれをメモリ20に格納する。対応関係特定部12は、サンプル出力画像の画素毎に、各画素に対応する、サンプル入力画像の画素を特定して、サンプル出力画像の各画素とサンプル入力画像の各画素との対応関係を特定する。アドレス特定部13は、メモリ20上のサンプル入力画像の各画素のアドレスと、メモリ20上のサンプル出力画像の各画素のアドレスとを特定する。
 テーブル作成部14は、まず、特定された対応関係を用いて、メモリ20上のサンプル入力画像の各画素のアドレス毎に、各アドレスと、メモリ20上のサンプル出力画像の各画素のアドレスとの関係を求める。続いて、テーブル作成部14は、求めたアドレス間の関係を、メモリ20上の入力画像の各画素のアドレスの順に配列して、入力画像を出力画像に変換するためのルックアップテーブルを作成する。
 このように、本実施の形態で作成されるルックアップテーブルでは、図9に示した従来のルックアップテーブルと異なり、出力画像の各画素のアドレスと入力画像の各画素のアドレスとの関係は、メモリ上の入力画像の各画素のアドレスの順に配列される。このため、本実施の形態によれば、画像変換処理において、入力画像が記憶されている記憶領域へのアクセスを効率良く行なうことができるので、キャッシュメモリの容量を増加させることなく、画像変換処理の短縮化を図ることができる。
 続いて、図2~図5を用いて、本実施の形態における画像変換支援装置の構成についてより具体的に説明する。図2は、本発明の実施の形態で特定される、サンプル出力画像の各画素とサンプル入力画像の各画素との対応関係の一例を示す図である。図3は、本発明の実施の形態で作成される一時情報テーブルの一例を示す図である。図4は、本発明の実施の形態で作成されるルックアップテーブルの一例を示す図である。図5は、本発明の実施の形態で作成されるルックアップテーブルの他の例を示す図である。
 まず、本実施の形態において、サンプル入力画像の例としては、魚眼レンズを搭載した撮像装置で撮影された魚眼カメラ画像が挙げられる。また、サンプル出力画像の例としては、サンプル入力画像である魚眼カメラ画像に対して幾何学変換を行なって得られた画像が挙げられる。サンプル画像取得部11は、予め用意されたこれらの画像を取得して、これらの画像の画像データをメモリ20に格納する。
 対応関係特定部12は、本実施の形態では、まず、サンプル出力画像の各画素とサンプル入力画像の各画素との対応関係を特定する。具体的には、対応関係特定部12は、図2に示すように、サンプル出力画像の各画素とサンプル入力画像の各画素との対応関係を特定する、対応関係テーブルを作成する。この対応関係テーブルは、出力画像の画素の座標の順に配列されている。
 続いて、対応関係特定部12は、対応関係テーブルを用いて、図3に示すように、入力画像の画素の座標毎に、対応する出力画像の個数と、対応する出力画像の座標とを示す、一時情報テーブルを作成する。
 アドレス特定部13は、本実施の形態では、サンプル画像取得部11から、それがサンプル入力画像及びサンプル出力画像をメモリに書き込む際に指定した画素毎のアドレスを取得する。これにより、アドレス特定部13は、サンプル入力画像の各画素のアドレスとサンプル出力画像の各画素のアドレスとを特定する。
 テーブル作成部14は、本実施の形態では、まず、図3に示した一時情報テーブルにおいて、サンプル入力画像の画素の座標及びサンプル出力画像の画素の座標をメモリ20上のアドレスに変換する。これにより、テーブル作成部14は、メモリ20上のサンプル入力画像の各画素のアドレス毎に、そのアドレスと、メモリ20上のサンプル出力画像の各画素のアドレスとの関係を求めることができる。
 そして、テーブル作成部14は、図4に示すように、アドレス間の関係を、メモリ上の入力画像の各画素のアドレスの順に配列することによって、ルックアップテーブルを作成する。また、テーブル作成部14は、メモリ20の読み取り時のバースト長に合わせて、ルックアップテーブルを複数のブロックに分割することもできる。
 また、図5に示すように、ルックアップテーブルにおいては、入力元の画像の先頭のアドレス(入力先頭アドレス)と、入力元の画像の画素数(入力画素個数)とを登録することで、入力元の画像のアドレスを省略することもできる。更に、図5に示すルックアップテーブルでは、入力元の画像において読込がスキップされる画素が存在する場合は、出力先個数が0(ゼロ)に設定される。図5に示すルックアップテーブルによれば、データサイズの削減を図ることができる。
[画像変換支援装置の動作]
 次に、本実施の形態における画像変換支援装置の動作について図6を用いて説明する。図6は、本発明の実施の形態における画像変換支援装置の動作を示すフロー図である。以下の説明においては、適宜図1を参酌する。また、本実施の形態では、画像変換支援装置10を動作させることによって、画像変換支援方法が実施される。よって、本実施の形態における画像変換支援方法の説明は、以下の画像変換支援装置10の動作説明に代える。
 図6に示すように、最初に、サンプル画像取得部11は、外部からサンプル入力画像とサンプル出力画像とを取得し、それぞれをメモリに格納する(ステップA1)。ステップA1では、サンプル画像取得部11は、更に、サンプル入力画像及びサンプル出力画像それぞれの画素毎の書き込み先のアドレスをアドレス特定部13に通知する。
 次に、対応関係特定部12は、サンプル出力画像の各画素とサンプル入力画像の各画素との対応関係を特定し、図2に示した対応関係テーブルを作成する(ステップA2)。続いて、対応関係特定部12は、ステップA2で作成した対応関係テーブルを用いて、図3に示した一時情報テーブルを作成する(ステップA3)。
 次に、アドレス特定部13は、サンプル画像取得部11から通知されたアドレスから、サンプル入力画像の各画素のアドレスとサンプル出力画像の各画素のアドレスとを特定する(ステップA4)。
 次に、テーブル作成部14は、メモリ20上のサンプル入力画像の各画素のアドレス毎に、そのアドレスと、メモリ上のサンプル出力画像の各画素のアドレスとの関係を求める(ステップA5)。具体的には、テーブル作成部14は、ステップA3で作成した一時情報テーブルにおいて、サンプル入力画像の画素の座標及びサンプル出力画像の画素の座標を、メモリ20上のアドレスに変換する。
 次に、テーブル作成部14は、ステップA5で得られたアドレス間の関係を、メモリ20上のサンプル入力画像の各画素のアドレスの順に配列して、ルックアップテーブルを作成する(ステップA6)。
 以上のステップA1~A6により、図4又は図5に示すルックアップテーブルが作成される。作成されたルックアップテーブルは、後述する画像変換装置において用いられる。
[画像変換装置]
 次に、本発明の実施の形態における画像変換装置について、図7を参照しながら説明する。図7は、本発明の実施の形態における画像変換装置の構成を示すブロック図である。
 図7に示す画像変換装置30は、メモリ40上の入力画像41を出力画像43に変換するための装置である。図7に示すように、画像変換装置30は、画像取得部31と、画像変換部32とを備えている。また、本実施の形態では、画像変換装置30は、魚眼レンズを搭載した撮像装置50に接続されている。
 画像取得部31は、入力画像を取得して、メモリ40上に格納する。本実施の形態では、画像取得部31は、撮像装置50から、入力画像として魚眼カメラ画像を取得し、取得した入力画像の各画素をメモリ40上の設定されたアドレスに格納する。
 画像変換部32は、図1に示した画像変換支援装置10によって作成されたルックアップテーブル42を用いて、メモリ40上に格納されている入力画像41を、出力画像43に変換する。ルックアップテーブル42は、メモリ40上の入力画像41の各画素のアドレスの順に、メモリ40上の入力画像の各画素のアドレスと、メモリ40上の出力画像43の各画素のアドレスとの関係を登録している。
 具体的には、画像変換部32は、図4又は図5に示したルックアップテーブル42の配列に沿って、入力画像41の各画素のアドレスの順に、入力画像41の各画素の情報、例えば、出力先の画素のアドレス等を読み込んで、メモリ40上で、入力画像41から出力画像43を作成する。
 また、画像変換部32は、メモリ40上で作成された出力画像43を取り出し、取り出した出力画像43を外部からの要求に従って出力する。出力画像43の出力先としては、例えば、画像変換装置30が車両に搭載されている場合は、車両上の演算装置が挙げられる。
[実施の形態における効果]
 以上のように、本実施の形態において作成されたルックアップテーブルでは、出力画像の各画素のアドレスと入力画像の各画素のアドレスとの関係は、メモリ上の入力画像の各画素のアドレスの順に配列されている。このため、画像変換処理において、入力画像が記憶されている記憶領域へのアクセスを効率良く行なうことができるので、キャッシュメモリの容量を増加させることなく、画像変換処理の短縮化を図ることができる。
[プログラム]
 本実施の形態におけるプログラムは、コンピュータに、図6に示すステップA1~A6を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像変換支援装置10と画像変換方法とを実現することができる。この場合、コンピュータのプロセッサは、サンプル画像取得部11、対応関係特定部12、アドレス特定部13、及びテーブル作成部14として機能し、処理を行なう。
 また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、サンプル画像取得部11、対応関係特定部12、アドレス特定部13、及びテーブル作成部14のいずれかとして機能しても良い。
 ここで、実施の形態におけるプログラムを実行することによって、画像変換支援装置10を実現するコンピュータについて図8を用いて説明する。図8は、本発明の実施の形態における画像変換支援装置を実現するコンピュータの一例を示すブロック図である。
 図8に示すように、コンピュータ110は、CPU(Central Processing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGAを備えても良い。
 CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
 また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
 データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
 また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
 なお、本実施の形態における画像変換支援装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像変換支援装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
 上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記11)によって実現することができるが、以下の記載に限定されるものではない。
(付記1)
 サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、サンプル画像取得部と、
 前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、対応関係特定部と、
 前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、アドレス特定部と、
 前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、テーブル作成部と、
を備えていることを特徴とする画像変換支援装置。
(付記2)
 前記対応関係特定部が、特定した前記対応関係を用いて、前記入力画像の画素の座標毎に、対応する前記出力画像の個数と、対応する前記出力画像の座標とを示す、一時情報テーブルを作成し、
 前記テーブル作成部が、前記一時情報テーブルにおける、前記入力画像の画素の座標及び前記出力画像の画素の座標を前記メモリ上のアドレスに変換して、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求める、
付記1に記載の画像変換支援装置。
(付記3)
 前記テーブル作成部は、前記メモリの読み取り時のバースト長に合わせて、前記ルックアップテーブルを複数のブロックに分割する、
付記1または2に記載の画像変換支援装置。
(付記4)
 メモリ上の入力画像を出力画像に変換するための装置であって、
 前記入力画像を取得して、メモリ上に格納する、画像取得部と、
 前記メモリ上の前記入力画像の各画素のアドレスの順に、前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を登録している、ルックアップテーブルを用いて、メモリ上に格納されている前記入力画像を前記出力画像に変換する、画像変換部と、
を備えていることを特徴とする画像変換装置。
(付記5)
 前記画像変換部が、前記ルックアップテーブルの配列に沿って、前記入力画像の各画素のアドレスの順に、前記入力画像の各画素の情報を読み込んで、前記入力画像を前記出力画像に変換する、
付記4に記載の画像変換装置。
(付記6)
(a)サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、ステップと、
(b)前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、ステップと、
(c)前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、ステップと、
(d)前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、ステップと、
を有することを特徴とする画像変換支援方法。
(付記7)
 前記(b)のステップにおいて、特定した前記対応関係を用いて、前記入力画像の画素の座標毎に、対応する前記出力画像の個数と、対応する前記出力画像の座標とを示す、一時情報テーブルを作成し、
 前記(d)のステップにおいて、前記一時情報テーブルにおける、前記入力画像の画素の座標及び前記出力画像の画素の座標を前記メモリ上のアドレスに変換して、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求める、
付記6に記載の画像変換支援方法。
(付記8)
 前記(d)のステップにおいて、前記メモリの読み取り時のバースト長に合わせて、前記ルックアップテーブルを複数のブロックに分割する、
付記6または7に記載の画像変換支援方法。
(付記9)
コンピュータに、
(a)サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、ステップと、
(b)前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、ステップと、
(c)前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、ステップと、
(d)前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記10)
 前記(b)のステップにおいて、特定した前記対応関係を用いて、前記入力画像の画素の座標毎に、対応する前記出力画像の個数と、対応する前記出力画像の座標とを示す、一時情報テーブルを作成し、
 前記(d)のステップにおいて、前記一時情報テーブルにおける、前記入力画像の画素の座標及び前記出力画像の画素の座標を前記メモリ上のアドレスに変換して、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求める、
付記9に記載のコンピュータ読み取り可能な記録媒体。
(付記11)
 前記(d)のステップにおいて、前記メモリの読み取り時のバースト長に合わせて、前記ルックアップテーブルを複数のブロックに分割する、
付記9または10に記載のコンピュータ読み取り可能な記録媒体。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2017年3月13日に出願された日本出願特願2017-046894を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 以上のように、本発明によれば、キャッシュメモリの容量を増加させることなく、画像変換処理の短縮化を可能にすることができる。本発明は、リアルタイムでの画像変換が必要な画像処理装置に有用である。
 10 画像変換支援装置
 11 サンプル画像取得部
 12 対応関係特定部
 13 アドレス特定部
 14 テーブル作成部
 20 メモリ
 30 画像変換装置
 31 画像取得部
 32 画像変換部
 40 メモリ
 41 入力画像
 42 ルックアップテーブル
 43 出力画像
 50 撮像装置
 110 コンピュータ
 111 CPU
 112 メインメモリ
 113 記憶装置
 114 入力インターフェイス
 115 表示コントローラ
 116 データリーダ/ライタ
 117 通信インターフェイス
 118 入力機器
 119 ディスプレイ装置
 120 記録媒体
 121 バス

Claims (11)

  1.  サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、サンプル画像取得部と、
     前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、対応関係特定部と、
     前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、アドレス特定部と、
     前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、テーブル作成部と、
    を備えていることを特徴とする画像変換支援装置。
  2.  前記対応関係特定部が、特定した前記対応関係を用いて、前記入力画像の画素の座標毎に、対応する前記出力画像の個数と、対応する前記出力画像の座標とを示す、一時情報テーブルを作成し、
     前記テーブル作成部が、前記一時情報テーブルにおける、前記入力画像の画素の座標及び前記出力画像の画素の座標を前記メモリ上のアドレスに変換して、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求める、
    請求項1に記載の画像変換支援装置。
  3.  前記テーブル作成部は、前記メモリの読み取り時のバースト長に合わせて、前記ルックアップテーブルを複数のブロックに分割する、
    請求項1または2に記載の画像変換支援装置。
  4.  メモリ上の入力画像を出力画像に変換するための装置であって、
     前記入力画像を取得して、メモリ上に格納する、画像取得部と、
     前記メモリ上の前記入力画像の各画素のアドレスの順に、前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を登録している、ルックアップテーブルを用いて、メモリ上に格納されている前記入力画像を前記出力画像に変換する、画像変換部と、
    を備えていることを特徴とする画像変換装置。
  5.  前記画像変換部が、前記ルックアップテーブルの配列に沿って、前記入力画像の各画素のアドレスの順に、前記入力画像の各画素の情報を読み込んで、前記入力画像を前記出力画像に変換する、
    請求項4に記載の画像変換装置。
  6. (a)サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、ステップと、
    (b)前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、ステップと、
    (c)前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、ステップと、
    (d)前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、ステップと、
    を有することを特徴とする画像変換支援方法。
  7.  前記(b)のステップにおいて、特定した前記対応関係を用いて、前記入力画像の画素の座標毎に、対応する前記出力画像の個数と、対応する前記出力画像の座標とを示す、一時情報テーブルを作成し、
     前記(d)のステップにおいて、前記一時情報テーブルにおける、前記入力画像の画素の座標及び前記出力画像の画素の座標を前記メモリ上のアドレスに変換して、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求める、
    請求項6に記載の画像変換支援方法。
  8.  前記(d)のステップにおいて、前記メモリの読み取り時のバースト長に合わせて、前記ルックアップテーブルを複数のブロックに分割する、
    請求項6または7に記載の画像変換支援方法。
  9. コンピュータに、
    (a)サンプルとなる入力画像とサンプルとなる出力画像とを取得し、それぞれをメモリに格納する、ステップと、
    (b)前記出力画像の画素毎に、当該画素に対応する、前記入力画像の画素を特定して、前記出力画像の各画素と前記入力画像の各画素との対応関係を特定する、ステップと、
    (c)前記メモリ上の前記入力画像の各画素のアドレスと、前記メモリ上の前記出力画像の各画素のアドレスとを特定する、ステップと、
    (d)前記対応関係を用いて、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求め、求めたアドレス間の関係を、前記メモリ上の前記入力画像の各画素のアドレスの順に配列して、前記入力画像を前記出力画像に変換するためのルックアップテーブルを作成する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  10.  前記(b)のステップにおいて、特定した前記対応関係を用いて、前記入力画像の画素の座標毎に、対応する前記出力画像の個数と、対応する前記出力画像の座標とを示す、一時情報テーブルを作成し、
     前記(d)のステップにおいて、前記一時情報テーブルにおける、前記入力画像の画素の座標及び前記出力画像の画素の座標を前記メモリ上のアドレスに変換して、前記メモリ上の前記入力画像の各画素のアドレス毎に、当該アドレスと、前記メモリ上の前記出力画像の各画素のアドレスとの関係を求める、
    請求項9に記載のコンピュータ読み取り可能な記録媒体。
  11.  前記(d)のステップにおいて、前記メモリの読み取り時のバースト長に合わせて、前記ルックアップテーブルを複数のブロックに分割する、
    請求項9または10に記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2018/007880 2017-03-13 2018-03-01 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体 WO2018168506A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019505871A JPWO2018168506A1 (ja) 2017-03-13 2018-03-01 画像変換支援装置、画像変換装置、画像変換支援方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017046894 2017-03-13
JP2017-046894 2017-03-13

Publications (1)

Publication Number Publication Date
WO2018168506A1 true WO2018168506A1 (ja) 2018-09-20

Family

ID=63523304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/007880 WO2018168506A1 (ja) 2017-03-13 2018-03-01 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JPWO2018168506A1 (ja)
WO (1) WO2018168506A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198497A (ja) * 1996-01-18 1997-07-31 Fujitsu Ltd 画像データの加工処理方式
JP2009152804A (ja) * 2007-12-19 2009-07-09 Canon Inc 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム
JP2011113234A (ja) * 2009-11-26 2011-06-09 Mega Chips Corp 画像処理装置、および画像処理装置の動作方法
JP2013004031A (ja) * 2011-06-21 2013-01-07 Canon Inc 画像処理装置、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198497A (ja) * 1996-01-18 1997-07-31 Fujitsu Ltd 画像データの加工処理方式
JP2009152804A (ja) * 2007-12-19 2009-07-09 Canon Inc 画像処理装置及びその制御方法及びレンズ交換式一眼レフデジタルカメラ及びプログラム
JP2011113234A (ja) * 2009-11-26 2011-06-09 Mega Chips Corp 画像処理装置、および画像処理装置の動作方法
JP2013004031A (ja) * 2011-06-21 2013-01-07 Canon Inc 画像処理装置、画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NO AA, vol. 16, no. 78, 27 November 1992 (1992-11-27), pages 35 - 42 *

Also Published As

Publication number Publication date
JPWO2018168506A1 (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
US10984556B2 (en) Method and apparatus for calibrating relative parameters of collector, device and storage medium
US9262807B2 (en) Method and system for correcting a distorted input image
KR102183050B1 (ko) 구면 파노라마 영상에 매핑을 수행하는 방법 및 장치
KR101017802B1 (ko) 영상 왜곡 보정
JP5906028B2 (ja) 画像処理装置、画像処理方法
JP4715334B2 (ja) 車両用画像生成装置および方法
JP2017130929A (ja) 撮像装置により取得された文書画像の補正方法及び補正装置
JP2008022372A (ja) 改竄検知情報生成装置、撮像装置、改竄検知情報生成方法、プログラムおよび記憶媒体
US10848686B2 (en) Method of providing image and electronic device for supporting the method
WO2020039747A1 (ja) 信号処理装置、撮像装置、信号処理方法
JP2010176547A (ja) 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム
WO2018168506A1 (ja) 画像変換支援装置、画像変換装置、画像変換支援方法、及びコンピュータ読み取り可能な記録媒体
US10692171B2 (en) Method of operating virtual address generator and method of operating system including the same
JP2016018490A (ja) エッジ検出方法、エッジ検出装置及びエッジ検出プログラム
KR102076635B1 (ko) 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법
CN109391788B (zh) 用于处理图像信号的系统
US11270412B2 (en) Image signal processor, method, and system for environmental mapping
JP6762775B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2021047827A (ja) デバイス、システム、制御方法、及びプログラム
JP5959684B2 (ja) 画像変換システム
JP2019144792A (ja) 画像幾何変換装置、画像幾何逆変換装置及びプログラム
US20220392207A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP4865021B2 (ja) 画像処理装置および画像処理方法
KR102494412B1 (ko) Simd 연산을 이용하여 이미지 데이터의 주파수 변환을 수행하는 전자 장치 및 전자 장치의 동작 방법
US10672100B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18766847

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019505871

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18766847

Country of ref document: EP

Kind code of ref document: A1