WO2012007993A1 - 画像合成装置 - Google Patents

画像合成装置 Download PDF

Info

Publication number
WO2012007993A1
WO2012007993A1 PCT/JP2010/004573 JP2010004573W WO2012007993A1 WO 2012007993 A1 WO2012007993 A1 WO 2012007993A1 JP 2010004573 W JP2010004573 W JP 2010004573W WO 2012007993 A1 WO2012007993 A1 WO 2012007993A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
overhead
camera
viewpoint
area
Prior art date
Application number
PCT/JP2010/004573
Other languages
English (en)
French (fr)
Inventor
春日隆文
加藤義幸
加藤聖崇
鳥居晃
濱田雅樹
米澤栄斉
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112010005737.0T priority Critical patent/DE112010005737B4/de
Priority to CN201080068057.5A priority patent/CN102986210B/zh
Priority to PCT/JP2010/004573 priority patent/WO2012007993A1/ja
Priority to US13/808,985 priority patent/US8896699B2/en
Priority to JP2012524344A priority patent/JP5178961B2/ja
Publication of WO2012007993A1 publication Critical patent/WO2012007993A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to an image synthesizing apparatus that generates an overhead image of an arbitrary viewpoint around a vehicle from an image photographed by a camera attached around the vehicle and displays the overhead image.
  • image data indicating images taken by a plurality of cameras attached around the vehicle is input, and the image data is input to an input frame buffer.
  • the mapping data indicating the correspondence between the pixels in the overhead image when viewed from an arbitrary viewpoint and the pixels in the image captured by the camera is referenced and stored in the input frame buffer.
  • An overhead image is generated from a plurality of image data.
  • the image composition device when the image composition device generates a bird's-eye view image from a plurality of image data stored in the input frame buffer, only the image data of a part of the region in the image captured by the camera is used. However, all the image data indicating the image taken by the camera is stored in the input frame buffer. Therefore, in the image composition apparatus, it is necessary to mount an input frame buffer having a large memory capacity.
  • the conventional image composition apparatus is configured as described above, a special camera capable of changing the output area is mounted and the output area of the camera is controlled according to the viewpoint of the overhead image. For example, only the image data used for generating the overhead image can be stored in the input frame buffer, and the memory capacity of the input frame buffer can be reduced.
  • a special camera that can change the output area due to equipment costs, camera specifications, etc.
  • you do not implement an input frame buffer with a large memory capacity you can It is impossible to generate a bird's-eye view image when viewed (the overhead image can be generated even with an input frame buffer having a small memory capacity if the image quality of the bird's-eye view image and the frame rate are allowed to decrease) there were.
  • the present invention has been made to solve the above-described problems, and is an image composition device capable of generating a high-quality and high frame rate overhead image without mounting an input frame buffer having a large memory capacity. The purpose is to obtain.
  • the image composition device selects a camera to be used for generating an overhead image when viewed from an arbitrary viewpoint from among a plurality of cameras having different mounting positions, and among the images photographed by the camera,
  • the area specifying means for specifying the area corresponding to the overhead image and the image data in the area specified by the area specifying means among the image data indicating the image taken by the camera are input, and the image data is Image data input means for storing in the frame buffer is provided, and the overhead image generation means generates the overhead image from the image data stored in the frame buffer.
  • a camera to be used for generating an overhead image when viewed from an arbitrary viewpoint is selected from a plurality of cameras having different mounting positions, and the overhead image is captured among the images captured by the camera.
  • Region specifying means for specifying the region corresponding to the image data, and image data in the region specified by the region specifying means among the image data indicating the image captured by the camera is input, and the image data is input to the frame buffer.
  • the image data input means for storing is provided, and the overhead image generation means is configured to generate the overhead image from the image data stored in the frame buffer, so that high image quality can be achieved without mounting a frame buffer having a large memory capacity. -There is an effect that an overhead image with a high frame rate can be generated.
  • FIG. 5 is a flowchart showing a process for specifying a region in a captured image corresponding to a bird's-eye image in the region specifying unit 3; It is a flowchart which shows the update process of the area
  • FIG. 5 is an explanatory diagram showing areas of images taken by the in-vehicle cameras 1a to 1d. It is a block diagram which shows the image synthesizing
  • FIG. 1 is a block diagram showing an image composition apparatus according to Embodiment 1 of the present invention.
  • an in-vehicle camera 1a is attached to the front side of a vehicle (a vehicle includes a train, a ship, an airplane, an automobile, etc. in addition to an automobile), and image data showing an image in front of the vehicle by photographing the front of the vehicle. Is output to the input video signal control unit 4.
  • the in-vehicle camera 1b is attached to the rear side of the vehicle, images the rear of the vehicle, and outputs image data indicating an image of the rear of the vehicle to the input video signal control unit 4.
  • the in-vehicle camera 1c is attached to the right side of the vehicle, images the right side of the vehicle, and outputs image data indicating an image on the right side of the vehicle to the input video signal control unit 4.
  • the in-vehicle camera 1d is attached to the left side of the vehicle, images the left side of the vehicle, and outputs image data indicating an image on the left side of the vehicle to the input video signal control unit 4.
  • FIG. 6 is an explanatory diagram showing areas of images taken by the in-vehicle cameras 1a to 1d.
  • the rearrangement table storage buffer 2 is a recording medium such as a RAM or a hard disk, for example.
  • a recording medium such as a RAM or a hard disk, for example.
  • the rearrangement table storage buffer 2 constitutes a table storage means.
  • the area specifying unit 3 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or a personal computer.
  • a buffer for storing a rearrangement table 2 is selected from the in-vehicle cameras 1a to 1d with reference to the rearrangement table stored in FIG. 2, and the in-vehicle camera 1 used for generating an overhead image when viewed from the viewpoint indicated by the viewpoint position information is selected.
  • a process corresponding to the bird's-eye view image in the image taken by the in-vehicle camera 1 is specified and necessary area information indicating the area is output to the input video signal control unit 4.
  • the area specifying unit 3 constitutes an area specifying means.
  • the input video signal control unit 4 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, a personal computer, or the like, and among image data indicating images taken by the in-vehicle cameras 1a to 1d, The image data (front camera data, right camera data, left camera data, or rear camera data) in the area indicated by the necessary area information output from the area specifying unit 3 is input, and the image data is input as an input frame buffer. 5 is executed.
  • the input video signal control unit 4 constitutes image data input means.
  • the input frame buffer 5 is a recording medium such as a frame memory, for example, and image data (front camera data, right camera data, left camera data, or rear camera data) in an area output from the input video signal control unit 4. Is stored.
  • the image processing device 6 is composed of, for example, a GPU (Graphics Processing Unit) and is stored in the input frame buffer 5 using the coordinate transformation matrix in the rearrangement table stored in the rearrangement table storage buffer 2.
  • generates a bird's-eye view image is implemented by implementing the coordinate transformation of the image which the image data currently performed.
  • the image processing apparatus 6 constitutes an overhead image generation unit.
  • the output frame buffer 7 is a recording medium such as a frame memory, and stores the overhead image generated by the image processing device 6.
  • the image display device 8 is a display device on which, for example, a liquid crystal display is mounted, and performs a process of displaying a bird's-eye view image stored in the output frame buffer 7.
  • the image display device 8 constitutes image display means. In the example of FIG. 1, the image display device 8 is provided outside the image composition device, but the image composition device may be mounted on the image composition device.
  • FIG. 1 is a flowchart showing the processing contents of the image composition device according to Embodiment 1 of the present invention.
  • FIG. 3 is an explanatory diagram illustrating an example of a viewpoint and a rearrangement table.
  • FIG. 3A shows a bird's-eye view image of a certain viewpoint, and a triangle in the bird's-eye view image shows a minute area constituting the bird's-eye view image (in the example of FIG. 3A, the shape of the minute area).
  • camera information indicating the in-vehicle camera 1 corresponding to the viewpoint is recorded for each minute area constituting the overhead view image of the viewpoint.
  • the in-vehicle camera 1 corresponding to the minute area is “in-vehicle camera 1a” and the in-vehicle camera 1 corresponding to the nth minute area is “in-vehicle camera 1c”.
  • region information indicating a region in the captured image of the in-vehicle camera 1 corresponding to the overhead view image of the viewpoint that is, region information indicating a minute region constituting the overhead image of the viewpoint (for example, n
  • region information indicating a minute region constituting the overhead image of the viewpoint for example, n
  • vertex coordinates (u 0 (n), v 0 (n)), (u 1 (n), v 1 (n)), (u 2 (n), v 2 (n)) In the example of FIG. 3B, (u 0 (n), v 0 (n)) is (200, 100), (u 1 (n), v 1 (n)) is ( 200, 105) and (u 2 (n), v 2 (n)) indicate (205, 105).
  • a coordinate conversion matrix M (n) (a coordinate system uv of the captured image and a coordinate system xy of the overhead image used for converting the image captured by the in-vehicle camera 1 into the overhead image) is displayed.
  • a matrix for coordinate conversion is recorded.
  • the elements a, b, c, and d of the coordinate transformation matrix M (n) are constants determined by the mounting position and shooting direction of the in-vehicle cameras 1a to 1d, the viewpoint of the overhead image, the enlargement / reduction of the image, and the like.
  • the coordinate transformation matrix M (n) can be expressed as the following equation (2). .
  • the coordinate conversion matrix M (n) can be expressed as the following equation (3).
  • the coordinate transformation matrix M (n) shown in the equations (2) and (3) is merely an example, and other coordinate transformation matrices may be used.
  • an example in which an image captured by the in-vehicle camera 1 is converted into a bird's-eye view image by rotating the image by ⁇ is not limited to this.
  • the image captured by the in-vehicle camera 1 is translated.
  • conversion to a bird's-eye view image or conversion to a bird's-eye view image by enlarging / reducing the image can be considered, and a coordinate conversion matrix M (n) corresponding to these conversions may be used.
  • the area specifying unit 3 operates viewpoint position information indicating the viewpoint of the overhead image to be generated (viewpoint position information is operated by a user by operating a man-machine interface (for example, a mouse, a keyboard, a touch panel, etc.) not shown) If it can be input by designating the viewpoint of the overhead image (step ST1 in FIG. 2), it is determined whether or not the viewpoint of the overhead image has been changed (step ST2).
  • viewpoint position information is operated by a user by operating a man-machine interface (for example, a mouse, a keyboard, a touch panel, etc.) not shown) If it can be input by designating the viewpoint of the overhead image (step ST1 in FIG. 2), it is determined whether or not the viewpoint of the overhead image has been changed (step ST2).
  • the area specifying unit 3 selects the plurality of rearrangement tables stored in the rearrangement table storage buffer 2. Then, a rearrangement table corresponding to each minute area constituting the overhead view image of the viewpoint is searched.
  • the viewpoint position information indicated by the in-vehicle cameras 1a to 1d indicates the camera information recorded in the rearrangement table.
  • the vehicle-mounted camera 1 used for generating the overhead image when viewed from the viewpoint is selected (step ST3).
  • the in-vehicle camera 1a is selected as the in-vehicle camera 1 used for generating the overhead image
  • the camera information is “in-vehicle camera 1b”.
  • the vehicle-mounted camera 1b is selected as the vehicle-mounted camera 1 used for generating the overhead view image. In the case of FIG.
  • the vehicle camera 1c is selected as the vehicle camera 1 used for generating the overhead image
  • the vehicle-mounted camera 1d is selected as the vehicle-mounted camera 1 used for generating the overhead view image.
  • the area specifying unit 3 selects the in-vehicle camera 1 used for generating the overhead view image
  • the area specifying unit 3 refers to the area information recorded in the rearrangement table, and among the images taken by the in-vehicle camera 1, the overhead image An area corresponding to is specified, and necessary area information indicating the area is output to the input video signal control unit 4 (step ST4).
  • FIG. 4 is a flowchart showing a process of specifying a region in the captured image corresponding to the overhead image in the region specifying unit 3.
  • FIG. 5 is a flowchart showing the update processing of the area corresponding to the currently set overhead image.
  • the area specifying unit 3 As described above, among the plurality of rearrangement tables stored in the rearrangement table storage buffer 2, the rearrangement table corresponding to each minute region constituting the overhead view image of the viewpoint indicated by the viewpoint position information is displayed. Search is performed (step ST21 in FIG. 4).
  • the area specifying unit 3 searches the rearrangement table corresponding to each minute area constituting the overhead view image of the viewpoint, the area specifying unit 3 refers to the camera information recorded in the rearrangement table corresponding to each minute area, and is mounted on the vehicle. From the cameras 1a to 1d, the vehicle-mounted camera 1 used to generate an overhead image when viewed from the viewpoint indicated by the viewpoint position information is selected (step ST22). In the example of FIG. 3, the in-vehicle cameras 1a, 1b, 1c, and 1d are selected as the in-vehicle camera 1 used for generating the overhead view image.
  • the area specifying unit 3 selects the in-vehicle camera 1 used for generating the overhead view image
  • the area specifying unit 3 refers to the area information recorded in the rearrangement table corresponding to each minute area and is photographed by the selected in-vehicle camera 1.
  • the vertex coordinates of the area corresponding to the overhead image are specified (step ST23).
  • the in-vehicle camera 1c is selected as the in-vehicle camera 1 used for generating the overhead image, and the vertex of the region corresponding to the overhead image in the image captured by the in-vehicle camera 1c (U 0 (n), v 0 (n)), (u 1 (n), v 1 (n)), (u 2 (n), v 2 (n)) are specified as coordinates.
  • (u 0 (n), v 0 (n)) is (200, 100)
  • (u 1 (n), v 1 (n)) is (200, 105)
  • ( u 2 (n), v 2 (n)) becomes (205, 105).
  • the region specifying unit 3 After specifying the vertex coordinates of the region corresponding to the overhead image, the region specifying unit 3 outputs the vertex coordinates of the region to the input video signal control unit 4 as necessary region information indicating the region corresponding to the overhead image (step ST24). ).
  • the region specifying unit 3 outputs the necessary region information to the input video signal control unit 4, the camera information indicating the in-vehicle camera 1 used for generating the bird's-eye view image (in each minute region constituting the bird's-eye view image) Camera information recorded in the corresponding rearrangement table) is included in the necessary area information and output to the input video signal control unit 4.
  • the camera information is output to the input video signal control unit 4 separately from the necessary area information.
  • the region specifying unit 3 has shown the necessary region information indicating the region corresponding to the bird's-eye view image that outputs the vertex coordinates of the region to the input video signal control unit 4, but it may be as follows. .
  • the area specifying unit 3 and the area corresponding to the overhead image specified this time and the area corresponding to the previously specified overhead image (the area corresponding to the currently set overhead image (hereinafter referred to as “current setting area”)
  • the area specifying unit 3 updates the current setting area and corresponds to the overhead image as follows.
  • coordinate values X coordinate minimum value, X coordinate maximum value, Y coordinate minimum value, Y coordinate maximum value in the setting area
  • the area specifying unit 3 determines that the X coordinate minimum value SX min in the area corresponding to the currently specified overhead image is smaller than the X coordinate minimum value EX min in the current setting area ( In step ST31 of FIG. 5, the X coordinate minimum value EX min in the setting area is updated to the X coordinate minimum value SX min (step ST32). When the Y coordinate minimum value SY min in the area corresponding to the overhead image specified this time is smaller than the Y coordinate minimum value EY min in the current setting area (step ST33), the area specifying unit 3 determines the Y coordinate minimum value in the setting area. EY min is updated to the Y coordinate minimum value SY min (step ST34).
  • the region specifying unit 3 determines the X coordinate maximum value in the setting region. EX max is updated to the X coordinate maximum value SX max (step ST36).
  • the area specifying unit 3 determines the Y coordinate maximum value in the setting area. EY max is updated to the Y coordinate maximum value SY max (step ST38).
  • the input video signal control unit 4 When the input video signal control unit 4 receives the necessary region information indicating the region corresponding to the bird's-eye view image from the region specifying unit 3, the input video signal control unit 4 displays the image taken by the in-vehicle camera 1 indicated by the camera information included in the necessary region information.
  • the image data shown for example, image data indicating an image taken by the in-vehicle camera 1c when the in-vehicle camera 1c is selected as the in-vehicle camera 1 used for generating the overhead view image
  • the area indicated by the necessary area information Image data image data in the setting area
  • the image data is stored in the input frame buffer 5 (step ST5 in FIG. 2).
  • the image processing device 6 stores the rearrangement table (the overhead view image of the viewpoint indicated by the viewpoint position information) stored in the rearrangement table storage buffer 2.
  • the coordinate conversion of the image indicated by the image data stored in the input frame buffer 5 is performed using the coordinate conversion matrix M (n) in the rearrangement table corresponding to each minute area constituting the image).
  • an overhead image is generated (step ST6). That is, the image processing device 6 uses the coordinate transformation matrix M (n) shown in the above equation (1) to coordinate (u) each pixel in the image indicated by the image data stored in the input frame buffer 5. (N), v (n)) is converted into pixel coordinates (x (n), y (n)) on the overhead image, thereby generating an overhead image.
  • the image processing apparatus 6 When the image processing apparatus 6 generates an overhead image when viewed from the viewpoint indicated by the viewpoint position information, the image processing apparatus 6 stores the overhead image in the output frame buffer 7 (step ST7).
  • the image display device 8 displays the overhead image on a display or the like (step ST8).
  • step ST9 When continuing to display the bird's-eye view image, the image synthesizing apparatus proceeds to the process of step ST10. However, when a signal or the like requesting the end of the display of the bird's-eye view is input, the series of processes ends (step ST9).
  • the region specifying unit 3 continues to display the bird's-eye view image, when the viewpoint display information is newly input before the predetermined time elapses after the image display device 8 displays the bird's-eye view image (step ST10), the bird's-eye view is displayed. It is determined whether or not the viewpoint of the image has been changed (step ST2). That is, the area specifying unit 3 determines whether the viewpoint of the overhead image has been changed by comparing the viewpoint indicated by the viewpoint position information input last time with the viewpoint indicated by the viewpoint position information input this time. To do.
  • steps ST3 to ST8 are performed in order to generate and display the bird's-eye view image when viewed from the changed viewpoint.
  • the viewpoint of the bird's-eye view image has not been changed, or if new viewpoint position information has not been input before the predetermined time has elapsed, the area necessary for generating the bird's-eye view image does not change.
  • Steps ST3 and ST4 are skipped, the process proceeds to step ST5, and the above steps ST5 to ST8 are performed.
  • the input video signal control unit 4 newly inputs the image data in the region indicated by the necessary region information output from the region specifying unit 3 last time (image data in the setting region), and inputs the image data. Stored in the frame buffer 5.
  • the vehicle-mounted camera 1 used for generating the overhead image when viewed from an arbitrary viewpoint is selected from the vehicle-mounted cameras 1a to 1d having different mounting positions.
  • the region specifying unit 3 that specifies the region corresponding to the overhead image and the region specifying unit 3 out of the image data indicating the image captured by the in-vehicle camera 1
  • An input video signal control unit 4 for inputting image data in the specified area and storing the image data in the input frame buffer 5 is provided, and the image processing device 6 is stored in the input frame buffer 5. Since it is configured to generate a bird's-eye view image from image data, a high-quality, high frame rate bird's-eye view image can be generated without mounting the input frame buffer 5 having a large memory capacity An effect that can be.
  • region identification part 3 implements the identification process of the area
  • a plurality of in-vehicle cameras 1 used for generating a bird's-eye view image are selected from a plurality of in-vehicle cameras 1a to 1d.
  • the final overhead view image is generated by synthesizing the multiple images (overhead image) after the coordinate conversion.
  • the method for synthesizing the plurality of images is not particularly limited, and a known method may be used, and thus detailed description thereof is omitted here.
  • a plurality of in-vehicle cameras 1a to 1d are attached to the periphery of the vehicle, and the image processing apparatus 6 can arbitrarily select any image around the vehicle from the image data stored in the input frame buffer 5.
  • the image processing apparatus 6 can arbitrarily select any image around the vehicle from the image data stored in the input frame buffer 5.
  • it has been shown that it generates a bird's-eye view image when viewed from the above viewpoint, it is not necessarily limited to one in which a plurality of cameras are attached to the periphery of the vehicle, for example, even if attached to the periphery of a building, etc. Good.
  • the four in-vehicle cameras 1a to 1d are shown mounted around the vehicle.
  • the number of the in-vehicle cameras 1 is not limited and may be any number.
  • the image synthesizing apparatus includes the rearrangement table storage buffer 2, the input frame buffer 5, and the output frame buffer 7. However, the rearrangement is performed in order to reduce the cost.
  • a common memory may be mounted in the image composition apparatus.
  • FIG. 7 is a block diagram showing an image synthesizing apparatus according to Embodiment 2 of the present invention.
  • the memory access control unit 9 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, a personal computer, or the like, and image data output from the input video signal control unit 4 (required area information indicates The image data in the area) is written to the memory 10 and the overhead image output from the image processing device 6 is written to the memory 10.
  • the rearrangement table stored in the memory 10 is read and The arrangement table is output to the area specifying unit 3 and the image processing device 6, and the overhead image stored in the memory 10 is read and the overhead image is output to the image display device 8.
  • the memory 10 is a recording medium such as a RAM or a hard disk, and stores a rearrangement table, image data, and an overhead image.
  • each of the area specifying unit 3, the input video signal control unit 4, the image processing device 6, the memory access control unit 9, and the memory 10 that is a component of the image composition device is configured by dedicated hardware. If the image composition device is configured by a computer, the processing contents of the area specifying unit 3, the input video signal control unit 4, the image processing device 6, the memory access control unit 9, and the memory 10 are described.
  • the stored program may be stored in the memory of the computer, and the CPU of the computer may execute the program stored in the memory.
  • the area specifying unit 3 inputs viewpoint position information indicating the viewpoint of the overhead image to be generated (step ST1 in FIG. 2), and determines whether or not the viewpoint of the overhead image has been changed. Determination is made (step ST2).
  • the area specifying unit 3 When the viewpoint of the overhead image is changed (including the case where the viewpoint of the overhead image is specified for the first time), the area specifying unit 3 performs a plurality of rearrangements stored in the memory 10 via the memory access control unit 9. From the table, a rearrangement table corresponding to each minute area constituting the overhead view image of the viewpoint is searched. When the area specifying unit 3 searches the rearrangement table corresponding to each minute area, the viewpoint position information indicated by the in-vehicle cameras 1a to 1d indicates the camera information recorded in the rearrangement table. The vehicle-mounted camera 1 used for generating the overhead image when viewed from the viewpoint is selected (step ST3).
  • the area specifying unit 3 refers to the area information recorded in the rearrangement table as in the first embodiment, and the in-vehicle camera 1 takes an image. A region corresponding to the bird's-eye view image is specified in the obtained image, and necessary region information indicating the region is output to the input video signal control unit 4 (step ST4).
  • the region specifying unit 3 outputs the necessary region information to the input video signal control unit 4
  • the camera information indicating the in-vehicle camera 1 used for generating the bird's-eye view image (in each minute region constituting the bird's-eye view image) Camera information recorded in the corresponding rearrangement table) is included in the necessary area information and output to the input video signal control unit 4.
  • the camera information is output to the input video signal control unit 4 separately from the necessary area information.
  • the input video signal control unit 4 When the input video signal control unit 4 receives the necessary region information indicating the region corresponding to the overhead image from the region specifying unit 3, the camera information included in the necessary region information indicates the same as in the first embodiment. Of the image data indicating the image captured by the in-vehicle camera 1, image data in the area indicated by the necessary area information (image data in the setting area) is input. Then, the input video signal control unit 4 stores the image data in the setting area in the memory 10 via the memory access control unit 9 (step ST5).
  • the image processing device 6 stores the image data in the memory 10 via the memory access controller 9.
  • a rearrangement table (relocation table corresponding to each minute area constituting the overhead view image of the viewpoint indicated by the viewpoint position information) and reading of image data in the setting area stored in the memory 10 I do.
  • the image processing apparatus 6 uses the coordinate transformation matrix M (n) recorded in the rearrangement table to perform the coordinate transformation of the image indicated by the image data, thereby generating an overhead image (step ST6). ). That is, the image processing device 6 uses the coordinate transformation matrix M (n) shown in the above formula (1) to coordinate the pixels (u (n)) in the image indicated by the image data stored in the memory 10. , V (n)) is converted into pixel coordinates (x (n), y (n)) on the overhead image, thereby generating an overhead image.
  • the image processing apparatus 6 When the image processing apparatus 6 generates an overhead image when viewed from the viewpoint indicated by the viewpoint position information, the image processing apparatus 6 stores the overhead image in the memory 10 via the memory access control unit 9 (step ST7).
  • the image processing device 6 stores the overhead image in the memory 10 via the memory access control unit 9
  • the image display device 8 reads the overhead image stored in the memory 10 via the memory access control unit 9.
  • the overhead image is displayed on a display or the like (step ST8).
  • step ST9 When continuing to display the bird's-eye view image, the image synthesizing apparatus proceeds to the process of step ST10. However, when a signal or the like requesting the end of the display of the bird's-eye view is input, the series of processes ends (step ST9).
  • the region specifying unit 3 continues to display the bird's-eye view image, when the viewpoint display information is newly input before the predetermined time elapses after the image display device 8 displays the bird's-eye view image (step ST10), the bird's-eye view is displayed. It is determined whether or not the viewpoint of the image has been changed (step ST2). That is, the area specifying unit 3 determines whether the viewpoint of the overhead image has been changed by comparing the viewpoint indicated by the viewpoint position information input last time with the viewpoint indicated by the viewpoint position information input this time. To do.
  • steps ST3 to ST8 are performed in order to generate and display the bird's-eye view image when viewed from the changed viewpoint.
  • the viewpoint of the bird's-eye view image has not been changed, or if new viewpoint position information has not been input before the predetermined time has elapsed, the area necessary for generating the bird's-eye view image does not change. Steps ST3 and ST4 are skipped, the process proceeds to step ST5, and the above steps ST5 to ST8 are performed.
  • the input video signal control unit 4 newly inputs the image data in the region indicated by the necessary region information output from the region specifying unit 3 last time (image data in the setting region), and causes the memory access control unit 9 to Then, the image data is stored in the memory 10.
  • a common memory 10 is mounted in the image composition apparatus as a substitute for the rearrangement table storage buffer 2, the input frame buffer 5, and the output frame buffer 7.
  • the first embodiment there is an effect that it is possible to generate an overhead image with high image quality and high frame rate without causing an increase in memory capacity.
  • the image composition apparatus according to the present invention is suitable for generating an overhead image of an arbitrary viewpoint from images taken by a plurality of cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Input (AREA)

Abstract

　取付位置が異なる車載カメラ１ａ～１ｄの中から、任意の視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択し、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定部３と、その車載カメラ１により撮影された画像を示す画像データのうち、領域特定部３により特定された領域内の画像データを入力して、その画像データを入力用フレームバッファ５に格納する入力映像信号制御部４とを設け、画像処理装置６が入力用フレームバッファ５に格納されている画像データから俯瞰画像を生成する。

Description

画像合成装置
　この発明は、車両の周囲に取り付けられているカメラにより撮影された画像から、車両の周囲における任意の視点の俯瞰画像を生成して、その俯瞰画像を表示する画像合成装置に関するものである。
　例えば、以下の特許文献１に開示されている画像合成装置では、車両の周囲に取り付けられている複数のカメラにより撮影された画像を示す画像データを入力して、その画像データを入力用フレームバッファに格納する。
　そして、当該画像合成装置では、任意の視点から見たときの俯瞰画像における画素と、カメラにより撮影された画像における画素との対応関係を示すマッピングデータを参照して、入力用フレームバッファに格納している複数の画像データから俯瞰画像を生成するようにしている。
　ただし、当該画像合成装置が入力用フレームバッファに格納している複数の画像データから俯瞰画像を生成する際、カメラにより撮影された画像内の一部の領域の画像データのみを使用し、当該領域以外の画像データを使用しないが、カメラにより撮影された画像を示す画像データのすべてを入力用フレームバッファに格納するようにしている。
　したがって、当該画像合成装置では、メモリ容量が大きな入力用フレームバッファを実装する必要がある。
　以下の特許文献２に開示されている画像合成装置では、俯瞰画像の生成に使用する画像データのみを入力用フレームバッファに格納して、その入力用フレームバッファのメモリ容量を削減することができるようにするために、出力領域を変更することが可能な特殊なカメラを実装し、俯瞰画像の視点に応じて、カメラの出力領域を制御（カメラにより撮影される画像の範囲を制御）するようにしている。
ＷＯ００／０６４１７５（第５頁） 特開２００６－２８７８２６号公報（段落番号［００２０］）
　従来の画像合成装置は以上のように構成されているので、出力領域を変更することが可能な特殊なカメラを実装し、俯瞰画像の視点に応じて、カメラの出力領域を制御するようにすれば、俯瞰画像の生成に使用する画像データのみを入力用フレームバッファに格納して、その入力用フレームバッファのメモリ容量を削減することができる。しかし、設備費用やカメラ仕様等の関係で、出力領域を変更することが可能な特殊なカメラを実装することができない場合、メモリ容量が大きな入力用フレームバッファを実装しなければ、任意の視点から見たときの俯瞰画像を生成することができない（俯瞰画像の画質の低下や、フレームレートの低下を許容すれば、メモリ容量が小さな入力用フレームバッファでも俯瞰画像を生成することができる）課題があった。
　この発明は上記のような課題を解決するためになされたもので、メモリ容量が大きな入力用フレームバッファを実装することなく、高画質・高フレームレートの俯瞰画像を生成することができる画像合成装置を得ることを目的とする。
　この発明に係る画像合成装置は、取付位置が異なる複数のカメラの中から、任意の視点から見たときの俯瞰画像の生成に用いるカメラを選択し、そのカメラにより撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定手段と、そのカメラにより撮影された画像を示す画像データのうち、領域特定手段により特定された領域内の画像データを入力して、その画像データをフレームバッファに格納する画像データ入力手段とを設け、俯瞰画像生成手段がフレームバッファに格納されている画像データから俯瞰画像を生成するようにしたものである。
　この発明によれば、取付位置が異なる複数のカメラの中から、任意の視点から見たときの俯瞰画像の生成に用いるカメラを選択し、そのカメラにより撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定手段と、そのカメラにより撮影された画像を示す画像データのうち、領域特定手段により特定された領域内の画像データを入力して、その画像データをフレームバッファに格納する画像データ入力手段とを設け、俯瞰画像生成手段がフレームバッファに格納されている画像データから俯瞰画像を生成するように構成したので、メモリ容量が大きなフレームバッファを実装することなく、高画質・高フレームレートの俯瞰画像を生成することができる効果がある。
この発明の実施の形態１による画像合成装置を示す構成図である。 この発明の実施の形態１による画像合成装置の処理内容を示すフローチャートである。 視点及び再配置テーブルの一例を示す説明図である。 領域特定部３における俯瞰画像に対応する撮影画像内の領域の特定処理を示すフローチャートである。 現在設定されている俯瞰画像に対応する領域の更新処理を示すフローチャートである。 車載カメラ１ａ～１ｄにより撮影される画像の領域を示す説明図である。 この発明の実施の形態２による画像合成装置を示す構成図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１はこの発明の実施の形態１による画像合成装置を示す構成図である。
　図１において、車載カメラ１ａは車両（車両は自動車のほか、電車、船舶、飛行機、自動車などを含む）の前側に取り付けられており、車両前方を撮影して、車両前方の画像を示す画像データを入力映像信号制御部４に出力する。
　車載カメラ１ｂは車両の後側に取り付けられており、車両後方を撮影して、車両後方の画像を示す画像データを入力映像信号制御部４に出力する。
　車載カメラ１ｃは車両の右側に取り付けられており、車両右側方を撮影して、車両右側方の画像を示す画像データを入力映像信号制御部４に出力する。
　車載カメラ１ｄは車両の左側に取り付けられており、車両左側方を撮影して、車両左側方の画像を示す画像データを入力映像信号制御部４に出力する。
　図６は車載カメラ１ａ～１ｄにより撮影される画像の領域を示す説明図である。
　再配置テーブル格納用バッファ２は例えばＲＡＭやハードディスクなどの記録媒体であり、指定可能な視点毎に、当該視点の俯瞰画像を構成している各微小領域に対応する車載カメラ１を示すカメラ情報と、俯瞰画像に対応する車載カメラ１の撮影画像内の領域を示す領域情報と、車載カメラ１により撮影された画像を俯瞰画像に変換する際に用いる座標変換行列とが記録されている再配置テーブルを記憶している。
　例えば、画像合成装置において、指定可能な視点の個数が１００個であり、その視点の俯瞰画像を構成する微小領域の個数が２００個であれば、各微小領域に対応する再配置テーブルとして、２００００個（＝１００×２００個）の再配置テーブルが再配置テーブル格納用バッファ２に記憶される。
　なお、再配置テーブル格納用バッファ２はテーブル記憶手段を構成している。
　領域特定部３は例えばＣＰＵを実装している半導体集積回路、ワンチップマイコン、あるいは、パーソナルコンピュータなどから構成されており、俯瞰画像の視点を示す視点位置情報を入力すると、再配置テーブル格納用バッファ２により記憶されている再配置テーブルを参照して、車載カメラ１ａ～１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択するとともに、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定し、その領域を示す必要領域情報を入力映像信号制御部４に出力する処理を実施する。なお、領域特定部３は領域特定手段を構成している。
　入力映像信号制御部４は例えばＣＰＵを実装している半導体集積回路、ワンチップマイコン、あるいは、パーソナルコンピュータなどから構成されており、車載カメラ１ａ～１ｄにより撮影された画像を示す画像データのうち、領域特定部３から出力された必要領域情報が示す領域内の画像データ（前カメラデータ、右カメラデータ、左カメラデータ、あるいは、後カメラデータ）を入力して、その画像データを入力用フレームバッファ５に格納する処理を実施する。なお、入力映像信号制御部４は画像データ入力手段を構成している。
　入力用フレームバッファ５は例えばフレームメモリなどの記録媒体であり、入力映像信号制御部４から出力された領域内の画像データ（前カメラデータ、右カメラデータ、左カメラデータ、あるいは、後カメラデータ）を格納する。
　画像処理装置６は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などから構成されており、再配置テーブル格納用バッファ２により記憶されている再配置テーブル内の座標変換行列を用いて、入力用フレームバッファ５に格納されている画像データが示す画像の座標変換を実施することで俯瞰画像を生成する処理を実施する。なお、画像処理装置６は俯瞰画像生成手段を構成している。
　出力用フレームバッファ７は例えばフレームメモリなどの記録媒体であり、画像処理装置６により生成された俯瞰画像を格納する。
　画像表示装置８は例えば液晶ディスプレイなどを実装している表示器であり、出力用フレームバッファ７により格納されている俯瞰画像を表示する処理を実施する。なお、画像表示装置８は画像表示手段を構成している。
　図１の例では、画像表示装置８が画像合成装置の外部に設けられているが、画像合成装置が画像表示装置８を実装するようにしてもよい。
　図１の例では、画像合成装置の構成要素である再配置テーブル格納用バッファ２、領域特定部３、入力映像信号制御部４、入力用フレームバッファ５、画像処理装置６及び出力用フレームバッファ７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置がコンピュータで構成される場合、再配置テーブル格納用バッファ２、領域特定部３、入力映像信号制御部４、入力用フレームバッファ５、画像処理装置６及び出力用フレームバッファ７の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図２はこの発明の実施の形態１による画像合成装置の処理内容を示すフローチャートである。
　図３は視点及び再配置テーブルの一例を示す説明図である。
　再配置テーブルは、画像合成装置において、指定可能な視点の俯瞰画像を構成する微小領域の個数分だけ用意されている。例えば、指定可能な視点の個数が１００個であり、その視点の俯瞰画像を構成する微小領域の個数が２００個であれば、２００００個（＝１００×２００個）の再配置テーブルが用意される。
　図３（ａ）はある視点の俯瞰画像を示しており、その俯瞰画像内の三角形は、その俯瞰画像を構成する微小領域を示している（図３（ａ）の例では、微小領域の形状が三角形であるが、微小領域の形状は問わず、例えば、四角形でもよい）。
　再配置テーブルには、視点の俯瞰画像を構成している微小領域毎に、当該視点に対応する車載カメラ１を示すカメラ情報が記録されており、図３（ｂ）の例では、０番目の微小領域に対応する車載カメラ１は「車載カメラ１ａ」、ｎ番目の微小領域に対応する車載カメラ１は「車載カメラ１ｃ」である旨を示している。
　また、再配置テーブルには、当該視点の俯瞰画像に対応する車載カメラ１の撮影画像内の領域を示す領域情報、即ち、当該視点の俯瞰画像を構成する微小領域を示す領域情報（例えば、ｎ番目の微小領域の場合、頂点座標（ｕ0（ｎ），ｖ0（ｎ））、（ｕ1（ｎ），ｖ1（ｎ））、（ｕ2（ｎ），ｖ2（ｎ））が記録されており、図３（ｂ）の例では、（ｕ0（ｎ），ｖ0（ｎ））が（２００，１００）、（ｕ1（ｎ），ｖ1（ｎ））が（２００，１０５）、（ｕ2（ｎ），ｖ2（ｎ））が（２０５，１０５）である旨を示している。
　また、再配置テーブルには、車載カメラ１により撮影された画像を俯瞰画像に変換する際に用いる座標変換行列Ｍ（ｎ）（撮影画像の座標系ｕ－ｖと俯瞰画像の座標系ｘ－ｙの間で、座標変換を行うための行列）が記録されている。

Figure JPOXMLDOC01-appb-I000001
　ただし、座標変換行列Ｍ（ｎ）の要素ａ，ｂ，ｃ，ｄは、車載カメラ１ａ～１ｄの取付位置及び撮影方向、俯瞰画像の視点、画像の拡大／縮小などによって決まる定数である。
　例えば、Ｘ軸を中心に車載カメラ１により撮影された画像をθ回転することで俯瞰画像に変換する場合、座標変換行列Ｍ（ｎ）は、下記の式（２）のように表すことができる。

Figure JPOXMLDOC01-appb-I000002
　また、Ｙ軸を中心に車載カメラ１により撮影された画像をθ回転することで俯瞰画像に変換する場合、座標変換行列Ｍ（ｎ）は、下記の式（３）のように表すことができる。

Figure JPOXMLDOC01-appb-I000003
　なお、式（２）及び式（３）に示している座標変換行列Ｍ（ｎ）は、一例に過ぎず、他の座標変換行列を用いてもよい。
　ここでは、車載カメラ１により撮影された画像をθ回転することで俯瞰画像に変換する例を示しているが、これに限るものではなく、例えば、車載カメラ１により撮影された画像を平行移動することで俯瞰画像に変換する場合や、拡大縮小することで俯瞰画像に変換する場合などが考えられ、これらの変換に対応する座標変換行列Ｍ（ｎ）を用いればよい。
　次に動作について説明する。
　領域特定部３は、生成対象の俯瞰画像の視点を示す視点位置情報（視点位置情報は、例えば、ユーザが図示しないマンマシンインタフェース（例えば、マウス、キーボード、タッチパネルなど）を操作して、所望の俯瞰画像の視点を指定することで入力することができる）を入力すると（図２のステップＳＴ１）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
　領域特定部３は、俯瞰画像の視点が変更されると（初めて俯瞰画像の視点が指定された場合を含む）、再配置テーブル格納用バッファ２により記憶されている複数の再配置テーブルの中から、その視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索する。
　領域特定部３は、各微小領域に対応する再配置テーブルを検索すると、その再配置テーブルに記録されているカメラ情報を参照して、車載カメラ１ａ～１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択する（ステップＳＴ３）。
　例えば、再配置テーブルに記録されているカメラ情報が「車載カメラ１ａ」であれば、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ａを選択し、そのカメラ情報が「車載カメラ１ｂ」であれば、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｂを選択する。
　図３（ａ）の場合、例えば、車両の右側の微小領域においては、カメラ情報が「車載カメラ１ｃ」であるため、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｃを選択し、車両の左側の微小領域においては、カメラ情報が「車載カメラ１ｄ」であるため、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｄを選択する。
　領域特定部３は、俯瞰画像の生成に用いる車載カメラ１を選択すると、再配置テーブルに記録されている領域情報を参照して、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定し、その領域を示す必要領域情報を入力映像信号制御部４に出力する（ステップＳＴ４）。
　以下、領域特定部３における俯瞰画像に対応する撮影画像内の領域の特定処理を具体的に説明する。
　ただし、以下に示す領域の特定処理は一例に過ぎず、他の特定処理を実施することで、俯瞰画像に対応する撮影画像内の領域を特定するようにしてもよい。
　図４は領域特定部３における俯瞰画像に対応する撮影画像内の領域の特定処理を示すフローチャートである。
　また、図５は現在設定されている俯瞰画像に対応する領域の更新処理を示すフローチャートである。
　領域特定部３は、生成対象の俯瞰画像の視点を示す視点位置情報を入力し、その視点位置情報が示す視点が変更されている場合、あるいは、初めて俯瞰画像の視点が指定された場合、上述したように、再配置テーブル格納用バッファ２により記憶されている複数の再配置テーブルの中で、その視点位置情報が示す視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索する（図４のステップＳＴ２１）。
　領域特定部３は、視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索すると、各微小領域に対応する再配置テーブルに記録されているカメラ情報を参照して、車載カメラ１ａ～１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択する（ステップＳＴ２２）。
　図３の例では、俯瞰画像の生成に用いる車載カメラ１として、車載カメラ１ａ，１ｂ，１ｃ，１ｄを選択する。
　領域特定部３は、俯瞰画像の生成に用いる車載カメラ１を選択すると、各微小領域に対応する再配置テーブルに記録されている領域情報を参照して、その選択した車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域の頂点座標を特定する（ステップＳＴ２３）。
　例えば、微小領域がｎ番目の領域の場合、俯瞰画像の生成に用いる車載カメラ１として車載カメラ１ｃが選択され、車載カメラ１ｃにより撮影された画像の中で、その俯瞰画像に対応する領域の頂点座標として、（ｕ0（ｎ），ｖ0（ｎ））、（ｕ1（ｎ），ｖ1（ｎ））、（ｕ2（ｎ），ｖ2（ｎ））が特定される。
　図３（ｂ）の例では、（ｕ0（ｎ），ｖ0（ｎ））が（２００，１００）、（ｕ1（ｎ），ｖ1（ｎ））が（２００，１０５）、（ｕ2（ｎ），ｖ2（ｎ））が（２０５，１０５）になる。
　領域特定部３は、俯瞰画像に対応する領域の頂点座標を特定すると、俯瞰画像に対応する領域を示す必要領域情報として、その領域の頂点座標を入力映像信号制御部４に出力する（ステップＳＴ２４）。
　なお、領域特定部３は、必要領域情報を入力映像信号制御部４に出力する際、俯瞰画像の生成に用いる車載カメラ１を示すカメラ情報（視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルに記録されているカメラ情報）を必要領域情報に含めて入力映像信号制御部４に出力する。あるいは、必要領域情報と別個にカメラ情報を入力映像信号制御部４に出力する。
　ここでは、領域特定部３が、俯瞰画像に対応する領域を示す必要領域情報として、その領域の頂点座標を入力映像信号制御部４に出力するものについて示したが、以下のようにしてもよい。
　即ち、領域特定部３は、今回特定した俯瞰画像に対応する領域と、前回特定した俯瞰画像に対応する領域（現在設定されている俯瞰画像に対応する領域（以下、「現時点の設定領域」と称する））とを比較して、今回特定した俯瞰画像に対応する領域が、現時点の設定領域の範囲に含まれているか否かを判定する。
　そして、領域特定部３は、今回特定した俯瞰画像に対応する領域が、現時点の設定領域の範囲に含まれていなければ、以下のようにして、現時点の設定領域を更新し、俯瞰画像に対応する領域を示す必要領域情報として、更新後の設定領域を示す座標値（設定領域におけるＸ座標最小値、Ｘ座標最大値、Ｙ座標最小値、Ｙ座標最大値）を入力映像信号制御部４に出力する。
・領域特定部３による設定領域の更新処理
　領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＸ座標最小値ＳＸminが、現時点の設定領域におけるＸ座標最小値ＥＸminより小さい場合（図５のステップＳＴ３１）、設定領域におけるＸ座標最小値ＥＸminをＸ座標最小値ＳＸminに更新する（ステップＳＴ３２）。
　領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＹ座標最小値ＳＹminが、現時点の設定領域におけるＹ座標最小値ＥＹminより小さい場合（ステップＳＴ３３）、設定領域におけるＹ座標最小値ＥＹminをＹ座標最小値ＳＹminに更新する（ステップＳＴ３４）。
　領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＸ座標最大値ＳＸmaxが、現時点の設定領域におけるＸ座標最大値ＥＸmaxより大きい場合（ステップＳＴ３５）、設定領域におけるＸ座標最大値ＥＸmaxをＸ座標最大値ＳＸmaxに更新する（ステップＳＴ３６）。
　領域特定部３は、今回特定した俯瞰画像に対応する領域におけるＹ座標最大値ＳＹmaxが、現時点の設定領域におけるＹ座標最大値ＥＹmaxより大きい場合（ステップＳＴ３７）、設定領域におけるＹ座標最大値ＥＹmaxをＹ座標最大値ＳＹmaxに更新する（ステップＳＴ３８）。
　入力映像信号制御部４は、領域特定部３から俯瞰画像に対応する領域を示す必要領域情報を受けると、その必要領域情報に含まれているカメラ情報が示す車載カメラ１により撮影された画像を示す画像データ（例えば、俯瞰画像の生成に用いる車載カメラ１として、車載カメラ１ｃが選択されている場合、車載カメラ１ｃにより撮影された画像を示す画像データ）のうち、その必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を入力して、その画像データを入力用フレームバッファ５に格納する（図２のステップＳＴ５）。
　画像処理装置６は、入力映像信号制御部４が画像データを入力用フレームバッファ５に格納すると、再配置テーブル格納用バッファ２により記憶されている再配置テーブル（視点位置情報が示す視点の俯瞰画像を構成している各微小領域に対応する再配置テーブル）内の座標変換行列Ｍ（ｎ）を用いて、入力用フレームバッファ５に格納されている画像データが示す画像の座標変換を実施することで俯瞰画像を生成する（ステップＳＴ６）。
　即ち、画像処理装置６は、上記の式（１）に示す座標変換行列Ｍ（ｎ）を用いて、入力用フレームバッファ５に格納されている画像データが示す画像内の各画素の座標（ｕ（ｎ），ｖ（ｎ））を俯瞰画像上の画素の座標（ｘ（ｎ），ｙ（ｎ））に変換することにより、俯瞰画像を生成する。

Figure JPOXMLDOC01-appb-I000004
　画像処理装置６は、視点位置情報が示す視点から見たときの俯瞰画像を生成すると、その俯瞰画像を出力用フレームバッファ７に格納する（ステップＳＴ７）。
　画像表示装置８は、画像処理装置６が俯瞰画像を出力用フレームバッファ７に格納すると、その俯瞰画像をディスプレイ等に表示する（ステップＳＴ８）。
　画像合成装置は、俯瞰画像の表示を継続する場合、ステップＳＴ１０の処理に移行するが、俯瞰画像の表示終了を要求する信号等が入力されると、一連の処理を終了する（ステップＳＴ９）。
　領域特定部３は、俯瞰画像の表示を継続する場合、画像表示装置８が俯瞰画像を表示してから、所定時間を経過する前に、新たに視点位置情報を入力すると（ステップＳＴ１０）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
　即ち、領域特定部３は、前回入力された視点位置情報が示す視点と、今回入力された視点位置情報が示す視点とを比較することで、俯瞰画像の視点が変更されているか否かを判定する。
　俯瞰画像の視点が変更されている場合、変更後の視点から見たときの俯瞰画像を生成して表示するため、上記のステップＳＴ３～ＳＴ８の処理を実施する。
　一方、俯瞰画像の視点が変更されていない場合、あるいは、所定時間を経過する前に、新たな視点位置情報が入力されていない場合、その俯瞰画像の生成に必要な領域は変わらないため、ステップＳＴ３，ＳＴ４の処理をスキップして、ステップＳＴ５の処理に移行し、上記のステップＳＴ５～ＳＴ８の処理を実施する。
　この場合、入力映像信号制御部４は、領域特定部３から前回出力された必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を新たに入力して、その画像データを入力用フレームバッファ５に格納する。
　以上で明らかなように、この実施の形態１によれば、取付位置が異なる車載カメラ１ａ～１ｄの中から、任意の視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択し、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定する領域特定部３と、その車載カメラ１により撮影された画像を示す画像データのうち、領域特定部３により特定された領域内の画像データを入力して、その画像データを入力用フレームバッファ５に格納する入力映像信号制御部４とを設け、画像処理装置６が入力用フレームバッファ５に格納されている画像データから俯瞰画像を生成するように構成したので、メモリ容量が大きな入力用フレームバッファ５を実装することなく、高画質・高フレームレートの俯瞰画像を生成することができる効果を奏する。
　また、この実施の形態１によれば、俯瞰画像の視点が変化する毎に、領域特定部３が新たな視点から見たときの俯瞰画像に対応する領域の特定処理を実施して、その領域を示す必要領域情報を入力映像信号制御部４に与えるように構成したので、入力用フレームバッファ５のメモリ容量の増加を招くことなく、俯瞰画像の視点変更を受け付けることができる効果を奏する。
　なお、この実施の形態１では、複数の車載カメラ１ａ～１ｄの中から、俯瞰画像の生成に用いる車載カメラ１を複数選択するようにしているが、画像処理装置６が入力用フレームバッファ５に格納されている複数の画像データが示す画像の座標変換を実施することで俯瞰画像を生成する際、座標変換後の複数の画像（俯瞰画像）を合成することで、最終的な俯瞰画像を生成するようにする。
　複数の画像の合成方法は特に問わず、公知の方法を使用すればよいため、ここでは詳細な説明は省略する。
　また、この実施の形態１では、複数の車載カメラ１ａ～１ｄが車両の周囲に取り付けられており、画像処理装置６が入力用フレームバッファ５に格納されている画像データから、車両の周囲における任意の視点から見たときの俯瞰画像を生成するものについて示したが、複数のカメラが必ずしも車両の周囲に取り付けられているものに限るものではなく、例えば、建物の周囲などに取り付けられていてもよい。
　また、この実施の形態１では、４台の車載カメラ１ａ～１ｄが車両の周囲に取り付けられているものについて示したが、車載カメラ１の台数は問わず、何台でもよい。
実施の形態２．
　上記実施の形態１では、画像合成装置が再配置テーブル格納用バッファ２、入力用フレームバッファ５及び出力用フレームバッファ７を実装しているものについて示したが、コスト削減を図るために、再配置テーブル格納用バッファ２、入力用フレームバッファ５及び出力用フレームバッファ７の代用として、共通のメモリを画像合成装置に実装するようにしてもよい。
　図７はこの発明の実施の形態２による画像合成装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
　メモリアクセス制御部９は例えばＣＰＵを実装している半導体集積回路、ワンチップマイコン、あるいは、パーソナルコンピュータなどから構成されており、入力映像信号制御部４から出力された画像データ（必要領域情報が示す領域内の画像データ）をメモリ１０に書き込むとともに、画像処理装置６から出力された俯瞰画像をメモリ１０に書き込む処理を実施するほか、メモリ１０に格納されている再配置テーブルを読み込んで、その再配置テーブルを領域特定部３及び画像処理装置６に出力するとともに、メモリ１０に格納されている俯瞰画像を読み込んで、その俯瞰画像を画像表示装置８に出力する処理を実施する。
　メモリ１０は例えばＲＡＭやハードディスクなどの記録媒体であり、再配置テーブル、画像データ及び俯瞰画像を格納する。
　図７の例では、画像合成装置の構成要素である領域特定部３、入力映像信号制御部４、画像処理装置６、メモリアクセス制御部９及びメモリ１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置がコンピュータで構成される場合、領域特定部３、入力映像信号制御部４、画像処理装置６、メモリアクセス制御部９及びメモリ１０の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　次に動作について説明する。
　領域特定部３は、上記実施の形態１と同様に、生成対象の俯瞰画像の視点を示す視点位置情報を入力すると（図２のステップＳＴ１）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
　領域特定部３は、俯瞰画像の視点が変更されると（初めて俯瞰画像の視点が指定された場合を含む）、メモリアクセス制御部９を介して、メモリ１０により記憶されている複数の再配置テーブルの中から、その視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルを検索する。
　領域特定部３は、各微小領域に対応する再配置テーブルを検索すると、その再配置テーブルに記録されているカメラ情報を参照して、車載カメラ１ａ～１ｄの中から、その視点位置情報が示す視点から見たときの俯瞰画像の生成に用いる車載カメラ１を選択する（ステップＳＴ３）。
　領域特定部３は、俯瞰画像の生成に用いる車載カメラ１を選択すると、上記実施の形態１と同様に、その再配置テーブルに記録されている領域情報を参照して、その車載カメラ１により撮影された画像の中で、その俯瞰画像に対応する領域を特定し、その領域を示す必要領域情報を入力映像信号制御部４に出力する（ステップＳＴ４）。
　なお、領域特定部３は、必要領域情報を入力映像信号制御部４に出力する際、俯瞰画像の生成に用いる車載カメラ１を示すカメラ情報（視点の俯瞰画像を構成している各微小領域に対応する再配置テーブルに記録されているカメラ情報）を必要領域情報に含めて入力映像信号制御部４に出力する。あるいは、必要領域情報と別個にカメラ情報を入力映像信号制御部４に出力する。
　入力映像信号制御部４は、領域特定部３から俯瞰画像に対応する領域を示す必要領域情報を受けると、上記実施の形態１と同様に、その必要領域情報に含まれているカメラ情報が示す車載カメラ１により撮影された画像を示す画像データのうち、その必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を入力する。
　そして、入力映像信号制御部４は、メモリアクセス制御部９を介して、設定領域内の画像データをメモリ１０に格納する（ステップＳＴ５）。
　画像処理装置６は、入力映像信号制御部４がメモリアクセス制御部９を介して、設定領域内の画像データをメモリ１０に格納すると、メモリアクセス制御部９を介して、メモリ１０に格納されている再配置テーブル（視点位置情報が示す視点の俯瞰画像を構成している各微小領域に対応する再配置テーブル）の読み込みを行うとともに、メモリ１０に格納されている設定領域内の画像データの読み込みを行う。
　そして、画像処理装置６は、その再配置テーブルに記録されている座標変換行列Ｍ（ｎ）を用いて、その画像データが示す画像の座標変換を実施することで俯瞰画像を生成する（ステップＳＴ６）。
　即ち、画像処理装置６は、上記の式（１）に示す座標変換行列Ｍ（ｎ）を用いて、メモリ１０に格納されている画像データが示す画像内の各画素の座標（ｕ（ｎ），ｖ（ｎ））を俯瞰画像上の画素の座標（ｘ（ｎ），ｙ（ｎ））に変換することにより、俯瞰画像を生成する。
　画像処理装置６は、視点位置情報が示す視点から見たときの俯瞰画像を生成すると、メモリアクセス制御部９を介して、その俯瞰画像をメモリ１０に格納する（ステップＳＴ７）。
　画像表示装置８は、画像処理装置６がメモリアクセス制御部９を介して、俯瞰画像をメモリ１０に格納すると、メモリアクセス制御部９を介して、メモリ１０に格納されている俯瞰画像の読み込みを行い、その俯瞰画像をディスプレイ等に表示する（ステップＳＴ８）。
　画像合成装置は、俯瞰画像の表示を継続する場合、ステップＳＴ１０の処理に移行するが、俯瞰画像の表示終了を要求する信号等が入力されると、一連の処理を終了する（ステップＳＴ９）。
　領域特定部３は、俯瞰画像の表示を継続する場合、画像表示装置８が俯瞰画像を表示してから、所定時間を経過する前に、新たに視点位置情報を入力すると（ステップＳＴ１０）、俯瞰画像の視点が変更されているか否かを判定する（ステップＳＴ２）。
　即ち、領域特定部３は、前回入力された視点位置情報が示す視点と、今回入力された視点位置情報が示す視点とを比較することで、俯瞰画像の視点が変更されているか否かを判定する。
　俯瞰画像の視点が変更されている場合、変更後の視点から見たときの俯瞰画像を生成して表示するため、上記のステップＳＴ３～ＳＴ８の処理を実施する。
　一方、俯瞰画像の視点が変更されていない場合、あるいは、所定時間を経過する前に、新たな視点位置情報が入力されていない場合、その俯瞰画像の生成に必要な領域は変わらないため、ステップＳＴ３，ＳＴ４の処理をスキップして、ステップＳＴ５の処理に移行し、上記のステップＳＴ５～ＳＴ８の処理を実施する。
　この場合、入力映像信号制御部４は、領域特定部３から前回出力された必要領域情報が示す領域内の画像データ（設定領域内の画像データ）を新たに入力し、メモリアクセス制御部９を介して、その画像データをメモリ１０に格納する。
　以上で明らかなように、コスト削減を図るために、再配置テーブル格納用バッファ２、入力用フレームバッファ５及び出力用フレームバッファ７の代用として、共通のメモリ１０を画像合成装置に実装するようにしても、上記実施の形態１と同様に、メモリ容量の増加を招くことなく、高画質・高フレームレートの俯瞰画像を生成することができる効果を奏する。
　この発明に係る画像合成装置は、複数のカメラにより撮影された画像から、任意の視点の俯瞰画像を生成するものに適している。

Claims (6)

  1. 　取付位置が異なる複数のカメラの中から、任意の視点から見たときの俯瞰画像の生成に用いるカメラを選択し、上記カメラにより撮影された画像の中で、上記俯瞰画像に対応する領域を特定する領域特定手段と、上記カメラにより撮影された画像を示す画像データのうち、上記領域特定手段により特定された領域内の画像データを入力して、上記画像データをフレームバッファに格納する画像データ入力手段と、上記フレームバッファに格納されている画像データから俯瞰画像を生成する俯瞰画像生成手段とを備えた画像合成装置。
  2. 　俯瞰画像生成手段により生成された俯瞰画像を表示する画像表示手段を備えていることを特徴とする請求項１記載の画像合成装置。
  3. 　複数のカメラが車両の周囲に取り付けられており、俯瞰画像生成手段がフレームバッファに格納されている画像データから、車両の周囲における任意の視点から見たときの俯瞰画像を生成することを特徴とする請求項１記載の画像合成装置。
  4. 　俯瞰画像の視点に対応するカメラを示すカメラ情報と、上記俯瞰画像に対応する上記カメラの撮影画像内の領域を示す領域情報と、上記カメラにより撮影された画像を俯瞰画像に変換する際に用いる座標変換行列とが記録されている再配置テーブルを記憶しているテーブル記憶手段が設けられている場合、
    　領域特定手段は、上記テーブル記憶手段により記憶されている再配置テーブルを参照して、外部から与えられる視点位置情報が示す視点に対応するカメラを選択するとともに、上記カメラにより撮影された画像の中で、上記視点から見たときの俯瞰画像に対応する領域を特定することを特徴とする請求項１記載の画像合成装置。
  5. 　俯瞰画像生成手段は、再配置テーブルに記録されている座標変換行列を用いて、フレームバッファに格納されている画像データが示す画像の座標変換を実施することで俯瞰画像を生成することを特徴とする請求項４記載の画像合成装置。
  6. 　領域特定手段は、任意の視点が変化する毎に、任意の視点から見たときの俯瞰画像に対応する領域の特定処理を実施して、上記領域の特定処理結果を画像データ入力手段に与えることを特徴とする請求項１記載の画像合成装置。
PCT/JP2010/004573 2010-07-14 2010-07-14 画像合成装置 WO2012007993A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112010005737.0T DE112010005737B4 (de) 2010-07-14 2010-07-14 Bildsynthesevorrichtung
CN201080068057.5A CN102986210B (zh) 2010-07-14 2010-07-14 图像合成装置
PCT/JP2010/004573 WO2012007993A1 (ja) 2010-07-14 2010-07-14 画像合成装置
US13/808,985 US8896699B2 (en) 2010-07-14 2010-07-14 Image synthesis device
JP2012524344A JP5178961B2 (ja) 2010-07-14 2010-07-14 画像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/004573 WO2012007993A1 (ja) 2010-07-14 2010-07-14 画像合成装置

Publications (1)

Publication Number Publication Date
WO2012007993A1 true WO2012007993A1 (ja) 2012-01-19

Family

ID=45469021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004573 WO2012007993A1 (ja) 2010-07-14 2010-07-14 画像合成装置

Country Status (5)

Country Link
US (1) US8896699B2 (ja)
JP (1) JP5178961B2 (ja)
CN (1) CN102986210B (ja)
DE (1) DE112010005737B4 (ja)
WO (1) WO2012007993A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517507A (zh) * 2012-06-15 2014-01-15 东芝照明技术株式会社 照明控制系统
JP2014215855A (ja) * 2013-04-26 2014-11-17 富士通テン株式会社 画像生成装置及び画像生成方法
JP2016201585A (ja) * 2015-04-07 2016-12-01 株式会社ソシオネクスト 画像処理装置および画像処理装置の制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491495B2 (en) 2015-01-16 2016-11-08 Analog Devices Global Method and apparatus for providing input to a camera serial interface transmitter
WO2017104084A1 (ja) * 2015-12-18 2017-06-22 三菱電機株式会社 データ処理装置、データ処理方法及びデータ処理プログラム
JP2017199130A (ja) * 2016-04-26 2017-11-02 株式会社デンソー 画像処理装置、画像処理方法、及びプログラム
US10332002B2 (en) * 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
CN107220925B (zh) * 2017-05-05 2018-10-30 珠海全志科技股份有限公司 一种实时虚拟现实加速方法及装置
GB2586712B (en) * 2018-03-28 2021-12-22 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311698A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006287826A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP2009152966A (ja) * 2007-12-21 2009-07-09 Alpine Electronics Inc 画像表示システム及びカメラ出力制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161616B1 (en) * 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
WO2006087993A1 (ja) 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. 周辺監視装置および周辺監視方法
JP4710653B2 (ja) 2005-03-03 2011-06-29 日産自動車株式会社 車載画像処理装置及び車両用画像処理方法
US7782374B2 (en) 2005-03-03 2010-08-24 Nissan Motor Co., Ltd. Processor and processing method for generating a panoramic image for a vehicle
JP4956915B2 (ja) 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4765649B2 (ja) 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005311698A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2006287826A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
JP2009152966A (ja) * 2007-12-21 2009-07-09 Alpine Electronics Inc 画像表示システム及びカメラ出力制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517507A (zh) * 2012-06-15 2014-01-15 东芝照明技术株式会社 照明控制系统
CN103517507B (zh) * 2012-06-15 2017-07-14 东芝照明技术株式会社 照明控制系统
JP2014215855A (ja) * 2013-04-26 2014-11-17 富士通テン株式会社 画像生成装置及び画像生成方法
JP2016201585A (ja) * 2015-04-07 2016-12-01 株式会社ソシオネクスト 画像処理装置および画像処理装置の制御方法

Also Published As

Publication number Publication date
CN102986210A (zh) 2013-03-20
DE112010005737T5 (de) 2013-06-06
US8896699B2 (en) 2014-11-25
DE112010005737B4 (de) 2015-09-17
US20130107055A1 (en) 2013-05-02
JP5178961B2 (ja) 2013-04-10
JPWO2012007993A1 (ja) 2013-09-05
CN102986210B (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5178961B2 (ja) 画像合成装置
JP2007525768A (ja) テクスチャ要求のためのレジスタベースのキューイング
US8736665B2 (en) Video processing apparatus
JP5925579B2 (ja) 半導体装置、電子装置、及び画像処理方法
US11004427B2 (en) Method of and data processing system for providing an output surface
CN101075422A (zh) 用于显示旋转的图像的方法和设备
JPH09161100A (ja) 表示方法及び装置
WO2011070631A1 (ja) 画像合成装置及び画像合成プログラム
JP2010176547A (ja) 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム
JP4532746B2 (ja) ３ｄパイプラインを使用したストレッチ・ブリッティングのための方法および装置
US10672367B2 (en) Providing data to a display in data processing systems
JP4144258B2 (ja) 画像出力装置及び画像出力方法
JP2010091723A (ja) ビデオ信号処理システム及びその方法
US7382376B2 (en) System and method for effectively utilizing a memory device in a compressed domain
CN106547505B (zh) 用于实时滑动显示扫描图像的方法及系统
JP2008071241A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2006301029A (ja) オンスクリーン表示装置及びオンスクリーンディスプレイ生成方法
JP2006303631A (ja) オンスクリーン表示装置及びオンスクリーンディスプレイ生成方法
JP6214367B2 (ja) 画像合成装置及び画像合成プログラム
JP2002042158A (ja) 画像合成装置および画像合成方法およびプログラムを記録した媒体
JP2005266792A (ja) 大型のオーバーレイされたカメラ画像を表示するためのメモリ効率の良い方法及び装置
JP2004102689A (ja) 表示制御装置
JP2002182639A (ja) 画像処理装置
JP3985451B2 (ja) 画像処理装置および画像表示装置
JPH04349496A (ja) 画像処理装置及びその方式

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080068057.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10854680

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012524344

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13808985

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112010005737

Country of ref document: DE

Ref document number: 1120100057370

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10854680

Country of ref document: EP

Kind code of ref document: A1