WO2017086029A1 - 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム Download PDF

Info

Publication number
WO2017086029A1
WO2017086029A1 PCT/JP2016/078678 JP2016078678W WO2017086029A1 WO 2017086029 A1 WO2017086029 A1 WO 2017086029A1 JP 2016078678 W JP2016078678 W JP 2016078678W WO 2017086029 A1 WO2017086029 A1 WO 2017086029A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
data
processing apparatus
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/078678
Other languages
English (en)
French (fr)
Inventor
小曽根　卓義
洋司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of WO2017086029A1 publication Critical patent/WO2017086029A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Definitions

  • the present disclosure relates to an image processing device, an image processing method, a moving body, a body-mounted electronic device, and a computer program.
  • Patent Document 1 describes a technique for converting an image captured using a fisheye lens into a developed image developed on a cylindrical surface.
  • a new and improved image processing apparatus, image processing method, moving object, and computer program capable of performing image processing on a captured image with a small delay and a small memory capacity. Propose.
  • an image sensor capable of arbitrarily reading data in units of pixels or a pixel group composed of a plurality of adjacent pixels, a data read order determined for the image sensor, and the determined read order And a control unit that reads data from the imaging device based on the image processing device.
  • a moving object including the image processing device is provided.
  • a body-mounted electronic device including the image processing device.
  • a data reading order is determined for an image sensor that can arbitrarily read data in units of pixels or a pixel group composed of a plurality of adjacent pixels, and the data reading order is determined based on the determined reading order.
  • An image processing method is provided that includes reading data from an imaging device.
  • a data reading order is determined for an image sensor that can arbitrarily read data in units of pixels or a pixel group composed of a plurality of adjacent pixels, and the data reading order is determined based on the determined reading order.
  • a computer program for causing a computer to read data from an image sensor is provided.
  • a new and improved image processing apparatus, image processing method, moving object, and computer program capable of performing image processing with little delay on a captured image are provided. Can be provided.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of an image processing apparatus 100 according to an embodiment of the present disclosure. It is explanatory drawing which shows the structural example of the 1st chip
  • tip 130 of CIS101. 5 is a flowchart illustrating an operation example of the image processing apparatus 100 according to an embodiment of the present disclosure. 6 is an explanatory diagram for explaining an operation of the image processing apparatus 100 according to the embodiment.
  • FIG. 6 is an explanatory diagram for explaining an operation of the image processing apparatus 100 according to the embodiment.
  • FIG. 6 is an explanatory diagram for explaining an operation of the image processing apparatus 100 according to the embodiment.
  • FIG. It is explanatory drawing which shows another reading method of the image data from CIS101. It is explanatory drawing which shows another reading method of the image data from CIS101. It is explanatory drawing explaining a mode that the image output from the image processing apparatus 100 changes based on operation information. It is explanatory drawing explaining a mode that the image output from the image processing apparatus 100 changes based on operation information.
  • FIG. 11 is an explanatory diagram illustrating an application example of an image processing device 100 according to an embodiment of the present disclosure.
  • an image including the entire circumference of the camera can be obtained. Since an image captured by a lens having a large distortion such as a fisheye lens has a large distortion, an observer feels uncomfortable with the image as it is captured. Accordingly, it is necessary to perform processing for transforming an image having a large distortion into a shape that does not cause the viewer to feel uncomfortable.
  • an image of the entire region including the distortion output from the image sensor is first stored in a frame memory. Then, an image is read from the frame memory, subjected to a deformation process for eliminating the distortion, and output, or a process for rewriting the frame memory.
  • FIG. 1 is an explanatory diagram showing a functional configuration example of an image processing apparatus 10 that corrects a distorted image.
  • Image data output from a CIS (CMOS Image sensor) 11 is temporarily stored in the DRAM 13 via the bus bridge 12 in units of frames.
  • the coordinates to be read are designated by the coordinate generation unit 18, and are stored in an SRAM (Static Random Access Memory) 15 via the bus bridge 14.
  • SRAM Static Random Access Memory
  • the coordinates to be corrected are designated by the coordinate generation unit 18 and stored in the pixel interpolation unit 16.
  • the pixel interpolation unit 16 corrects the distortion by moving the position of the image, performing interpolation processing, and the like, and outputs the corrected image data to the SRAM 17.
  • FIG. 2 is an explanatory diagram showing a functional configuration example of the image processing apparatus 10 ′ that corrects a distorted image.
  • Image data in a predetermined range within the frame output from the CIS 11 is stored in the SRAM 21.
  • the coordinates to be corrected are designated by the coordinate generation unit 18 and stored in the pixel interpolation unit 16.
  • the pixel interpolation unit 16 corrects the distortion by moving the position of the image, performing interpolation processing, and the like, and outputs the corrected image data to the SRAM 17.
  • the image of the entire area is output from the image sensor in the conventional processing. Further, when the image needs to be deformed in the horizontal or vertical direction, a memory for holding the coordinate relationship before and after the deformation is necessary.
  • the present disclosure has intensively studied a technique for performing a deformation process with a small memory capacity and a small delay on an image captured by a lens having a large distortion.
  • the present disclosure uses an image sensor that can read image data from an arbitrary location, thereby reducing delay with respect to an image captured by a lens with large distortion, and The inventors have devised a technology that can perform deformation processing with a small memory capacity.
  • FIG. 3 is an explanatory diagram illustrating a functional configuration example of the image processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 3 shows an example of the functional configuration of the image processing apparatus 100 that performs correction processing on an image captured by a lens with large distortion.
  • a functional configuration example of the image processing apparatus 100 according to the embodiment of the present disclosure will be described with reference to FIG.
  • the image processing apparatus 100 includes a CMOS image sensor (CIS) 101, an image processing unit 102, and an input unit 103.
  • the image processing unit 102 includes SRAMs 111 and 113, an image transformation unit 112, and a coordinate generation unit 114.
  • the CIS 101 is a solid-state image sensor that converts light collected through a lens, for example, a fish-eye lens that is not a central projection method, into an electrical signal and outputs the electrical signal.
  • the CIS 101 is provided with a color filter having a Bayer array and other arrays.
  • the CIS 101 is configured to output data in an arbitrary pixel unit or an arbitrary pixel group (block) unit based on an external command.
  • a configuration example of the CIS 101 will be described.
  • the CIS 101 has a structure in which two semiconductor chips are stacked.
  • the upper chip of the stacked structure is a first chip
  • the lower chip is a second chip.
  • the first chip is a pixel chip in which a pixel array unit in which unit pixels including photoelectric conversion elements are two-dimensionally arranged on a matrix is formed.
  • the second chip includes a driving unit that drives each pixel of the pixel array unit formed on the first chip, and a signal processing unit that performs signal processing such as converting an analog signal read from each pixel of the pixel array unit into a digital signal.
  • a memory that stores data that has been subjected to signal processing by the signal processing unit, a data processing unit that outputs data written in the memory based on an external command, and the like can be included.
  • FIG. 4 is an explanatory diagram showing a configuration example of the first chip 120 of the CIS 101.
  • FIG. 5 is an explanatory diagram showing a configuration example of the second chip 130 of the CIS 101.
  • the pixel array unit 121 in which unit pixels including photoelectric conversion elements are two-dimensionally arranged in a matrix, pads 122 a and 122 b that are electrically connected to the outside, and the second chip 130 are electrically connected.
  • a first chip 120 provided with vias (VIA) 123 is shown.
  • FIG. 5 illustrates a signal processing unit 131 that performs signal processing such as converting an analog signal read from each pixel of the pixel array unit into a digital signal and writes the signal to the memory, and drives each pixel formed in the first chip 120.
  • 2 shows a second chip 130 provided with column recorders 134a and 134b for designating column addresses and row addresses.
  • pixel units each having a predetermined number of pixels as one unit are two-dimensionally arranged in a matrix, and a via 123 is formed for each pixel unit.
  • the number of pixels constituting the pixel unit can be arbitrary.
  • the CIS 101 is configured to output pixel data to the outside in units of pixel units based on an external command.
  • the order of outputting pixel data in units of pixel units can be arbitrarily set based on an external command.
  • the coordinate generation unit 114 designates the order of reading pixel data from the CIS 101 and outputs the pixel data of the designated pixel unit to the image processing unit 102. The processing will be described in detail later.
  • the image processing unit 102 may be configured by, for example, a CPU (Central Processing Unit), various ROMs (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the image processing unit 102 can function as an example of the image processing unit of the present disclosure.
  • the SRAM 111 is a memory that stores pixel data output from the CIS 101.
  • the pixel data stored in the SRAM 111 is output to the image transformation unit 112 with the output target specified by the coordinate generation unit 114.
  • the SRAM 111 has a capacity sufficient to store pixel data for a line to be output after correcting the distortion by the image deforming unit 112 in the subsequent stage. That is, the SRAM 111 does not need a capacity for storing the pixel data for one frame, and may have a capacity for storing the pixel data for less than one frame.
  • the image deformation unit 112 uses the pixel data stored in the SRAM 111, but performs image deformation processing.
  • the image transformation unit 112 can perform rotation, enlargement, reduction, or the like of at least a part of the range of the image captured by the CIS 101 in addition to processing for removing distortion of the image captured by the CIS 101 as image deformation processing.
  • the image transformation unit 112 performs an interpolation process using pixel data stored in the SRAM 111, for example, when generating an image from which distortion is removed.
  • the output image is generated by moving pixel data in the distorted image. It becomes an image without. Therefore, it is necessary to generate pixel data in a place where there is no pixel data by performing interpolation processing using the pixel data after the pixel data is moved.
  • the image transformation unit 112 performs this interpolation process.
  • the image transformation unit 112 may use the data of the coordinates specified by the coordinate generation unit 114 when performing the interpolation process.
  • the image transformation unit 112 outputs the pixel data generated by performing the interpolation process to the SRAM 113.
  • the SRAM 113 is a memory that stores pixel data output from the image transformation unit 112.
  • the pixel data stored in the SRAM 113 is output to the subsequent processing block at a predetermined timing and becomes the original data of the output image.
  • the coordinate generation unit 114 outputs information related to the coordinates to the CIS 101, the SRAM 111, and the image transformation unit 112.
  • the coordinate generation unit 114 specifies a block for outputting pixel data to the CIS 101.
  • the coordinate generation unit 114 specifies the coordinates of the output target of the pixel data to the image transformation unit 112 for the SRAM 111.
  • the coordinate generation unit 114 specifies the coordinates to be interpolated for the image deformation unit 112.
  • the coordinate generation unit 114 specifies a block for outputting pixel data to the CIS 101
  • the coordinate generation unit 114 specifies from the upper left direction of the output image. For example, when a part of an image captured by the CIS 101 is cut out, rotated, and output, the coordinate generation unit 114 outputs pixel data from a block corresponding to the upper left location of the rotated image. It is specified in CIS101.
  • the input unit 103 includes, for example, a lever, a button, a touch panel, and the like, and outputs operation information generated based on the operation of these devices to the coordinate generation unit 114.
  • the input unit 103 may allow an operator to specify an arbitrary range in an image captured by the CIS 101, to enlarge or reduce the range, and to rotate the range.
  • the coordinate generation unit 114 generates information related to coordinates to be output to the CIS 101, the SRAM 111, and the image deformation unit 112 based on operation information sent from the input unit 103 based on the operation of the input unit 103.
  • the coordinate generation unit 114 can dynamically change the distortion correction target by generating information about coordinates based on the operation of the input unit 103.
  • the image processing unit 102 may include components other than those described above.
  • the SRAM 111 is included in the image processing unit 102.
  • the SRAM 111 may be provided outside the image processing unit 102.
  • the image processing apparatus 100 Since the image processing apparatus 100 according to the embodiment of the present disclosure has such a configuration, it is possible to perform a deformation process on an image captured by a lens having a large distortion with a small delay and a small memory capacity. It becomes.
  • FIG. 6 is a flowchart illustrating an operation example of the image processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 6 shows an operation example of the image processing apparatus 100 when a target image is generated by correcting distortion of an image captured by the CIS 101 using data output from the CIS 101.
  • FIG. 6 shows an operation example of the image processing apparatus 100 when a target image is generated by correcting distortion of an image captured by the CIS 101 using data output from the CIS 101.
  • step S101 A block to be subjected to distortion correction processing is designated (step S101).
  • the coordinate generation unit 114 can execute the process of step S101.
  • the coordinate calculation when performing distortion correction is to calculate the correspondence between the coordinates of the image before distortion correction and the image after distortion correction. That is, the coordinate calculation when performing distortion correction is to calculate which coordinate (x ′, y ′) of the image after distortion correction corresponds to the coordinate (x ′, y ′) of the image after distortion correction. It is. If the correspondence between the coordinates of the image before distortion correction and the image after distortion correction is known, it can be determined which block of image data should be read from the CIS 101 when the target image is generated.
  • the image processing apparatus 100 specifies a block for outputting pixel data to the CIS 101
  • the image processing apparatus 100 specifies from the upper left direction of the output image. For example, when a part of an image captured by the CIS 101 is cut out, rotated, and output, the image processing apparatus 100 according to the present embodiment starts from the block corresponding to the upper left location of the rotated image.
  • the CIS 101 is designated to output pixel data.
  • step S101 the image processing apparatus 100 subsequently reads the image data designating the block from the CIS 101 based on the designation in step S101 (step S102).
  • the coordinate generation unit 114 can execute the process in step S102.
  • the image processing apparatus 100 stores the image data read from the CIS 101 in the SRAM 111 (step S103). At this time, the image data stored in the SRAM 111 only needs to be able to generate one line of the output target image. That is, the SRAM 111 does not need a capacity for storing the pixel data for one frame, and may have a capacity for storing the pixel data for less than one frame.
  • the image processing apparatus 100 When the image data read from the CIS 101 is stored in the SRAM 111, the image processing apparatus 100 then reads the image data by designating coordinates from the SRAM 111 (step S104).
  • the coordinate generation unit 114 can execute the process in step S104. Since the image data is stored in the SRAM 111 in units of blocks of the CIS 101, the image processing apparatus 100 reads from the SRAM 111 the image data necessary for the subsequent deformation process from the SRAM 111.
  • step S105 When the image data is read by designating the coordinates from the SRAM 111, the image processing apparatus 100 subsequently performs an image deformation process using the image data read from the SRAM 111 (step S105).
  • the process in step S105 can be executed by the image transformation unit 112.
  • the image deformation processing in step S105 may include processing for correcting image distortion, image rotation processing, image enlargement or reduction processing, and the like.
  • the image processing apparatus 100 performs image deformation processing in step S ⁇ b> 105, the image processing apparatus 100 stores the deformed image data in the SRAM 113.
  • FIG. 7 shows an example of an image output from the CIS 101, which is an example of a distorted image 140 formed on the CIS 101 through a fisheye lens that is a lens that is not a central projection method.
  • the image processing apparatus 100 first deforms the range indicated by the reference numeral 141 in the image 140 including the uppermost line of the deformed image, thereby enabling the observer. Convert to an image that doesn't feel strange. At that time, the image processing apparatus 100 according to the embodiment of the present disclosure reads the image data from the CIS 101 by designating a block from which the image data is read. Thereafter, the image processing apparatus 100 reads image data from the CIS 101 by sequentially designating blocks corresponding to the downward direction from the topmost line of the deformed image.
  • FIG. 8 is an explanatory diagram for explaining that the image processing apparatus 100 reads the image data from the CIS 101 by designating a block from which the image data is read.
  • FIG. 9 is an example of an image 150 that is generated by the image processing apparatus 100 according to the embodiment of the present disclosure and the image output from the CIS 101 is deformed so that the observer does not feel uncomfortable.
  • FIG. 8 shows a block 144 containing a line 143 corresponding to the top line 151 of the image 150 in FIG.
  • the image processing apparatus 100 reads the image data of each block 144 shown in FIG. 8 from the CIS 101 in order to generate the highest line 143 of the converted image.
  • the image processing apparatus 100 reads out image data from the CIS 101 by sequentially designating blocks corresponding to the downward direction from the uppermost line of the deformed image.
  • the designation of this block is performed by the coordinate generation unit 114 based on the generated coordinate information.
  • the image processing apparatus 100 can arbitrarily determine the order of reading image data from the CIS 101 according to the image to be generated. If the image to be generated is not rotated, the image processing apparatus 100 may select a block from the top to the bottom of the image output by the CIS 101. If there is no rotation in the image to be generated, the image processing apparatus 100 may select a block from which image data is read from the CIS 101 so that the generated image has a top-to-bottom direction.
  • the image processing apparatus 100 may delete unnecessary image data from the SRAM 111 when the image data is read from the CIS 101 in units of blocks.
  • the operation example of the image processing apparatus 100 according to the embodiment of the present disclosure has been described above.
  • the image processing apparatus 100 according to the embodiment of the present disclosure performs deformation processing on an image captured by a lens with a large distortion with a small delay and a small memory capacity by executing the above-described operation. Is possible.
  • the image processing apparatus 100 can read image data from the CIS 101 by various methods by applying the reading of the image data from the CIS 101 in units of blocks described above.
  • FIGS. 10 and 11 are explanatory diagrams illustrating another method of reading image data from the CIS 101 by the image processing apparatus 100 according to the embodiment of the present disclosure.
  • FIGS. 10 and 11 show that when reading image data from the CIS 101, the CIS 101 by the image processing apparatus 100 is used when the area divided in the horizontal direction is read sequentially from the nearest place in the vertical direction, not in units of blocks. This is an example of reading image data from.
  • FIG. 10 shows an example in which an image is divided into three regions (A phase, B phase, and C phase), and sequentially read from a location closest to the vertical direction.
  • FIG. 11 shows that the image is divided into two at the center of the image and then divided into three regions (A phase, B phase, C phase) so as to be line symmetric, and then in the vertical direction. This is an example of reading sequentially from the nearest location.
  • the system of the image processing apparatus 100 can be simplified as compared with the case of reading out in units of pixels or blocks.
  • the image processing apparatus 100 is based on the operation information sent from the input unit 103 based on the operation of the input unit 103, with respect to the CIS 101, the SRAM 111, and the image deformation unit 112. Information regarding the coordinates to be output may be generated. Below, the image processing apparatus 100 which changes the image output based on operation information is demonstrated.
  • FIG. 12 and 13 are explanatory diagrams for explaining how the image processing apparatus 100 changes the image output based on the operation information.
  • the image processing apparatus 100 outputs the image 160 a that has been subjected to deformation processing on the image output from the CIS 101 and the state in which the display target is moved in the diagonally lower left direction based on the operation information. ,It is shown.
  • the reference numeral 161 shown in FIG. 12 is an example of a distorted image that is imaged on the CIS 101 through the fisheye lens and output from the CIS 101.
  • Reference numerals 162a to 162d shown in FIG. 12 indicate the range of the image to be output, which is cut out from the image output by the CIS 101 and deformed.
  • the image processing apparatus 100 changes the block to be read from the CIS 101 in accordance with the movement of the display object.
  • FIG. 13 when the display target moves in the diagonally lower left direction based on the operation information, the block to be read from the CIS 101 changes, and the image finally output by the image processing apparatus 100 is displayed from the image 160a. It is explanatory drawing which shows the example which changes to the image 160d.
  • the upper side of the deformed and output images 160a to 160d corresponds to the upper right of the range 162a to 162d in FIG. Accordingly, when the display target moves in the diagonally downward left direction based on the operation information, the image processing apparatus 100 changes the block to be read first from the block 163a to the block 163d as shown in FIG. Go.
  • the image processing apparatus 100 changes the image to be output based on the operation information sent from the input unit 103 based on the operation of the input unit 103, Based on the operation information, the block to be read from the CIS 101 is changed. Then, the CIS 101 outputs the image data of the designated block.
  • the block reading order is coordinate information generated by the coordinate generation unit 114 according to the contents of the operation information sent from the input unit 103, as in the processing for removing distortion of the image captured by the fisheye lens described above. Determine based on.
  • the image processing apparatus 100 performs an image process according to operation information sent from the input unit 103 based on an operation of the input unit 103 by performing a deformation process on the image data output from the CIS 101. It becomes possible to output.
  • the image output by the CIS 101 is an image formed through a special lens such as a fisheye lens, but the present disclosure is not limited to such an example.
  • the image processing apparatus 100 changes a block to be read from the CIS 101 even when a part of a normal image with little distortion is cut out and output based on the operation of the input unit 103. I can do it.
  • the image processing apparatus 100 according to the embodiment of the present disclosure can be applied to, for example, automobiles, flying objects, and other mobile objects, and body-mounted electronic devices (wearable devices).
  • FIG. 14 is an explanatory diagram illustrating an application example of the image processing apparatus 100 according to the embodiment of the present disclosure, and illustrates an example in a case where the image processing apparatus 100 is provided to an automobile.
  • FIG. 14 shows imaging units 2910, 2912, 2914, 2916, and 2918 and outside information detection units 2920, 2922, 2924, 2926, 2928, and 2930.
  • the imaging units 2910, 2912, 2914, 2916, and 2918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 2900.
  • An imaging unit 2910 provided in the front nose and an imaging unit 2918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 2900.
  • the imaging units 2912 and 2914 provided in the side mirror mainly acquire an image on the side of the vehicle 2900.
  • An imaging unit 2916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 2900.
  • An imaging unit 2918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 14 shows an example of shooting ranges of the respective imaging units 2910, 2912, 2914, and 2916.
  • the imaging range a indicates the imaging range of the imaging unit 2910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 2912 and 2914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging unit 2916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 2910, 2912, 2914, and 2916, an overhead image when the vehicle 2900 is viewed from above is obtained.
  • the vehicle outside information detection units 2920, 2922, 2924, 2926, 2928, 2930 provided on the front, rear, side, corner, and upper windshield of the vehicle 2900 may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 2920, 2926, and 2930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 2900 may be, for example, LIDAR devices.
  • These vehicle outside information detection units 2920 to 2930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • Each of the imaging units 2910, 2912, 2914, 2916, and 2918 in FIG. 14 is provided with the CIS 101 that can read image data from an arbitrary block, and the above-described image processing unit 102 is provided inside the vehicle 2900.
  • the SRAM 111 since the SRAM 111 only needs to have a capacity for storing image data of less than one frame, it can contribute to reducing the cost of hardware for presenting an image around the vehicle to the driver of the vehicle 2900.
  • an apparatus to which the image processing apparatus 100 according to the embodiment of the present disclosure can be applied is not limited to an automobile.
  • the image processing apparatus 100 according to the embodiment of the present disclosure can also be applied to a body-mounted electronic device (wearable device) intended to be used by being worn on a human body.
  • a body-mounted electronic device wearable device
  • the wearable device when the wearable device is provided with the CIS 101 and the image blur caused by the movement of the body is corrected, the above-described image processing unit 102 is provided in the wearable device, so that the image blur or distortion can be reduced. It is possible to correct the image with a low delay and present the corrected image to an observer who has captured the image with the wearable device. Further, since the SRAM 111 only needs to have a capacity for storing image data of less than one frame, it can contribute to reducing the cost of hardware for presenting an image captured by a wearable device.
  • the image processing apparatus 100 can also be applied to a case where a camera is mounted on an autonomous flying object (drone) and an image from above is captured by the camera.
  • a camera is mounted on an autonomous flying object (drone) and an image from above is captured by the camera.
  • the above-described image processing unit 102 is provided inside the flying vehicle.
  • the SRAM 111 since the SRAM 111 only needs to have a capacity for storing image data of less than one frame, it can contribute to reducing the cost of hardware for presenting an image captured by a flying object that autonomously flies.
  • an image processing apparatus 100 capable of outputting is provided.
  • image processing that can transform the image and output the transformed image without storing image data in units of frames
  • An apparatus 100 is provided.
  • the image processing apparatus 100 reads data from the CIS 101 that can output image data in a block unit including a pixel or a plurality of adjacent pixels and in any order.
  • the image processing apparatus 100 reads data from the CIS 101 by an amount necessary for image processing, for example, distortion correction processing for each line.
  • the image processing apparatus 100 does not need to read all data for one frame from the CIS 101 when performing image processing, and thus can perform image processing with little delay. Further, the image processing apparatus 100 according to the embodiment of the present disclosure can reduce the capacity of the SRAM 111 that temporarily stores image data before image processing to an amount less than one frame of image data. Costs can be reduced.
  • each step in the processing executed by each device in this specification does not necessarily have to be processed in chronological order in the order described as a sequence diagram or flowchart.
  • each step in the processing executed by each device may be processed in an order different from the order described as the flowchart, or may be processed in parallel.
  • each functional block shown in the functional block diagram used in the above description may be realized by a server device connected via a network such as the Internet.
  • the configuration of each functional block shown in the functional block diagram used in the above description may be realized by a single device or a system in which a plurality of devices cooperate.
  • a system in which a plurality of devices are linked may include, for example, a combination of a plurality of server devices, a combination of a server device and a terminal device, or the like.
  • Control for determining the data reading order for an image sensor capable of arbitrarily reading data in units of pixels or a pixel group composed of a plurality of adjacent pixels, and reading data from the image sensor based on the determined reading order An image processing apparatus comprising a unit.
  • the image processing apparatus according to (1) wherein the control unit performs image processing on an image formed on the imaging element using data read from the imaging element based on the determined reading order.
  • the image processing apparatus according to (2) further including a storage unit that stores data read by the control unit.
  • a body-mounted electronic device comprising the image processing device according to any one of (1) to (12).
  • a data reading order is determined for an image sensor that can arbitrarily read data in units of pixels or a pixel group composed of a plurality of adjacent pixels, and data is read from the image sensor based on the determined reading order. Including an image processing method.
  • a data reading order is determined for an image sensor that can arbitrarily read data in units of pixels or a pixel group composed of a plurality of adjacent pixels, and data is read from the image sensor based on the determined reading order.
  • a computer program that causes a computer to execute.
  • Image processing apparatus 102 Image processing unit 103: Input unit 111: SRAM 112: Image transformation unit 113: SRAM 114: Coordinate generating unit 120: First chip 121: Pixel array unit 122a: Pad unit 122b: Pad unit 123: Via 130: Second chip 131: Signal processing unit 132a: Peripheral circuit 132b: Peripheral circuit 133: Output circuit 134a: Column recorder 134b: Column recorder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮像された画像に対して、遅延の少ない画像処理を行うことが可能な画像処理装置を提供する。 【解決手段】画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子と、前記撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出す制御部と、を備える、画像処理装置が提供される。かかる画像処理装置は、決定した読み出し順序に基づいて撮像素子からデータを読み出すことで、撮像された画像に対して、遅延の少ない画像処理を行うことを可能とする。

Description

画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム
　本開示は、画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラムに関する。
　特殊な構造のレンズを備えたカメラを用いることによって、カメラの全周を含む画像を得ることができる。このような画像を加工して利用するための技術は、種々提案されている。例えば、特許文献１には、魚眼レンズを用いて撮像された画像を円筒面上に展開した展開画像に変換する技術が記載されている。
特開２０１２－２２６６４５号公報
　魚眼レンズ等の中心射影方式ではない歪みが大きなレンズで撮像された画像を、観察者が違和感を覚えない形に変形するためには、画像を一度メモリに溜め込んでから任意の変形処理を行っていたが、変形処理によっては必要なメモリの容量が大きくなったり、また画像のメモリへの書き込みやメモリからの読み出しに時間がかかり、撮像から出力までの遅延が生じたりしていた。また画像の一部を切り出して出力するような場合にも、同様に撮像から出力までの遅延が生じていた。
　そこで、本開示では、撮像された画像に対して、遅延の少なく、かつ少ないメモリ容量で画像処理を行うことが可能な、新規かつ改良された画像処理装置、画像処理方法、移動体及びコンピュータプログラムを提案する。
　本開示によれば、画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子と、前記撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出す制御部と、を備える、画像処理装置が提供される。
　また本開示によれば、上記画像処理装置を備える、移動体が提供される。また本開示によれば、上記画像処理装置を備える、身体装着型電子機器が提供される。
　また本開示によれば、画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出すことを含む、画像処理方法が提供される。
　また本開示によれば、画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出すことをコンピュータに実行させる、コンピュータプログラムが提供される。
　以上説明したように本開示によれば、撮像された画像に対して、遅延の少ない画像処理を行うことが可能な、新規かつ改良された画像処理装置、画像処理方法、移動体及びコンピュータプログラムを提供することが出来る。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
歪みのある画像を補正する画像処理装置１０の機能構成例を示す説明図である。 歪みのある画像を補正する画像処理装置１０’の機能構成例を示す説明図である。 本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。 ＣＩＳ１０１の第１チップ１２０の構成例を示す説明図である ＣＩＳ１０１の第２チップ１３０の構成例を示す説明図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 同実施の形態に係る画像処理装置１００の動作を説明するための説明図である。 同実施の形態に係る画像処理装置１００の動作を説明するための説明図である。 同実施の形態に係る画像処理装置１００の動作を説明するための説明図である。 ＣＩＳ１０１からの画像データの別の読み出し方を示す説明図である。 ＣＩＳ１０１からの画像データの別の読み出し方を示す説明図である。 画像処理装置１００が操作情報に基づいて出力する画像を変化させていく様子を説明する説明図である。 画像処理装置１００が操作情報に基づいて出力する画像を変化させていく様子を説明する説明図である。 本開示の実施の形態に係る画像処理装置１００の適用例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施の形態
　　１．１．背景
　　１．２．機能構成例
　　１．３．動作例
　　１．４．適用例
　２．まとめ
　＜１．本開示の実施の形態＞
　［１．１．背景］
　まず、本開示の実施の形態について詳細に説明する前に、本開示の実施の形態の背景について説明する。
　魚眼レンズなどの特殊な構造のレンズを備えたカメラを用いることによって、カメラの全周を含む画像を得ることができる。魚眼レンズなどの歪みが大きいレンズで撮像された画像は歪みが大きいので、撮像されたままの状態では観察者は画像に違和感を覚える。従って、歪みが大きな画像を、観察者が見て違和感を覚えない形に変形する処理が必要になる。
　歪みが大きな画像を変形するためには、まずは撮像素子から出力された歪みを含む全領域の画像を一度フレームメモリに溜め込むことが一般的に行われていた。そして、画像をフレームメモリから読み出して、歪みを無くす変形処理を行って出力したり、フレームメモリに再度書き込んだりする処理が行われていた。
　図１は、歪みのある画像を補正する画像処理装置１０の機能構成例を示す説明図である。ＣＩＳ（ＣＭＯＳ　Ｉｍａｇｅ　ｓｅｎｓｏｒ）１１から出力される画像データは、フレーム単位で、バスブリッジ１２を経由してＤＲＡＭ１３に一旦格納される。ＤＲＡＭ１３に格納された画像データは、読み出し対象の座標が座標生成部１８で指定され、バスブリッジ１４を経由してＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１５に格納される。
　ＳＲＡＭ１５に格納された画像データは、補正対象の座標が座標生成部１８で指定され、画素補間部１６に格納される。画素補間部１６は、画像の位置の移動や補間処理などを行って歪みを補正して、補正後の画像データをＳＲＡＭ１７に出力する。
　図２は、歪みのある画像を補正する画像処理装置１０’の機能構成例を示す説明図である。ＣＩＳ１１から出力される、フレーム内の所定の範囲の画像データは、ＳＲＡＭ２１に格納される。ＳＲＡＭ２１に格納された画像データは、補正対象の座標が座標生成部１８で指定され、画素補間部１６に格納される。画素補間部１６は、画像の位置の移動や補間処理などを行って歪みを補正して、補正後の画像データをＳＲＡＭ１７に出力する。
　しかし、歪みが大きな画像の一部の領域のみを表示させたい場合であっても、従来の処理では撮像素子から全ての領域の画像を出力していた。また、画像の水平または垂直方向の変形が必要になる場合、変形前後の座標関係を保持するためのメモリが必要になっていた。
　また、歪みを含む全領域の画像を一度フレームメモリに溜め込むためにフレームメモリの容量の削減が難しく、また、変形が限定的なものであればメモリの容量は少なく済むが、水平ラインでの処理の場合、垂直方向への変形量に応じたメモリ（垂直方向への変形用のラインメモリ）が必要だった。さらに、撮像素子から出力された画像をフレームメモリに一度溜め込むことから、撮像から出力までに遅延が生じていた。
　そこで本件開示者は、上述した背景に鑑み、歪みが大きなレンズで撮像された画像に対して、遅延の少なく、かつ少ないメモリ容量で変形処理を行う技術について鋭意検討を行った。その結果、本件開示者は、以下で説明するように、任意の場所から画像データを読み出し可能なイメージセンサを用いることで、歪みが大きなレンズで撮像された画像に対して、遅延の少なく、かつ少ないメモリ容量で変形処理を行うことが可能な技術を考案するに至った。
　以上、本開示の実施の形態の背景について説明した。続いて、本開示の実施の形態について詳細に説明する。
　［１．２．機能構成例］
　図３は、本開示の実施の形態に係る画像処理装置１００の機能構成例を示す説明図である。図３に示したのは、歪みが大きなレンズで撮像された画像に対する補正処理を行う画像処理装置１００の機能構成例である。以下、図３を用いて本開示の実施の形態に係る画像処理装置１００の機能構成例について説明する。
　図３に示したように、本開示の実施の形態に係る画像処理装置１００は、ＣＭＯＳイメージセンサ（ＣＩＳ）１０１と、画像処理部１０２と、入力部１０３と、を含んで構成される。そして画像処理部１０２は、ＳＲＡＭ１１１、１１３と、画像変形部１１２と、座標生成部１１４と、を含んで構成される。
　ＣＩＳ１０１は、レンズ、例えば中心射影方式ではないレンズである魚眼レンズを通じて集光される光を電気信号に変換して出力する固体撮像素子である。なおＣＩＳ１０１にはベイヤ配列その他の配列を有するカラーフィルタが備えられる。
　本実施形態では、ＣＩＳ１０１は、外部からの命令に基づき、任意の画素単位、または任意の画素群（ブロック）単位でデータを出力可能なように構成される。ここでＣＩＳ１０１の構成例について説明する。
　本実施形態に係るＣＩＳ１０１は、２つの半導体チップが積層された構造を有する。以下の説明では、積層構造の上側のチップを第１チップ、下側のチップを第２チップとする。
　第１チップは、光電変換素子を含む単位画素が行列上に２次元に配置される画素アレイ部が形成された画素チップである。
　第２チップは、第１チップに形成された画素アレイ部の各画素を駆動する駆動部、画素アレイ部の各画素から読み出されるアナログ信号をデジタル信号に変換する等の信号処理を行う信号処理部、信号処理部で信号処理が施されたデータを格納するメモリ、外部からの命令に基づいてメモリに書き込まれたデータを出力するデータ処理部などが含まれうる。
　図４は、ＣＩＳ１０１の第１チップ１２０の構成例を示す説明図である。また図５は、ＣＩＳ１０１の第２チップ１３０の構成例を示す説明図である。
　図４には、光電変換素子を含む単位画素が行列上に２次元に配置される画素アレイ部１２１、外部と電気的に接続するパッド部１２２ａ、１２２ｂ、第２チップ１３０と電気的に接続するビア（ＶＩＡ）１２３が設けられている第１チップ１２０が示されている。
　また図５には、画素アレイ部の各画素から読み出されるアナログ信号をデジタル信号に変換する等の信号処理を行ってメモリに書き込む信号処理部１３１、第１チップ１２０に形成される各画素を駆動する周辺回路１３２ａ、１３２ｂ、外部からの命令に基づいて信号処理部１３１に書き込まれたデータを出力する出力回路１３３、画素アレイ部１２１の各画素から画素データをメモリに書き込んだり、メモリから読み出したりする際の列アドレス、行アドレスを指定する列レコーダ１３４ａ、１３４ｂが設けられている第２チップ１３０が示されている。
　そして本実施形態では、所定数の画素を１単位とする画素ユニットが行列状に２次元に配置され、その画素ユニット毎にビア１２３が形成された構成となっている。画素ユニットを構成する画素の数は任意のものとすることができる。
　本実施形態に係るＣＩＳ１０１は、外部からの命令に基づき、この画素ユニット単位で画素データを外部に出力出来るよう構成されている。そして、画素ユニット単位で画素データを出力する順序は、外部からの命令に基づいて任意のものとすることが可能である。本実施形態では、ＣＩＳ１０１からの画素データの読み出し順序は座標生成部１１４が指定し、指定された画素ユニットの画素データを画像処理部１０２に出力するが、その処理については後に詳述する。
　続いて画像処理部１０２の構成を説明する。画像処理部１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、各種のＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで構成されうる。画像処理部１０２は、本開示の画像処理部の一例として機能しうる。
　ＳＲＡＭ１１１は、ＣＩＳ１０１から出力される画素データを格納するメモリである。ＳＲＡＭ１１１に格納された画素データは、座標生成部１１４によって出力対象が指定されて、画像変形部１１２に出力される。
　ここで、ＳＲＡＭ１１１は、後段の画像変形部１１２で歪みを補正した後に出力するライン分の画素データを格納できるだけの容量があれば良い。すなわち、ＳＲＡＭ１１１は、１フレーム分の画素データを格納するための容量は必要無く、１フレーム分未満の画素データを格納するだけの容量があれば良い。
　画像変形部１１２は、ＳＲＡＭ１１１に格納された画素データを用いたが画像の変形処理を行う。画像変形部１１２は、画像の変形処理としてＣＩＳ１０１で撮像された画像の歪みを除去する処理の他、ＣＩＳ１０１で撮像された画像の少なくとも一部の範囲の回転、拡大、縮小などを行いうる。
　画像変形部１１２は、例えば、歪みを除去した画像を生成する際に、ＳＲＡＭ１１１に格納された画素データを用いて補間処理を行う。歪みのある画像から、歪みを除去した出力画像を生成する際には、歪みのある画像における画素データを移動させることで出力画像を生成するが、画素データを移動させるだけでは場所によっては画素データの無い画像となる。従って、画素データの移動後に画素データを用いて補間処理を行うことで、画素データの無い場所に画素データを生成する必要がある。画像変形部１１２はこの補間処理を行う。
　画像変形部１１２は、補間処理を行う際に、座標生成部１１４によって指定された座標のデータを用いても良い。画像変形部１１２は、補間処理を行って生成した画素データをＳＲＡＭ１１３に出力する。
　ＳＲＡＭ１１３は、画像変形部１１２から出力される画素データを格納するメモリである。ＳＲＡＭ１１３に格納された画素データは、所定のタイミングで後段の処理ブロックに出力されて出力画像の元データとなる。
　座標生成部１１４は、ＣＩＳ１０１、ＳＲＡＭ１１１、及び画像変形部１１２に対して座標に関する情報を出力する。座標生成部１１４は、ＣＩＳ１０１に対しては画素データを出力するブロックを指定する。また、座標生成部１１４は、ＳＲＡＭ１１１に対しては、画像変形部１１２への画素データの出力対象の座標を指定する。また、座標生成部１１４は、画像変形部１１２に対しては補間対象の座標を指定する。
　座標生成部１１４は、ＣＩＳ１０１に対して画素データを出力するブロックを指定する際に、出力する画像の左上の方向から指定する。例えば、ＣＩＳ１０１で撮像された画像の一部の領域を切り出して回転させて出力する場合は、座標生成部１１４は、回転後の画像の左上となる場所に対応するブロックから画素データを出力するようＣＩＳ１０１に指定する。
　入力部１０３は、例えばレバー、ボタン、タッチパネルなどで構成され、これらのデバイスの操作に基づいて生成される操作情報を座標生成部１１４へ出力する。入力部１０３は、例えば、ＣＩＳ１０１で撮像された画像の中の任意の範囲の指定、当該範囲の拡大または縮小、回転等を操作者に行わせてもよい。
　座標生成部１１４は、入力部１０３の操作に基づいて入力部１０３から送られる操作情報に基づき、ＣＩＳ１０１、ＳＲＡＭ１１１、及び画像変形部１１２に対して出力する座標に関する情報を生成する。座標生成部１１４は、入力部１０３の操作に基づいて座標に関する情報を生成することで、歪みの補正対象を動的に変化させることが可能となる。
　もちろん、画像処理部１０２には上述したもの以外の構成要素が含まれていても良いことは言うまでもない。また、上述の例では、画像処理部１０２にＳＲＡＭ１１１が含まれていたが、ＳＲＡＭ１１１は画像処理部１０２の外部に設けられていても良い。
　本開示の実施の形態に係る画像処理装置１００は、係る構成を有することで、歪みが大きなレンズで撮像された画像に対して、遅延の少なく、かつ少ないメモリ容量で変形処理を行うことが可能となる。
　以上、本開示の実施の形態に係る画像処理装置１００の機能構成例について説明した。続いて、本開示の実施の形態に係る画像処理装置１００の動作例について説明する。
　［１．３．動作例］
　図６は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図６に示したのは、ＣＩＳ１０１から出力されるデータを用いて、ＣＩＳ１０１で撮像された画像の歪みの補正を行って目的の画像を生成する際の、画像処理装置１００の動作例である。以下、図６を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明する。
　本実施の形態に係る画像処理装置１００は、ＣＩＳ１０１で撮像された画像の歪みの補正を行う際に、まず歪み補正を行う際の座標演算を実行するとともに、ＣＩＳ１０１で撮像された画像中の、歪み補正処理の対象となるブロックを指定する（ステップＳ１０１）。ステップＳ１０１の処理は座標生成部１１４が実行しうる。
　歪み補正を行う際の座標演算とは、歪み補正前の画像と歪み補正後の画像との座標の対応関係を演算することである。すなわち、歪み補正を行う際の座標演算とは、歪み補正前の画像の座標（ｘ，ｙ）が、歪み補正後の画像のどの座標（ｘ’，ｙ’）に対応するかを演算することである。そして、歪み補正前の画像と歪み補正後の画像との座標の対応関係が分かれば、目的の画像を生成する際に、ＣＩＳ１０１からどのブロックの画像データを読み出せば良いのかが分かる。
　本実施の形態に係る画像処理装置１００は、ＣＩＳ１０１に対して画素データを出力するブロックを指定する際に、出力する画像の左上の方向から指定する。例えば、ＣＩＳ１０１で撮像された画像の一部の領域を切り出して回転させて出力する場合は、本実施の形態に係る画像処理装置１００は、回転後の画像の左上となる場所に対応するブロックから画素データを出力するようＣＩＳ１０１に指定する。
　上記ステップＳ１０１で座標の演算及びブロックの指定を行うと、続いて画像処理装置１００は、上記ステップＳ１０１での指定に基づき、ＣＩＳ１０１からのブロックを指定した画像データの読み出しを行う（ステップＳ１０２）。ステップＳ１０２の処理は座標生成部１１４が実行しうる。
　ＣＩＳ１０１からブロックを指定して画像データを読み出すと、画像処理装置１００は、ＣＩＳ１０１から読み出した画像データをＳＲＡＭ１１１に格納する（ステップＳ１０３）。この際、ＳＲＡＭ１１１に格納される画像データは、出力対象の画像の１ライン分を生成出来るだけのものがあれば良い。すなわち、ＳＲＡＭ１１１は、１フレーム分の画素データを格納するための容量は必要無く、１フレーム分未満の画素データを格納するだけの容量があれば良い。
　ＣＩＳ１０１から読み出した画像データをＳＲＡＭ１１１に格納すると、続いて画像処理装置１００は、ＳＲＡＭ１１１から座標を指定して画像データを読み出す（ステップＳ１０４）。ステップＳ１０４の処理は座標生成部１１４が実行しうる。ＳＲＡＭ１１１には、ＣＩＳ１０１のブロック単位で画像データが格納されているので、画像処理装置１００は、ＳＲＡＭ１１１から後段の変形処理に必要な分の画像データをＳＲＡＭ１１１から読み出す。
　ＳＲＡＭ１１１から座標を指定して画像データを読み出すと、続いて画像処理装置１００は、ＳＲＡＭ１１１から読み出した画像データを用いて画像の変形処理を行う（ステップＳ１０５）。ステップＳ１０５の処理は画像変形部１１２が実行しうる。ステップＳ１０５での画像の変形処理には、画像の歪みを補正する処理、画像の回転処理、画像の拡大または縮小処理などが含まれうる。画像処理装置１００は、上記ステップＳ１０５において画像の変形処理を行うと、変形後の画像データをＳＲＡＭ１１３に格納する。
　本開示の実施の形態に係る画像処理装置１００の動作例を、他の図面を参照しながら寄り詳細に説明する。
　図７、８、９は、本開示の実施の形態に係る画像処理装置１００の動作を説明するための説明図である。図７に示したのは、ＣＩＳ１０１から出力される画像の例を示したものであり、中心射影方式ではないレンズである魚眼レンズを通じてＣＩＳ１０１に結像された、歪みのある画像１４０の例である。
　このように歪みのある画像１４０は、観察者が見ると非常に違和感を覚えるものである。従って、本開示の実施の形態に係る画像処理装置１００は、まず、変形後の画像の最上位のラインが含まれる、画像１４０の中の符号１４１で示した範囲を変形することで、観察者が見て違和感の無い画像に変換する。その際、本開示の実施の形態に係る画像処理装置１００は、画像データを読み出すブロックを指定してＣＩＳ１０１から画像データを読み出す。その後、画像処理装置１００は、変形後の画像の最上位のラインから下に向かう方向に対応するブロックを順次指定してＣＩＳ１０１から画像データを読み出す。
　図８は、画像処理装置１００が画像データを読み出すブロックを指定してＣＩＳ１０１から画像データを読み出していることを説明するための説明図である。また図９は、本開示の実施の形態に係る画像処理装置１００が生成する、ＣＩＳ１０１から出力される画像を変形して観察者が見て違和感の無い画像１５０の例である。
　図８には、図９における画像１５０の最上位のライン１５１に対応する、ライン１４３が含まれているブロック１４４が示されている。画像処理装置１００は、変換後の画像の最上位のライン１４３を生成するために、図８に示したそれぞれのブロック１４４の画像データをＣＩＳ１０１から読み出す。
　以後、画像処理装置１００は、変形後の画像の最上位のラインから下に向かう方向に対応するブロックを順次指定してＣＩＳ１０１から画像データを読み出す。このブロックの指定は、座標生成部１１４が、生成した座標の情報に基づいて行う。このようにブロックを指定してＣＩＳ１０１から画像データを読み出すことで、ＣＩＳ１０１から読み出した画像データを格納するＳＲＡＭ１１１の容量を削減することが可能になる。
　画像処理装置１００は、ＣＩＳ１０１から画像データを読み出す順序を、生成する画像に応じて任意に決定することが出来る。生成する画像に回転が生じていなければ、画像処理装置１００は、ＣＩＳ１０１が出力する画像の上から下の方向に向かってブロックを選択すれば良い。生成する画像に回転が生じていなければ、画像処理装置１００は、生成する画像の上から下の方向となるように、ＣＩＳ１０１から画像データを読み込むブロックを選択すれば良い。
　また、画像の生成状況によってはＣＩＳ１０１から読み出した後に不要となるブロックが生じる。従って、画像処理装置１００は、ＣＩＳ１０１からブロック単位で画像データを読み出した際に、不要となる画像データはＳＲＡＭ１１１から消去しても良い。
　以上、本開示の実施の形態に係る画像処理装置１００の動作例を説明した。本開示の実施の形態に係る画像処理装置１００は、上述した動作を実行することで、歪みが大きなレンズで撮像された画像に対して、遅延の少なく、かつ少ないメモリ容量で変形処理を行うことが可能となる。
　本開示の実施の形態に係る画像処理装置１００は、上述したブロック単位でのＣＩＳ１０１からの画像データの読み出しを応用して、様々な方法でＣＩＳ１０１から画像データを読み出すことが出来る。
　図１０、１１は、本開示の実施の形態に係る画像処理装置１００によるＣＩＳ１０１からの画像データの別の読み出し方を示す説明図である。図１０、１１に示したのは、ＣＩＳ１０１から画像データを読み出す際に、ブロック単位では無く、水平方向に分割した領域を垂直方向に一番近い場所から順次読み出す場合の、画像処理装置１００によるＣＩＳ１０１からの画像データの読み出した方の例である。
　図１０に示したのは３つの領域（Ａ相、Ｂ相、Ｃ相）に画像を分割した上で垂直方向に一番近い場所から順次読み出す場合の例である。また図１１に示したのは、画像の中央で２つに分割した上で、線対称となるように３つの領域（Ａ相、Ｂ相、Ｃ相）に画像を分割した上で垂直方向に一番近い場所から順次読み出す場合の例である。
　このようにＣＩＳ１０１から画像データを読み出すことで、画素またはブロック単位で読み出す場合に比べて、画像処理装置１００のシステムの簡略化が可能となる。
　本開示の実施の形態に係る画像処理装置１００は、上述したように、入力部１０３の操作に基づいて入力部１０３から送られる操作情報に基づき、ＣＩＳ１０１、ＳＲＡＭ１１１、及び画像変形部１１２に対して出力する座標に関する情報を生成してもよい。以下では、操作情報に基づいて出力する画像を変化させていく画像処理装置１００について説明する。
　図１２、１３は、画像処理装置１００が操作情報に基づいて出力する画像を変化させていく様子を説明する説明図である。図１２には、画像処理装置１００によって、ＣＩＳ１０１が出力する画像に対する変形処理が施されて出力されている画像１６０ａと、操作情報に基づいて左斜め下方向に表示対象を移動させていく様子と、が示されている。
　図１２に示した符号１６１は、魚眼レンズを通じてＣＩＳ１０１に結像され、ＣＩＳ１０１が出力する、歪みのある画像の例である。また図１２に示した符号１６２ａ～１６２ｄは、ＣＩＳ１０１が出力する画像の中から切り出して変形した、出力対象となる画像の範囲を示すものである。
　操作情報に基づいて左斜め下方向に表示対象が移動していくと、画像処理装置１００は、その表示対象の移動に応じてＣＩＳ１０１からの読み出し対象のブロックを変化させていく。図１３は、操作情報に基づいて左斜め下方向に表示対象が移動していく際に、ＣＩＳ１０１からの読み出し対象のブロックが変化し、最終的に画像処理装置１００が出力する画像が画像１６０ａから画像１６０ｄへと変化していく例を示す説明図である。
　図１２、１３に示した例では、変形して出力する画像１６０ａ～１６０ｄの上側は、図１２の１６２ａ～１６２ｄで示した範囲の右上に対応する。従って、操作情報に基づいて左斜め下方向に表示対象が移動していく際に、画像処理装置１００は、図１３に示したように最初に読み出すブロックをブロック１６３ａからブロック１６３ｄへと変化させていく。
　このように、本開示の実施の形態に係る画像処理装置１００は、入力部１０３の操作に基づいて入力部１０３から送られる操作情報に基づいて、出力する画像を変化させていく際に、この操作情報に基づいてＣＩＳ１０１からの読み出し対象のブロックを変化させる。そしてＣＩＳ１０１は、指定されたブロックの画像データを出力する。ブロックの読み出し順序は、上述の魚眼レンズで撮像された画像の歪みを除去する際の処理と同様に、座標生成部１１４が、入力部１０３から送られる操作情報の内容に応じて生成した座標の情報に基づいて決定する。
　本開示の実施の形態に係る画像処理装置１００は、ＣＩＳ１０１から出力された画像データに対する変形処理を行うことで、入力部１０３の操作に基づいて入力部１０３から送られる操作情報に応じた画像を出力することが可能となる。
　上述した例では、ＣＩＳ１０１が出力する画像は、魚眼レンズ等の特殊なレンズを通じて結像された画像であったが、本開示は係る例に限定されるものではない。例えば、画像処理装置１００は、歪みが少ない通常の画像の一部を、入力部１０３の操作に基づいて場所を変えながら切り出して出力するような場合でも、ＣＩＳ１０１からの読み出し対象のブロックを変化させることが出来る。
　続いて、本開示の実施の形態に係る画像処理装置１００の適用例を説明する。本開示の実施の形態に係る画像処理装置１００は、例えば、自動車、飛行体その他の移動体や、身体装着型電子機器（ウェアラブルデバイス）などに適用することができる。
　図１４は、本開示の実施の形態に係る画像処理装置１００の適用例を示す説明図であり、自動車に画像処理装置１００を提供した場合の例を示したものである。
　図１４には、撮像部２９１０，２９１２，２９１４，２９１６，２９１８と、車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０と、が示されている。
　撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１４には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。
　車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１４の撮像部２９１０，２９１２，２９１４，２９１６，２９１８のそれぞれに、任意のブロックから画像データを読み出すことが可能なＣＩＳ１０１を設けて、車両２９００の内部に上述した画像処理部１０２を備えることで、車両の周囲の画像を低遅延で車両２９００の運転手に提示することが可能となる。またＳＲＡＭ１１１は１フレーム分未満の画像データを格納するための容量があれば良いので、車両の周囲の画像を車両２９００の運転手に提示するためのハードウェアのコストを削減することに寄与できる。
　もちろん、本開示の実施の形態に係る画像処理装置１００を適用できる装置は自動車に限定されるものでは無い。例えば、人間の身体に装着して使用することを目的とする身体装着型電子機器（ウェアラブルデバイス）にも、本開示の実施の形態に係る画像処理装置１００を適用できる。
　例えば、ウェアラブルデバイスにＣＩＳ１０１を設けて、身体の移動に伴って生じる画像のブレを補正する際に、当該ウェアラブルデバイスの内部に上述した画像処理部１０２を備えることで、画像のブレや歪みなどを低遅延で補正して、補正後の画像をウェアラブルデバイスで撮像した画像の観察者に提示することが可能となる。またＳＲＡＭ１１１は１フレーム分未満の画像データを格納するための容量があれば良いので、ウェアラブルデバイスで撮像された画像を提示するためのハードウェアのコストを削減することに寄与できる。
　また例えば、自律飛行する飛行体（ドローン）にカメラを搭載して、上空からの映像をそのカメラで撮像させる場合にも、本開示の実施の形態に係る画像処理装置１００を適用できる。
　例えば、自律飛行する飛行体に搭載されるカメラにＣＩＳ１０１を設けて、飛行体の移動に伴って生じる画像のブレを補正する際に、当該飛行体の内部に上述した画像処理部１０２を備えることで、画像のブレや歪みなどを低遅延で補正して、補正後の画像を飛行体で撮像した画像の観察者に提示することが可能となる。またＳＲＡＭ１１１は１フレーム分未満の画像データを格納するための容量があれば良いので、自律飛行する飛行体で撮像された画像を提示するためのハードウェアのコストを削減することに寄与できる。
　＜２．まとめ＞
　以上説明したように本開示の実施の形態によれば、レンズを通じて撮像された画像を変形させる際に、フレーム単位での画像データを保存すること無く、画像を変形して、変形後の画像を出力することが可能な画像処理装置１００が提供される。例えば、魚眼レンズ等の特殊なレンズを通じて撮像された画像を変形させる際に、フレーム単位での画像データを保存すること無く、画像を変形して、変形後の画像を出力することが可能な画像処理装置１００が提供される。
　本開示の実施の形態に係る画像処理装置１００は、画素または隣接する複数の画素からなるブロック単位で、かつ任意の順序で画像データを出力可能なＣＩＳ１０１からデータを読み出す。画像処理装置１００は、ＣＩＳ１０１からデータを読み出す際に、画像処理、例えばライン毎の歪み補正処理に必要となる分だけＣＩＳ１０１からデータを読み出す。
　従って、本開示の実施の形態に係る画像処理装置１００は、画像処理を行う際に１フレーム分全てのデータをＣＩＳ１０１から読み出す必要が無いので、遅延の少ない画像処理を行うことが可能となる。また本開示の実施の形態に係る画像処理装置１００は、画像処理の前に一時的に画像データを蓄えるＳＲＡＭ１１１の容量を１フレーム分の画像データ未満の量とすることが出来るので、ハードウェアのコストを削減することが可能となる。
　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。
　また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出す制御部を備える、画像処理装置。
（２）
　前記制御部は、決定した読み出し順序に基づいて前記撮像素子から読み出したデータを用いた、前記撮像素子に結像した画像に対する画像処理を行う、前記（１）に記載の画像処理装置。
（３）
　前記制御部が読み出したデータを格納する記憶部を備える、前記（２）に記載の画像処理装置。
（４）
　前記記憶部に格納されるデータの量は前記制御部での前記画像処理の単位で必要になる１フレーム未満の量である、前記（３）に記載の画像処理装置。
（５）
　前記制御部は、前記データを用いて前記撮像素子に結像した画像の変形処理を行う、前記（２）～（４）のいずれかに記載の画像処理装置。
（６）
　前記制御部は、前記変形処理として前記画像の歪みを除去する処理を行う、前記（５）に記載の画像処理装置。
（７）
　前記制御部は、中心射影方式ではないレンズを通じて前記撮像素子に結像した前記画像の歪みを除去する処理を行う、前記（６）に記載の画像処理装置。
（８）
　前記制御部は、前記中心射影方式ではないレンズとして魚眼レンズを通じて前記撮像素子に結像した前記画像の歪みを除去する処理を行う、前記（７）に記載の画像処理装置。
（９）
　前記制御部は、前記変形処理として前記画像の回転処理を行う、前記（５）～（８）のいずれかに記載の画像処理装置。
（１０）
　前記制御部は、前記変形処理として前記画像の拡大率を変更する処理を行う、前記（５）～（９）のいずれかに記載の画像処理装置。
（１１）
　前記制御部は、前記画像処理後の前記画像の左上に対応する位置のデータから読み出すよう前記読み出し順序を決定する、前記（２）～（１０）のいずれかに記載の画像処理装置。
（１２）
　前記制御部は、外部からの操作情報に応じて前記読み出し順序を変化させる、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３）
　前記（１）～（１２）のいずれかに記載の画像処理装置を備える、移動体。
（１４）
　前記移動体は自動車である、前記（１３）に記載の移動体。
（１５）
　前記移動体は自律飛行する飛行体である、前記（１３）に記載の移動体。
（１６）
　前記（１）～（１２）のいずれかに記載の画像処理装置を備える、身体装着型電子機器。
（１７）
　画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出すことを含む、画像処理方法。
（１８）
　画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出すことをコンピュータに実行させる、コンピュータプログラム。
１００　　：画像処理装置
１０２　　：画像処理部
１０３　　：入力部
１１１　　：ＳＲＡＭ
１１２　　：画像変形部
１１３　　：ＳＲＡＭ
１１４　　：座標生成部
１２０　　：第１チップ
１２１　　：画素アレイ部
１２２ａ　：パッド部
１２２ｂ　：パッド部
１２３　　：ビア
１３０　　：第２チップ
１３１　　：信号処理部
１３２ａ　：周辺回路
１３２ｂ　：周辺回路
１３３　　：出力回路
１３４ａ　：列レコーダ
１３４ｂ　：列レコーダ

Claims (18)

  1. 　画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出す制御部を備える、画像処理装置。
  2. 　前記制御部は、決定した読み出し順序に基づいて前記撮像素子から読み出したデータを用いた、前記撮像素子に結像した画像に対する画像処理を行う、請求項１に記載の画像処理装置。
  3. 　前記制御部が読み出したデータを格納する記憶部を備える、請求項２に記載の画像処理装置。
  4. 　前記記憶部に格納されるデータの量は前記制御部での前記画像処理の単位で必要になる１フレーム未満の量である、請求項３に記載の画像処理装置。
  5. 　前記制御部は、前記データを用いて前記撮像素子に結像した画像の変形処理を行う、請求項２に記載の画像処理装置。
  6. 　前記制御部は、前記変形処理として前記画像の歪みを除去する処理を行う、請求項５に記載の画像処理装置。
  7. 　前記制御部は、中心射影方式ではないレンズを通じて前記撮像素子に結像した前記画像の歪みを除去する処理を行う、請求項６に記載の画像処理装置。
  8. 　前記制御部は、前記中心射影方式ではないレンズとして魚眼レンズを通じて前記撮像素子に結像した前記画像の歪みを除去する処理を行う、請求項７に記載の画像処理装置。
  9. 　前記制御部は、前記変形処理として前記画像の回転処理を行う、請求項５に記載の画像処理装置。
  10. 　前記制御部は、前記変形処理として前記画像の拡大率を変更する処理を行う、請求項５に記載の画像処理装置。
  11. 　前記制御部は、前記画像処理後の前記画像の左上に対応する位置のデータから読み出すよう前記読み出し順序を決定する、請求項２に記載の画像処理装置。
  12. 　前記制御部は、外部からの操作情報に応じて前記読み出し順序を変化させる、請求項１に記載の画像処理装置。
  13. 　請求項１に記載の画像処理装置を備える、移動体。
  14. 　前記移動体は自動車である、請求項１３に記載の移動体。
  15. 　前記移動体は自律飛行する飛行体である、請求項１３に記載の移動体。
  16. 　請求項１に記載の画像処理装置を備える、身体装着型電子機器。
  17. 　画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出すことを含む、画像処理方法。
  18. 　画素または隣接する複数の前記画素からなる画素群単位で任意にデータの読み出しが可能な撮像素子に対してデータの読み出し順序を決定し、決定した読み出し順序に基づいて前記撮像素子からデータを読み出すことをコンピュータに実行させる、コンピュータプログラム。
PCT/JP2016/078678 2015-11-20 2016-09-28 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム Ceased WO2017086029A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-227330 2015-11-20
JP2015227330 2015-11-20

Publications (1)

Publication Number Publication Date
WO2017086029A1 true WO2017086029A1 (ja) 2017-05-26

Family

ID=58718681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078678 Ceased WO2017086029A1 (ja) 2015-11-20 2016-09-28 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2017086029A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019145185A (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 撮像装置及びその検査方法、並びに撮像システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007108081A1 (ja) * 2006-03-20 2007-09-27 Fujitsu Limited 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法
JP2012226645A (ja) * 2011-04-21 2012-11-15 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
JP2013084124A (ja) * 2011-10-11 2013-05-09 Panasonic Corp 撮像システム、撮像装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007108081A1 (ja) * 2006-03-20 2007-09-27 Fujitsu Limited 撮影装置、撮影方法及びプログラム、撮影装置のテーブル作成装置及び方法、映像処理装置及び方法
JP2012226645A (ja) * 2011-04-21 2012-11-15 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
JP2013084124A (ja) * 2011-10-11 2013-05-09 Panasonic Corp 撮像システム、撮像装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019145185A (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 撮像装置及びその検査方法、並びに撮像システム

Similar Documents

Publication Publication Date Title
US9196022B2 (en) Image transformation and multi-view output systems and methods
US20190028651A1 (en) Imaging device, imaging system, and imaging method
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
US12214733B2 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
US20190253681A1 (en) Image processing apparatus
JP5925579B2 (ja) 半導体装置、電子装置、及び画像処理方法
EP4156127A1 (en) Image processing system, mobile object, image processing method, and storage medium
EP4156125A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP5159070B2 (ja) 車両周辺画像表示装置及び表示方法
CN103065318A (zh) 多摄像机全景系统的曲面投影方法及装置
CN113781302A (zh) 多路图像拼接方法、系统、可读存储介质、及无人车
JP2015097335A (ja) 俯瞰画像生成装置
JP2010239596A (ja) 映像処理装置
JP2012023666A (ja) 画像変換装置及び画像変換システム
CN118505494A (zh) 图像空间变换处理方法
JP4656005B2 (ja) 画像処理システム及び画像処理方法
US10713757B2 (en) Image processing apparatus, control method thereof, and storage medium
KR102494123B1 (ko) 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
WO2017086029A1 (ja) 画像処理装置、画像処理方法、移動体、身体装着型電子機器及びコンピュータプログラム
US12167155B2 (en) Image sensor, camera module, and optical device comprising camera module
JP2010003014A (ja) 車両周辺表示装置およびその表示方法
JP4791222B2 (ja) 表示制御装置
JP2021117937A (ja) 画像復元装置、および復元モデル生成装置
Lai et al. Zynq-based full HD around view monitor system for intelligent vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16866031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16866031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP