WO2017208536A1 - 画像処理装置と画像処理方法および学習装置と学習方法 - Google Patents

画像処理装置と画像処理方法および学習装置と学習方法 Download PDF

Info

Publication number
WO2017208536A1
WO2017208536A1 PCT/JP2017/007367 JP2017007367W WO2017208536A1 WO 2017208536 A1 WO2017208536 A1 WO 2017208536A1 JP 2017007367 W JP2017007367 W JP 2017007367W WO 2017208536 A1 WO2017208536 A1 WO 2017208536A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
data
image data
learning
Prior art date
Application number
PCT/JP2017/007367
Other languages
English (en)
French (fr)
Inventor
英之 市橋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112017002774.8T priority Critical patent/DE112017002774T5/de
Priority to CN201780032243.5A priority patent/CN109155824B/zh
Priority to US16/094,666 priority patent/US10885389B2/en
Priority to JP2018520370A priority patent/JP6743889B2/ja
Publication of WO2017208536A1 publication Critical patent/WO2017208536A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • This technique relates to an image processing device, an image processing method, a learning device, and a learning method, and uses the image data of captured images individually generated by a plurality of imaging units to improve performance over individually generated captured images.
  • the image data of the captured image can be generated.
  • Patent Document 1 discloses that a captured image generated by a camera that can be attached to and detached from the information processing terminal is supplied to the information processing terminal by wireless communication.
  • Patent Document 2 discloses that a plurality of image pickup units are provided to simultaneously generate a plurality of images having different image quality, for example, a first field angle and an image having a second field angle narrower than the first field angle. Has been.
  • the detachable camera is larger in size than the imaging unit of the information processing terminal, and when using the detachable camera, it is necessary to establish communication with the information processing terminal. For this reason, the operation for obtaining a good captured image is complicated and the portability is also lowered. Further, even if a plurality of imaging units are provided, the images that can be acquired are images according to the performance of each imaging unit, and for example, the image quality of the first angle of view cannot be improved.
  • an image processing apparatus capable of generating image data of a captured image with improved performance over the individually generated captured image using image data of the captured image individually generated by a plurality of imaging units. And an image processing method, a learning apparatus, and a learning method.
  • the image data of the learning image generated by the first imaging unit and the image data of the learning image generated by the second imaging unit having different characteristics from the first imaging unit.
  • the image processing apparatus includes a characteristic difference correction unit that corrects one of the low-image data to high-performance image data.
  • one of the learning image image data generated by the first image capturing unit and the learning image image data generated by the second image capturing unit having different characteristics from the first image capturing unit is used as the teacher data and the other.
  • the student data according to a learning model in which the student data is a characteristic of the teacher data, for example, using the characteristic difference correction parameter generated by learning in which the student data is a characteristic of the teacher data, the first imaging unit and the second imaging unit are used.
  • One of the low-performance image data in the image data of the captured image generated by the imaging unit is corrected to high-performance image data by the characteristic difference correction unit.
  • the performance includes image quality performance, and the characteristic difference correction unit corrects at least one characteristic difference between color space and band as a correction of the characteristic difference related to the image quality performance.
  • the first imaging unit generates image data of a black and white captured image
  • the second imaging unit generates image data of a color captured image in which a pixel indicates one color component
  • the characteristic difference correction unit As the correction of the characteristic difference with respect to the difference in the band, the sensitivity of the image data of the color captured image is made higher than that of the image data generated by the second imaging unit.
  • the performance includes functional performance
  • the characteristic difference correction unit corrects the characteristic difference related to the functional performance as a characteristic difference caused by at least one of the angle of view, focal length, focus control, aperture control, and white balance control. Correct.
  • the apparatus further includes a detection unit and a parallax compensation unit that performs parallax compensation on image data generated by the first imaging unit and the second imaging unit based on the parallax detection result detected by the parallax detection unit.
  • the unit performs parallax compensation on one of the image data generated by the first imaging unit and the second imaging unit, and the characteristic difference correction unit performs the parallax compensation on the image data used for detection of parallax.
  • the resolution of the other image data is corrected to the data resolution.
  • a plurality of pieces of student data are obtained using the image data of the learning image as teacher data, the image data of the learning image generated by the first imaging unit and the image data of the learning image generated by the second imaging unit as student data.
  • the second aspect of this technology is One of the image data of the learning image generated by the first imaging unit and the image data of the learning image generated by the second imaging unit having characteristics different from those of the first imaging unit is teacher data and the other is student data.
  • teacher data is teacher data
  • student data is a characteristic of the teacher data
  • An image processing method includes correction to high image data.
  • the third aspect of this technology is Image data obtained by imaging the learning image generated by the first imaging simulation unit from the image data of the learning image by the first imaging unit, and learning image generated by the second imaging simulation unit from the image data of the learning image
  • a learning device comprising a unit.
  • the fourth aspect of this technology is Image data obtained by imaging the learning image generated by the first imaging simulation unit from the image data of the learning image by the first imaging unit, and learning image generated by the second imaging simulation unit from the image data of the learning image
  • the characteristic difference correction parameter for generating the characteristic difference correction parameter for making the student data characteristic of the teacher data by learning, with the teacher data and the other as the student data is a learning method including generating.
  • one of the learning image image data generated by the first imaging unit and the learning image image data generated by the second imaging unit having characteristics different from those of the first imaging unit is used as teacher data and According to a learning model in which the other is student data and the student data is a characteristic of teacher data, one of the image data with low performance in the image data generated by the first imaging unit and the second imaging unit is image data with high performance. It is corrected to. For this reason, it becomes possible to generate image data of a picked-up image with improved performance over the picked-up images generated individually using the image data of the picked-up images individually generated by the plurality of image pickup units. Note that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 exemplifies the appearance of a device to which the image processing apparatus of this technique is applied.
  • FIG. 1A shows the front side of the information processing terminal 10, and the display unit 25 and the operation unit 27 are provided on the front side.
  • FIG. 1B shows the back side of the information processing terminal 10, and a plurality of image pickup units, for example, two image pickup units 21-1 and 21-2 are provided on the back side.
  • FIG. 2 illustrates the configuration of the information processing terminal.
  • the information processing terminal 10 includes a plurality of imaging units such as two imaging units 21-1 and 21-2, an image processing unit 22, a sensor unit 23, a communication unit 24, a display unit 25, a touch panel 26, an operation unit 27, and a storage unit 28. And a control unit 30.
  • the imaging units 21-1 and 21-2 are provided on the same surface side of the information processing terminal 10 as shown in FIG.
  • the imaging units 21-1 and 21-2 are configured using an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and perform photoelectric conversion of light captured by a lens (not shown) to capture an image.
  • the image data of the image is generated and output to the image processing unit 22.
  • the image processing unit 22 performs image processing using the image data of the captured images generated by the image capturing unit 21-1 and the image capturing unit 21-2, and thus the image data of the captured image with improved performance, that is, the image capturing unit 21-1.
  • image data of the captured image similar to the captured image generated by the imaging unit having higher performance than the individual performance of the imaging unit 21-2.
  • the performance in this technology includes image quality performance and functional performance.
  • Image quality performance refers to performance related to the color space, resolution, sensitivity, noise, etc. of the captured image.
  • Functional performance refers to functions such as angle of view, focal length, focus control, aperture control, and white balance control when the captured image is generated. Performance.
  • the imaging units 21-1 and 21-2 have characteristic differences regarding image quality.
  • the characteristic difference related to image quality is a characteristic difference related to image quality performance, and includes at least one of a characteristic difference between a color space difference and a band difference.
  • spectral characteristic difference one imaging unit generates a monochrome image and the other imaging unit generates a color image
  • color arrangement difference the color filter of one imaging unit is a Bayer array, and the color filter of the other imaging unit
  • a difference in the number of pixels one imaging unit has a higher number of pixels than the other imaging unit
  • a difference in F value or MTF (Modulation Transfer Function) value and the like.
  • the imaging units 21-1 and 21-2 may have a characteristic difference regarding functional performance as a characteristic difference.
  • the characteristic difference regarding the function includes, for example, a characteristic difference caused by at least one of the angle of view, the focal length, the focus control, the aperture control, and the white balance control.
  • the image processing unit 22 performs image processing using the image data generated by the imaging unit 21-1 and the imaging unit 21-2, and is higher than when using the imaging unit 21-1 and the imaging unit 21-2 individually. Image data of a captured image as in the case of using a high-performance imaging unit is generated and output to the display unit 25 and the storage unit 28. Details of the configuration and operation of the image processing unit 22 will be described later.
  • the sensor unit 23 is configured by using a gyro sensor or the like, and detects shaking generated in the information processing terminal 10.
  • the sensor unit 23 outputs the detected shake information to the control unit 30.
  • the communication unit 24 communicates with devices on a network such as a LAN (Local Area Network) or the Internet.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the display unit 25 displays a captured image based on the image data supplied from the image processing unit 22 and displays a menu screen and various application screens based on an information signal from the control unit 30. Further, a touch panel 26 is placed on the display surface side of the display unit 25, and is configured so that the GUI function can be used.
  • the operation unit 27 is configured using an operation switch or the like, and generates an operation signal corresponding to a user operation and outputs the operation signal to the control unit 30.
  • the storage unit 28 stores information generated by the information processing terminal 10, for example, image data supplied from the image processing unit 22, and various types of information used for executing communication and applications in the information processing terminal 10.
  • the control unit 30 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory) (not shown), and the like.
  • the control unit 30 executes a program stored in the ROM or RAM, and controls the operation of each unit so that the operation according to the user operation on the touch panel 26 or the operation unit 27 is performed on the information processing terminal 10.
  • the control unit 30 is provided with database units DB1 and DB2 that store parameters required when the image processing unit 22 performs image processing.
  • the database units DB1 and DB2 may be provided in the storage unit 28.
  • the information processing terminal 10 is not limited to the configuration shown in FIG. 2, for example, an encoding processing unit for encoding image data and storing it in the storage unit 28, a resolution conversion unit for matching the image data with the resolution of the display unit, etc. May be provided.
  • FIG. 3 illustrates the configuration of the image processing unit.
  • the image processing unit 22 performs image processing using the image data generated by the imaging unit 21-1 and the imaging unit 21-2, and the captured images individually acquired by the imaging unit 21-1 and the imaging unit 21-2. Image data of a captured image with improved performance is generated.
  • the image processing unit 22 performs characteristic difference correction processing using image data generated by the imaging unit 21-1 and the imaging unit 21-2 as image processing. Further, the image processing unit 22 performs parallax compensation because the viewpoint positions of the imaging unit 21-1 and the imaging unit 21-2 are different. Further, the image processing unit 22 synthesizes the image data that has undergone the characteristic difference correction process and the parallax compensation.
  • the imaging unit 21-1 generates image data of a monochrome captured image
  • the imaging unit 21-2 generates image data of a color captured image
  • the image processing unit 22 performs image processing using the generated image data. For example, a case will be described in which image data of a color captured image with higher image quality than the color captured image acquired by the imaging unit 21-2 is generated.
  • FIG. 4 illustrates a pixel array of the imaging unit.
  • FIG. 4A shows a pixel array of the imaging unit 21-1.
  • all pixels are configured by W (white) pixels that output an electrical signal based on the amount of incident light in the entire wavelength region of visible light. Accordingly, the imaging unit 21-1 generates image data of a monochrome captured image.
  • FIG. 4B shows a pixel arrangement of the imaging unit 21-2.
  • the imaging unit 21-2 is configured using a color filter having a red (G) pixel, a blue (B) pixel, and a green (G) pixel as a Bayer array.
  • a color filter having a red (G) pixel, a blue (B) pixel, and a green (G) pixel as a Bayer array.
  • the Bayer array in the pixel unit of 2 ⁇ 2 pixels, two pixels at diagonal positions are green (G) pixels, and the remaining pixels are red (R) pixels and blue (B) pixels.
  • the imaging unit 21-2 generates an electrical signal based on the amount of incident light of any one of red, blue, and green color components in each pixel. That is, the imaging unit 21-2 generates image data of three primary color (RGB) color captured images.
  • RGB primary color
  • the image processing unit 22 includes a development processing unit 221, a characteristic difference correction unit 222, a parallax detection unit 223, a parallax compensation unit 224, and an image composition unit 225.
  • the development processing unit 221 performs development processing using the image data of the color captured image generated by the imaging unit 21-2.
  • demosaic processing is performed in which each pixel generates image data indicating each color component of red, blue, and green from image data indicating any one color component of red, blue, and green.
  • a white balance process for adjusting the image data of each color component so that a white subject is displayed in white is performed.
  • the development processing unit 221 outputs the image data after the development processing to the characteristic difference correction unit 222 and the parallax detection unit 223.
  • the characteristic difference correction unit 222 uses one of the learning image image data generated by the imaging unit 21-2 having characteristics different from the image data of the learning image generated by the imaging unit 21-1 as teacher data and the other as student data.
  • one of the image data with low image quality performance in the image data of the captured images generated by the image capturing unit 21-1 and the image capturing unit 21-2 is image data with high image quality performance.
  • the characteristic difference correction unit 222 learns in advance so that there is no characteristic difference between the image data of the monochrome captured image supplied from the imaging unit 21-1 and the image data of the color captured image supplied from the development processing unit 221.
  • the characteristic difference correction is performed using the characteristic difference correction parameter generated by the above.
  • the characteristic difference correction unit 222 corrects, for example, color space differences and band differences (resolution and sensitivity characteristic differences) as characteristic difference corrections.
  • the characteristic difference correction parameter is acquired from the database unit DB1 in accordance with the image data supplied from the development processing unit 221. Also, using the acquired characteristic difference correction parameter, characteristic difference correction processing is performed in which the image data supplied from the development processing unit 221 is used as the color space of the image data supplied from the imaging unit 21-1.
  • the characteristic difference correction parameter is acquired from the database unit DB1 in accordance with the image data supplied from the imaging unit 21-1.
  • characteristic difference correction is performed using the image data supplied from the imaging unit 21-1 as the resolution of the image data supplied from the development processing unit 221.
  • the characteristic difference correction parameter is acquired from the database unit DB1 in accordance with the image data supplied from the development processing unit 221.
  • characteristic difference correction is performed using the image data supplied from the development processing unit 221 as the sensitivity of the image data supplied from the imaging unit 21-1.
  • the characteristic difference correction unit 222 sets the resolution to the resolution of the image data on which parallax compensation is performed.
  • the resolution of the image data is corrected.
  • the characteristic difference correction unit 222 outputs each image data with the characteristic difference corrected to the parallax detection unit 223.
  • the image data from the imaging unit 21-1 is referred to as parallax detection first image data
  • the image data from the development processing unit 221 is referred to as parallax detection second image data.
  • an image based on the parallax detection first image data is referred to as a parallax detection first captured image
  • an image based on the parallax detection second image data is referred to as a parallax detection second captured image.
  • the parallax detection unit 223 generates parallax information indicating the parallax between the parallax detection first captured image and the parallax detection second captured image based on the parallax detection first image data and the parallax detection second image data whose characteristic difference is corrected. To do. Since the imaging unit 21-1 and the imaging unit 21-2 perform imaging from different viewpoints as illustrated in FIG. 1B, the imaging unit 21-1 and the imaging unit 21-2 are based on image data generated by the imaging unit 21-1 and the imaging unit 21-2.
  • the captured image that is, the parallax detected first captured image and the parallax detected second captured image are images having parallax.
  • the parallax detection unit 223 performs corresponding point detection processing such as block matching using the parallax detection first image data and the parallax detection second image data, and generates and generates parallax information indicating the parallax for each pixel.
  • the parallax information is output to the parallax compensation unit 224 to perform parallax compensation.
  • the parallax detection unit 223 uses, for example, one of the parallax detection first captured image and the parallax detection second captured image as a reference captured image, and the other most similar to the reference block region based on the target position on the reference captured image. A block area on the captured image is detected. The parallax detection unit 223 sets the difference between the position of the detected block area and the reference block area as parallax. In addition, the parallax detection unit 223 calculates parallax with each pixel on the reference captured image as the position of interest, and generates parallax information indicating the parallax calculated for each pixel.
  • the parallax compensation unit 224 performs parallax compensation of a captured image based on the image data generated by the imaging unit 21-2 based on the parallax information.
  • the parallax compensation unit 224 moves the pixel position based on the parallax information with respect to the image data supplied from the development processing unit 221, and displays an image that is the same as the image captured from the viewpoint of the imaging unit 21-1. Generate data.
  • the parallax compensation unit 224 outputs the generated image data to the image composition unit 225.
  • the image synthesizing unit 225 uses learning image data as teacher data, learning image image data generated by the imaging units 21-1 and 21-2 as student data, and synthetic data of a plurality of student data as teacher data. According to the learning model as the characteristics, for example, the image data supplied from the imaging unit 21-1 and the imaging unit using the synthesis control parameters generated in advance by using the synthesized data of a plurality of student data as the characteristics of the teacher data.
  • the image data subjected to the parallax compensation by the parallax compensation unit 224 is synthesized with the image data generated in 21-2.
  • the image synthesis unit 225 maximizes the band, for example, according to the image data generated by the imaging unit 21-1 and the image data supplied from the parallax compensation unit 224 from the synthesis control parameters acquired in advance by learning.
  • a synthesis control parameter for performing the synthesis process is acquired from the database unit DB2.
  • the image composition unit 225 synthesizes the image data supplied from the imaging unit 21-1 and the image data supplied from the parallax compensation unit 224 with the composition ratio indicated by the obtained composition control parameter, and the image capturing unit 21- Image data with higher performance than the captured images acquired in 1 and 21-2 is generated.
  • FIG. 5 exemplifies the configuration of the learning device when generating the characteristic difference correction parameter.
  • the learning device 50 includes a first imaging simulation unit 51, a second imaging simulation unit 52, a first characteristic difference correction parameter generation unit 53, and a second characteristic difference correction parameter generation unit 54.
  • the first imaging simulation unit 51 and the second imaging simulation unit 52 are supplied with image data of learning images.
  • the first imaging simulation unit 51 simulates the imaging characteristics of the imaging unit 21-1, for example, and generates image data obtained by capturing the learning image by the imaging unit 21-1 based on the image data of the learning image.
  • the first imaging simulation unit 51 outputs the generated image data to the first characteristic difference correction parameter generation unit 53 as student data.
  • the first imaging simulation unit 51 outputs the generated image data to the second characteristic difference correction parameter generation unit 54 as teacher data.
  • the second imaging simulation unit 52 simulates the imaging characteristics of the imaging unit 21-2, for example, and generates image data obtained by imaging the learning image by the imaging unit 21-2 based on the image data of the learning image.
  • the second imaging simulation unit 52 outputs the generated image data to the second characteristic difference correction parameter generation unit 54 as student data. Further, the second imaging simulation unit 52 outputs the generated image data to the first characteristic difference correction parameter generation unit 53 as teacher data.
  • the first characteristic difference correction parameter generation unit 53 performs learning using teacher data and student data, and calculates characteristic difference correction parameters for generating image data equivalent to the teacher data from the student data.
  • the first characteristic difference correction parameter generation unit 53 extracts the pixel of the feature amount calculation target region based on the target pixel from the student image in order to classify the target pixel in the student image indicated by the student data.
  • the feature amount is calculated from the pixel data.
  • the first characteristic difference correction parameter generation unit 53 classifies the target pixel based on the calculated feature amount, and calculates a prediction coefficient for each classification. In calculating the prediction coefficient, the first characteristic difference correction parameter generation unit 53 extracts a prediction tap pixel from the student image with reference to the target pixel.
  • the first characteristic difference correction parameter generation unit 53 calculates a prediction coefficient that minimizes the difference between the accumulated data obtained by multiplying the pixel data of the prediction tap and the prediction coefficient and the pixel data of the teacher image corresponding to the target pixel. To do.
  • the first characteristic difference correction parameter generation unit 53 stores the prediction coefficient calculated for each classification in the database unit DB1-1 as a characteristic difference correction parameter. That is, the database unit DB 1-1 stores image data having characteristics equivalent to those of the image data generated by the imaging unit 21-2 from the image data generated by the imaging unit 21-1.
  • a characteristic difference correction parameter to be generated by the first characteristic difference correction unit 222-1 is stored.
  • the second characteristic difference correction parameter generation unit 54 performs learning using teacher data and student data, and generates image data equivalent to the teacher data from the student data.
  • the characteristic difference correction parameter is calculated.
  • the second characteristic difference correction parameter generation unit 54 extracts the pixel of the feature amount calculation target region based on the target pixel from the student image in order to classify the target pixel in the student image indicated by the student data.
  • the feature amount is calculated from the pixel data.
  • the second characteristic difference correction parameter generation unit 54 classifies the target pixel based on the calculated feature amount, and calculates a prediction coefficient for each classification. In calculating the prediction coefficient, the second characteristic difference correction parameter generation unit 54 extracts a prediction tap pixel from the student image with reference to the target pixel.
  • the second characteristic difference correction parameter generation unit 54 calculates a prediction coefficient that minimizes the difference between the accumulated data obtained by multiplying the pixel data of the prediction tap and the prediction coefficient and the pixel data of the teacher image corresponding to the target pixel. To do.
  • the second characteristic difference correction parameter generation unit 54 stores the prediction coefficient calculated for each classification in the database unit DB1-2 as a characteristic difference correction parameter. That is, in the database unit DB1-2, image data having characteristics equivalent to those of the image data generated by the imaging unit 21-1 is stored in the characteristic difference correction unit 222 from the image data generated by the imaging unit 21-2. A characteristic difference correction parameter to be generated by the second characteristic difference correction unit 222-2 is stored.
  • the dynamic range of the pixel data of the feature amount calculation target region may be used as the feature amount, or the average pixel data of the feature amount calculation target region may be used. You may use the noise amount (standard deviation) of the pixel of an object area
  • ADRC Adaptive Dynamic Range Coding
  • FIG. 6 illustrates the configuration of the learning device when generating the synthesis control parameter.
  • the learning device 60 includes a first imaging simulation unit 61, a second imaging simulation unit 62, and a synthesis control parameter generation unit 63.
  • Image data of a learning image is supplied to the first imaging simulation unit 61 and the second imaging simulation unit 62.
  • the image data of the learning image is supplied to the synthesis control parameter generation unit 63 as teacher data.
  • the first imaging simulation unit 61 simulates the imaging characteristics of the imaging unit 21-1, for example, and generates image data obtained by capturing the learning image by the imaging unit 21-1 based on the image data of the learning image.
  • the first imaging simulation unit 51 outputs the generated image data to the synthesis control parameter generation unit 63 as student data.
  • the second imaging simulation unit 62 simulates the imaging characteristics of the imaging unit 21-2, for example, and generates image data obtained by imaging the learning image by the imaging unit 21-2 based on the image data of the learning image.
  • the second imaging simulation unit 62 outputs the generated image data to the synthesis control parameter generation unit 63 as student data.
  • the synthesis control parameter generation unit 63 performs learning using teacher data and student data, and combines the student data supplied from the first imaging simulation unit 61 and the student data supplied from the second imaging simulation unit 62. Then, a synthesis control parameter for generating image data that minimizes a characteristic difference from the teacher data is calculated.
  • the synthesis control parameter generation unit 63 extracts and extracts the pixel in the feature amount calculation region using the target pixel as a reference for each of the two student images. A feature amount is calculated from pixel data of each pixel. Further, the synthesis control parameter generation unit 63 classifies the target pixel based on the calculated feature amounts, and calculates a synthesis ratio for each classification.
  • the composition control parameter generation unit 63 extracts a prediction tap from each student image based on the target pixel.
  • the synthesis control parameter generation unit 63 calculates cumulative data obtained by accumulating the pixel data of the prediction tap and the prediction coefficient for each student image, and adds the cumulative data calculated for each student image to the target pixel.
  • a prediction coefficient that minimizes the characteristic difference between the pixel data of the corresponding teacher images is calculated.
  • the synthesis control parameter generation unit 63 stores the prediction coefficient calculated for each classification in the database unit DB2 as a synthesis control parameter. That is, in the database unit DB2, the image data generated by the imaging unit 21-1 and the image data generated by the imaging unit 21-2 are combined to generate image data having the performance most similar to the learning image.
  • a synthesis control parameter indicating a synthesis ratio is stored.
  • the dynamic range of the pixel data of the feature amount calculation target region may be used as the feature amount, or the average pixel data of the feature amount calculation target region may be used. You may use the noise amount (standard deviation) of the pixel of an object area
  • FIG. 7 is a flowchart illustrating the operation of the learning apparatus that generates the characteristic difference correction parameter
  • FIG. 8 is a flowchart illustrating the operation of the characteristic difference correction unit.
  • step ST1 of FIG. 7 the learning device performs a first imaging simulation process.
  • the learning device 50 generates first simulation image data having the same performance as the image data generated by the imaging unit 21-1 from the image data of the learning image, and proceeds to step ST2.
  • step ST2 the learning device performs a second imaging simulation process.
  • the learning device 50 generates second simulation image data having the same performance as the image data generated by the imaging unit 21-2 from the image data of the learning image, and proceeds to step ST3.
  • step ST3 the learning device starts a pixel loop for learning the characteristic difference correction parameter and proceeds to step ST4.
  • step ST4 the learning device acquires teacher pixels.
  • the learning device 50 acquires the pixel data of the target pixel from the first simulation image data or the second simulation image data that is the teacher data, and proceeds to step ST5.
  • step ST5 the learning device acquires student pixels.
  • the learning device 50 acquires the pixel data of the feature amount calculation target region based on the target pixel from the first simulation image data or the second simulation image data that is student data unlike teacher data, and proceeds to step ST6. .
  • step ST6 the learning device classifies the target pixel.
  • the learning device 50 calculates the feature quantity of the target pixel from the pixel data of the feature quantity calculation target area acquired in step ST5, classifies the target pixel based on the calculated feature quantity, and proceeds to step ST7.
  • step ST7 the learning device acquires a prediction tap.
  • the learning device 50 acquires the pixel data of the prediction tap based on the target pixel from the student data, and proceeds to step ST8.
  • step ST8 the learning device adds to the learning matrix.
  • the learning device 50 uses the pixel data of the target pixel in the teacher data acquired in step ST4 and the pixel data of the prediction tap acquired in step ST7 to add to a learning matrix, for example, a normal equation, and proceeds to step ST9.
  • a normal equation is provided for each target pixel classification.
  • step ST9 the learning device ends the pixel loop.
  • the learning device 50 adds each pixel in the learning image to the learning matrix using the pixel of interest as the pixel of interest, the learning device 50 ends the pixel loop and proceeds to step ST10.
  • the process returns to step ST6, and a new pixel that is not set as the target pixel in the learning image is set as the target pixel.
  • the process of ST8 is performed.
  • the learning device calculates a characteristic difference correction parameter.
  • the learning device 50 calculates an inverse matrix for the learning matrix for each classification and sets it as a prediction coefficient. For example, the learning device 50 calculates a coefficient solution of a normal equation for which addition has been completed, and sets the calculated coefficient as a prediction coefficient.
  • the learning device 50 stores the calculated prediction coefficient for each classification in the database unit DB1 as a characteristic difference correction parameter.
  • step ST21 of FIG. 8 the image processing unit acquires first captured image data.
  • the characteristic difference correction unit 222 of the image processing unit 22 acquires the image data generated by the imaging unit 21-1 as the first captured image data, and proceeds to step ST22.
  • step ST22 the image processing unit acquires second captured image data.
  • the characteristic difference correction unit 222 of the image processing unit 22 acquires the image data generated by the imaging unit 21-2, performs development processing, and proceeds to step ST23 using the image data after the development processing as second captured image data.
  • step ST23 the image processing unit starts a pixel loop for performing characteristic difference correction, and proceeds to step ST24.
  • step ST24 the image processing unit classifies the target pixel.
  • the characteristic difference correction unit 222 of the image processing unit 22 acquires the pixel data of the feature amount calculation target region based on the target pixel from the first captured image data or the second captured image data that performs the characteristic difference correction.
  • the feature amount of the target pixel is calculated from the obtained pixel data. Further, the characteristic difference correction unit 222 classifies the target pixel based on the calculated feature amount, and proceeds to step ST25.
  • step ST25 the image processing unit acquires characteristic difference correction parameters.
  • the characteristic difference correction unit 222 of the image processing unit 22 acquires the characteristic difference correction parameter corresponding to the classification result of step ST25 from the database unit DB1, and proceeds to step ST26.
  • step ST26 the image processing unit acquires a prediction tap.
  • the characteristic difference correction unit 222 of the image processing unit 22 acquires the pixel data of the prediction tap from the captured image data on which the characteristic difference correction is performed using the target pixel as a reference, and proceeds to step ST27.
  • step ST27 the image processing unit performs characteristic difference correction.
  • the characteristic difference correction unit 222 of the image processing unit 22 performs a prediction calculation using the prediction coefficient indicated by the characteristic difference correction parameter acquired in step ST26 and the pixel data of the prediction tap, and the characteristic difference of the target pixel is corrected.
  • the obtained pixel data is calculated, and the process proceeds to step ST28.
  • step ST28 the image processing unit ends the pixel loop.
  • the characteristic difference correction unit 222 of the image processing unit 22 ends the pixel loop when the pixel data in which the characteristic difference is corrected is calculated using each pixel in the characteristic difference correction target image as the target pixel. If there is still a pixel for which the pixel data whose characteristic difference has been corrected has not been calculated, the process returns to step ST24, and a new pixel that is not set as the target pixel in the characteristic difference correction target image is selected as the target pixel. After setting, the processing from step ST24 to step ST27 is performed.
  • FIG. 9 shows a characteristic difference correction operation performed in the image processing unit.
  • FIG. 9 illustrates a case where correction is performed for the color space and band (resolution and simplicity) as the characteristic difference, and double circle marks, circle marks, and triangle marks are used in descending order of performance.
  • the correction direction is indicated by an arrow.
  • the image data of the imaging unit 21-2 is subjected to a correction process that matches the color space and sensitivity with the image data of the imaging unit 21-1, and the resolution of the image data of the imaging unit 21-1 is captured. Correction processing is performed in accordance with the image data of the unit 21-2.
  • the characteristic difference correction operation is intended to generate image data used for parallax detection. By matching the image data of the imaging unit 21-1 with the resolution of the image data of the imaging unit 21-2, a color captured image is obtained. The parallax compensation can be optimally performed.
  • FIG. 10 exemplifies characteristic difference correction processing performed by the second characteristic difference correction unit.
  • the database unit DB1-2a prediction coefficients for performing color space conversion are stored in advance by learning.
  • a prediction coefficient for performing band correction is stored in advance in the database unit DB1-2b by learning.
  • the second characteristic difference correction unit 222-2 performs color space conversion and band correction.
  • the second characteristic difference correction unit 222-2 has the prediction coefficient k1 acquired according to the image data indicating the RGB components supplied from the development processing unit 221 and the classification result of the target image from the database unit DB1-2a. , K2 and k3 are used to calculate the equation (1).
  • the second characteristic difference correction unit 222-2 performs such calculation to generate image data WY indicating a W (white) component.
  • WY k1 * R + k2 * G + k3 * B (1)
  • the second characteristic difference correction unit 222-2 obtains, for example, a prediction tap in the two-dimensional direction based on the target pixel from the image data WY, and the classification result of the target image from the database unit DB1-2b. A two-dimensional filter coefficient that is a prediction coefficient is acquired. Thereafter, the second characteristic difference correction unit 222-2 performs a convolution operation of the prediction tap and the coefficient as shown in Expression (2) using the acquired prediction tap pix (i) and the two-dimensional filter coefficient coef (i). Then, the characteristic difference correction pixel data W ′ of the target pixel is generated. In Expression (2), “n” is the number of taps.
  • FIG. 11 schematically shows a characteristic difference correction result for the color space.
  • FIG. 11A illustrates the W (white) component of the captured image indicated by the image data generated by the imaging unit 21-1, and the R (red) of the captured image indicated by the image data generated by the imaging unit 21-2. ), G (green) component, and B (blue) component wavelength and sensitivity are schematically shown.
  • (B) in FIG. 11 adds a relationship between the wavelength and sensitivity of the Y (luminance) component calculated from the R component, the G component, and the B component using the color space conversion formula with respect to (a) in FIG. FIG.
  • (C) in FIG. 11 adds a relationship between the wavelength of the W ′ (white) component calculated using the characteristic difference correction parameter generated in advance by learning and sensitivity to (a) in FIG. FIG.
  • the Y component calculated using the color space conversion formula is different from the W component in characteristics. Accordingly, when parallax detection is performed using W component image data and Y component image data calculated using a color space conversion equation, it is assumed that parallax detection cannot be performed accurately due to a difference in sensitivity to wavelength. Is done. However, as shown in FIG. 11C, the W ′ component calculated using the characteristic difference correction parameter generated in advance by learning is corrected to a characteristic similar to the W component. Therefore, the parallax detection performance can be improved as compared with the case where image data of the Y component calculated using the color space conversion formula is used.
  • FIG. 12 is a flowchart illustrating the operation of the learning device that generates the composition control parameter
  • FIG. 13 is a flowchart illustrating the operation of the image composition unit.
  • step ST31 of FIG. 12 the learning device performs a first imaging simulation process.
  • the learning device 60 generates first simulation image data having the same performance as the image data generated by the imaging unit 21-1 from the image data of the learning image, and proceeds to step ST32.
  • step ST32 the learning apparatus performs a second imaging simulation process.
  • the learning device 60 generates second simulation image data having the same performance as the image data generated by the imaging unit 21-2 from the image data of the learning image, and proceeds to step ST33.
  • step ST33 the learning apparatus starts a pixel loop for learning the synthesis control parameter, and proceeds to step ST34.
  • step ST34 the learning device acquires teacher pixels.
  • the learning device 60 acquires pixel data of the target pixel from the teacher data that is image data of the learning image, and proceeds to step ST35.
  • step ST35 the learning device acquires student pixels.
  • the learning device 60 acquires the pixel data of the feature amount calculation target region based on the target pixel from the first simulation image data and the second simulation image data which are student data, and proceeds to step ST36.
  • step ST36 the learning apparatus classifies the target pixel.
  • the learning device 60 calculates the feature amount of the target pixel from the pixel data acquired in step ST35, classifies the target pixel based on the calculated feature amount, and proceeds to step ST37.
  • step ST37 the learning device acquires a prediction tap.
  • the learning device 60 acquires pixel data of a prediction tap based on the target pixel from each student data, and proceeds to step ST38.
  • step ST38 the learning device adds to the learning matrix.
  • the learning device 60 uses the pixel data of the target pixel in the teacher data acquired in step ST34 and the pixel data of the prediction tap acquired in step ST37 to add to the learning matrix, for example, a normal equation, and proceeds to step ST39.
  • a normal equation is provided for each target pixel classification.
  • step ST39 the learning device ends the pixel loop.
  • the learning device 60 adds each pixel in the learning image to the learning matrix using the pixel of interest as the pixel of interest, the learning device 60 ends the pixel loop and proceeds to step ST40.
  • the process returns to step ST36, and a new pixel that is not set as the target pixel in the learning image is set as the target pixel.
  • the process of ST38 is performed.
  • the learning device calculates a synthesis control parameter.
  • the learning device 60 calculates an inverse matrix for the learning matrix for each classification and sets it as a prediction coefficient. For example, the learning device 60 calculates a coefficient solution of a normal equation for which addition has been completed, and uses the calculated coefficient as a prediction coefficient and a synthesis ratio. In addition, the learning device 60 stores the calculated prediction coefficient and synthesis ratio for each classification in the database unit DB2 as synthesis control parameters.
  • step ST51 of FIG. 13 the image processing unit acquires first captured image data.
  • the image composition unit 225 of the image processing unit 22 acquires the image data generated by the imaging unit 21-1 as first captured image data, and proceeds to step ST52.
  • step ST52 the image processing unit acquires second captured image data.
  • the image composition unit 225 of the image processing unit 22 acquires the image data generated by the imaging unit 21-2, performs development processing, and proceeds to step ST53 using the image data after the development processing as second captured image data.
  • step ST53 the image processing unit starts a pixel loop for performing image composition, and proceeds to step ST54.
  • step ST54 the image processing unit classifies the target pixel.
  • the image composition unit 225 of the image processing unit 22 obtains pixel data of the feature amount calculation target region from the first captured image data and the second captured image data used for image composition, with the target pixel as a reference, and the obtained pixel data. From the above, the feature amount of the target pixel is calculated. In addition, the image composition unit 225 classifies the target pixel based on the calculated feature amount, and proceeds to step ST55.
  • step ST55 the image processing unit acquires a synthesis control parameter.
  • the image composition unit 225 of the image processing unit 22 acquires the composition control parameter corresponding to the classification result of step ST54 from the database unit DB2, and proceeds to step ST56.
  • step ST56 the image processing unit acquires a prediction tap.
  • the image composition unit 225 of the image processing unit 22 acquires pixel data of the prediction tap from the first captured image data and the second captured image data used for image composition with the target pixel as a reference, and proceeds to step ST57.
  • step ST57 the image processing unit performs image composition.
  • the image synthesis unit 225 of the image processing unit 22 performs a convolution operation using the prediction coefficient indicated by the synthesis control parameter acquired in step ST55 and the pixel data of the prediction tap.
  • the image composition unit 225 calculates the composite pixel data by adding the operation results of the convolution operation by the composition ratio indicated by the composition control parameter, and proceeds to step ST58.
  • the composite pixel data is pixel data of a composite image.
  • step ST58 the image processing unit ends the pixel loop.
  • the image synthesis unit 225 of the image processing unit 22 ends the pixel loop when the pixel synthesis value is calculated using each pixel in the first captured image data and the second captured image data to be synthesized as the target pixel.
  • the image composition unit 225 returns to step ST54, sets a new pixel not set as the target pixel as the target pixel, and performs step ST54. To Step ST57.
  • FIG. 14 shows an image composition operation performed in the image composition unit.
  • color space and band (resolution and sensitivity) are illustrated as performance, and double circle marks, circle marks, and triangle marks are used in descending order of performance.
  • the image synthesizing unit 225 of the image processing unit 22 performs the synthesizing process for each pixel using the synthesis control parameter generated in advance by learning, for example, the image data generated by the imaging unit 21-1 and the imaging unit 21. Composite image data indicating RGB components obtained by combining the image data generated in -2 is generated.
  • the image composition unit 225 performs composition processing for each pixel using a composition control parameter generated in advance by learning, so that, for example, composition having a higher resolution than image data generated by the imaging unit 21-2. Generate image data.
  • the image composition unit 225 performs composition processing for each pixel using a composition control parameter that is generated in advance by learning, so that composition with higher sensitivity than, for example, image data generated by the imaging unit 21-2. Generate image data.
  • FIG. 15 illustrates an image composition operation performed by the image composition unit.
  • the image composition unit 225 acquires, for example, a prediction tap in a two-dimensional direction based on the target pixel from the image data (W) generated by the imaging unit 21-1 and the image data (RGB) from the development processing unit 221.
  • the image composition unit 225 acquires a composition ratio ⁇ and a two-dimensional filter coefficient that is a prediction coefficient according to the classification result of the target pixel in the image data (W) and the image data (RGB) from the database unit DB2.
  • the image synthesis unit 225 performs the calculation shown in Expression (3) using the acquired prediction taps Pix1 (i) and Pix (j), the synthesis ratio ⁇ , and the two-dimensional filter coefficients coef1 (i) and coef2 (j). That is, the image composition unit 225 adds the calculation results of the prediction tap and the prediction coefficient convolution operation by the composition ratio to generate the composite pixel data DY of the target pixel.
  • “n” is the number of taps.
  • the synthesized pixel data generated by Expression (3) is image data indicating a luminance (white) component
  • image data indicating an RGB component supplied from the development processing unit 221 is performed.
  • a U component and a V component are generated, and image data indicating the DY component, the U component, and the V component is output.
  • image data indicating RGB components is converted from image data indicating DY components, U components, and V components. It may be generated and output.
  • the color imaging generated by the imaging unit 21-2 using the imaging unit 21-1 that generates the image data of the black and white captured image and the imaging unit 21-2 that generates the color captured image is illustrated.
  • the plurality of imaging units and the generated captured images are not limited to the above-described configuration.
  • FIG. 16 exemplifies a combination element of the configuration and operation (generated captured image) of the imaging unit.
  • Elements that cause a characteristic difference regarding functional performance are, for example, an angle of view, a color arrangement, an exposure time, a focus, and other elements.
  • an angle of view for example, a wide-angle captured image or a telephoto captured image may be used.
  • the color array is not limited to the above-described Bayer array and a single white pixel, but an array in which pixels indicating primary and complementary colors are provided, and pixels having sensitivity to white and infrared light regions are provided in the primary color pixels. It may be an array.
  • stacked the photoelectric converting layer from which the wavelength range of photoelectric conversion differs in the incident direction of light may be sufficient.
  • the exposure time for example, a long-time exposure image, a short-time exposure image, or a captured image with different exposure timings may be used.
  • a captured image focused on the foreground or a captured image focused on the background may be used.
  • captured images with different numbers of pixels, captured images with different pixel arrangements, captured images with different color temperatures of light sources, captured images with a specific polarization direction, and the like may be used.
  • the image processing unit combines these elements to perform characteristic difference correction and image synthesis, and in characteristic difference correction and image synthesis, a composite image with good image quality is easily generated according to the learning model compared to model-based synthesis processing. it can.
  • the image processing unit can generate a high dynamic range combined image with good image quality by combining a plurality of captured images with different exposure times.
  • the image processing unit can also generate a high frame rate image with good image quality by aligning the characteristics of a plurality of captured images with different exposure timings and arranging them in the time direction.
  • the image processing unit can generate a composite image in which color reproducibility is improved by combining a plurality of captured images having different color arrangements.
  • FIG. 17 illustrates an imaging region of a plurality of imaging units. Note that FIG. 17 illustrates the case where two imaging units 21-1 and 21-2 are used, and the angle of view of the imaging unit 21-1 is indicated as AG1, and the angle of view of the imaging unit 21-2 is indicated as AG2. ing.
  • FIG. 17A shows a case where the same subject range is imaged by the imaging units 21-1 and 21-2 as in the above-described embodiment.
  • 17B shows a case where only a part of the subject range imaged by the imaging units 21-1 and 21-2 overlaps.
  • FIG. 17C shows an imaging unit 21-1 having a different angle of view.
  • the image processing unit can generate a wide-angle captured image by combining and synthesizing the characteristics of the captured images arranged as illustrated in FIG. Further, the image processing unit can easily switch between the wide-angle image and the zoom image with high image quality by aligning the characteristics of the captured images arranged as shown in FIG.
  • the imaging unit 21-1 generates a black and white captured image or a color captured image
  • the imaging unit 21-2 changes the resolution of the infrared captured image to the resolution of the monochrome captured image or the color captured image. It is also possible to increase it.
  • the image processing unit can improve the performance of autofocus speed, auto iris adjustment, auto white balance adjustment, and the like by combining the elements shown in FIG.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is not limited to an information processing terminal, but is an automobile, an electric car, a hybrid electric car, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor), etc. It may be realized as an apparatus mounted on any kind of moving body.
  • FIG. 18 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an outside information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As the functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 19 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 19 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • each of the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 uses a plurality of imaging units, for example, the imaging units 21-1 and 21-2 shown in FIG.
  • the image processing unit 22 is provided in the integrated control unit 7600 of the application example shown in FIG. With such a configuration, a high-performance captured image can be acquired even if the imaging units 7410, 7910, 7912, 7914, 7916, and 7918 are reduced in size and thickness, so that the acquired captured image can be used for driving support, driving control, and the like. Available.
  • the image processing unit 22 may be realized in a module (for example, an integrated circuit module configured by one die) for the integrated control unit 7600 illustrated in FIG.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium.
  • the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical disc), a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disk, or a semiconductor memory card. It can be stored (recorded) in a removable recording medium such as temporarily or permanently. Such a removable recording medium can be provided as so-called package software.
  • the program may be transferred from the download site to the computer wirelessly or by wire via a network such as a LAN (Local Area Network) or the Internet.
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • the image processing apparatus may have the following configuration.
  • An image processing apparatus including a characteristic difference correction unit that corrects image data to high-performance image data.
  • a parallax detection unit that detects parallax between the first imaging unit and the second imaging unit using image data in which the characteristic difference is corrected by the characteristic difference correction unit;
  • the parallax compensation unit that further performs parallax compensation on image data generated by the first imaging unit and the second imaging unit based on a parallax detection result detected by the parallax detection unit.
  • Image processing device (3)
  • the parallax compensation unit performs parallax compensation on one of the image data generated by the first imaging unit and the second imaging unit, The image processing apparatus according to (2), wherein the characteristic difference correction unit corrects the resolution of the other image data to the resolution of the image data on which the parallax compensation is performed with respect to the image data used for the detection of the parallax.
  • Image data of the learning image is used as teacher data, and image data of the learning image generated by the first imaging unit and image data of the learning image generated by the second imaging unit are used as student data.
  • the first imaging unit and the second imaging unit are generated using a synthesis control parameter previously generated by learning according to a learning model in which synthesized data of the plurality of student data is a characteristic of the teacher data.
  • the image processing apparatus according to (2) or (3) further including an image combining unit that combines the image data of the captured images.
  • the image processing device according to (4), wherein the image synthesis unit synthesizes image data after parallax compensation with respect to image data generated by the first imaging unit and the second imaging unit.
  • the characteristic difference correction unit is generated by the first imaging unit and the second imaging unit using a characteristic difference correction parameter generated in advance by learning using the student data as the characteristic of the teacher data. Correct one image data with low performance in the image data of the captured image to high performance image data, The image synthesizing unit is generated by the first imaging unit and the second imaging unit using a synthesis control parameter generated in advance by using synthesized data of the plurality of student data as characteristics of the teacher data.
  • the image processing apparatus according to (4) or (5), wherein the image data of the captured image is synthesized.
  • the performance includes image quality performance, The image processing apparatus according to any one of (1) to (6), wherein the characteristic difference correction unit corrects a characteristic difference related to the image quality performance.
  • the image processing apparatus corrects at least one characteristic difference between a color space difference and a band difference as correction of the characteristic difference related to the image quality performance.
  • the first imaging unit generates image data of a black and white captured image
  • the second imaging unit generates image data of a color captured image in which a pixel indicates one color component
  • the characteristic difference correcting unit described in (8) sets the sensitivity of the image data of the color captured image to be higher than that of the image data generated by the second imaging unit as correction of the characteristic difference for the difference in the band.
  • Image processing apparatus. The performance includes functional performance, The image processing apparatus according to any one of (1) to (9), wherein the characteristic difference correction unit corrects a characteristic difference related to the functional performance.
  • the characteristic difference correction unit corrects a characteristic difference caused by at least one of the angle of view, the focal length, the focus control, the aperture control, and the white balance control as the correction of the characteristic difference related to the functional performance ( The image processing apparatus according to 10).
  • the image data of the learning image generated by the first imaging unit is generated by the second imaging unit having different characteristics from the first imaging unit.
  • the image data of the captured image can be generated. Therefore, it is suitable for a device that uses an imaging unit and that requires a reduction in size or thickness of the imaging unit.
  • DESCRIPTION OF SYMBOLS 10 ... Information processing terminal 21-1, 21-2 ... Imaging part 22 ... Image processing part 23 ... Sensor part 24 ... Communication part 25 ... Display part 26 ... Touch panel 27 ... Operation part 28 ... Storage part 30 ... Control part 50,60 ... Learning device 51,61 ... First imaging simulation part 52,62 ... Second imaging simulation part 53 ... First characteristic difference correction parameter generation unit 54 ... Second characteristic difference correction parameter generation unit 63 ... Composition control parameter generation unit 221 ... Development processing unit 222 ... Characteristic difference correction unit 222-1 First characteristic difference correction unit 222-2 ... second characteristic difference correction unit 223 ... parallax detection unit 224 ... parallax compensation unit 225 ... image composition unit 7000 ... vehicle control system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Human Computer Interaction (AREA)

Abstract

学習装置５０の第１撮像シミュレーション部５１は、学習画像の画像データから学習画像を撮像部２１-1で撮像した画像データを生成して、第２撮像シミュレーション部５２は撮像部２１-2で撮像した画像データを生成する。パラメータ生成部５３，５４は、生成した一方の画像データを教師データ、他方を生徒データとして、学習によって生徒データを教師データの特性とする特性差補正パラメータを生成してデータベース部ＤＢ１-1，ＤＢ１-2に記憶する。特性差補正部２２２は、データベース部ＤＢ１-1，ＤＢ１-2に記憶されている特性差パラメータを用いて撮像部２１-1，２１-2で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する。複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できる。

Description

画像処理装置と画像処理方法および学習装置と学習方法
　この技術は、画像処理装置と画像処理方法および学習装置と学習方法に関し、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できるようにする。
　従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の性能が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、情報処理端末に対して着脱可能なカメラで生成された撮像画を、無線通信で情報処理端末に供給することが行われている。また、特許文献２では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。
特開２０１５－０８８８２４号公報 特開２０１３－２１９５２５号公報
　ところで、着脱可能なカメラは、情報処理端末の撮像部に比べてサイズが大きく、着脱可能なカメラを利用する場合には情報処理端末との通信を確立する必要がある。このため良好な撮像画を得るための操作が煩雑で携帯性も低下する。また、複数の撮像部を設けても、取得できる画像はそれぞれの撮像部の性能に応じた画像であり、例えば第１の画角の画質を高めることはできない。
　そこで、この技術では、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できる画像処理装置と画像処理方法および学習装置と学習方法を提供することを目的とする。
　この技術の第１の側面は、第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する特性差補正部を備える画像処理装置にある。
　この技術では、第１の撮像部で生成される学習画像の画像データと第１の撮像部と特性が異なる第２の撮像部で生成される学習画像の画像データの一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、例えば生徒データを教師データの特性とする予め学習によって生成された特性差補正パラメータを用いて、第１の撮像部と第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに特性差補正部で補正する。性能は画質性能を含み、特性差補正部では、画質性能に関する特性差の補正として、色空間の相違と帯域の相違の少なくともいずれかの特性差を補正する。例えば、第１の撮像部は白黒撮像画の画像データを生成して、第２の撮像部は画素が１つの色成分を示すカラー撮像画の画像データを生成して、特性差補正部は、帯域の相違についての特性差の補正として、カラー撮像画の画像データの感度を第２の撮像部で生成される画像データよりも高くする。また、性能は機能性能を含み、特性差補正部では、機能性能に関する特性差の補正として、画角、焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を補正する。
　また、特性差補正部によって特性差が補正された第１の撮像部と第２の撮像部で生成された画像データを用いて第１の撮像部と第２の撮像部の視差を検出する視差検出部と、視差検出部で検出された視差検出結果に基づき、第１の撮像部と第２の撮像部で生成された画像データに対する視差補償を行う視差補償部をさらに備えて、例えば視差補償部は、第１の撮像部と第２の撮像部で生成された画像データの一方を視差補償して、特性差補正部は、視差の検出に用いる画像データに対して、視差補償を行う画像データの解像度に他方の画像データの解像度を補正する。
　また、学習画像の画像データを教師データとして、第１の撮像部で生成される学習画像の画像データと第２の撮像部で生成される学習画像の画像データを生徒データとして、複数の生徒データの合成データを教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、第１の撮像部と第２の撮像部で生成された撮像画の画像データに対する視差補償後の画像データの合成を行う。
　この技術の第２の側面は、
　第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正すること
を含む画像処理方法にある。
　この技術の第３の側面は、
　学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを生成する特性差パラメータ生成部
を備える学習装置にある。
　この技術の第４の側面は、
　学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを特性差パラメータ生成部で生成すること
を含む学習方法にある。
　この技術によれば、第１の撮像部で生成される学習画像の画像データと第１の撮像部と特性が異なる第２の撮像部で生成される学習画像の画像データについて一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、第１の撮像部と第２の撮像部で生成された画像データにおける性能が低い一方の画像データが性能の高い画像データに補正される。このため、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
画像処理装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 画像処理部の構成を例示した図である。 撮像部の画素配列を例示した図である。 特性差補正パラメータを生成する場合の学習装置の構成を例示した図である。 合成制御パラメータを生成する場合の学習装置の構成を例示した図である。 特性差補正パラメータを生成する学習装置の動作を例示したフローチャートである。 特性差補正部の動作を例示したフローチャートである。 画像処理部で行われる特性差補正動作を示した図である。 第２特性差補正部で行われる特性差補正処理を例示した図である。 色空間に対する特性差補正結果を模式的に示した図である。 合成制御パラメータを生成する学習装置の動作を例示したフローチャートである。 画像合成部の動作を例示したフローチャートである。 画像合成部で行われる画像合成動作を示した図である。 画像合成部で行われる画像合成動作を例示した図である。 撮像部の構成と動作（生成される撮像画）の組み合わせ要素を例示した図である。 複数の撮像部の撮像領域を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像処理装置を適用した機器の構成
　２．画像処理装置の構成
　３．学習装置の構成
　　３－１．特性差補正パラメータを生成する場合
　　３－２．合成制御パラメータを生成する場合
　４．学習装置と画像処理部の動作
　５．変形例
　６．応用例
　＜１．画像処理装置を適用した機器の構成＞
　図１は、この技術の画像処理装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に画像処理装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部２５および操作部２７が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-1，２１-2が裏側に設けられている。
　図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-1，２１-2、画像処理部２２、センサ部２３、通信部２４、表示部２５、タッチパネル２６、操作部２７、記憶部２８、および制御部３０を有している。
　撮像部２１-1，２１-2は、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-1，２１-2は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部２２へ出力する。画像処理部２２は、撮像部２１-1と撮像部２１-2で生成された撮像画の画像データを用いて画像処理を行い、性能を向上させた撮像画の画像データすなわち撮像部２１-1と撮像部２１-2の個々の性能よりも高性能の撮像部で生成された撮像画と同様な撮像画の画像データを生成する。
　この技術における性能は、画質性能や機能性能を含む。画質性能とは撮像画の色空間や解像度，感度，ノイズ等に関する性能であり、機能性能とは撮像画の生成時における画角や焦点距離、合焦制御、絞り制御、ホワイトバランス制御等の機能に関する性能である。
　撮像部２１-1，２１-2は、画質に関する特性差を有している。画質に関する特性差は、画質性能に関する特性の差であり、色空間の相違と帯域の相違の少なくともいずれかの特性差を含む。例えば、分光特性差（一方の撮像部が白黒画像を生成して他方の撮像部がカラー画像を生成）、色配列差（一方の撮像部のカラーフィルタがベイヤ配列で他方の撮像部のカラーフィルタがプレーン配列）、画素数差（一方の撮像部が他方の撮像部よりも高画素数）、Ｆ値やＭＴＦ（Modulation Transfer Function）値の差等である。また、撮像部２１-1，２１-2は、特性差として機能性能に関する特性差を有してもよい。機能に関する特性差は、例えば画角や焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を含む。
　画像処理部２２は、撮像部２１-1と撮像部２１-2で生成された画像データを用いて画像処理を行い、撮像部２１-1や撮像部２１-2を個々に用いる場合よりも高性能な撮像部を用いた場合のような撮像画の画像データを生成して、表示部２５や記憶部２８へ出力する。なお、画像処理部２２の構成および動作の詳細については後述する。
　センサ部２３はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部２３は、検出した揺れの情報を制御部３０へ出力する。
　通信部２４は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。
　表示部２５は、画像処理部２２から供給された画像データに基づき撮像画の表示、制御部３０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部２５の表示面側にはタッチパネル２６が載置されており、ＧＵＩ機能利用できるように構成されている。
　操作部２７は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部３０へ出力する。
　記憶部２８は、情報処理端末１０で生成された情報例えば画像処理部２２から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。
　制御部３０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部３０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル２６や操作部２７に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。また、制御部３０には、画像処理部２２で画像処理を行う際に必要とされるパラメータを記憶したデータベース部ＤＢ１，ＤＢ２が設けられている。なお、データベース部ＤＢ１，ＤＢ２は、記憶部２８に設けてもよい。
　なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部２８に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。
　＜２．画像処理装置の構成＞
　図３は、画像処理部の構成を例示している。画像処理部２２は、撮像部２１-1と撮像部２１-2で生成された画像データを用いて画像処理を行い、撮像部２１-1と撮像部２１-2で個々に取得された撮像画よりも性能が向上された撮像画の画像データを生成する。
　画像処理部２２は、画像処理として、撮像部２１-1と撮像部２１-2で生成された画像データを用いて特性差補正処理を行う。また、画像処理部２２は、撮像部２１-1と撮像部２１-2の視点位置が異なることから、視差補償を行う。さらに、画像処理部２２は、特性差補正処理および視差補償が行われた画像データの合成を行う。以下、撮像部２１-1は白黒撮像画の画像データ、撮像部２１-2はカラー撮像画の画像データを生成して、画像処理部２２は生成された画像データを用いて画像処理を行い、例えば撮像部２１-2で取得されたカラー撮像画よりも高画質のカラー撮像画の画像データを生成する場合について説明する。
　図４は、撮像部の画素配列を例示している。図４の（ａ）は、撮像部２１-1の画素配列を示している。撮像部２１-1は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、撮像部２１-1は、白黒撮像画の画像データを生成する。
　図４の（ｂ）は、撮像部２１-2の画素配列を示している。撮像部２１-2は、赤色（Ｇ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。撮像部２１-2は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号の生成を行う。すなわち、撮像部２１-2は、三原色（ＲＧＢ）のカラー撮像画の画像データを生成する。
　画像処理部２２は、現像処理部２２１、特性差補正部２２２、視差検出部２２３、視差補償部２２４、画像合成部２２５を有している。
　現像処理部２２１は、撮像部２１-2で生成されたカラー撮像画の画像データを用いて現像処理を行う。現像処理では、各画素が赤色と青色と緑色のいずれか１つの色成分を示す画像データから画素毎に赤色と青色と緑色の各色成分を示す画像データを生成するデモザイク処理を行う。また現像処理では、白い被写体が白色で表示されるように各色成分の画像データを調整するホワイトバランス処理等を行う。現像処理部２２１は、現像処理後の画像データを特性差補正部２２２と視差検出部２２３へ出力する。
　特性差補正部２２２は、撮像部２１-1で生成される学習画像の画像データと特性が異なる撮像部２１-2で生成される学習画像の画像データの一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、撮像部２１-1と撮像部２１-2で生成された撮像画の画像データにおける画質性能が低い一方の画像データを画質性能の高い画像データに補正する。例えば、特性差補正部２２２は、撮像部２１-1から供給された白黒撮像画の画像データと、現像処理部２２１から供給されたカラー撮像画の画像データの特性差が無くなるように、予め学習によって生成されている特性差補正パラメータを用いて特性差補正を行う。
　特性差補正部２２２では、特性差の補正として例えば色空間の相違と帯域の相違（解像度と感度の特性差）を補正する。色空間の補正では、例えば現像処理部２２１から供給された画像データに応じてデータベース部ＤＢ１から特性差補正パラメータを取得する。また取得した特性差補正パラメータを用いて、現像処理部２２１から供給された画像データを撮像部２１-1から供給された画像データの色空間とする特性差補正処理を行う。解像度の特性差補正では、例えば撮像部２１-1から供給された画像データに応じてデータベース部ＤＢ１から特性差補正パラメータを取得する。また取得した特性差補正パラメータを用いて、撮像部２１-1から供給された画像データを現像処理部２２１から供給された画像データの解像度とする特性差補正を行う。また、感度の特性差補正では、例えば現像処理部２２１から供給された画像データに応じてデータベース部ＤＢ１から特性差補正パラメータを取得する。また取得した特性差補正パラメータを用いて、現像処理部２２１から供給された画像データを撮像部２１-1から供給された画像データの感度とする特性差補正を行う。また、特性差補正部２２２は、後述する視差補償部２２４で、撮像部２１-1，２１-2で生成された画像データの一方を視差補償する場合、視差補償を行う画像データの解像度に他方の画像データの解像度を補正する。特性差補正部２２２は、特性差が補正された各画像データを視差検出部２２３へ出力する。なお、特性が等しくされた画像データにおいて、撮像部２１-1からの画像データを視差検出第１画像データ、現像処理部２２１からの画像データを視差検出第２画像データとする。また、視差検出第１画像データに基づく画像を視差検出第１撮像画、視差検出第２画像データに基づく画像を視差検出第２撮像画とする。
　視差検出部２２３は、特性差が補正された視差検出第１画像データと視差検出第２画像データに基づいて、視差検出第１撮像画と視差検出第２撮像画の視差を示す視差情報を生成する。撮像部２１-1と撮像部２１-2は、図１の（ｂ）に示すように異なる視点から撮像を行うため、撮像部２１-1と撮像部２１-2で生成された画像データに基づく撮像画、すなわち視差検出第１撮像画と視差検出第２撮像画は視差を持つ画像となる。従って、視差検出部２２３は、視差検出第１画像データと視差検出第２画像データを用いてブロックマッチングなどの対応点検出処理を行い、画素毎の視差を示す視差情報を生成して、生成した視差情報を視差補償部２２４へ出力して視差補償を行う。
　視差検出部２２３は、例えば視差検出第１撮像画と視差検出第２撮像画のいずれか一方を基準撮像画として、基準撮像画上の注目位置を基準とした基準ブロック領域に最も類似する他方の撮像画上のブロック領域を検出する。視差検出部２２３は、検出したブロック領域と基準ブロック領域の位置の差を視差とする。また、視差検出部２２３は、基準撮像画上の各画素を注目位置として視差の算出を行い、画素毎に算出した視差を示す視差情報を生成する。
　視差補償部２２４は、視差情報に基づき撮像部２１-2で生成された画像データに基づく撮像画の視差補償を行う。視差補償部２２４は、現像処理部２２１から供給された画像データに対して視差情報に基づき画素位置の移動を行い、撮像部２１-1の視点から撮像された場合と同様な撮像画を示す画像データを生成する。視差補償部２２４は、生成した画像データを画像合成部２２５へ出力する。
　画像合成部２２５は、学習画像の画像データを教師データとして、撮像部２１-1，２１-2で生成される学習画像の画像データを生徒データとして、複数の生徒データの合成データを教師データの特性とする学習モデルに従って、例えば複数の生徒データの合成データを教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、撮像部２１-1から供給された画像データと、撮像部２１-2で生成された画像データに対して視差補償部２２４で視差補償が行われた画像データを合成する。画像合成部２２５は、予め学習によって取得されている合成制御パラメータから、撮像部２１-1で生成された画像データと視差補償部２２４から供給された画像データに応じて、例えば帯域を最大化する合成処理を行うための合成制御パラメータをデータベース部ＤＢ２から取得する。画像合成部２２５は、取得した合成制御パラメータで示された合成比で、撮像部２１-1から供給された画像データと視差補償部２２４から供給された画像データを合成して、撮像部２１-1，２１-2で取得された撮像画よりも高性能な画像データを生成する。
　＜３．学習装置の構成＞
　次に、画像処理部で用いるパラメータを予め生成する際に用いる学習装置の構成について説明する。
　＜３－１．特性差補正パラメータを生成する場合＞
　図５は特性差補正パラメータを生成する場合の学習装置の構成を例示している。学習装置５０は、第１撮像シミュレーション部５１、第２撮像シミュレーション部５２、第１特性差補正パラメータ生成部５３、第２特性差補正パラメータ生成部５４を有している。
　第１撮像シミュレーション部５１と第２撮像シミュレーション部５２には、学習画像の画像データが供給されている。
　第１撮像シミュレーション部５１は、例えば撮像部２１-1の撮像特性をシミュレーションして、学習画像を撮像部２１-1で撮像した画像データを、学習画像の画像データに基づいて生成する。第１撮像シミュレーション部５１は、生成した画像データを生徒データとして第１特性差補正パラメータ生成部５３へ出力する。また、第１撮像シミュレーション部５１は、生成した画像データを教師データとして第２特性差補正パラメータ生成部５４へ出力する。
　第２撮像シミュレーション部５２は、例えば撮像部２１-2の撮像特性をシミュレーションして、学習画像を撮像部２１-2で撮像した画像データを、学習画像の画像データに基づいて生成する。第２撮像シミュレーション部５２は、生成した画像データを生徒データとして第２特性差補正パラメータ生成部５４へ出力する。また、第２撮像シミュレーション部５２は、生成した画像データを教師データとして第１特性差補正パラメータ生成部５３へ出力する。
　第１特性差補正パラメータ生成部５３は、教師データと生徒データを用いて学習を行い、生徒データから教師データと同等の画像データを生成するための特性差補正パラメータを算出する。第１特性差補正パラメータ生成部５３は、生徒データが示す生徒画像における注目画素の分類を行うため、生徒画像から注目画素を基準とした特徴量算出対象領域の画素を抽出して、抽出した画素の画素データから特徴量を算出する。また、第１特性差補正パラメータ生成部５３は、算出した特徴量に基づき注目画素の分類を行い、分類毎に予測係数を算出する。第１特性差補正パラメータ生成部５３は、予測係数の算出において、生徒画像から注目画素を基準として予測タップの画素を抽出する。また、第１特性差補正パラメータ生成部５３は、予測タップの画素データと予測係数の乗算結果を累積した累積データと注目画素に対応する教師画像の画素データの差が最小となる予測係数を算出する。第１特性差補正パラメータ生成部５３は、分類毎に算出した予測係数を特性差補正パラメータとしてデータベース部ＤＢ１-1に記憶する。すなわち、データベース部ＤＢ１-1には、撮像部２１-1で生成された画像データから、撮像部２１-2で生成される画像データと同等の特性である画像データを、特性差補正部２２２の第１特性差補正部２２２-1で生成するための特性差補正パラメータが記憶される。
　第２特性差補正パラメータ生成部５４は、第１特性差補正パラメータ生成部５３と同様に、教師データと生徒データを用いて学習を行い、生徒データから教師データと同等の画像データを生成するための特性差補正パラメータを算出する。第２特性差補正パラメータ生成部５４は、生徒データが示す生徒画像における注目画素の分類を行うため、生徒画像から注目画素を基準とした特徴量算出対象領域の画素を抽出して、抽出した画素の画素データから特徴量を算出する。また、第２特性差補正パラメータ生成部５４は、算出した特徴量に基づき注目画素の分類を行い、分類毎に予測係数を算出する。第２特性差補正パラメータ生成部５４は、予測係数の算出において、生徒画像から注目画素を基準として予測タップの画素を抽出する。また、第２特性差補正パラメータ生成部５４は、予測タップの画素データと予測係数の乗算結果を累積した累積データと注目画素に対応する教師画像の画素データの差が最小となる予測係数を算出する。第２特性差補正パラメータ生成部５４は、分類ごとに算出した予測係数を特性差補正パラメータとしてデータベース部ＤＢ１-2に記憶する。すなわち、データベース部ＤＢ１-2には、撮像部２１-2で生成された画像データから、撮像部２１-1で生成される画像データと同等の特性である画像データを、特性差補正部２２２の第２特性差補正部２２２-2で生成するための特性差補正パラメータが記憶される。
　学習装置５０で行う注目画素の分類では、特徴量として例えば特徴量算出対象領域の画素データのダイナミックレンジを用いてもよく、特徴量算出対象領域の平均画素データを用いてもよく、特徴量算出対象領域の画素のノイズ量（標準偏差）を用いてもよい。さらに、注目画素の像高を特徴量として用いてもよい。また、特徴量算出対象領域の画素データを用いてＡＤＲＣ（Adaptive Dynamic Range Coding）処理を行い、再量子化されたデータを特徴量として用いてもよい。
　＜３－２．合成制御パラメータを生成する場合＞
　図６は合成制御パラメータを生成する場合の学習装置の構成を例示している。学習装置６０は、第１撮像シミュレーション部６１、第２撮像シミュレーション部６２、合成制御パラメータ生成部６３を有している。
　第１撮像シミュレーション部６１と第２撮像シミュレーション部６２には、学習画像の画像データが供給されている。また、学習画像の画像データは、教師データとして合成制御パラメータ生成部６３に供給されている。
　第１撮像シミュレーション部６１は、例えば撮像部２１-1の撮像特性をシミュレーションして、学習画像を撮像部２１-1で撮像した画像データを、学習画像の画像データに基づいて生成する。第１撮像シミュレーション部５１は、生成した画像データを生徒データとして合成制御パラメータ生成部６３へ出力する。
　第２撮像シミュレーション部６２は、例えば撮像部２１-2の撮像特性をシミュレーションして、学習画像を撮像部２１-2で撮像した画像データを、学習画像の画像データに基づいて生成する。第２撮像シミュレーション部６２は、生成した画像データを生徒データとして合成制御パラメータ生成部６３へ出力する。
　合成制御パラメータ生成部６３は、教師データと生徒データを用いて学習を行い、第１撮像シミュレーション部６１から供給された生徒データと第２撮像シミュレーション部６２から供給された生徒データを合成する際に、教師データとの特性差が最小となる画像データを生成するための合成制御パラメータを算出する。合成制御パラメータ生成部６３は、生徒データが示す生徒画像における注目画素の分類を行うため、例えば２つの生徒画像のそれぞれで、注目画素を基準として特徴量算出領域の画素を抽出して、抽出した画素の画素データからそれぞれ特徴量を算出する。また、合成制御パラメータ生成部６３は、算出したそれぞれの特徴量に基づき注目画素の分類を行い、分類毎に合成比率を算出する。合成制御パラメータ生成部６３は、合成比率の算出において、それぞれの生徒画像から注目画素を基準として予測タップを抽出する。また、合成制御パラメータ生成部６３は、生徒画像毎に予測タップの画素データと予測係数の乗算結果を累積した累積データを算出して、生徒画像毎に算出した累積データの加算結果と注目画素に対応する教師画像の画素データの特性差が最小となる予測係数を算出する。また、合成制御パラメータ生成部６３は、分類毎に算出した予測係数を合成制御パラメータとしてデータベース部ＤＢ２に記憶する。すなわち、データベース部ＤＢ２には、撮像部２１-1で生成された画像データと撮像部２１-2で生成された画像データを合成して学習画像に最も類似した性能の画像データを生成するための合成比率を示す合成制御パラメータが記憶される。
　学習装置６０で行う注目画素の分類では、特徴量として例えば特徴量算出対象領域の画素データのダイナミックレンジを用いてもよく、特徴量算出対象領域の平均画素データを用いてもよく、特徴量算出対象領域の画素のノイズ量（標準偏差）を用いてもよい。また、注目画素の像高を特徴量として用いてもよい。また、特徴量算出対象領域の画素データを用いてＡＤＲＣ（Adaptive Dynamic Range Coding）処理を行い、再量子化されたデータを特徴量として用いてもよい。さらに、合成対象の撮像画が位置ずれを生じている場合、合成画像は合成前よりも画質の劣化を生じるおそれがあるので、合成対象の撮像画間における各画素位置の画素データの差を特徴量として用いてもよい。
　＜４．学習装置と画像処理部の動作＞
　図７は特性差補正パラメータを生成する学習装置の動作、図８は特性差補正部の動作を例示したフローチャートである。
　図７のステップＳＴ１において学習装置は第１撮像シミュレーション処理を行う。学習装置５０は、学習画像の画像データから撮像部２１-1で生成される画像データと同性能である第１シミュレーション画像データを生成してステップＳＴ２に進む。
　ステップＳＴ２において学習装置は第２撮像シミュレーション処理を行う。学習装置５０は、学習画像の画像データから撮像部２１-2で生成される画像データと同性能である第２シミュレーション画像データを生成してステップＳＴ３に進む。
　ステップＳＴ３で学習装置は特性差補正パラメータの学習を行う画素ループを開始してステップＳＴ４に進む。
　ステップＳＴ４で学習装置は教師画素を取得する。学習装置５０は、教師データとされている第１シミュレーション画像データまたは第２シミュレーション画像データから、注目画素の画素データを取得してステップＳＴ５に進む。
　ステップＳＴ５で学習装置は生徒画素を取得する。学習装置５０は、教師データと異なり生徒データとされている第１シミュレーション画像データまたは第２シミュレーション画像データから、注目画素を基準とした特徴量算出対象領域の画素データを取得してステップＳＴ６に進む。
　ステップＳＴ６で学習装置は注目画素の分類を行う。学習装置５０は、ステップＳＴ５で取得した特徴量算出対象領域の画素データから注目画素の特徴量を算出して、算出した特徴量に基づき注目画素の分類を行いステップＳＴ７に進む。
　ステップＳＴ７で学習装置は予測タップを取得する。学習装置５０は、生徒データから注目画素を基準とした予測タップの画素データを取得してステップＳＴ８に進む。
　ステップＳＴ８で学習装置は学習行列への足し込みを行う。学習装置５０は、ステップＳＴ４で取得した教師データにおける注目画素の画素データとステップＳＴ７で取得した予測タップの画素データを用いて、学習行列例えば正規方程式への足し込みを行いステップＳＴ９に進む。なお、正規方程式は、注目画素の分類毎に設ける。
　ステップＳＴ９で学習装置は画素ループを終了する。学習装置５０は、学習画像における各画素を注目画素として学習行列への足し込みを行った場合には画素ループを終了してステップＳＴ１０に進む。また、正規方程式への足し込みが終了していない画素が残っている場合はステップＳＴ６に戻り、学習画像において注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ６からステップＳＴ８の処理を行う。
　ステップＳＴ１０で学習装置は特性差補正パラメータを算出する。学習装置５０は分類毎の学習行列について逆行列を算出して予測係数とする。学習装置５０は、例えば足し込みが終了した正規方程式の係数解を算出して、算出した係数を予測係数とする。また、学習装置５０は算出した分類毎の予測係数を特性差補正パラメータとしてデータベース部ＤＢ１に記憶する。
　図８のステップＳＴ２１において画像処理部は第１撮像画像データを取得する。画像処理部２２の特性差補正部２２２は、撮像部２１-1で生成された画像データを第１撮像画像データとして取得してステップＳＴ２２に進む。
　ステップＳＴ２２において画像処理部は第２撮像画像データを取得する。画像処理部２２の特性差補正部２２２は、撮像部２１-2で生成された画像データを取得して現像処理を行い、現像処理後の画像データを第２撮像画像データとしてステップＳＴ２３に進む。
　ステップＳＴ２３で画像処理部は特性差補正を行う画素ループを開始してステップＳＴ２４に進む。
　ステップＳＴ２４で画像処理部は注目画素の分類を行う。画像処理部２２の特性差補正部２２２は、特性差補正を行う第１撮像画像データまたは第２撮像画像データから、注目画素を基準とした特徴量算出対象領域の画素データを取得して、取得した画素データから注目画素の特徴量を算出する。また、特性差補正部２２２は、算出した特徴量に基づいて注目画素の分類を行いステップＳＴ２５に進む。
　ステップＳＴ２５で画像処理部は特性差補正パラメータを取得する。画像処理部２２の特性差補正部２２２は、ステップＳＴ２５の分類結果に対応した特性差補正パラメータをデータベース部ＤＢ１から取得してステップＳＴ２６に進む。
　ステップＳＴ２６で画像処理部は予測タップを取得する。画像処理部２２の特性差補正部２２２は、特性差補正を行う撮像画像データから注目画素を基準として予測タップの画素データを取得してステップＳＴ２７に進む。
　ステップＳＴ２７で画像処理部は特性差補正を行う。画像処理部２２の特性差補正部２２２は、ステップＳＴ２６で取得した特性差補正パラメータで示されている予測係数と予測タップの画素データを用いて予測演算を行い、注目画素の特性差が補正された画素データを算出してステップＳＴ２８に進む。
　ステップＳＴ２８で画像処理部は画素ループを終了する。画像処理部２２の特性差補正部２２２は、特性差補正対象の画像における各画素を注目画素として特性差が補正された画素データの算出を行った場合には画素ループを終了する。また、特性差が補正された画素データの算出が行われていない画素が残っている場合はステップＳＴ２４に戻り、特性差補正対象の画像において注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ２４からステップＳＴ２７の処理を行う。
　図９は、画像処理部で行われる特性差補正動作を示している。なお、図９では、特性差として色空間と帯域（解像度と簡素）について補正を行う場合を例示しており、性能が高い順に二重丸印、丸印、三角印のマークを用いている。また、図９では補正方向を矢印で示している。例えば撮像部２１-2の画像データに対しては、色空間と感度を撮像部２１-1の画像データに合わせる補正処理を行い、撮像部２１-1の画像データに対しては、解像度を撮像部２１-2の画像データに合わせる補正処理を行う。なお、特性差補正動作は、視差検出に用いる画像データを生成することを目的としており、撮像部２１-1の画像データを撮像部２１-2の画像データの解像度に合わせることで、カラー撮像画に対する視差補償を最適に行うことができるようになる。
　図１０は、第２特性差補正部で行われる特性差補正処理を例示している。なお、データベース部ＤＢ１-2aには、色空間変換を行うための予測係数が予め学習によって記憶されている。また、データベース部ＤＢ１-2bには、帯域補正を行うための予測係数が予め学習によって記憶されている。
　第２特性差補正部２２２-2は、色空間変換と帯域補正を行う。色空間変換において、第２特性差補正部２２２-2は、現像処理部２２１から供給されたＲＧＢ成分を示す画像データとデータベース部ＤＢ１-2ａから注目画像の分類結果に応じて取得した予測係数ｋ1，ｋ2，ｋ3を用いて式（１）の演算を行う。第２特性差補正部２２２-2は、このような演算を行い、Ｗ(白)成分を示す画像データＷＹを生成する。
　　　　ＷＹ＝ｋ1×Ｒ＋ｋ2×Ｇ＋ｋ3×Ｂ　　　・・・（１）
　帯域補正において、第２特性差補正部２２２-2は、画像データＷＹから注目画素を基準とした例えば二次元方向の予測タップの取得と、データベース部ＤＢ１-2bから注目画像の分類結果に応じた予測係数である二次元フィルタ係数を取得する。その後、第２特性差補正部２２２-2は、取得した予測タップｐｉｘ（ｉ）と二次元フィルタ係数ｃｏｅｆ（ｉ）を用いて式（２）に示すように予測タップと係数の畳み込み演算を行い、注目画素の特性差補正画素データＷ’を生成する。なお、式（２）において「ｎ」はタップ数である。
Figure JPOXMLDOC01-appb-M000001
　図１１は、色空間に対する特性差補正結果を模式的に示している。図１１の（ａ）は、撮像部２１-1で生成された画像データが示す撮像画のＷ（白）成分、および撮像部２１-2で生成された画像データが示す撮像画のＲ（赤色）成分，Ｇ（緑色）成分，Ｂ（青色）成分の波長と感度の関係を模式的に示している。
　図１１の（ｂ）は、図１１の（ａ）に対して、色空間変換式を用いてＲ成分とＧ成分とＢ成分から算出されたＹ（輝度）成分の波長と感度の関係を追加した図である。
　図１１の（ｃ）は、図１１の（ａ）に対して、学習によって予め生成されている特性差補正パラメータを用いて算出されたＷ’(白)成分の波長と感度の関係を追加した図である。
　図１１の（ｂ）に示すように、色空間変換式を用いて算出したＹ成分はＷ成分と特性が異なる。したがって、Ｗ成分の画像データと色空間変換式を用いて算出したＹ成分の画像データを用いて視差検出を行った場合、波長に対する感度の違いによって視差検出を精度よく行うことができないことが想定される。しかし、図１１の（ｃ）に示すように、学習によって予め生成されている特性差補正パラメータを用いて算出されたＷ’成分はＷ成分と類似した特性に補正されている。したがって、色空間変換式を用いて算出したＹ成分の画像データを用いる場合に比べて、視差検出性能を向上できるようになる。
　次に合成制御パラメータを生成する学習装置の動作と画像合成部の動作について説明する。図１２は合成制御パラメータを生成する学習装置の動作、図１３は画像合成部の動作を例示したフローチャートである。
　図１２のステップＳＴ３１において学習装置は第１撮像シミュレーション処理を行う。学習装置６０は、学習画像の画像データから撮像部２１-1で生成される画像データと同性能である第１シミュレーション画像データを生成してステップＳＴ３２に進む。
　ステップＳＴ３２において学習装置は第２撮像シミュレーション処理を行う。学習装置６０は、学習画像の画像データから撮像部２１-2で生成される画像データと同性能である第２シミュレーション画像データを生成してステップＳＴ３３に進む。
　ステップＳＴ３３で学習装置は合成制御パラメータの学習を行う画素ループを開始してステップＳＴ３４に進む。
　ステップＳＴ３４で学習装置は教師画素を取得する。学習装置６０は、学習画像の画像データである教師データから、注目画素の画素データを取得してステップＳＴ３５に進む。
　ステップＳＴ３５で学習装置は生徒画素を取得する。学習装置６０は、生徒データである第１シミュレーション画像データと第２シミュレーション画像データから、注目画素を基準とした特徴量算出対象領域の画素データを取得してステップＳＴ３６に進む。
　ステップＳＴ３６で学習装置は注目画素の分類を行う。学習装置６０は、ステップＳＴ３５で取得した画素データから注目画素の特徴量を算出して、算出した特徴量に基づいた注目画素の分類を行いステップＳＴ３７に進む。
　ステップＳＴ３７で学習装置は予測タップを取得する。学習装置６０は、各生徒データから注目画素を基準とした予測タップの画素データを取得してステップＳＴ３８に進む。
　ステップＳＴ３８で学習装置は学習行列への足し込みを行う。学習装置６０は、ステップＳＴ３４で取得した教師データにおける注目画素の画素データとステップＳＴ３７で取得した予測タップの画素データを用いて、学習行列例えば正規方程式への足し込みを行いステップＳＴ３９に進む。なお、正規方程式は、注目画素の分類毎に設ける。
　ステップＳＴ３９で学習装置は画素ループを終了する。学習装置６０は、学習画像における各画素を注目画素として学習行列への足し込みを行った場合には画素ループを終了してステップＳＴ４０に進む。また、正規方程式への足し込みが終了していない画素が残っている場合はステップＳＴ３６に戻り、学習画像において注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ３６からステップＳＴ３８の処理を行う。
　ステップＳＴ４０で学習装置は合成制御パラメータを算出する。学習装置６０は分類毎の学習行列について逆行列を算出して予測係数とする。学習装置６０は、例えば足し込みが終了した正規方程式の係数解を算出して、算出した係数を予測係数と合成比とする。また、学習装置６０は算出した分類毎の予測係数と合成比を合成制御パラメータとしてデータベース部ＤＢ２に記憶する。
　図１３のステップＳＴ５１において画像処理部は第１撮像画像データを取得する。画像処理部２２の画像合成部２２５は、撮像部２１-1で生成された画像データを第１撮像画像データとして取得してステップＳＴ５２に進む。
　ステップＳＴ５２において画像処理部は第２撮像画像データを取得する。画像処理部２２の画像合成部２２５は、撮像部２１-2で生成された画像データを取得して現像処理を行い、現像処理後の画像データを第２撮像画像データとしてステップＳＴ５３に進む。
　ステップＳＴ５３で画像処理部は画像合成を行う画素ループを開始してステップＳＴ５４に進む。
　ステップＳＴ５４で画像処理部は注目画素の分類を行う。画像処理部２２の画像合成部２２５は、画像合成に用いる第１撮像画像データと第２撮像画像データから、注目画素を基準として特徴量算出対象領域の画素データを取得して、取得した画素データから注目画素の特徴量を算出する。また、画像合成部２２５は、算出した特徴量に基づいた注目画素の分類を行いステップＳＴ５５に進む。
　ステップＳＴ５５で画像処理部は合成制御パラメータを取得する。画像処理部２２の画像合成部２２５は、ステップＳＴ５４の分類結果に対応した合成制御パラメータをデータベース部ＤＢ２から取得してステップＳＴ５６に進む。
　ステップＳＴ５６で画像処理部は予測タップを取得する。画像処理部２２の画像合成部２２５は、画像合成に用いる第１撮像画像データと第２撮像画像データから注目画素を基準として予測タップの画素データを取得してステップＳＴ５７に進む。
　ステップＳＴ５７で画像処理部は画像合成を行う。画像処理部２２の画像合成部２２５は、ステップＳＴ５５で取得した合成制御パラメータで示された予測係数と予測タップの画素データを用いて畳み込み演算を行う。また、画像合成部２２５は、畳み込み演算の演算結果を合成制御パラメータで示された合成比で加算して合成画素データを算出してステップＳＴ５８に進む。なお、合成画素データは合成画像の画素データである。
　ステップＳＴ５８で画像処理部は画素ループを終了する。画像処理部２２の画像合成部２２５は、画像合成対象の第１撮像画像データと第２撮像画像データにおける各画素を注目画素として画素合成値の算出を行った場合には画素ループを終了する。また、画像合成部２２５は、画素合成値の算出が行われていない画素が残っている場合はステップＳＴ５４に戻り、注目画素に設定されていない新たな画素を注目画素に設定して、ステップＳＴ５４からステップＳＴ５７の処理を行う。
　図１４は、画像合成部で行われる画像合成動作を示している。なお、図１４では、性能として色空間と帯域（解像度と感度）を例示しており、性能が高い順に二重丸印、丸印、三角印のマークを用いている。画像処理部２２の画像合成部２２５は、予め学習によって生成されている合成制御パラメータを用いて画素毎に合成処理を行うことで、例えば撮像部２１-1で生成された画像データと撮像部２１-2で生成された画像データを合成したＲＧＢ成分を示す合成画像データを生成する。また、画像合成部２２５は、予め学習によって生成されている合成制御パラメータを用いて画素毎に合成処理を行うことで、例えば撮像部２１-2で生成された画像データよりも高解像度である合成画像データを生成する。さらに、画像合成部２２５は、予め学習によって生成されている合成制御パラメータを用いて画素毎に合成処理を行うことで、例えば撮像部２１-2で生成された画像データよりも高感度である合成画像データを生成する。
　図１５は、画像合成部で行われる画像合成動作を例示している。画像合成部２２５は、撮像部２１-1で生成された画像データ（Ｗ）と現像処理部２２１からの画像データ（ＲＧＢ）から注目画素を基準とした例えば二次元方向の予測タップを取得する。また、画像合成部２２５は、データベース部ＤＢ２から画像データ（Ｗ）と画像データ（ＲＧＢ）における注目画素の分類結果に応じた合成比αと予測係数である二次元フィルタ係数を取得する。画像合成部２２５は、取得した予測タップＰｉｘ１（ｉ），Ｐｉｘ（ｊ）と合成比αと二次元フィルタ係数ｃｏｅｆ１（ｉ），ｃｏｅｆ２（ｊ）を用いて式（３）に示す演算を行う。すなわち、画像合成部２２５は、予測タップと予測係数の畳み込み演算の演算結果を合成比で加算して注目画素の合成画素データＤＹを生成する。なお、式（３）において「ｎ」はタップ数である。
Figure JPOXMLDOC01-appb-M000002
　また、式（３）で生成される合成画素データは、輝度（白）成分を示す画像データであることから、例えば現像処理部２２１から供給されたＲＧＢ成分を示す画像データの色空間変換を行いＵ成分とＶ成分を生成して、ＤＹ成分とＵ成分およびＶ成分を示す画像データを出力する。また、画像合成部２２５から撮像部２１-2で生成される画像データと等しい色空間の画像データを出力する場合、ＤＹ成分とＵ成分およびＶ成分を示す画像データからＲＧＢ成分を示す画像データを生成して出力してもよい。
　＜５．変形例＞
　ところで、上述の実施の形態では、白黒撮像画の画像データを生成する撮像部２１-1とカラー撮像画を生成する撮像部２１-2を用いて、撮像部２１-2で生成されるカラー撮像画よりも解像度と感度の高いカラー撮像画を生成する場合を例示した。しかし、複数の撮像部や生成する撮像画は、上述の構成に限られない。
　図１６は、撮像部の構成と動作（生成される撮像画）の組み合わせ要素を例示している。機能性能に関する特性差を生じる要素は、例えば画角、色配列、露光時間、フォーカス、その他の要素である。画角に関しては例えば広角の撮像画や望遠の撮像画を用いてもよい。色配列は、上述のベイヤ配列及び単一の白画素に限らず、原色と補色の各色を示す画素を設けた配列、原色の画素に白色や赤外光領域に感度を有する画素等を設けた配列であってもよい。また、光電変換の波長域が異なる光電変換層を光の入射方向に積層した縦分光の配列であってもよい。露光時間に関しては、例えば長時間露光の撮像画や短時間露光の撮像画、露光タイミングが異なる撮像画を用いてもよい。フォーカスに関しては、例えば前景に焦点が合った撮像画や背景に焦点が合った撮像画を用いてもよい。その他の要素として、画素数の異なる撮像画、画素配列が異なる撮像画、光源の色温度が異なる撮像画、特定の偏光方向の撮像画等を用いてもよい。
　画像処理部は、このような要素を組み合わせて特性差補正や画像合成を行い、特性差補正や画像合成では学習モデルに従って、良好な画質の合成画像をモデルベースの合成処理に比べて容易に生成できる。例えば画像処理部は、露光時間が異なる複数の撮像画を合成して良好な画質のハイダイナミックレンジ合成画像を生成できる。また、画像処理部は、露光タイミングが異なる複数の撮像画の特性を揃えて時間方向に並べて良好な画質のハイフレームレート画像を生成することもできる。また、画像処理部は、色配列の異なる複数の撮像画を合成して色再現性を向上させた合成画像を生成することもできる。
　さらに、画像処理部は、機能性を向上させた合成画像をモデルベースの特性差補正や合成処理に比べて容易に生成できる。図１７は、複数の撮像部の撮像領域を例示している。なお、図１７では、２つの撮像部２１-1，２１-2を用いた場合を例示しており、撮像部２１-1の画角をＡＧ1、撮像部２１-2の画角をＡＧ２として示している。図１７の（ａ）は、上述の実施の形態のように同一の被写体範囲を撮像部２１-1，２１-2で撮像する場合を示している。また、図１７の（ｂ）は撮像部２１-1，２１-2で撮像される被写体範囲の一部のみが重複する場合、図１７の（ｃ）は画角が異なる撮像部２１-1，２１-2の一方で撮像される被写体範囲が他方で撮像される被写体範囲に含まれる場合を例示している。例えば画像処理部は、図１７の（ｂ）に示すように配置された撮像画の特性を揃えて合成することで、広画角の撮像画を生成できる。また、画像処理部は、図１７の（ｃ）に示すように配置された撮像画の特性を揃えることで、広角画像とズーム画像の切り替えを高画質で容易に行うことができる。また、図１７の（ｃ）において、撮像部２１-1で白黒撮像画またはカラー撮像画の生成を行い、撮像部２１-2で赤外撮像画の解像度を白黒撮像画またはカラー撮像画の解像度に高めることも可能である。さらに、画像処理部は、図１６に示す要素を組み合わせることで、オートフォーカス速度やオートアイリス調整、オートホワイトバランス調整等の性能を向上させることも可能となる。
　＜６．応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、それぞれ複数の撮像部例えば図１に示す撮像部２１-1，２１-2を用いる構成とする。また、図１８に示した応用例の統合制御ユニット７６００に画像処理部２２を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても高性能な撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像処理部２２は、図１８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）　第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する特性差補正部
を備える画像処理装置。
　（２）　前記特性差補正部によって特性差が補正された画像データを用いて前記第１の撮像部と前記第２の撮像部の視差を検出する視差検出部と、
　前記視差検出部で検出された視差検出結果に基づき、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償を行う視差補償部をさらに備える（１）に記載の画像処理装置。
　（３）　前記視差補償部は、前記第１の撮像部と前記第２の撮像部で生成された画像データの一方を視差補償して、
　前記特性差補正部は、前記視差の検出に用いる画像データに対して、前記視差補償を行う画像データの解像度に他方の画像データの解像度を補正する（２）に記載の画像処理装置。
　（４）　学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って、予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する画像合成部をさらに備える（２）または（３）に記載の画像処理装置。
　（５）　前記画像合成部は、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償後の画像データの合成を行う（４）に記載の画像処理装置。
　（６）　前記特性差補正部は、前記生徒データを前記教師データの特性とする予め学習によって生成された特性差補正パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正して、
　前記画像合成部は、前記複数の生徒データの合成データを前記教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する（４）または（５）に記載の画像処理装置。
　（７）　前記性能は画質性能を含み、
　前記特性差補正部は、前記画質性能に関する特性差を補正する（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記特性差補正部は、前記画質性能に関する特性差の補正として、色空間の相違と帯域の相違の少なくともいずれかの特性差を補正する（７）に記載の画像処理装置。
　（９）　前記第１の撮像部は白黒撮像画の画像データを生成して、
　前記第２の撮像部は画素が１つの色成分を示すカラー撮像画の画像データを生成して、
　前記特性差補正部は、前記帯域の相違についての特性差の補正として、前記カラー撮像画の画像データの感度を前記第２の撮像部で生成される画像データよりも高くする（８）に記載の画像処理装置。
　（１０）　前記性能は機能性能を含み、
　前記特性差補正部は、前記機能性能に関する特性差を補正する（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記特性差補正部は、前記機能性能に関する特性差の補正として、画角、焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を補正する（１０）に記載の画像処理装置。
　この技術の画像処理装置と画像処理方法および学習装置と学習方法では、第１の撮像部で生成される学習画像の画像データと第１の撮像部と特性が異なる第２の撮像部で生成される学習画像の画像データの一方を教師データおよび他方を生徒データとして、生徒データを教師データの特性とする学習モデルに従って、第１の撮像部と第２の撮像部で生成された画像データにおける性能が低い一方の画像データが性能の高い画像データに補正されるので、複数の撮像部で個々に生成された撮像画の画像データを用いて、個々に生成された撮像画よりも性能を向上させた撮像画の画像データを生成できるようになる。したがって、撮像部を用いる機器であって、撮像部の小型化や薄型化が必要とされる機器に適している。
　１０・・・情報処理端末
　２１-1，２１-2・・・撮像部
　２２・・・画像処理部
　２３・・・センサ部
　２４・・・通信部
　２５・・・表示部
　２６・・・タッチパネル
　２７・・・操作部
　２８・・・記憶部
　３０・・・制御部
　５０，６０・・・学習装置
　５１，６１・・・第１撮像シミュレーション部
　５２，６２・・・第２撮像シミュレーション部
　５３・・・第１特性差補正パラメータ生成部
　５４・・・第２特性差補正パラメータ生成部
　６３・・・合成制御パラメータ生成部
　２２１・・・現像処理部
　２２２・・・特性差補正部
　２２２-1・・・第１特性差補正部
　２２２-2・・・第２特性差補正部
　２２３・・・視差検出部
　２２４・・・視差補償部
　２２５・・・画像合成部
　７０００・・・車両制御システム

Claims (15)

  1. 　第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正する特性差補正部
    を備える画像処理装置。
  2. 　前記特性差補正部によって特性差が補正された画像データを用いて前記第１の撮像部と前記第２の撮像部の視差を検出する視差検出部と、
    　前記視差検出部で検出された視差検出結果に基づき、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償を行う視差補償部をさらに備える
    請求項１に記載の画像処理装置。
  3. 　前記視差補償部は、前記第１の撮像部と前記第２の撮像部で生成された画像データの一方を視差補償して、
    　前記特性差補正部は、前記視差の検出に用いる画像データに対して、前記視差補償を行う画像データの解像度に他方の画像データの解像度を補正する
    請求項２に記載の画像処理装置。
  4. 　学習画像の画像データを教師データとして、前記第１の撮像部で生成される前記学習画像の画像データと前記第２の撮像部で生成される前記学習画像の画像データを生徒データとして、前記複数の生徒データの合成データを前記教師データの特性とする学習モデルに従って、予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する画像合成部をさらに備える
    請求項２に記載の画像処理装置。
  5. 　前記画像合成部は、前記第１の撮像部と前記第２の撮像部で生成された画像データに対する視差補償後の画像データの合成を行う
    請求項４に記載の画像処理装置。
  6. 　前記特性差補正部は、前記生徒データを前記教師データの特性とする予め学習によって生成された特性差補正パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正して、
    　前記画像合成部は、前記複数の生徒データの合成データを前記教師データの特性とする予め学習によって生成された合成制御パラメータを用いて、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データを合成する
    請求項４に記載の画像処理装置。
  7. 　前記性能は画質性能を含み、
    　前記特性差補正部は、前記画質性能に関する特性差を補正する
    請求項１に記載の画像処理装置。
  8. 　前記特性差補正部は、前記画質性能に関する特性差の補正として、色空間の相違と帯域の相違の少なくともいずれかの特性差を補正する
    請求項７に記載の画像処理装置。
  9. 　前記第１の撮像部は白黒撮像画の画像データを生成して、
    　前記第２の撮像部は画素が１つの色成分を示すカラー撮像画の画像データを生成して、
    　前記特性差補正部は、前記帯域の相違についての特性差の補正として、前記カラー撮像画の画像データの感度を前記第２の撮像部で生成される画像データよりも高くする
    請求項８に記載の画像処理装置。
  10. 　前記性能は機能性能を含み、
    　前記特性差補正部は、前記機能性能に関する特性差を補正する
    請求項１に記載の画像処理装置。
  11. 　前記特性差補正部は、前記機能性能に関する特性差の補正として、画角、焦点距離、合焦制御、絞り制御、ホワイトバランス制御の少なくともいずれかの相違によって生じる特性差を補正する
    請求項１０に記載の画像処理装置。
  12. 　第１の撮像部で生成される学習画像の画像データと前記第１の撮像部と特性が異なる第２の撮像部で生成される前記学習画像の画像データの一方を教師データおよび他方を生徒データとして、前記生徒データを前記教師データの特性とする学習モデルに従って、前記第１の撮像部と前記第２の撮像部で生成された撮像画の画像データにおける性能が低い一方の画像データを性能の高い画像データに補正すること
    を含む画像処理方法。
  13. 　学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを生成する特性差パラメータ生成部
    を備える学習装置。
  14. 　前記学習画像の画像データを教師データ、前記第１撮像シミュレーション部と前記第２撮像シミュレーション部で生成された画像データを生徒データとして、学習によって前記複数の生徒データの合成データを前記教師データとするための合成制御パラメータを生成する合成制御パラメータ生成部を更に備える
    請求項１３に記載の学習装置。
  15. 　学習画像の画像データから第１撮像シミュレーション部で生成された前記学習画像を第１の撮像部で撮像した画像データと、前記学習画像の画像データから第２撮像シミュレーション部で生成された前記学習画像を第２の撮像部で撮像した画像データについて、一方を教師データおよび他方を生徒データとして、学習によって前記生徒データを前記教師データの特性とするための特性差補正パラメータを特性差パラメータ生成部で生成すること
    を含む学習方法。
PCT/JP2017/007367 2016-06-02 2017-02-27 画像処理装置と画像処理方法および学習装置と学習方法 WO2017208536A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112017002774.8T DE112017002774T5 (de) 2016-06-02 2017-02-27 Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren, und Lerneinrichtung und Lernverfahren
CN201780032243.5A CN109155824B (zh) 2016-06-02 2017-02-27 图像处理设备和图像处理方法以及学习设备和学习方法
US16/094,666 US10885389B2 (en) 2016-06-02 2017-02-27 Image processing device, image processing method, learning device, and learning method
JP2018520370A JP6743889B2 (ja) 2016-06-02 2017-02-27 画像処理装置と画像処理方法および学習装置と学習方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-110808 2016-06-02
JP2016110808 2016-06-02

Publications (1)

Publication Number Publication Date
WO2017208536A1 true WO2017208536A1 (ja) 2017-12-07

Family

ID=60479317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007367 WO2017208536A1 (ja) 2016-06-02 2017-02-27 画像処理装置と画像処理方法および学習装置と学習方法

Country Status (5)

Country Link
US (1) US10885389B2 (ja)
JP (2) JP6743889B2 (ja)
CN (1) CN109155824B (ja)
DE (1) DE112017002774T5 (ja)
WO (1) WO2017208536A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146418A1 (ja) * 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2019167571A1 (ja) * 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法
WO2021199366A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、方法、プログラム、およびモデル
JP2022169472A (ja) * 2021-04-27 2022-11-09 アップル インコーポレイテッド ポータブル電子デバイスのカメラ統合
WO2022264547A1 (ja) * 2021-06-16 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 カメラシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202000B2 (en) * 2018-06-18 2021-12-14 Sony Interactive Entertainment Inc. Learning apparatus, image generation apparatus, learning method, image generation method, and program
CN112789499A (zh) * 2018-10-01 2021-05-11 世高株式会社 教师数据生成装置和教师数据生成程序
CN111476731B (zh) * 2020-04-01 2023-06-27 Oppo广东移动通信有限公司 图像矫正方法、装置、存储介质及电子设备
WO2022259323A1 (ja) * 2021-06-07 2022-12-15 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330332A (ja) * 2001-04-27 2002-11-15 Canon Inc 画像処理装置、撮像装置、その制御方法、及び記録媒体
JP2013192152A (ja) * 2012-03-15 2013-09-26 Panasonic Corp 撮像装置、撮像システムおよび画像処理方法
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238117A (ja) * 2008-03-28 2009-10-15 Toshiba Corp 多視差画像生成装置および方法
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2012244449A (ja) * 2011-05-20 2012-12-10 Sony Corp 画像処理装置および画像処理方法、学習装置および学習方法、プログラム、並びに記録媒体
JP6019568B2 (ja) * 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
JP2013219525A (ja) 2012-04-06 2013-10-24 Nec Saitama Ltd 撮像装置、その制御方法及びプログラム
JP2013236172A (ja) * 2012-05-07 2013-11-21 Samsung Techwin Co Ltd 視差検出装置および視差検出方法
JP6201641B2 (ja) 2013-10-29 2017-09-27 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330332A (ja) * 2001-04-27 2002-11-15 Canon Inc 画像処理装置、撮像装置、その制御方法、及び記録媒体
JP2013192152A (ja) * 2012-03-15 2013-09-26 Panasonic Corp 撮像装置、撮像システムおよび画像処理方法
JP2014194706A (ja) * 2013-03-29 2014-10-09 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146418A1 (ja) * 2018-01-25 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11089211B2 (en) 2018-01-25 2021-08-10 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and program for switching between two types of composite images
WO2019167571A1 (ja) * 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法
WO2021199366A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、方法、プログラム、およびモデル
JP2022169472A (ja) * 2021-04-27 2022-11-09 アップル インコーポレイテッド ポータブル電子デバイスのカメラ統合
JP7461983B2 (ja) 2021-04-27 2024-04-04 アップル インコーポレイテッド ポータブル電子デバイスのカメラ統合
WO2022264547A1 (ja) * 2021-06-16 2022-12-22 ソニーセミコンダクタソリューションズ株式会社 カメラシステム

Also Published As

Publication number Publication date
JP2020188484A (ja) 2020-11-19
CN109155824B (zh) 2021-03-19
DE112017002774T5 (de) 2019-02-14
JP6977821B2 (ja) 2021-12-08
US20190122080A1 (en) 2019-04-25
CN109155824A (zh) 2019-01-04
JP6743889B2 (ja) 2020-08-19
JPWO2017208536A1 (ja) 2019-03-28
US10885389B2 (en) 2021-01-05

Similar Documents

Publication Publication Date Title
JP6977821B2 (ja) 画像処理装置と画像処理方法
JP7047767B2 (ja) 画像処理装置と画像処理方法
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2018037678A1 (ja) 画像処理装置および情報生成装置と情報生成方法
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
US10704957B2 (en) Imaging device and imaging method
WO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
JP6816769B2 (ja) 画像処理装置と画像処理方法
JP6816768B2 (ja) 画像処理装置と画像処理方法
JP7235906B2 (ja) 固体撮像装置
WO2018150683A1 (ja) 情報処理装置と情報処理方法とプログラムおよび撮像装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2018088016A1 (ja) 画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム
WO2021229983A1 (ja) 撮像装置及びプログラム
WO2019155718A1 (ja) 認識装置と認識方法およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018520370

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806098

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17806098

Country of ref document: EP

Kind code of ref document: A1