WO2020241336A1 - 画像認識装置および画像認識方法 - Google Patents

画像認識装置および画像認識方法 Download PDF

Info

Publication number
WO2020241336A1
WO2020241336A1 PCT/JP2020/019587 JP2020019587W WO2020241336A1 WO 2020241336 A1 WO2020241336 A1 WO 2020241336A1 JP 2020019587 W JP2020019587 W JP 2020019587W WO 2020241336 A1 WO2020241336 A1 WO 2020241336A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
unit
recognition
pixel
Prior art date
Application number
PCT/JP2020/019587
Other languages
English (en)
French (fr)
Inventor
和幸 奥池
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN202080038430.6A priority Critical patent/CN113875217A/zh
Priority to US17/603,138 priority patent/US20220201183A1/en
Priority to KR1020217037346A priority patent/KR20220016056A/ko
Priority to DE112020002567.5T priority patent/DE112020002567T5/de
Publication of WO2020241336A1 publication Critical patent/WO2020241336A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Definitions

  • an imaging device that recognizes a subject from an HDR image, including an HDR imaging mode that generates an HDR (High Dynamic Range) image by capturing and synthesizing a plurality of images with different sensitivities in one frame period (for example, Patent Documents). 1).
  • an HDR imaging mode that generates an HDR (High Dynamic Range) image by capturing and synthesizing a plurality of images with different sensitivities in one frame period
  • an imaging device that generates an HDR image by synthesizing an image captured by using an imaging pixel that receives visible light and an imaging pixel that receives infrared light, and recognizes a subject from the HDR image. ..
  • the image recognition device has an imaging unit and a recognition unit.
  • the image pickup unit uses an image pickup pixel that receives visible light and an image pickup pixel that receives infrared light, and images a plurality of images at the same exposure timing in one frame period to generate image data.
  • the recognition unit recognizes the subject from each of the image data.
  • an image recognition method that receives visible light and an image pickup pixel that receives infrared light are used, and a plurality of images are imaged at the same exposure timing in one frame period to generate image data. , Recognize the subject from each of the image data.
  • Imaging at the same exposure timing here means, for example, that the exposure of a plurality of pixels is started at different timings and ended at the same timing to capture an image.
  • the pixel array used for capturing HDR (High Dynamic Range) images is used to capture a plurality of images.
  • FIG. 1 is an explanatory diagram showing a pixel array according to the present disclosure.
  • the pixel array A1 used for capturing an HDR image includes an image pickup pixel R that receives red light, an image pickup pixel Gr and Gb that receives green light, and an image pickup pixel B that receives blue light. Are arranged in Bayer.
  • the image pickup pixel Gr is an image pickup pixel provided in a row in which the image pickup pixel R is arranged and receives green light.
  • the image pickup pixel Gb is an image pickup pixel that is provided in a row in which the image pickup pixel B is arranged and receives green light.
  • the image pickup pixels R, Gr, Gb, and B each include three image pickup elements arranged in an L shape and having the same light receiving area.
  • the image pickup element L is a long-time exposure element having a longer exposure time than the image pickup elements M and S.
  • the image pickup element S is a short-time exposure element having a shorter exposure time than the image pickup elements L and M.
  • the image sensor M is a medium-time exposure element having a longer exposure time than the image sensor S and a shorter exposure time than the image sensor L.
  • the pixel array A1 includes an image pickup element IR as an image pickup pixel that receives infrared light at a position surrounded on three sides by the image pickup elements L, M, and S arranged in an L shape that receives light of the same color. ..
  • the image sensor L Since the image sensor L has a long exposure time, it is possible to obtain a sufficient amount of light received even when the surroundings are dark. As a result, the image sensor L may be a high-sensitivity image (hereinafter, a long-exposure image) in which the image of the subject is clearly captured even if the subject has too low brightness and is blacked out in a normal exposure time. ) Can be imaged.
  • a high-sensitivity image hereinafter, a long-exposure image
  • the image sensor S Since the image sensor S has a short exposure time, it does not saturate even when the surroundings are bright. As a result, the image sensor S may be a low-sensitivity image (hereinafter, referred to as a short-exposure image) in which the image of the subject is clearly captured even if the subject has too high brightness and is overexposed in a normal exposure time. ) Can be imaged.
  • the image sensor M can capture a medium-sensitivity image (hereinafter, may be referred to as a medium-time exposure image) with an exposure time similar to that of a general digital camera.
  • the image pickup element IR receives infrared light, for example, an image of a pedestrian or vehicle in the dark, which is difficult to see with the naked eye, a pedestrian who is difficult to see with the headlight or spotlight of the vehicle, or an object which is difficult to see with smoke or fog. It is possible to take an IR (Infrared Ray) image that clearly shows the image.
  • the image sensor IR can also detect the thermal information of the subject.
  • the HDR image is generated by HDR compositing the above-mentioned high-sensitivity image, intermediate-degree image, low-sensitivity image, and IR image. Therefore, the HDR image is an image in which images of all subjects such as dark subjects, bright subjects, and subjects that are difficult to see with the naked eye are clearly captured.
  • a high-sensitivity image, a medium-sensitivity image, or a low-sensitivity image is captured by the image pickup elements L, M, and S having the same light-receiving area by different exposure times.
  • the pixel array A1 captures a high-sensitivity image, a medium-sensitivity image, or a low-sensitivity image even if the exposure time is the same by making the light transmittance of the color filter laminated on each imaging pixel different. Can be done.
  • the image pickup pixel having a higher light transmittance of the color filter than usual becomes a high-sensitivity image pickup pixel
  • the image pickup pixel having a normal light transmittance of the color filter becomes a medium-sensitivity image pickup pixel
  • An imaging pixel having a light rate lower than usual is a low-sensitivity imaging pixel.
  • a method of making the exposure start time different As a method of making the exposure start time different, a method of making the exposure start time the same and making the exposure end time different, a method of making the exposure start time different and making the exposure end time the same, and a method of making the exposure start time and the end time different are all different. High-sensitivity images, medium-sensitivity images, or low-sensitivity images can also be captured using the time method.
  • the high-sensitivity image and the low-sensitivity image can be captured at the same time by the pixel array A1, it is possible to capture the HDR image by HDR-combining both images. Further, by making the light receiving areas of the imaging pixels different, it is possible to make the imaging pixels having the same translucency and exposure time of the color filter function as high-sensitivity imaging pixels or low-sensitivity imaging pixels.
  • DNN Deep Neural Network
  • DNN is a multi-layered algorithm modeled on a human brain neural network (neural network) designed by machine learning to recognize the characteristics (patterns) of a subject from image data.
  • FIG. 2A is an explanatory diagram showing an example of using a general DNN.
  • signals R, G, B image data of the HDR image
  • FIG. 2B is an explanatory diagram showing an example of using DNN according to the present disclosure.
  • the long-time exposure signals R, Gr, Gb, B image data of a high-sensitivity image
  • the exposure signals R, Gr, Gb, and B image data of a medium-sensitivity image
  • the short-time exposure signals R, Gr, Gb, B image data of a low-sensitivity image
  • the infrared light signals IRr, IRgr, IRgb output from the image sensor IR , IRb image data of IR image
  • the DNN outputs the recognition result of recognizing the subject from the high-sensitivity image, the medium-sensitivity image, the low-sensitivity image and the IR image.
  • the DNN recognizes the subject from the high-sensitivity image, the medium-sensitivity image, the low-sensitivity image, and the IR image that do not include the artifact, it is possible to output a highly accurate recognition result of the subject without being affected by the artifact. it can.
  • the image recognition method uses an image pickup pixel that receives visible light and an image pickup pixel that receives infrared light, and images are taken at a plurality of exposure times in one frame period, and all of these are used. Since the subject is recognized, the recognition accuracy of the subject can be improved.
  • FIG. 3 is a diagram showing a configuration example of the image recognition system according to the present disclosure.
  • the image recognition system 100 according to the present disclosure includes an image sensor 1 which is an example of an image recognition device, and an application processor (hereinafter referred to as AP2).
  • AP2 application processor
  • the image sensor 1 includes an imaging unit 10, a signal processing unit 13, a recognition unit 14, a data transmission determination unit 15, a selector (hereinafter referred to as SEL16), and a transmission unit 17.
  • the imaging unit 10 includes a pixel array A1 and an A / D (Analog / Digital) conversion unit 12.
  • the pixel array A1 captures high-sensitivity images, medium-sensitivity images, low-sensitivity images, and IR images by the image sensors L, M, S, and IR. Then, the pixel array A1 outputs an analog pixel signal according to the amount of received light from the image pickup elements L, M, S, and IR to the A / D conversion unit 12.
  • the image data and the image data of infrared light are generated and output to the signal processing unit 13.
  • the signal processing unit 13 includes a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and various circuits.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the signal processing unit 13 refers to the image data of the high-sensitivity image, the image data of the medium-sensitivity, the image data of the low-sensitivity image, and the image data of the infrared light input from the A / D conversion unit 12. Each performs predetermined signal processing. Then, the signal processing unit 13 transmits the image data of the high-sensitivity image after the signal processing, the image data of the medium-sensitivity, the image data of the low-sensitivity image, and the image data of the infrared light to the recognition unit 14 and the SEL16. Output.
  • the signal processing unit 13 adjusts the digital gain of the image data, and then adjusts the white balance gain. After that, the signal processing unit 13 performs demosaic on the image data, finally performs gamma correction, and outputs the image data after the gamma correction.
  • the image data of the high-sensitivity image, the medium-sensitivity image, and the low-sensitivity image before demosaic are four types of pixel signals R, Gr, Gb, and B, respectively, but the image data after demosaic is three types of pixels.
  • the signals are R, G, and B.
  • the image data of the IR image before demosaic is four kinds of pixel signals IRr, IRgr, IRgb, and IRb, but the image data after demosaic is one kind of image signal IR.
  • the recognition unit 14 includes a microcomputer having a CPU, ROM, RAM, and various circuits.
  • the recognition unit 14 has an object recognition unit 31 that functions by executing an object recognition program stored in the ROM by the CPU using the RAM as a work area, and an object recognition data storage unit 32 provided in the RAM or the ROM. And.
  • the object recognition data storage unit 32 stores DNNs for each type of object to be recognized.
  • the object recognition unit 31 reads the DNN corresponding to the type of the set recognition target from the object recognition data storage unit 32, inputs the image data to the DNN, and outputs the recognition result of the subject output from the DNN to the data transmission determination unit. Output to 15, and output the recognition result metadata to SEL16.
  • 5A and 5B are explanatory views of the processing executed by the recognition unit according to the present disclosure.
  • the recognition unit 14 first normalizes the size and input value of the input image data according to the size and input value for DNN, and inputs the normalized image data to the DNN. Performs object recognition. Then, the recognition unit 14 outputs the recognition result of the subject output from the DNN to the data transmission determination unit 15, and outputs the metadata of the recognition result to the SEL 16.
  • the recognition unit 14 includes long-time exposure signals R, G, B, medium-time exposure signals R, G, B, short-time exposure signals R, G, B, and infrared rays.
  • the optical signal IR is input to the DNN.
  • the recognition unit 14 can improve the recognition accuracy of the subject by recognizing the subject from each of the high-sensitivity image, the medium-sensitivity image, the low-sensitivity image, and the IR image without artifacts.
  • the data transmission determination unit 15 outputs a control signal to the SEL 16 for switching the data to be output from the SEL 16 according to the recognition result input from the recognition unit 14.
  • the data transmission determination unit 15 outputs a control signal to the SEL 16 to output the image data and the metadata indicating the recognition result to the transmission unit 17.
  • the data transmission determination unit 15 outputs a control signal to the SEL 16 to output information (no data) indicating that fact to the transmission unit 17.
  • the SEL 16 outputs either a set of image data and metadata or no data to the transmission unit 17 according to the control signal input from the data transmission determination unit 15.
  • the transmission unit 17 is a communication I / F (interface) that performs data communication with the AP2, and transmits either a set of image data and metadata input from the SEL16 or no data to the AP2.
  • the image sensor 1 transmits the image data to the AP2 only when the subject is recognized, and does not transmit the image data to the AP2 when the subject is not recognized, so that the image data can be transmitted.
  • the required power consumption can be reduced.
  • the AP2 includes a microcomputer having a CPU, ROM, RAM, etc. that executes various application programs according to the application of the image recognition system 100, and various circuits.
  • the AP2 includes a receiving unit 21, an authentication unit 22, and an authentication data storage unit 23.
  • the authentication data storage unit 23 stores an authentication program for authenticating the subject recognized by the image sensor 1, an authentication image data, and the like.
  • the receiving unit 21 is a communication I / F that performs data communication with the image sensor 1.
  • the receiving unit 21 receives either a set of image data and metadata or no data from the image sensor 1 and outputs it to the authentication unit 22.
  • the authentication unit 22 is not activated when no data is input from the receiving unit 21, but is activated when a set of image data and metadata is input.
  • the authentication unit 22 is activated, the authentication program is read from the authentication data storage unit 23 and executed, and the subject recognized by the image sensor 1 is authenticated.
  • the authentication unit 22 collates the image data with the image data for authentication of the person and identifies who the recognized person is. Perform processing, etc.
  • the authentication unit 22 is based on the image data of the high-sensitivity image, the medium-sensitivity image, the low-sensitivity image, and the IR image which are not affected by the artifact recognized by the image sensor 1 as the subject with high accuracy. Identify a person. As a result, the authentication unit 22 can accurately identify who the recognized person is.
  • the above embodiment is an example, and various modifications are possible. Next, a modified example according to the embodiment according to the present disclosure will be described.
  • FIG. 6 is an explanatory diagram showing a modified example of the processing executed by the signal processing unit according to the present disclosure.
  • FIG. 7 is an explanatory diagram showing a modified example of the use example of DNN according to the present disclosure.
  • the signal processing unit performs shading correction, color mixing correction, digital gain adjustment, white balance gain adjustment, and gamma correction on the input image data, and after signal processing,
  • the image data is output to the recognition unit 14 and the SEL 16.
  • the signal processing unit can omit demosaic from the signal processing shown in FIG.
  • the recognition unit 14 recognizes the subject from the image data on which the demosaic is not executed.
  • the image data of the high-sensitivity image, the medium-sensitivity image, and the low-sensitivity image from which demosaication is not executed are four types of pixel signals R, Gr, Gb, and B.
  • the image data of the IR image in which demosaication is not executed is the pixel signals IRr, IRgr, IRgb, and IRb.
  • the recognition unit 14 includes long-time exposure signals R, Gr, Gb, B, medium-time exposure signals R, Gr, Gb, B, short-time exposure signals R, Gr, Gb, B, and infrared rays.
  • the optical signals IRr, IRgr, IRgb, and IR are input to the DNN (see FIG. 2B).
  • the recognition unit 14 increases the processing amount because the number of input channels of the DNN increases, but the image data of the high-sensitivity image, the medium-sensitivity image, the low-sensitivity image, and the IR image are individually input to the DNN. , The subject can be recognized with high accuracy without being affected by the artifact.
  • the signal processing unit itself can be omitted.
  • the recognition unit 14 includes long-time exposure signals R, Gr, Gb, B, medium-time exposure signals R, Gr, Gb, B, and short-time exposure signals R, Gr, Gb, B.
  • the infrared light signals IRr, IRgr, IRgb, and IR are input to the DNN. Therefore, although the processing amount of the recognition unit 14 increases, the processing amount of the image sensor 1 as a whole is significantly reduced because the signal processing is not performed.
  • the data transmission determination unit 15 outputs the recognition result metadata and the image data to the SEL 16 each time when the subject is recognized, but outputs the recognition result metadata and the image data from the SEL 16 according to the remaining battery level. You may select the data to be made.
  • the data transmission determination unit 15 when the subject is recognized by the recognition unit 14, the data transmission determination unit 15 outputs metadata and image data from the SEL 16 in the normal mode in which the remaining battery level is equal to or higher than the predetermined remaining amount. Further, the data transmission determination unit 15 outputs only the metadata from the SEL 16 in the low power consumption mode in which the remaining amount of the battery is less than the predetermined remaining amount. As a result, the data transmission determination unit 15 can suppress the power consumption of the image sensor 1 to a low level when the remaining battery level is insufficient.
  • FIG. 7 is an explanatory diagram showing a modified example of the DNN used by the recognition unit according to the present disclosure.
  • the recognition unit 14 recognizes the subject using one DNN, but as shown in FIG. 7, two DNNs can also be used.
  • the long-exposure image, the medium-time exposure image, and the short-time exposure image have colors, but the IR image does not have colors. Therefore, the characteristics of the subject in the image are different between the long-exposure image, the medium-time exposure image, and the short-exposure image and the IR image.
  • the recognition unit recognizes the subject by using the first DNN and the second DNN.
  • the first DNN is a learning model specialized in recognizing a subject from a long-exposure image, a medium-time exposure image, and a short-exposure image.
  • the second DNN is a machine-learned learning model that specializes in recognizing a subject from an IR image.
  • the recognition unit inputs the long-time exposure signals R, G, B, the medium-time exposure signals R, G, B, and the short-time exposure signals R, G, B to the first DNN to obtain a long-exposure image.
  • the subject is recognized from the medium-time exposure image and the short-time exposure image.
  • the recognition unit inputs an infrared light signal to the second DNN and recognizes the subject from the IR image. As a result, the recognition unit can further improve the recognition accuracy of the subject.
  • FIG. 8 is an explanatory diagram showing a first modification of the pixel array according to the present disclosure.
  • FIG. 9 is an explanatory diagram showing a second modification of the pixel array according to the present disclosure.
  • FIG. 10 is an explanatory diagram showing an example of using DNN when the second modification of the pixel array according to the present disclosure is adopted.
  • FIG. 11 is an explanatory diagram showing a third modification of the pixel array according to the present disclosure.
  • the pixel array A2 according to the first modification includes a ToF (Time of Flight) sensor instead of the image sensor IR shown in FIG.
  • the image sensor 1 includes a light emitting unit that irradiates infrared light toward the subject.
  • the ToF sensor is a sensor that measures the distance to the subject based on the time from the irradiation of infrared light to the reception of infrared light reflected by the subject.
  • the image sensor 1 can measure the distance to the subject in addition to recognizing the subject.
  • the pixel array A3 includes an image pickup pixel R that receives red light, an image pickup pixel G that receives green light, and an image pickup pixel B that receives blue light. It includes an imaging pixel IR that receives infrared light.
  • the image pickup pixel R includes an image pickup element RL for long-time exposure and an image pickup element RS for short-time exposure.
  • the image pickup pixel G includes an image pickup element GL for long-time exposure and an image pickup element GS for short-time exposure.
  • the image pickup pixel B includes an image pickup element BL for long-time exposure and an image pickup element BS for short-time exposure.
  • each of the image pickup pixels R, G, and B includes two image pickup elements RL, RS, GL, GS, BL, and BS, respectively.
  • the pixel array A3 has the same exposure time of all the image pickup elements RL, RS, GL, GS, BL, and BS included in each image pickup pixel R, G, and B, and is received by the left and right image pickup elements. It is used for autofocus that automatically adjusts the focus based on the phase difference of the light.
  • the image pickup elements RL, GL, and BL are controlled by individually controlling the exposure times of the image pickup elements RL, RS, GL, GS, BL, and BS included in the image pickup pixels R, G, and B of the pixel array A3.
  • the long-exposure pixels and the image sensors RS, GS, and BS function as short-exposure pixels.
  • the pixel array A3 can capture a long-exposure image and a short-exposure image. Further, since the pixel array A3 includes the image sensor IR, it is possible to capture the IR image at the same time as the long exposure image and the short exposure image.
  • the recognition unit 14 When the pixel array A3 is adopted, the recognition unit 14 has a long exposure signal output from the image pickup pixels RL, GL, and BL, and a short exposure time output from the image pickup pixels RS, GS, and BS, as shown in FIG. The signal and the infrared light signal output from the image sensor IR are input to the DNN. As a result, the recognition unit 14 can recognize the subject with high accuracy from each of the long-exposure image, the short-exposure image, and the IR image.
  • the pixel array A4 receives the pair of image pickup elements R, R, and green light that receive red light, similarly to the pixel array A3 shown in FIG. It includes a pair of image pickup elements G, G, and image pickup elements B, B that receive blue light. Further, the pixel array A4 includes a pair of image pickup elements IR and IR that receive infrared light. Each of the image pickup elements R, G, B, and IR includes two photoelectric conversion elements PD.
  • a pixel array A4 for example, of the four photoelectric conversion elements PD included in the pair of image pickup elements R and R, one is exposed for a long time, two are exposed for a medium time, and the remaining one is exposed for a short time. .. Further, in the pixel array A4, one of the four photoelectric conversion elements PD included in the pair of image pickup elements G and G is exposed for a long time, two are exposed for a medium time, and the remaining one is exposed for a short time.
  • the pixel array A4 for example, of the four photoelectric conversion elements PD included in the pair of image pickup elements B and B, one is exposed for a long time, two are exposed for a medium time, and the remaining one is exposed for a short time. Let me. As a result, the pixel array A4 can capture a long-exposure image, a medium-time exposure image, and a short-time exposure image.
  • the pixel array A4 can capture an IR image by exposing the image pickup elements IR and IR.
  • the recognition unit 14 is affected by an artifact by inputting image data of a long-exposure image, a medium-time exposure image, a short-time exposure image, and an IR image into the DNN. It is possible to recognize the subject with high accuracy.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (interface) 12053 are shown as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, winkers, and fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • the image pickup unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the image pickup unit 12031 to capture an image of the outside of the vehicle and receives the captured image.
  • the vehicle exterior information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or characters on the road surface based on the received image.
  • the image pickup unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of the light received.
  • the imaging unit 12031 can output an electric signal as an image or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated, or it may be determined whether the driver is dozing.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving, etc., which runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger or the outside of the vehicle of the information.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 13 is a diagram showing an example of the installation position of the imaging unit 12031.
  • the vehicle 12100 has image pickup units 12101, 12102, 12103, 12104, 12105 as the image pickup unit 12031.
  • the imaging units 12101, 12102, 12103, 12104, 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back doors, and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the images in front acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 13 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or may be an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured image of the imaging units 12101 to 12104.
  • pedestrian recognition includes, for example, a procedure for extracting feature points in an image captured by an imaging unit 12101 to 12104 as an infrared camera, and pattern matching processing for a series of feature points indicating the outline of an object to determine whether or not the pedestrian is a pedestrian. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • the above is an example of a vehicle control system to which the technology according to the present disclosure can be applied.
  • the technique according to the present disclosure can be applied to, for example, the vehicle exterior information detection unit 12030, the imaging unit 12031, the vehicle interior information detection unit 12040, the driver state detection unit 12041, and the like among the configurations described above.
  • the image recognition device 1 of FIG. 1 can be applied to the in-vehicle information detection unit 12040 and the driver state detection unit 12041.
  • the image sensor 1 which is an example of the image recognition device, has an image pickup unit 10 and a recognition unit 14.
  • the image pickup unit 10 uses the image pickup pixels R, Gr, Gb, and B that receive visible light and the image pickup pixels IR that receive infrared light, and images a plurality of images at the same exposure timing in one frame period. Generate image data.
  • the recognition unit recognizes the subject from each of the image data. As a result, the image sensor 1 can improve the recognition accuracy of the subject by eliminating the influence of the artifact.
  • the imaging unit 10 is a pixel array A1 in which a plurality of imaging pixels R, Gr, Gb, B having the same light receiving area and different exposure times and imaging pixels IR receiving infrared light are arranged in two dimensions. Has.
  • the image sensor 1 can recognize the subject with high accuracy without being affected by the artifact by recognizing the subject from each of the image data and the IR image having different exposure times.
  • the pixel array A1 includes an image sensor L which is an example of a long-exposure image pickup pixel that receives visible light, an image sensor M which is an example of a medium-time exposure image pickup pixel, and an image sensor which is an example of a short-time exposure image pickup pixel.
  • the image sensor 1 recognizes the subject from each of the long-exposure image, the medium-time exposure image, and the short-exposure image, so that the image sensor 1 can recognize the subject with high accuracy without being affected by the artifact. it can.
  • the pixel array A3 is composed of two image pickup elements RL, RS, GL, GS, BL, and BS, each of which has a different exposure time.
  • the image sensor 1 can capture a long-exposure image and a short-exposure image by using the phase difference pixels for autofocus.
  • the pixel array A4 is composed of two image pickup elements R, R, G, G, B, and B for each pixel.
  • Each of the image pickup elements R, G, and B includes two photoelectric conversion elements PD having different exposure times.
  • the image sensor 1 can capture a long-exposure image, a medium-time exposure image, and a short-time exposure image by controlling the exposure time of each photoelectric conversion element PD.
  • the recognition unit 14 outputs the recognition result and image data of the subject to AP2, which is an example of the device in the subsequent stage, when the subject is recognized, and outputs information indicating that fact to AP2 when the subject is not recognized. To do. As a result, the image sensor 1 does not output image data when it does not recognize the subject, so that power consumption can be reduced.
  • the recognition unit 14 outputs the recognition result of the subject and the image data to the AP2 when the remaining amount of the battery is equal to or more than the predetermined remaining amount, and outputs the image data to the AP2 when the remaining amount is less than the predetermined remaining amount. Outputs the recognition result of the subject without. As a result, when the remaining battery level is less than the predetermined remaining amount, the image sensor 1 does not output the image data even if it recognizes the subject, so that the power consumption can be reduced.
  • the recognition unit 14 recognizes the subject from the image data on which the demosaic processing has been executed. As a result, when the image sensor 1 recognizes the subject using the DNN, the processing load can be reduced by reducing the number of input channels of the DNN.
  • the recognition unit 14 recognizes the subject from the image data on which the demosaic processing is not executed.
  • the image sensor 1 recognizes the subject with high accuracy from the image data of the high-sensitivity image, the medium-sensitivity image, the low-sensitivity image, and the IR image, although the processing amount increases when the subject is recognized by using the DNN. can do.
  • the recognition unit 14 recognizes the subject from the image data input from the image pickup unit 10. As a result, when the image sensor 1 recognizes the subject using the DNN, the processing amount increases, but the processing amount of the image sensor 1 as a whole can be significantly reduced because the signal processing is not performed.
  • the imaging pixel that receives infrared light is a ToF (Time of Flight) sensor.
  • ToF Time of Flight
  • the image sensor 1 can measure the distance to the subject in addition to recognizing the subject.
  • the image recognition method uses an image pickup pixel that receives visible light and an image pickup pixel that receives infrared light, and images a plurality of images at the same exposure timing in one frame period to generate image data. Recognize the subject from each of the image data. According to such an image recognition method, the recognition accuracy of the subject can be improved by eliminating the influence of the artifact.
  • the present technology can also have the following configurations.
  • An imaging unit that uses an imaging pixel that receives visible light and an imaging pixel that receives infrared light to image a plurality of images at the same exposure timing in one frame period to generate image data.
  • An image recognition device having a recognition unit that recognizes a subject from each of the image data.
  • the imaging unit The image recognition device according to (1), further comprising a pixel array in which a plurality of the imaging pixels having the same light receiving area and different exposure times and the imaging pixels that receive infrared light are arranged in two dimensions.
  • the pixel array is The image recognition device according to (2) above, which has a long-exposure image pickup pixel, a medium-time exposure image pickup pixel, and a short-time exposure image pickup pixel that receives visible light.
  • the pixel array is The image recognition device according to (2) above, wherein each pixel is composed of two photoelectric conversion elements having different exposure times.
  • the pixel array is Each pixel is composed of two image sensors. Each of the image sensors The image recognition device according to (2) above, which includes two photoelectric conversion elements having different exposure times.
  • the recognition unit When the subject is recognized, the recognition result of the subject and the image data are output to the subsequent device, and when the subject is not recognized, information indicating that fact is output to the subsequent device (1) to The image recognition device according to any one of (5).
  • the recognition unit When the remaining amount of the battery is equal to or more than the predetermined remaining amount, the recognition result of the subject and the image data are output to the subsequent device, and when the remaining amount is less than the predetermined remaining amount, the image data is output to the subsequent device.
  • the image recognition device according to (6) above which outputs the recognition result of the subject without doing so.
  • the recognition unit The image recognition device according to any one of (1) to (7), which recognizes the subject from the image data on which demosaic processing has been executed.
  • the recognition unit The image recognition device according to any one of (1) to (8), which recognizes the subject from the image data on which demosaic processing is not executed.
  • the recognition unit The image recognition device according to any one of (1) to (8), which recognizes the subject from the image data input from the image pickup unit.
  • the imaging pixel that receives the infrared light is The image recognition device according to any one of (1) to (10) above, which is a ToF (Time of Flight) sensor.
  • (12) Using an image pickup pixel that receives visible light and an image pickup pixel that receives infrared light, a plurality of images are imaged at the same exposure timing in one frame period to generate image data.
  • Image recognition system 100 Image recognition system 1 Image sensor 10 Imaging unit A1, A2, A3, A4 Pixel array 12 A / D conversion unit 13 Signal processing unit 14 Recognition unit 15 Data transmission judgment unit 16 SEL 17 Transmitter 2 AP 21 Receiver 22 Authentication unit 23 Authentication data storage unit 31 Object recognition unit 32 Object recognition data storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提供する。本開示に係る画像認識装置（イメージセンサ１）は、撮像部（１０）と、認識部（１４）とを有する。撮像部（１０）は、可視光を受光する撮像画素（Ｒ，Ｇｒ，Ｇｂ，Ｂ）と、赤外光を受光する撮像画素（ＩＲ）とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部（１４）は、画像データのそれぞれから被写体を認識する。

Description

画像認識装置および画像認識方法
　本開示は、画像認識装置および画像認識方法に関する。
　１フレーム期間に感度が異なる複数の画像を撮像して合成することによりＨＤＲ（High　Dynamic　Range）画像を生成するＨＤＲ撮像モードを備え、ＨＤＲ画像から被写体を認識する撮像装置がある（例えば、特許文献１参照）。
　また、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用して撮像した画像を合成することにより、ＨＤＲ画像を生成し、ＨＤＲ画像から被写体を認識する撮像装置もある。
特開２０１４－１０３６４３号公報
　しかしながら、上記の従来技術では、被写体の認識精度が低下することがある。そこで、本開示では、被写体の認識精度を向上させることができる画像認識装置および画像認識方法を提案する。
　本開示に係る画像認識装置は、撮像部と、認識部とを有する。撮像部は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、前記画像データのそれぞれから被写体を認識する。
本開示に係る画素アレイを示す説明図である。 一般的なＤＮＮの使用例を示す説明図である。 本開示に係るＤＮＮの使用例を示す説明図である。 本開示に係る画像認識システムの構成例を示す図である。 本開示に係る信号処理部が実行する処理の説明図である。 本開示に係る認識部が実行する処理の説明図である。 本開示に係る認識部が実行する処理の説明図である。 本開示に係る信号処理部が実行する処理の変形例を示す説明図である。 本開示に係る認識部が使用するＤＮＮの変形例を示す説明図である。 本開示に係る画素アレイの第１変形例を示す説明図である。 本開示に係る画素アレイの第２変形例を示す説明図である。 本開示に係る画素アレイの第２変形例を採用した場合のＤＮＮの使用例を示す説明図である。 本開示に係る画素アレイの第３変形例を示す説明図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．画像認識方法の概要］
　まず、本開示に係る画像認識方法の概要について説明する。本開示に係る画像認識方法では、可視光を受光する撮像画素と、赤外光を受光する撮像画素を使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。ここでの同一露光タイミングで撮像するとは、例えば、複数の画素の露光を別々のタイミングで開始させ、同一のタイミングで終了させて画像を撮像することを意味する。
　複数の画像の撮像には、ＨＤＲ（High　Dynamic　Range）画像の撮像に使用される画素アレイを使用する。図１は、本開示に係る画素アレイを示す説明図である。例えば、図１に示すように、ＨＤＲ画像の撮像に使用される画素アレイＡ１は、赤色光を受光する撮像画素Ｒ、緑色光を受光する撮像画素Ｇｒ、Ｇｂ、青色光を受光する撮像画素Ｂがベイヤ配列されている。
　なお、撮像画素Ｇｒは、撮像画素Ｒが配置される列に設けられて緑色光を受光する撮像画素である。撮像画素Ｇｂは、撮像画素Ｂが配置される列に設けられて緑色光を受光する撮像画素である。
　撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂは、それぞれ、Ｌ字状に配置される受光面積が同一の３個の撮像素子を備える。撮像素子Ｌは、撮像素子Ｍ、Ｓに比べて露光時間が長い長時間露光素子である。撮像素子Ｓは、撮像素子Ｌ、Ｍに比べて露光時間が短い短時間露光素子である。
　撮像素子Ｍは、撮像素子Ｓよりも露光時間が長く、撮像素子Ｌよりも露光時間が短い中時間露光素子である。また、画素アレイＡ１は、同色の光を受光するＬ字状に配置された撮像素子Ｌ、Ｍ、Ｓによって三方が囲まれる位置に、赤外光を受光する撮像画素となる撮像素子ＩＲを備える。
　撮像素子Ｌは、露光時間が長いので、周囲が暗い場合であっても十分な受光量を得ることができる。これにより、撮像素子Ｌは、輝度が低すぎて通常の露光時間では黒つぶれするような被写体であっても、被写体の像がきれいに写った高感度画像（以下、長時間露光画像という場合がある）を撮像することができる。
　撮像素子Ｓは、露光時間が短いので、周囲が明るい場合であっても飽和することがない。これにより、撮像素子Ｓは、輝度が高すぎて通常の露光時間では白飛びするような被写体であっても、被写体の像がきれいに写った低感度画像（以下、短時間露光画像という場合がある）を撮像することができる。なお、撮像素子Ｍは、一般的なデジタルカメラと同様の露光時間で中感度画像（以下、中時間露光画像という場合がある）を撮像することができる。
　撮像素子ＩＲは、赤外光を受光するので、例えば、肉眼では見え難い暗闇での歩行者や車両、車両のヘッドライトやスポットライトで見え難い歩行者、煙や霧で見え難い物体等の像がきれいに写ったＩＲ（Infrared　Ray）画像を撮像することができる。また、撮像素子ＩＲは、被写体の熱情報を検知することもできる。
　ＨＤＲ画像は、上記した高感度画像、中間度画像、低感度画像、およびＩＲ画像をＨＤＲ合成することによって生成される。このため、ＨＤＲ画像は、暗い被写体、明るい被写体、および肉眼ではみえ難い被写体等の全ての被写体の像がきれいに写った画像となる。
　なお、図１に示す画素アレイＡ１では、露光時間を異ならせることで、受光面積が同一の撮像素子Ｌ、Ｍ、Ｓによって高感度画像、中感度画像、または低感度画像を撮像するが、これは一例である。例えば、画素アレイＡ１は、各撮像画素に積層されるカラーフィルタの透光率を異ならせることで、露光時間を同一にしても、高感度画像、中感度画像、または低感度画像を撮像することができる。
　この場合、画素アレイＡ１では、カラーフィルタの透光率が通常よりも高い撮像画素が高感度撮像画素となり、カラーフィルタの透光率が通常の撮像画素が中感度撮像画素となり、カラーフィルタの透光率が通常よりも低い撮像画素が低感度撮像画素となる。
　なお、露光開始時間を異ならせる方法として、露光開始時間を同一にし露光終了時間を異ならせる方法、露光開始時間を異ならせ露光終了時間を同一にする方法、露光開始時間と終了時間のいずれも異なる時間にする方法を用いても、高感度画像、中感度画像、または低感度画像を撮像することができる。
　かかる画素アレイＡ１によっても、同時に高感度画像および低感度画像を撮像することができるので、両画像をＨＤＲ合成することにより、ＨＤＲ画像を撮像することが可能である。また、撮像画素の受光面積を異ならせることで、カラーフィルタの透光性および露光時間が同一の撮像画素を高感度撮像画素または低感度撮像画素として機能させることもできる。
　ここで、画像データから被写体を認識する方法の一例として、ＤＮＮ（Deep　Neural　Network）を用いる画像認識方法がある。ＤＮＮは、画像データから被写体の特徴（パターン）を認識するように機械学習によって設計された人間の脳神経回路（ニューラルネットワーク）をモデルとした多階層構造のアルゴリズムである。
　図２Ａは、一般的なＤＮＮの使用例を示す説明図である。例えば、ＨＤＲ画像から被写体を認識する場合、図２Ａに示すように、ＨＤＲ合成後のＨＤＲ画像における赤Ｒ、緑Ｇ、青Ｂの各画素の信号Ｒ、Ｇ、Ｂ（ＨＤＲ画像の画像データ）をＤＮＮへ入力すると、ＤＮＮから被写体の認識結果が出力される。
　しかしながら、ＨＤＲ画像には、ＨＤＲ合成が行われたことで、実際には存在しないアーチファクトが写り込むことがある。このため、ＨＤＲ画像における各画素の信号Ｒ、Ｇ、ＢをＤＮＮへ入力すると、アーチファクトの弊害によって、ＤＮＮによる被写体の認識精度が低下することがある。
　そこで、本開示では、ＨＤＲ合成前の高感度画像、中感度画像、低感度画像、およびＩＲ画像のそれぞれから被写体を認識することで、アーチファクトの影響を排除し、被写体の認識精度を向上させる。図２Ｂは、本開示に係るＤＮＮの使用例を示す説明図である。
　図２Ｂに示すように、本開示では、例えば、撮像素子Ｌから出力される長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（高感度画像の画像データ）と、撮像素子Ｍから出力される中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（中感度画像の画像データ）とをＤＮＮへ入力する。さらに、本開示では、撮像素子Ｓから出力される短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂ（低感度画像の画像データ）と、撮像素子ＩＲから出力される赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂ（ＩＲ画像の画像データ）をＤＮＮへ入力する。
　これにより、ＤＮＮは、高感度画像、中感度画像、低感度画像とＩＲ画像から被写体を認識した認識結果とを出力する。
　このとき、ＤＮＮは、アーチファクトを含まない高感度画像、中感度画像、低感度画像およびＩＲ画像から被写体を認識するので、アーチファクトの影響を受けることなく高精度な被写体の認識結果を出力することができる。
　このように、本開示に係る画像認識方法は、可視光を受光する撮像画素と、赤外光を受光する撮像画素を使用し、１フレーム期間に複数の露光時間で撮像し、これら全てを用いて被写体を認識するので被写体の認識精度を向上させることができる。
［２．画像認識システムの構成］
　次に、図３を参照し、本開示に係る画像認識システムの構成について説明する。図３は、本開示に係る画像認識システムの構成例を示す図である。図３に示すように、本開示に係る画像認識システム１００は、画像認識装置の一例であるイメージセンサ１と、アプリケーションプロセッサ（以下、ＡＰ２と記載する）とを有する。
　イメージセンサ１は、撮像部１０と、信号処理部１３と、認識部１４と、データ送信判断部１５と、セレクタ（以下、ＳＥＬ１６と記載する）と、送信部１７とを備える。撮像部１０は、画素アレイＡ１と、Ａ／Ｄ（Analog／Digital）変換部１２とを備える。
　画素アレイＡ１は、撮像素子Ｌ、Ｍ、Ｓ、ＩＲによって、高感度画像、中感度画像、低感度画像、およびＩＲ画像を撮像する。そして、画素アレイＡ１は、撮像素子Ｌ、Ｍ、Ｓ、ＩＲからＡ／Ｄ変換部１２へ受光量に応じたアナログの画素信号を出力する。
　Ａ／Ｄ変換部１２は、画素アレイＡ１から入力されるアナログの画素信号をデジタルの画素信号にＡ／Ｄ変換して高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとを生成し、信号処理部１３へ出力する。
　信号処理部１３は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）などを有するマイクロコンピュータや各種の回路を含む。
　信号処理部１３は、Ａ／Ｄ変換部１２から入力される高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとに対して、それぞれ所定の信号処理を実行する。そして、信号処理部１３は、信号処理後の高感度画の画像データと、中感度の画像データと、低感度画像の画像データと、赤外光の画像データとを認識部１４と、ＳＥＬ１６へ出力する。
　ここで、図４を参照し、信号処理部１３が実行する処理の流れについて説明する。図４は、本開示に係る信号処理部が実行する処理の説明図である。図４に示すように、信号処理部１３は、入力される画像データに対して、まず、シェーディング補正を行い、続いて、混色補正を行う。
　その後、信号処理部１３は、画像データに対してデジタルゲイン調整を行い、続いて、ホワイトバランスゲイン調整を行う。その後、信号処理部１３は、画像データに対してデモザイクを行った後、最後にガンマ補正を行い、ガンマ補正後の画像データを出力する。
　なお、デモザイクでは、高感度画像、中感度画像、低感度画像、およびＩＲ画像の各画素の色を周囲の画素の色によって補完する処理を行う。このため、デモザイク前の高感度画像、中感度画像、低感度画像の画像データは、それぞれ４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなるが、デモザイク後の画像データは、３種類の画素信号Ｒ、Ｇ、Ｂとなる。また、デモザイク前のＩＲ画像の画像データは、４種類の画素信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂとなるが、デモザイク後の画像データは、１種類の画像信号ＩＲとなる。
　図３へ戻り、認識部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。認識部１４は、ＣＰＵがＲＯＭに記憶された物体認識プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する物体認識部３１と、ＲＡＭまたはＲＯＭに設けられる物体認識用データ記憶部３２とを備える。物体認識用データ記憶部３２には、認識対象となる物体の種類毎にＤＮＮが記憶されている。
　物体認識部３１は、設定される認識対象の種類に応じたＤＮＮを物体認識用データ記憶部３２から読出し、画像データをＤＮＮへ入力してＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
　ここで、図５Ａよび図５Ｂを参照し、認識部１４が行う処理の流れについて説明する。図５Ａおよび図５Ｂは、本開示に係る認識部が実行する処理の説明図である。図５Ａに示すように、認識部１４は、まず、入力される画像データのサイズおよび入力値をＤＮＮ用のサイズおよび入力値に合わせて正規化し、正規化後の画像データをＤＮＮへ入力して物体認識を行う。そして、認識部１４は、ＤＮＮから出力される被写体の認識結果をデータ送信判断部１５へ出力し、認識結果のメタデータをＳＥＬ１６へ出力する。
　このとき、図５Ｂに示すように、認識部１４は、長時間露光信号Ｒ、Ｇ、Ｂと、中時間露光信号Ｒ、Ｇ、Ｂと、短時間露光信号Ｒ、Ｇ、Ｂと、赤外光信号ＩＲとをＤＮＮへ入力する。これにより、認識部１４は、アーチファクトのない高感度画像、中感度画像、低感度画像、およびＩＲ画像のそれぞれから被写体を認識することで、被写体の認識精度を向上させることができる。
　図３へ戻り、データ送信判断部１５は、認識部１４から入力される認識結果に応じてＳＥＬ１６から出力させるデータを切替える制御信号をＳＥＬ１６へ出力する。データ送信判断部１５は、認識部１４によって被写体が認識された場合には、画像データと、認識結果を示すメタデータとを送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。
　また、データ送信判断部１５は、認識部１４によって被写体が認識されなかった場合、その旨を示す情報（ノーデータ）を送信部１７へ出力させる制御信号をＳＥＬ１６へ出力する。ＳＥＬ１６は、データ送信判断部１５から入力される制御信号に応じて、画像データおよびメタデータのセット、または、ノーデータのいずれかを送信部１７へ出力する。
　送信部１７は、ＡＰ２との間でデータ通信を行う通信Ｉ／Ｆ（インターフェース）であり、ＳＥＬ１６から入力される画像データおよびメタデータのセット、または、ノーデータのいずれかをＡＰ２へ送信する。
　このように、イメージセンサ１は、被写体を認識した場合に限って画像データをＡＰ２へ送信し、被写体を認識しない場合には、画像データをＡＰ２へ送信することがないため、画像データの送信に要する消費電力を低減することができる。
　ＡＰ２は、画像認識システム１００の用途に応じた各種アプリケーションプログラムを実行するＣＰＵ、ＲＯＭ、ＲＡＭなどを有するマイクロコンピュータや各種の回路を含む。ＡＰ２は、受信部２１と、認証部２２と、認証用データ記憶部２３とを備える。
　認証用データ記憶部２３には、イメージセンサ１によって認識された被写体を認証するための認証用プログラムおよび認証用画像データ等が記憶されている。受信部２１は、イメージセンサ１との間でデータ通信を行う通信Ｉ／Ｆである。受信部２１は、イメージセンサ１から画像データおよびメタデータのセット、または、ノーデータのいずれかを受信して認証部２２へ出力する。
　認証部２２は、受信部２１からノーデータが入力される場合には起動せず、画像データおよびメタデータのセットが入力された場合に起動する。認証部２２は、起動すると認証用データ記憶部２３から認証用プログラムを読み出して実行し、イメージセンサ１によって認識された被写体を認証する。
　例えば、認証部２２は、被写体が人であることを示すメタデータと画像データのセットが入力される場合、画像データと人の認証用画像データとを照合し、認識された人が誰かを特定する処理等を行う。
　このとき、認証部２２は、イメージセンサ１によって被写体が人であると高精度に認識されたアーチファクトの影響がない高感度画像、中感度画像、低感度画像、およびＩＲ画像の画像データに基づいて人を特定する。これにより、認証部２２は、認識された人が誰かを的確に特定することができる。なお、上記した実施形態は、一例であり、種々の変形が可能である。次に本開示に係る実施形態に係る変形例について説明する。
［３．信号処理部が実行する処理の変形例］
　図６は、本開示に係る信号処理部が実行する処理の変形例を示す説明図である。図７は、本開示に係るＤＮＮの使用例の変形例を示す説明図である。
　図６に示すように、変形例に係る信号処理部は、入力される画像データに対して、シェーディング補正、混色補正、デジタルゲイン調整、ホワイトバランスゲイン調整、およびガンマ補正を行い、信号処理後の画像データを認識部１４と、ＳＥＬ１６とに出力する。
　このように、信号処理部は、図４に示した信号処理からデモザイクを省略することができる。この場合、認識部１４は、デモザイクが実行されない画像データから被写体を認識する。前述したように、デモザイクが実行されない高感度画像、中感度画像、および低感度画像の画像データは、４種類の画素信号Ｒ、Ｇｒ、Ｇｂ、Ｂとなる。また、デモザイクが実行されないＩＲ画像の画像データは、画素信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲｂとなる。
　このため、認識部１４は、長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂとと、赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲをＤＮＮへ入力する（図２Ｂ参照）。かかる場合、認識部１４は、ＤＮＮの入力チャンネル数が増えるので処理量が増すが、ＤＮＮには、高感度画像、中感度画像、低感度画像、ＩＲ画像の画像データが個別に入力されるので、アーチファクトの影響を受けることなく被写体を高精度に認識することができる。
　なお、他の変形例では、信号処理部自体を省略することもできる。かかる場合にも同様に、認識部１４は、長時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、中時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂと、短時間露光信号Ｒ、Ｇｒ、Ｇｂ、Ｂとと、赤外光信号ＩＲｒ、ＩＲｇｒ、ＩＲｇｂ、ＩＲをＤＮＮへ入力する。このため、認識部１４は、処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減される。
　なお、上記した実施形態では、データ送信判断部１５は、被写体を認識した場合に、毎回、認識結果のメタデータと画像データとをＳＥＬ１６に出力させたが、バッテリ残量に応じてＳＥＬ１６から出力させるデータを選択してもよい。
　例えば、データ送信判断部１５は、認識部１４によって被写体が認識された場合、バッテリの残量が所定残量以上ある状態の通常モードでは、メタデータと画像データとをＳＥＬ１６から出力させる。また、データ送信判断部１５は、バッテリの残量が所定残量未満の状態の低消費電力モードでは、メタデータのみをＳＥＬ１６から出力させる。これにより、データ送信判断部１５は、バッテリの残量が不足している場合に、イメージセンサ１の消費電力を低く抑えることができる。
［４．認識部による被写体認識の変形例］
　図７は、本開示に係る認識部が使用するＤＮＮの変形例を示す説明図である。図２Ｂおよび図５Ｂに示した例では、認識部１４は、１つのＤＮＮを使用して被写体の認識を行ったが、図７に示すように、２つのＤＮＮを使用することもできる。
　具体的には、長時間露光画像、中時間露光画像、および短時間露光画像には、色彩があるが、ＩＲ画像には、色彩がない。このため、長時間露光画像、中時間露光画像、および短時間露光画像と、ＩＲ画像とでは、画像中の被写体の特徴が異なる。
　そこで、変形例に係る認識部は、第１ＤＮＮと、第２ＤＮＮとを使用して被写体を認識する。第１ＤＮＮは、長時間露光画像、中時間露光画像、および短時間露光画像から被写体を認識することに特化して機械学習された学習モデルである。第２ＤＮＮは、ＩＲ画像から被写体を認識することに特化して機械学習された学習モデル。
　変形例に係る認識部は、第１ＤＮＮへ長時間露光信号Ｒ、Ｇ、Ｂ、中時間露光信号Ｒ、Ｇ、Ｂ、短時間露光信号Ｒ、Ｇ、Ｂを入力して、長時間露光画像、中時間露光画像、および短時間露光画像から被写体を認識する。また、認識部は、第２ＤＮＮへ赤外光信号を入力して、ＩＲ画像から被写体を認識する。これにより、認識部は、被写体の認識精度をさらに向上させることができる。
［５．画素アレイの変形例］
　図８は、本開示に係る画素アレイの第１変形例を示す説明図である。図９は、本開示に係る画素アレイの第２変形例を示す説明図である。図１０は、本開示に係る画素アレイの第２変形例を採用した場合のＤＮＮの使用例を示す説明図である。図１１は、本開示に係る画素アレイの第３変形例を示す説明図である。
　図８に示すように、第１変形例に係る画素アレイＡ２は、図１に示した撮像素子ＩＲの代わりにＴｏＦ（Time　of　Flight）センサを備える。画素アレイＡ２を採用する場合、イメージセンサ１は、被写体へ向けて赤外光を照射する発光部を備える。
　ＴｏＦセンサは、赤外光が照射されてから、被写体に反射した赤外光を受光するまでの時間に基づいて、被写体までの距離を測定するセンサである。イメージセンサ１は、かかる画素アレイＡ２を採用することによって、被写体の認識に加えて、被写体までの距離を測定することができる。
　また、図９に示すように、第２変形例に係る画素アレイＡ３は、赤色光を受光する撮像画素Ｒと、緑色光を受光する撮像画素Ｇと、青色光を受光する撮像画素Ｂと、赤外光を受光する撮像画素ＩＲとを備える。
　撮像画素Ｒは、長時間露光する撮像素子ＲＬと短時間露光する撮像素子ＲＳとを備える。撮像画素Ｇは、長時間露光する撮像素子ＧＬと短時間露光する撮像素子ＧＳとを備える。撮像画素Ｂは、長時間露光する撮像素子ＢＬと短時間露光する撮像素子ＢＳとを備える。
　このように、画素アレイＡ３は、各撮像画素Ｒ、Ｇ、Ｂが、それぞれ２個の撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳを備える。かかる画素アレイＡ３は、一般的には、各撮像画素Ｒ、Ｇ、Ｂが備える全ての撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳの露光時間を同一にし、左右の撮像素子で受光される光の位相差に基づいて焦点を自動調整するオートフォーカスに使用される。
　本開示では、かかる画素アレイＡ３の撮像画素Ｒ、Ｇ、Ｂが備える撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳの露光時間を個別に制御することで、撮像素子ＲＬ、ＧＬ、ＢＬを長時間露光画素、撮像素子ＲＳ，ＧＳ，ＢＳを短時間露光画素として機能させる。
　これにより、画素アレイＡ３は、長時間露光画像および短時間露光画像を撮像することができる。また、画素アレイＡ３は、撮像素子ＩＲを備えるので、長時間露光画像および短時間露光画像と同時にＩＲ画像を撮像することもできる。
　認識部１４は、画素アレイＡ３が採用される場合、図１０に示すように、撮像画素ＲＬ、ＧＬ、ＢＬから出力される長時間露光信号、撮像画素ＲＳ、ＧＳ、ＢＳ出力される短時間露光信号、および撮像素子ＩＲから出力される赤外光信号をＤＮＮへ入力する。これにより、認識部１４は、長時間露光画像、短時間露光画像、およびＩＲ画像のそれぞれから高精度に被写体を認識することができる。
　また、図１１に示すように、第４変形例に係る画素アレイＡ４は、図９に示した画素アレイＡ３と同様に、赤色光を受光する一対の撮像素子Ｒ、Ｒ、緑色光を受光する一対の撮像素子Ｇ、Ｇ、および青色光を受光する撮像素子Ｂ、Ｂを備える。また、画素アレイＡ４は、赤外光を受光する一対の撮像素子ＩＲ、ＩＲを備える。各撮像素子Ｒ、Ｇ、Ｂ、ＩＲは、それぞれ、２個の光電変換素子ＰＤを備える。
　かかる画素アレイＡ４では、例えば、一対の撮像素子Ｒ、Ｒが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。また、画素アレイＡ４では、一対の撮像素子Ｇ、Ｇが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。
　また、画素アレイＡ４では、例えば、一対の撮像素子Ｂ、Ｂが備える４個の光電変換素子ＰＤのうち、１個を長時間露光、２個を中時間露光、残りの１個を短時間露光させる。これにより、画素アレイＡ４は、長時間露光画像、中時間露光画像、および短時間露光画像を撮像することができる。
　また、画素アレイＡ４は、撮像素子ＩＲ、ＩＲを露光させることで、ＩＲ画像を撮像することができる。かかる画素アレイＡ４が採用される場合、認識部１４は、長時間露光画像、中時間露光画像、短時間露光画像、およびＩＲ画像の画像データをＤＮＮへ入力することにより、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
[６．移動体への応用例］
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１３は、撮像部１２０３１の設置位置の例を示す図である。
　図１３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニット１２０３０、撮像部１２０３１、車内情報検出ユニット１２０４０、および運転者状態検出部１２０４１等に適用され得る。例えば、図１の画像認識装置１は、車内情報検出ユニット１２０４０および運転者状態検出部１２０４１に適用することができる。車内情報検出ユニット１２０４０および運転者状態検出部１２０４１に本開示に係る技術を適用することにより、被写体である運転者の認識精度が向上するので、運転者の疲労度合い、集中度合、居眠りしていないか等をより正確に検出することが可能になる。
［７．効果］
　画像認識装置の一例であるイメージセンサ１は、撮像部１０と、認識部１４とを有する。撮像部１０は、可視光を受光する撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂと、赤外光を受光する撮像画素ＩＲとを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する。認識部は、画像データのそれぞれから被写体を認識する。これにより、イメージセンサ１は、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
　また、撮像部１０は、受光面積が同一であり露光時間が異なる複数の撮像画素Ｒ、Ｇｒ、Ｇｂ、Ｂと、赤外光を受光する撮像画素ＩＲとが２次元に配列された画素アレイＡ１を有する。これにより、イメージセンサ１は、露光時間の異なる画像データおよびＩＲ画像のそれぞれから被写体を認識することで、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
　また、画素アレイＡ１は、可視光を受光する長時間露光撮像画素の一例である撮像素子Ｌ、中時間露光撮像画素の一例である撮像素子Ｍ、および短時間露光撮像画素の一例である撮像素子Ｓを有する。これにより、イメージセンサ１は、長時間露光画像、中時間露光画像、および短時間露光画像のそれぞれから被写体を認識することで、アーチファクトの影響を受けることなく、高精度に被写体を認識することができる。
　また、画素アレイＡ３は、各画素が露光時間の異なる２個の撮像素子ＲＬ、ＲＳ，ＧＬ、ＧＳ、ＢＬ、ＢＳによって構成される。これにより、イメージセンサ１は、オートフォーカス用の位相差画素を使用して、長時間露光画像および短時間露光画像を撮像することができる。
　また、画素アレイＡ４は、各画素が２個の撮像素子Ｒ、Ｒ、Ｇ、Ｇ、Ｂ、Ｂによって構成される。各撮像素子Ｒ、Ｇ、Ｂは、露光時間の異なる２個の光電変換素子ＰＤを備える。これにより、イメージセンサ１は、各光電変換素子ＰＤの露光時間を制御することによって、長時間露光画像、中時間露光画像、および短時間露光画像を撮像することができる。
　また、認識部１４は、被写体を認識した場合に、被写体の認識結果および画像データを後段の装置の一例であるＡＰ２へ出力し、被写体を認識しない場合に、その旨を示す情報をＡＰ２へ出力する。これにより、イメージセンサ１は、被写体を認識しない場合に、画像データの出力を行わないので、消費電力を低減することができる。
　また、認識部１４は、バッテリの残量が所定残量以上である場合に、被写体の認識結果および画像データをＡＰ２へ出力し、所定残量未満の場合に、ＡＰ２へ画像データを出力することなく被写体の認識結果を出力する。これにより、イメージセンサ１は、バッテリ残量が所定残量未満である場合に、被写体を認識しても画像データの出力を行わないので、消費電力を低減することができる。
　また、認識部１４は、デモザイク処理が実行された画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、ＤＮＮの入力チャンネル数を低減することによって、処理負荷を低減することができる。
　また、認識部１４は、デモザイク処理が実行されない画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、処理量が増すが、高感度画像、中感度画像、低感度画像、ＩＲ画像の画像データから高精度に被写体を認識することができる。
　また、認識部１４は、撮像部１０から入力される画像データから被写体を認識する。これにより、イメージセンサ１は、ＤＮＮを使用して被写体を認識する場合に、処理量が増すが、信号処理を行わない分、イメージセンサ１全体としての処理量が大幅に低減することができる。
　また、赤外光を受光する撮像画素は、ＴｏＦ（Time　of　Flight）センサである。これにより、イメージセンサ１は、被写体の認識に加えて、被写体までの距離を測定することができる。
　また、画像認識方法は、可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、画像データのそれぞれから被写体を認識する。かかる画像認識方法によれば、アーチファクトの影響を排除することで、被写体の認識精度を向上させることができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する撮像部と、
　前記画像データのそれぞれから被写体を認識する認識部と
　を有する画像認識装置。
（２）
　前記撮像部は、
　受光面積が同一であり露光時間が異なる複数の前記撮像画素と、赤外光を受光する撮像画素とが２次元に配列された画素アレイ
　を有する前記（１）に記載の画像認識装置。
（３）
　前記画素アレイは、
　前記可視光を受光する長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素
　を有する前記（２）に記載の画像認識装置。
（４）
　前記画素アレイは、
　各画素が露光時間の異なる２個の光電変換素子によって構成される
　前記（２）に記載の画像認識装置。
（５）
　前記画素アレイは、
　各画素が２個の撮像素子によって構成され、
　各前記撮像素子は、
　露光時間の異なる２個の光電変換素子を備える
　前記（２）に記載の画像認識装置。
（６）
　前記認識部は、
　前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
　前記（１）～（５）のいずれか一つに記載の画像認識装置。
（７）
　前記認識部は、
　バッテリの残量が所定残量以上である場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記所定残量未満の場合に、前記後段の装置へ前記画像データを出力することなく前記被写体の認識結果を出力する
　前記（６）に記載の画像認識装置。
（８）
　前記認識部は、
　デモザイク処理が実行された前記画像データから前記被写体を認識する
　前記（１）～（７）のいずれか一つに記載の画像認識装置。
（９）
　前記認識部は、
　デモザイク処理が実行されない前記画像データから前記被写体を認識する
　前記（１）～（８）のいずれか一つに記載の画像認識装置。
（１０）
　前記認識部は、
　前記撮像部から入力される前記画像データから前記被写体を認識する
　前記（１）～（８）のいずれか一つに記載の画像認識装置。
（１１）
　前記赤外光を受光する撮像画素は、
　ＴｏＦ（Time　of　Flight）センサである
　前記（１）～（１０）のいずれか一つに記載の画像認識装置。
（１２）
　可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、
　前記画像データのそれぞれから被写体を認識する
　画像認識方法。
　１００　画像認識システム
　１　イメージセンサ
　１０　撮像部
　Ａ１、Ａ２、Ａ３、Ａ４　画素アレイ
　１２　Ａ／Ｄ変換部
　１３　信号処理部
　１４　認識部
　１５　データ送信判断部
　１６　ＳＥＬ
　１７　送信部
　２　ＡＰ
　２１　受信部
　２２　認証部
　２３　認証用データ記憶部
　３１　物体認識部
　３２　物体認識用データ記憶部

Claims (12)

  1. 　可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成する撮像部と、
    　前記画像データのそれぞれから被写体を認識する認識部と
    　を有する画像認識装置。
  2. 　前記撮像部は、
    　受光面積が同一であり露光時間が異なる複数の前記撮像画素と、赤外光を受光する撮像画素とが２次元に配列された画素アレイ
    　を有する請求項１に記載の画像認識装置。
  3. 　前記画素アレイは、
    　前記可視光を受光する長時間露光撮像画素、中時間露光撮像画素、および短時間露光撮像画素
    　を有する請求項２に記載の画像認識装置。
  4. 　前記画素アレイは、
    　各画素が露光時間の異なる２個の撮像素子によって構成される
    　請求項２に記載の画像認識装置。
  5. 　前記画素アレイは、
    　各画素が２個の撮像素子によって構成され、
    　各前記撮像素子は、
    　露光時間の異なる２個の光電変換素子を備える
    　請求項２に記載の画像認識装置。
  6. 　前記認識部は、
    　前記被写体を認識した場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記被写体を認識しない場合に、その旨を示す情報を後段の装置へ出力する
    　請求項１に記載の画像認識装置。
  7. 　前記認識部は、
    　バッテリの残量が所定残量以上である場合に、前記被写体の認識結果および前記画像データを後段の装置へ出力し、前記所定残量未満の場合に、前記後段の装置へ前記画像データを出力することなく前記被写体の認識結果を出力する
    　請求項６に記載の画像認識装置。
  8. 　前記認識部は、
    　デモザイク処理が実行された前記画像データから前記被写体を認識する
    　請求項１に記載の画像認識装置。
  9. 　前記認識部は、
    　デモザイク処理が実行されない前記画像データから前記被写体を認識する
    　請求項１に記載の画像認識装置。
  10. 　前記認識部は、
    　前記撮像部から入力される前記画像データから前記被写体を認識する
    　請求項１に記載の画像認識装置。
  11. 　前記赤外光を受光する撮像画素は、
    　ＴｏＦ（Time　of　Flight）センサである
    　請求項１に記載の画像認識装置。
  12. 　可視光を受光する撮像画素と、赤外光を受光する撮像画素とを使用し、１フレーム期間に複数の画像を同一露光タイミングで撮像して画像データを生成し、
    　前記画像データのそれぞれから被写体を認識する
    　画像認識方法。
PCT/JP2020/019587 2019-05-30 2020-05-18 画像認識装置および画像認識方法 WO2020241336A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080038430.6A CN113875217A (zh) 2019-05-30 2020-05-18 图像识别装置和图像识别方法
US17/603,138 US20220201183A1 (en) 2019-05-30 2020-05-18 Image recognition device and image recognition method
KR1020217037346A KR20220016056A (ko) 2019-05-30 2020-05-18 화상 인식 장치 및 화상 인식 방법
DE112020002567.5T DE112020002567T5 (de) 2019-05-30 2020-05-18 Bilderkennungsvorrichtung und bilderkennungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-101728 2019-05-30
JP2019101728A JP2020198470A (ja) 2019-05-30 2019-05-30 画像認識装置および画像認識方法

Publications (1)

Publication Number Publication Date
WO2020241336A1 true WO2020241336A1 (ja) 2020-12-03

Family

ID=73552920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019587 WO2020241336A1 (ja) 2019-05-30 2020-05-18 画像認識装置および画像認識方法

Country Status (6)

Country Link
US (1) US20220201183A1 (ja)
JP (1) JP2020198470A (ja)
KR (1) KR20220016056A (ja)
CN (1) CN113875217A (ja)
DE (1) DE112020002567T5 (ja)
WO (1) WO2020241336A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023082303A (ja) * 2021-12-02 2023-06-14 財団法人車輌研究測試中心 車室内監視・状況理解感知方法及びそのシステム
WO2023166859A1 (ja) * 2022-03-01 2023-09-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム及びファクトリーオートメーションシステム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022086456A (ja) 2020-11-30 2022-06-09 日本光電工業株式会社 癌細胞捕集用多孔質体
WO2023140026A1 (ja) * 2022-01-18 2023-07-27 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
JP7444958B1 (ja) 2022-12-12 2024-03-06 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285198A (ja) * 1999-03-31 2000-10-13 Omron Corp 画像認識システムおよび情報採取システム
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2015220716A (ja) * 2014-05-21 2015-12-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
JP2016033694A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 物体認識装置及び物体認識プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065645B2 (en) * 2003-01-20 2006-06-20 Mordechai Teicher System, method, and apparatus for visual authentication
JP5436281B2 (ja) * 2010-03-16 2014-03-05 富士フイルム株式会社 放射線撮影システム、コンソール、放射線撮影用カセッテ、及びプログラム
JP2012226513A (ja) * 2011-04-19 2012-11-15 Honda Elesys Co Ltd 検知装置、及び検知方法
JP2014103643A (ja) 2012-11-22 2014-06-05 Canon Inc 撮像装置及び被写体認識方法
KR102086509B1 (ko) * 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
JP2015041890A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
US10033947B2 (en) * 2015-11-04 2018-07-24 Semiconductor Components Industries, Llc Multi-port image pixels
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US20180164156A1 (en) * 2016-12-12 2018-06-14 Microsoft Technology Licensing, Llc Hybrid Sensor with Enhanced Infrared Detection Capabilities
US10916036B2 (en) * 2018-12-28 2021-02-09 Intel Corporation Method and system of generating multi-exposure camera statistics for image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000285198A (ja) * 1999-03-31 2000-10-13 Omron Corp 画像認識システムおよび情報採取システム
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2015220716A (ja) * 2014-05-21 2015-12-07 キヤノン株式会社 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
JP2016033694A (ja) * 2014-07-30 2016-03-10 東芝テック株式会社 物体認識装置及び物体認識プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023082303A (ja) * 2021-12-02 2023-06-14 財団法人車輌研究測試中心 車室内監視・状況理解感知方法及びそのシステム
JP7351889B2 (ja) 2021-12-02 2023-09-27 財団法人車輌研究測試中心 車室内監視・状況理解感知方法及びそのシステム
WO2023166859A1 (ja) * 2022-03-01 2023-09-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、情報処理システム及びファクトリーオートメーションシステム

Also Published As

Publication number Publication date
CN113875217A (zh) 2021-12-31
DE112020002567T5 (de) 2022-04-21
KR20220016056A (ko) 2022-02-08
JP2020198470A (ja) 2020-12-10
US20220201183A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2020241336A1 (ja) 画像認識装置および画像認識方法
WO2020230636A1 (ja) 画像認識装置および画像認識方法
WO2020230660A1 (ja) 画像認識装置、固体撮像装置、および画像認識方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2021060118A1 (ja) 撮像装置
US20210297589A1 (en) Imaging device and method of controlling imaging device
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
WO2020230635A1 (ja) 撮像装置および撮像方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
JPWO2020149094A1 (ja) 撮像装置、撮像システムおよび故障検出方法
US20240205551A1 (en) Signal processing device and method, and program
CN113661700B (zh) 成像装置与成像方法
WO2021192459A1 (ja) 撮像装置
US20220268890A1 (en) Measuring device and distance measuring device
US11483499B2 (en) Imaging apparatus for addition of pixels on the basis of a temperature of an imaging array
WO2022004441A1 (ja) 測距装置および測距方法
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20814865

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20814865

Country of ref document: EP

Kind code of ref document: A1