JP6725733B2 - 固体撮像装置および電子機器 - Google Patents
固体撮像装置および電子機器 Download PDFInfo
- Publication number
- JP6725733B2 JP6725733B2 JP2019139196A JP2019139196A JP6725733B2 JP 6725733 B2 JP6725733 B2 JP 6725733B2 JP 2019139196 A JP2019139196 A JP 2019139196A JP 2019139196 A JP2019139196 A JP 2019139196A JP 6725733 B2 JP6725733 B2 JP 6725733B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- image
- substrate
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 141
- 238000012545 processing Methods 0.000 claims description 169
- 239000000758 substrate Substances 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000000873 masking effect Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 57
- 238000001514 detection method Methods 0.000 description 30
- 210000003128 head Anatomy 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 25
- 230000001575 pathological effect Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 20
- 241000724291 Tobacco streak virus Species 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 16
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000003745 diagnosis Methods 0.000 description 10
- 239000010410 layer Substances 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000009795 derivation Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 6
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 5
- 239000010949 copper Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000003153 chemical reaction reagent Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 238000005304 joining Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 210000004748 cultured cell Anatomy 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000013601 eggs Nutrition 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 206010016256 fatigue Diseases 0.000 description 2
- 238000003364 immunohistochemistry Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000252212 Danio rerio Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002107 myocardial effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000955 prescription drug Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/701—Line sensors
- H04N25/7013—Line sensors using abutted sensors forming a long line
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Description
1.第1の実施形態
2.第1の実施形態の変形例
3.第2の実施形態
4.第3の実施形態
5.イメージセンサのチップ構成
6.レイアウト例
7.その他の実施形態
8.移動体への応用例
9.内視鏡手術システムへの応用例
10.WSI(Whole Slide Imaging)システムへの応用例
[1−1.第1の実施形態に係る画像処理システムの構成]
図1は、第1の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。図1に示すように、撮像装置1は、クラウドサーバ30と通信可能に接続される。なお、撮像装置1とクラウドサーバ30とは、有線や無線を問わず、各種ネットワークやUSB(Universal Serial Bus)ケーブルなどを介して、通信可能に接続される。
図1に示すように、撮像装置1は、固体撮像装置であるイメージセンサ10と、アプリケーションプロセッサ20とを備える。イメージセンサ10は、撮像部11、コントロール部12、信号処理部13、DSP(処理部ともいう)14、メモリ15、セレクタ16(出力部ともいう)を有する。
図2は、第1の実施形態に係る画像の加工を説明する図である。図2に示すように、信号処理部13は、撮像部11から読み出された画像データに信号処理を行ってメモリ15に格納する。DSP14は、メモリ15から画像データを読み出して、学習済みの学習モデルを用いた顔検出を実行し、画像データから顔位置を検出する(処理1)。
図3は、第1の実施形態に係る加工処理の流れを示すフローチャートである。図3に示すように、撮像部11による撮像された画像データがメモリ15に格納される(S101)。
上述したように、イメージセンサ10は、加工が必要な場合でも1チップ内の閉じた領域で、加工処理を実行できるので、撮像された画像データがそのまま外部に出力されることを抑制でき、セキュリティの向上やプライバシーの保護を実現できる。また、イメージセンサ10は、加工の有無をユーザに選択させることができるので、用途に応じて処理モードを選択でき、ユーザの利便性を向上することができる。
上記第1の実施形態では、顔位置にマスキング等を実行する例を説明したが、加工処理がこれに限定されるものではない。例えば、顔位置を抽出した部分画像を生成することもできる。
[3−1.第2の実施形態に係る撮像装置の説明]
ところで、第1の実施形態では、DSP14が加工処理を実行する例を説明したが、これに限定されるものではなく、セレクタ16が加工処理を行うこともできる。そこで、第2の実施形態では、セレクタ16が加工処理を行う例を説明する。
上記第1の実施形態の変形例と同様、第2の実施形態においてもセレクタ16が顔位置を抽出した部分画像を生成することもできる。
上述した第2の実施形態及びその第1の変形例では、メモリ15に格納されている画像データに対してセレクタ16がROIの抽出(切り出し又はトリミングともいう)や加工(マスキング等)などの処理2を行なう場合を例示したが、これに限定されず、例えば、セレクタ16が、信号処理部13から出力された画像データに対して直接、ROIの切り出しや加工(マスキング等)などの処理2を実行するように構成することも可能である。
また、撮像部11から読み出す画像データ自体を、ROIのみの部分画像データやROIを含まない画像データとすることも可能である。その場合、第1のフレームに対してDSP14で抽出された顔位置がコントロール部12へ通知され、コントロール部12が撮像部11に対し、第1のフレームの次のフレームである第2のフレームにおけるROIに相当する画素領域からの部分画像データの読み出しや、ROI以外の領域に相当する画素領域からの画像データの読み出しを実行する。
[4−1.第3の実施形態に係る撮像装置の説明]
ところで、イメージセンサ10は、撮像部11からの画像データ全体の読み出しに先だって、小さい容量の画像データを先に読み出して、顔位置を検出することで、処理の高速化を図ることができる。そこで、第3の実施形態では、処理の高速化を図る例を説明する。
次に、図7で説明した処理の流れを説明する。図8は、第3の実施形態にかかる加工処理の流れを示すシーケンス図である。図8に示すように、撮像部11は、画像を間引いて読み出し(S201)、間引いた小さい容量の画像データをメモリ15に格納する(S202)。その後、撮像部11は、通常の画像データの読み出しを継続する。
次に、図1に示すイメージセンサ10のチップ構成の例について、以下に図面を参照して詳細に説明する。
図10及び図11は、本実施形態に係るレイアウト例を説明するための図である。なお、図10は、第1基板100のレイアウト例を示し、図11は、第2基板120のレイアウト例を示す。
図10に示すように、第1基板100には、図1に示すイメージセンサ10の構成において、撮像部11の画素アレイ部101が配置されている。なお、第1基板100に光学系104の一部又は全部を搭載する場合には、画素アレイ部101と対応する位置に設けられる。
一方、図11に示すように、第2基板120には、図1に示すイメージセンサ10の構成において、ADC17と、コントロール部12と、信号処理部13と、DSP14と、メモリ15とが配置されている。なお、第1のレイアウト例では、メモリ15がメモリ15Aとメモリ15Bとの2つの領域に分かれている。同様に、ADC17がADC17AとDAC(Digital−to−Analog Converter)17Bとの2つの領域に分かれている。DAC17Bは、ADC17AへAD変換用の参照電圧を供給する構成であり、広い意味でADC17の一部に含まれる構成である。また、図10には図示されていないが、セレクタ16も第2基板120に配置されている。
上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等(以下、診断支援システムと称する)に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするWSI(Whole Slide Imaging)システムであってもよい。
(1)
画像データを取得する撮像部と、
前記画像データまたは前記画像データに基づくデータに対して、ニューラルネットワーク計算モデルに基づいて特定領域を抽出する処理を実行する処理部と、
前記特定領域に基づいて加工された画像データ、又は、前記特定領域に基づいて前記撮像部から読み出された画像データを出力する出力部と、
を有する固体撮像装置。
(2)
前記処理部は、学習済みの学習モデルを用いた演算処理によって、前記画像データから加工対象となる前記特定領域を抽出する
前記(1)記載の固体撮像装置。
(3)
前記処理部は、前記特定領域に対して、マスキング処理、モザイク処理、または、アバター化処理を実行して、前記加工された画像データを生成する
前記(1)または(2)に記載の固体撮像装置。
(4)
前記処理部は、前記画像データから前記特定領域に該当する部分画像データを抽出する
前記(1)に記載の固体撮像装置。
(5)
前記出力部は、前記部分画像データを外部へ出力する
前記(4)に記載の固体撮像装置。
(6)
前記出力部は、前記処理部で抽出された前記特定領域の部分画像データを前記加工された画像データ又は前記撮像部から読み出された前記画像データとして外部へ出力する
前記(1)から(5)のいずれかに記載の固体撮像装置。
(7)
前記出力部は、前記処理部で抽出された前記特定領域以外の画像データを前記加工された画像データ又は前記撮像部から読み出された前記画像データとして外部へ出力する
前記(1)から(5)のいずれかに記載の固体撮像装置。
(8)
前記撮像部からの画像データの読み出しを制御する制御部をさらに備え、
前記制御部は、前記特定領域に該当する部分画像データを前記撮像部から読み出す
前記(1)から(7)のいずれかに記載の固体撮像装置。
(9)
前記撮像部からの画像データの読み出しを制御する制御部をさらに備え、
前記制御部は、前記特定領域を含まない画像データを前記撮像部から読み出す
前記(1)から(7)のいずれかに記載の固体撮像装置。
(10)
前記特定領域は、人物の顔、目、鼻、口、窓及び表札のうち少なくとも1つを含む領域である
前記(1)から(9)のいずれかに記載の固体撮像装置。
(11)
前記撮像部は、撮像された画像の読み出しの際に、読み出し対象の単位画素を間引いて読み出し、前記画像データを取得し、
前記処理部は、前記間引かれた画像データから前記特定領域を抽出する
前記(1)から(10)のいずれかに記載の固体撮像装置。
(12)
画像データを取得する撮像部と、前記画像データに基づくデータに対して、ニューラルネットワーク計算モデルに基づいて特定領域を抽出する処理を実行する処理部と、前記特定領域に基づいて加工された前記画像データ、又は、前記特定領域に基づいて前記撮像部から読み出された画像データを出力する出力部とを有する固体撮像装置と、
前記固体撮像装置から出力された前記加工された画像データ、又は、前記撮像部から読み出された画像データに対してアプリケーションによる処理を実行する制御装置と
を有する電子機器。
10 イメージセンサ
11 撮像部
12 コントロール部
13 信号処理部
14 DSP
15 メモリ
16 セレクタ
20 アプリケーションプロセッサ
30 クラウドサーバ
Claims (8)
- 第1基板と、
前記第1基板に貼り合わされた第2基板と、
を備え、
前記第1基板は、
複数の単位画素が2次元マトリクス状に配列された画素アレイ部と、
少なくとも前記第1基板における第1辺側に設けられ、前記画素アレイ部と電気的に接続された貫通配線と、
を備え、
前記第2基板は、
少なくとも前記第1基板と貼り合わされた状態の前記第2基板において前記第1辺側と同じ側に位置する第2辺側に設けられ、前記貫通配線と電気的に接続された配線と、
前記配線と電気的に接続され、前記画素アレイ部から出力されるアナログの画素信号をデジタルの画像データへ変換する変換器と、
前記画像データに対して前処理を実行する信号処理部と、
前記前処理が実行された画像データ又は前記画像データに基づくデータに対して、ニューラルネットワーク計算モデルに基づいて特定領域を抽出し、抽出された前記特定領域と対応する領域を加工する処理を実行する処理部と、
前記処理部によって前記特定領域と対応する前記領域が加工された画像データを出力する出力部と、
前記画素アレイ部からの前記画素信号の読出を制御するコントロール部と、
を備え、
前記変換器の少なくとも一部は、前記第2基板における前記第2辺側に配置され、
前記処理部は、前記第2基板における前記第2辺とは反対の第3辺側に配置され、
前記信号処理部は、前記変換器と前記処理部との間に配置され、
前記コントロール部は、前記第2基板において、前記変換器と前記処理部との間に配置される、
固体撮像装置。 - 前記処理部は、前記特定領域に対して、マスキング処理、モザイク処理、または、アバター化処理を実行して、前記加工された画像データを生成する
請求項1に記載の固体撮像装置。 - 前記処理部は、学習済みの学習モデルを用いた演算処理によって、前記画像データから加工対象となる前記特定領域を抽出する
請求項1又は2に記載の固体撮像装置。 - 前記処理部は、前記画像データから前記特定領域に該当する部分画像データを抽出する
請求項1〜3の何れか1項に記載の固体撮像装置。 - 前記出力部は、前記部分画像データを外部へ出力する
請求項4に記載の固体撮像装置。 - 前記出力部は、前記処理部で抽出された前記特定領域以外の画像データを前記加工された画像データとして外部へ出力する
請求項1〜5の何れか1項に記載の固体撮像装置。 - 前記特定領域は、人物の顔、目、鼻、口、窓及び表札のうち少なくとも1つを含む領域である
請求項1〜6の何れか1項に記載の固体撮像装置。 - 請求項1に記載の固体撮像装置と、
前記出力部から出力された前記加工された画像データに対してアプリケーションによる処理を実行する制御装置と
を有し、
前記変換器の少なくとも一部は、前記第2基板における前記第2辺側に配置され、
前記処理部は、前記第2基板における前記第2辺とは反対の第3辺側に配置され、
前記信号処理部は、前記変換器と前記処理部との間に配置され、
前記コントロール部は、前記第2基板において、前記変換器と前記処理部との間に配置される、
電子機器。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/029715 WO2020027074A1 (ja) | 2018-07-31 | 2019-07-29 | 固体撮像装置および電子機器 |
US17/251,953 US11820289B2 (en) | 2018-07-31 | 2019-07-29 | Solid-state imaging device and electronic device |
KR1020217001367A KR20210030359A (ko) | 2018-07-31 | 2019-07-31 | 촬상 장치 및 차량 제어 시스템 |
PCT/JP2019/030097 WO2020027233A1 (ja) | 2018-07-31 | 2019-07-31 | 撮像装置及び車両制御システム |
US17/263,116 US11643014B2 (en) | 2018-07-31 | 2019-07-31 | Image capturing device and vehicle control system |
CN201980049011.XA CN112544073A (zh) | 2018-07-31 | 2019-07-31 | 摄像装置以及车辆控制系统 |
EP19843827.7A EP3833005A4 (en) | 2018-07-31 | 2019-07-31 | IMAGING DEVICE AND VEHICLE CONTROL SYSTEM |
US18/190,485 US20230234503A1 (en) | 2018-07-31 | 2023-03-27 | Image capturing device and vehicle control system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018144173 | 2018-07-31 | ||
JP2018144173 | 2018-07-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109273A Division JP7090666B2 (ja) | 2018-07-31 | 2020-06-25 | 固体撮像装置、電子機器及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020025261A JP2020025261A (ja) | 2020-02-13 |
JP6725733B2 true JP6725733B2 (ja) | 2020-07-22 |
Family
ID=69619054
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139196A Active JP6725733B2 (ja) | 2018-07-31 | 2019-07-29 | 固体撮像装置および電子機器 |
JP2019140197A Active JP6776414B2 (ja) | 2018-07-31 | 2019-07-30 | 固体撮像装置及び撮像装置 |
JP2020109273A Active JP7090666B2 (ja) | 2018-07-31 | 2020-06-25 | 固体撮像装置、電子機器及び制御方法 |
JP2022024324A Active JP7414869B2 (ja) | 2018-07-31 | 2022-02-18 | 固体撮像装置、電子機器及び固体撮像装置の制御方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019140197A Active JP6776414B2 (ja) | 2018-07-31 | 2019-07-30 | 固体撮像装置及び撮像装置 |
JP2020109273A Active JP7090666B2 (ja) | 2018-07-31 | 2020-06-25 | 固体撮像装置、電子機器及び制御方法 |
JP2022024324A Active JP7414869B2 (ja) | 2018-07-31 | 2022-02-18 | 固体撮像装置、電子機器及び固体撮像装置の制御方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11820289B2 (ja) |
EP (1) | EP3833005A4 (ja) |
JP (4) | JP6725733B2 (ja) |
KR (1) | KR20210030359A (ja) |
CN (1) | CN112544073A (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11820289B2 (en) * | 2018-07-31 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic device |
US20200191952A1 (en) * | 2018-12-13 | 2020-06-18 | Saddleye Inc. | Vehicle and object detection system |
US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
US11888002B2 (en) | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
EP3772854A1 (en) * | 2019-08-08 | 2021-02-10 | Thinkware Corporation | Server and method for providing connected service |
CN114208154A (zh) * | 2019-09-24 | 2022-03-18 | 索尼半导体解决方案公司 | 成像装置 |
US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
US11125575B2 (en) * | 2019-11-20 | 2021-09-21 | Here Global B.V. | Method and apparatus for estimating a location of a vehicle |
CN111191325B (zh) * | 2019-12-24 | 2023-06-23 | 中国航空工业集团公司西安飞机设计研究所 | 一种基于SysML的飞机直接机务准备建模方法 |
US11606206B2 (en) | 2020-01-09 | 2023-03-14 | Western Digital Technologies, Inc. | Recovery key for unlocking a data storage device |
US11895412B2 (en) | 2020-03-10 | 2024-02-06 | Sony Semiconductor Solutions Corporation | Imaging device and imaging method |
US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
CN113744117A (zh) * | 2020-05-29 | 2021-12-03 | Oppo广东移动通信有限公司 | 多媒体处理芯片、电子设备及动态图像处理方法 |
KR20220026656A (ko) * | 2020-08-25 | 2022-03-07 | 현대모비스 주식회사 | 차량의 주행 제어 시스템 및 방법 |
US20240089577A1 (en) * | 2021-01-29 | 2024-03-14 | Sony Group Corporation | Imaging device, imaging system, imaging method, and computer program |
JP2022133769A (ja) * | 2021-03-02 | 2022-09-14 | 本田技研工業株式会社 | 車両制御装置、及び車両制御方法 |
JP2022152980A (ja) * | 2021-03-29 | 2022-10-12 | ソニーグループ株式会社 | 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム |
CN113348421B (zh) * | 2021-04-28 | 2023-02-28 | 华为技术有限公司 | 摄像设备、数据采集系统及方法 |
US11706546B2 (en) * | 2021-06-01 | 2023-07-18 | Sony Semiconductor Solutions Corporation | Image sensor with integrated single object class detection deep neural network (DNN) |
CN113411476A (zh) * | 2021-06-10 | 2021-09-17 | 蔚来汽车科技(安徽)有限公司 | 图像传感器控制装置、方法、存储介质和可移动对象 |
US11763417B2 (en) * | 2021-11-19 | 2023-09-19 | Renesas Electronics Corporation | Semiconductor device and image processing system for processing regions of interest images |
WO2023146969A1 (en) * | 2022-01-26 | 2023-08-03 | Meta Platforms Technologies, Llc | On-sensor image processor utilizing contextual data |
WO2023188685A1 (ja) * | 2022-03-28 | 2023-10-05 | 本田技研工業株式会社 | 演算処理装置 |
WO2023188806A1 (ja) * | 2022-03-31 | 2023-10-05 | ソニーグループ株式会社 | センサ装置 |
Family Cites Families (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6839452B1 (en) * | 1999-11-23 | 2005-01-04 | California Institute Of Technology | Dynamically re-configurable CMOS imagers for an active vision system |
CN100527792C (zh) * | 2006-02-07 | 2009-08-12 | 日本胜利株式会社 | 摄像方法以及摄像装置 |
US7972045B2 (en) * | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
EP2157781B1 (en) | 2007-06-22 | 2013-08-07 | Panasonic Corporation | Camera device and imaging method |
US8699760B2 (en) * | 2008-09-16 | 2014-04-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US8417046B1 (en) * | 2008-11-10 | 2013-04-09 | Marvell International Ltd. | Shadow and highlight image enhancement |
JP5057184B2 (ja) | 2010-03-31 | 2012-10-24 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び車両制御システム |
CN102236883A (zh) * | 2010-04-27 | 2011-11-09 | 株式会社理光 | 图像增强方法和装置、物体检测方法和装置 |
WO2014002086A2 (en) * | 2012-06-26 | 2014-01-03 | Eyeconit Ltd. | Image mask providing a machine-readable data matrix code |
CN104685840A (zh) * | 2012-09-27 | 2015-06-03 | 日本电气株式会社 | 用于传输图像信息的方法和分组通信系统 |
WO2014080613A1 (ja) * | 2012-11-22 | 2014-05-30 | 日本電気株式会社 | 色補正装置、色補正方法および色補正用プログラム |
JP6141160B2 (ja) * | 2013-09-25 | 2017-06-07 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子およびその動作方法、並びに電子機器およびその動作方法 |
JP2015149691A (ja) * | 2014-02-10 | 2015-08-20 | ソニー株式会社 | 画像補正装置、画像補正方法、及び、撮像装置 |
CN112839169B (zh) | 2014-05-29 | 2023-05-09 | 株式会社尼康 | 驾驶辅助装置及摄像装置 |
US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
US9483851B2 (en) * | 2014-07-14 | 2016-11-01 | General Electric Company | Systems and methods for filtering for image generation |
JP6462328B2 (ja) * | 2014-11-18 | 2019-01-30 | 日立オートモティブシステムズ株式会社 | 走行制御システム |
US20160259980A1 (en) * | 2015-03-03 | 2016-09-08 | Umm Al-Qura University | Systems and methodologies for performing intelligent perception based real-time counting |
ES2891150T3 (es) * | 2015-05-06 | 2022-01-26 | Reactive Reality Ag | Método y sistema para producir imágenes de salida |
WO2017035661A1 (en) * | 2015-09-02 | 2017-03-09 | Irystec Software Inc. | System and method for real-time tone-mapping |
DE102015224806B4 (de) * | 2015-12-10 | 2018-01-18 | Siemens Healthcare Gmbh | Verfahren zum Darstellen einer ersten Struktur einer Körperregion mittels digitaler Subtraktionsangiographie, Auswerteeinrichtung sowie Angiographiesystem |
US9766803B2 (en) * | 2015-12-31 | 2017-09-19 | Futurewei Technologies, Inc. | Mobile device camera viewfinder punch through effect |
JP6736916B2 (ja) | 2016-03-02 | 2020-08-05 | 株式会社リコー | 情報処理装置、情報処理方法、及びプログラム |
US10325351B2 (en) * | 2016-03-11 | 2019-06-18 | Qualcomm Technologies, Inc. | Systems and methods for normalizing an image |
CN109076163B (zh) | 2016-04-27 | 2021-08-31 | 索尼公司 | 成像控制装置、成像控制方法以及成像装置 |
US10764713B2 (en) * | 2016-05-11 | 2020-09-01 | Here Global B.V. | Map based feedback loop for vehicle observation |
WO2017204886A1 (en) * | 2016-05-23 | 2017-11-30 | Massachusetts Institute Of Technology | System and method for providing real-time super-resolution for compressed videos |
JP6740756B2 (ja) * | 2016-07-04 | 2020-08-19 | 株式会社ニコン | 撮像装置および自動車 |
US10467459B2 (en) * | 2016-09-09 | 2019-11-05 | Microsoft Technology Licensing, Llc | Object detection based on joint feature extraction |
KR102374013B1 (ko) | 2016-09-16 | 2022-03-11 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 장치 및 전자 기기 |
US9883112B1 (en) * | 2016-09-22 | 2018-01-30 | Pinnacle Imaging Corporation | High dynamic range imaging |
US10650249B2 (en) * | 2016-10-25 | 2020-05-12 | Shenzhen University | Method and device for counting pedestrians based on identification of head top of human body |
JP6690506B2 (ja) * | 2016-11-17 | 2020-04-28 | トヨタ自動車株式会社 | 車両の車線内走行支援装置 |
JP2018098684A (ja) * | 2016-12-15 | 2018-06-21 | 住友電気工業株式会社 | スイッチ装置、通信制御方法および通信制御プログラム |
KR20180105294A (ko) * | 2017-03-14 | 2018-09-28 | 한국전자통신연구원 | 이미지 압축 장치 |
JP6558387B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像解析装置、画像解析方法、及び画像解析プログラム |
US10096109B1 (en) * | 2017-03-31 | 2018-10-09 | The Board Of Trustees Of The Leland Stanford Junior University | Quality of medical images using multi-contrast and deep learning |
JP6539304B2 (ja) * | 2017-06-06 | 2019-07-03 | 株式会社Subaru | 車両の走行制御装置 |
US10565757B2 (en) * | 2017-06-09 | 2020-02-18 | Adobe Inc. | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
CN107679531A (zh) * | 2017-06-23 | 2018-02-09 | 平安科技(深圳)有限公司 | 基于深度学习的车牌识别方法、装置、设备及存储介质 |
EP3648671B1 (en) * | 2017-07-04 | 2023-12-06 | EOS Imaging | Method of radiography of an organ of a patient |
US11521301B2 (en) * | 2017-09-22 | 2022-12-06 | Hoffman-La Roche, Inc. | Artifacts removal from tissue images |
KR102495359B1 (ko) * | 2017-10-27 | 2023-02-02 | 삼성전자주식회사 | 객체 트래킹 방법 및 장치 |
US10921142B2 (en) * | 2017-12-14 | 2021-02-16 | Waymo Llc | Methods and systems for sun-aware vehicle routing |
JP7213616B2 (ja) * | 2017-12-26 | 2023-01-27 | 株式会社Preferred Networks | 情報処理装置、情報処理プログラム及び情報処理方法。 |
JP7383371B2 (ja) * | 2018-02-28 | 2023-11-20 | キヤノン株式会社 | 画像処理装置 |
US11507800B2 (en) * | 2018-03-06 | 2022-11-22 | Adobe Inc. | Semantic class localization digital environment |
FR3078852B1 (fr) * | 2018-03-07 | 2020-04-03 | Centre National De La Recherche Scientifique (Cnrs) | Procede de reconstruction d'une image couleur acquise par un capteur recouvert d'une mosaique de filtres couleurs |
RU2716322C2 (ru) * | 2018-03-23 | 2020-03-11 | Общество с ограниченной ответственностью "Аби Продакшн" | Репродуцирующая аугментация данных изображения |
US10671855B2 (en) * | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
WO2019207350A1 (ru) * | 2018-04-28 | 2019-10-31 | Алмаленс Инк. | Оптическая система гибридной реальности с цифровой коррекцией аберраций |
CN109191515B (zh) * | 2018-07-25 | 2021-06-01 | 北京市商汤科技开发有限公司 | 一种图像视差估计方法及装置、存储介质 |
US11820289B2 (en) * | 2018-07-31 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Solid-state imaging device and electronic device |
KR20200050582A (ko) | 2018-11-02 | 2020-05-12 | 삼성전자주식회사 | 디스플레이의 동작 모드에 기반하여 터치 데이터의 보상을 결정하는 방법 및 장치 |
CN109816615B (zh) * | 2019-03-06 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像修复方法、装置、设备以及存储介质 |
CN110399849B (zh) * | 2019-07-30 | 2021-07-27 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
-
2019
- 2019-07-29 US US17/251,953 patent/US11820289B2/en active Active
- 2019-07-29 JP JP2019139196A patent/JP6725733B2/ja active Active
- 2019-07-30 JP JP2019140197A patent/JP6776414B2/ja active Active
- 2019-07-31 KR KR1020217001367A patent/KR20210030359A/ko not_active Application Discontinuation
- 2019-07-31 US US17/263,116 patent/US11643014B2/en active Active
- 2019-07-31 EP EP19843827.7A patent/EP3833005A4/en active Pending
- 2019-07-31 CN CN201980049011.XA patent/CN112544073A/zh active Pending
-
2020
- 2020-06-25 JP JP2020109273A patent/JP7090666B2/ja active Active
-
2022
- 2022-02-18 JP JP2022024324A patent/JP7414869B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20210030359A (ko) | 2021-03-17 |
JP2020182219A (ja) | 2020-11-05 |
US11643014B2 (en) | 2023-05-09 |
JP2022081504A (ja) | 2022-05-31 |
US20210152732A1 (en) | 2021-05-20 |
EP3833005A4 (en) | 2021-08-18 |
JP7414869B2 (ja) | 2024-01-16 |
US20210264192A1 (en) | 2021-08-26 |
US11820289B2 (en) | 2023-11-21 |
JP2020025261A (ja) | 2020-02-13 |
EP3833005A1 (en) | 2021-06-09 |
JP7090666B2 (ja) | 2022-06-24 |
CN112544073A (zh) | 2021-03-23 |
JP6776414B2 (ja) | 2020-10-28 |
JP2020025265A (ja) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6725733B2 (ja) | 固体撮像装置および電子機器 | |
JP6705044B2 (ja) | 積層型受光センサ及び車載撮像装置 | |
WO2020090509A1 (ja) | 積層型受光センサ及び電子機器 | |
WO2020027233A1 (ja) | 撮像装置及び車両制御システム | |
US11962916B2 (en) | Imaging device with two signal processing circuitry partly having a same type of signal processing, electronic apparatus including imaging device, and imaging method | |
WO2020045539A1 (ja) | 固体撮像装置、情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP7423491B2 (ja) | 固体撮像装置及び車両制御システム | |
WO2021075321A1 (ja) | 撮像装置、電子機器及び撮像方法 | |
US20240021646A1 (en) | Stacked light-receiving sensor and in-vehicle imaging device | |
WO2020027161A1 (ja) | 積層型受光センサ及び電子機器 | |
WO2020027074A1 (ja) | 固体撮像装置および電子機器 | |
US20240080546A1 (en) | Imaging apparatus and electronic equipment | |
WO2021075292A1 (ja) | 受光装置、電子機器及び受光方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6725733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |