WO2021033250A1 - 画像処理装置、撮像装置、システム、画像処理方法およびプログラム - Google Patents
画像処理装置、撮像装置、システム、画像処理方法およびプログラム Download PDFInfo
- Publication number
- WO2021033250A1 WO2021033250A1 PCT/JP2019/032342 JP2019032342W WO2021033250A1 WO 2021033250 A1 WO2021033250 A1 WO 2021033250A1 JP 2019032342 W JP2019032342 W JP 2019032342W WO 2021033250 A1 WO2021033250 A1 WO 2021033250A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- time stamp
- event signal
- inverse filter
- motion
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000033001 locomotion Effects 0.000 claims abstract description 90
- 230000008859 change Effects 0.000 claims abstract description 27
- 230000001360 synchronised effect Effects 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00167—Processing or editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00169—Digital image input
- H04N1/00172—Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Definitions
- the present invention relates to an image processing device, an imaging device, a system, an image processing method and a program.
- An event-driven vision sensor is known in which pixels that detect changes in the intensity of incident light generate signals asynchronously in time.
- the event-driven vision sensor is advantageous in that it can operate at low power and high speed compared to a frame-type vision sensor that scans all pixels at predetermined cycles, specifically, an image sensor such as a CCD or CMOS. Is. Techniques for such an event-driven vision sensor are described in, for example, Patent Document 1 and Patent Document 2.
- the present invention provides an image processing device, an imaging device, a system, an image processing method, and a program capable of obtaining an advantageous effect by using an event-driven vision sensor in combination with a frame-type vision sensor. The purpose.
- a first time stamp given to an image captured by a synchronous scan an event signal generated in response to a change in light intensity at one or more pixels of the image, and.
- a motion estimation unit that estimates the movement of the subject in the image based on the second time stamp that is given to the event signal and synchronizes with the first time stamp, and an inverse filter generation unit that generates an inverse filter based on the motion.
- An image processing apparatus includes a filter application unit that applies an inverse filter to an image.
- Another aspect of the invention includes a first vision sensor that captures an image by synchronous scanning and gives the image a first time stamp, and a sensor associated with one or more pixels of the image.
- an imaging device comprising a second vision sensor that generates an event signal when the sensor detects a change in light intensity and gives the event signal a second time stamp that is synchronized with the first time stamp. ..
- a first vision sensor that captures an image by synchronous scanning and gives the image a first time stamp and a sensor associated with one or more pixels of the image.
- a second vision sensor including a second vision sensor, which generates an event signal when the sensor detects a change in light intensity and gives the event signal a second time stamp that synchronizes with the first time stamp.
- a motion estimation unit that estimates the movement of the subject in the image based on the event signal and the second time stamp, an inverse filter generator that generates an inverse filter based on the motion, and a filter application unit that applies the inverse filter to the image.
- a system including an image processing device is provided.
- the senor comprises a step of capturing an image by synchronous scanning and giving the image a first time stamp and a sensor associated with one or more pixels of the image.
- An image processing method is provided that includes a step of estimating the movement of the subject in the image based on the stamp, a step of generating an inverse filter based on the movement, and a step of applying the inverse filter to the image.
- a first time stamp given to an image captured by a synchronous scan an event signal generated in response to a change in light intensity at one or more pixels of the image.
- a function to estimate the movement of the subject in the image based on the second time stamp synchronized with the first time stamp given to the event signal a function to generate an inverse filter based on the movement, and an inverse filter.
- a program is provided to realize the function applied to the image on the computer.
- FIG. 1 is a block diagram showing a schematic configuration of a system according to an embodiment of the present invention.
- the system 10 includes an RGB camera 100, an EDS (Event Driven Sensor) 200, and an image processing device 300.
- the RGB camera 100 is an example of a first vision sensor that captures an image by synchronous scanning, and includes an image sensor 110 and a processing circuit 120 connected to the image sensor 110.
- the image sensor 110 captures an RGB image 101 by synchronously scanning all pixels, for example, at a predetermined cycle or at a predetermined timing according to a user operation.
- the processing circuit 120 converts, for example, the RGB image 101 into a format suitable for storage and transmission. Further, the processing circuit 120 gives a time stamp 102 to the RGB image 101.
- the processing circuit 120 gives the RGB image 101 a time stamp 102 indicating at least one of the start or end of scanning by the image sensor 110. For example, in the case of a still image, the time from the start to the end of scanning is also called the exposure time.
- the EDS 200 is an example of a second vision sensor that generates an event signal when the sensor detects a change in light intensity, and includes a sensor 210 constituting a sensor array and a processing circuit 220 connected to the sensor 210. ..
- the sensor 210 includes a light receiving element and generates an event signal 201 when an intensity change of incident light, more specifically, a change in brightness is detected. Since the sensor 210 that has not detected the change in the intensity of the incident light does not generate the event signal 201, the event signal 201 is generated asynchronously in time in the EDS 200.
- the event signal 201 output via the processing circuit 220 includes identification information of the sensor 210 (for example, the position of a pixel), the polarity of the luminance change (increasing or decreasing), and the time stamp 202.
- the time stamp 102 given to the RGB image 101 and the time stamp 202 given to the event signal 201 are synchronized.
- the time stamp 102 can be synchronized with the time stamp 202 by providing the RGB camera 100 with the time information used to generate the time stamp 202 in the EDS 200.
- the time information for generating the time stamps 102 and 202 is independent for the RGB cameras 100 and the EDS 200
- the time when a specific event (for example, a change in the subject over the entire image) occurs is used as a reference.
- the time stamp 102 and the time stamp 202 can be synchronized after the fact.
- the senor 210 of the EDS 200 is associated with one or a plurality of pixels of the RGB image 101 by the calibration procedure of the RGB camera 100 and the EDS 200 executed in advance, and the event signal 201 is the RGB image 101. It is generated according to the change in light intensity in one or more pixels of.
- FIG. 2 is a diagram for schematically explaining calibration between a camera and a sensor according to an embodiment of the present invention.
- the common calibration pattern 21 is imaged by the RGB camera 100 and the EDS200 (in the case of the EDS200, the calibration pattern can be imaged by blinking the entire region of the calibration pattern 21 using, for example, the light source 22).
- the sensor 210 can be associated with one or more pixels of the RGB image 101 by calculating the corresponding parameters between the cameras and sensors from the internal and external parameters of the RGB camera 100 and the EDS 200, respectively.
- an imaging device that combines an RGB camera 100 and an EDS 200 that have been subjected to the above-mentioned time stamp synchronization and calibration procedures in advance may be provided.
- FIG. 3 is a diagram for explaining an example of matching between an image and an event signal in one embodiment of the present invention.
- the RGB image 101 captured by the RGB camera 100 and the event signal 201 output from the EDS 200 at the time corresponding to the scanning of the RGB image 101 are arranged at the pixel positions. ..
- the event signal 201 is associated with one or more pixels of the RGB image 101 as shown in FIG. That is, the event signal 201 can be superimposed on the RGB image 101.
- the image processor 300 is implemented by, for example, a computer having a communication interface, a processor, and a memory, and the processor operates according to a program stored in the memory or received via the communication interface. It includes the functions of the motion estimation unit 310, the inverse filter generation unit 320, and the filter application unit 330 realized by the above. The functions of each part will be further described below.
- the motion estimation unit 310 estimates the motion of the subject in the RGB image 101 based on the time stamp 102 given to the RGB image 101, the event signal 201, and the time stamp 202 given to the event signal 201.
- the motion estimation unit 310 can estimate the motion of the subject in the RGB image 101 based on the event signal 201 without referring to the RGB image 101 itself.
- the motion estimation unit 310 is a motion region in which the movement of the subject has occurred in the RGB image 101 from the position change in the time series of the pixels indicating that the luminance change has occurred due to the event signal 201, for example, as in the example described later. And a motion vector indicating the movement of the subject in the RGB image 101 can be estimated.
- the motion estimation unit 310 estimates motion based on an event signal 201 having a time stamp 202 included in the time from the start to the end of the scan for capturing the RGB image 101.
- the time from the start to the end of the scan is specified by, for example, two time stamps given to the RGB image 101.
- the time from the start to the end of the scan can be specified. Can be done.
- an inverse filter generated based on the movement of the subject generated during the time from the start to the end of scanning the influence of blurring generated in the RGB image 101 due to the movement of the subject is reduced. can do.
- the inverse filter generation unit 320 generates the inverse filter 321 based on the movement of the subject in the RGB image 101 estimated by the motion estimation unit 310.
- the inverse filter causes the RGB image 101 to be an image of the original subject by causing a change (filter) opposite to the change (filter) from the original image of the subject caused by the movement of the subject in the RGB image 101. It is a filter intended to be close to.
- the filter application unit 330 applies the inverse filter 321 to the RGB image 101 to obtain an output image 331. As will be described later, the filter application unit 330 separately provides the RGB image 101 with a filter for compensating for the change caused in the RGB image 101 by applying the inverse filter 321 (for example, filling a blank area by stretching the background). May be applied.
- FIGS. 4A-4D are diagrams for explaining motion estimation and an inverse filter based on an event signal in one embodiment of the present invention.
- the subject obj is captured in the RGB image 101. Since the subject OBj moved during the scan by the image sensor 110, blurring occurred in the RGB image 101 as shown in FIG. 4A, and the image of the subject obj was stretched.
- the event signal 201 immediately after the start of the scanning of the RGB image 101 is an event occurs in the pixel group P 1, which is moved slowly (pixel group P 2, ... , P n-1 ), indicating that an event occurred in the pixel group P n immediately before the end of the scan.
- the motion estimation unit 310 estimates the motion region R and the motion vector V in the RGB image 101 as shown in FIG. 4C.
- the motion region R is an region including the pixel groups P 1 , P 2 , ..., P n-1 , P n in which an event occurred between the start and the end of the scan (blurred and stretched).
- the motion vector V is a vector for moving each pixel in the pixel group P n corresponding to the end point of the motion of each pixel of the pixel group P 1 corresponding to the start of the movement.
- the motion estimation unit 310 uses the RGB image 101 to estimate the motion region R and the motion vector V. You do not have to refer to it.
- the inverse filter generation unit 320 When the motion region R and the motion vector V are estimated as described above, the inverse filter generation unit 320 generates an inverse filter 321 that obtains an output image 331 as shown in FIG. 4D by applying it to the RGB image 101. ..
- the inverse filter 321 acts in a limited way on the pixels in the motion region R to cancel the motion vector V. Specifically, the inverse filter 321 moves the pixels in the motion region R by the vector ⁇ kV obtained by multiplying the inverse vector ⁇ V of the motion vector V by the coefficient k.
- the coefficient k is gradually increased so as to be 0 at the start point (pixel group P 1 ) of the motion vector V and 1 at the end point (pixel group P n), for example.
- the stretched image of the subject obj is compressed to the original size, and the influence of the blur caused by the movement of the subject obj is reduced.
- the motion estimation unit 310 of the image processing apparatus 300 estimates the motion of the subject in the RGB image 101 from the event signal 201. Since the event signal 201 is generated only when a change in light intensity is detected in one or a plurality of pixels of the RGB image 101, for example, the pixels of a plurality of RGB images 101 that are continuous in time are compared with each other to move. The processing speed can be increased as compared with the case of estimating. Further, since the inverse filter 321 generated by the inverse filter generation unit 320 acts only on the motion region R of the RGB image 101, for example, when the filter is applied to the entire RGB image 101 including the region other than the motion region R. In comparison, the occurrence of artifacts can be suppressed.
- the system 10 described in the above example may be mounted in a single device, or may be mounted in a plurality of devices in a distributed manner.
- the RGB image 101 acquired by the RGB camera 100 and the event signal 201 acquired by the EDS 200 are stored in the memory together with the time stamps 102 and 202, and the motion estimation by the image processing device 300 and the inverse filter 321 as post-processing. And the application of the inverse filter 321 may be performed.
- the processing up to the generation of the inverse filter 321 in the image processing apparatus 300 may be executed, and the inverse filter 321 may be saved together with the RGB image 101.
- the output image 331 may be generated by applying the inverse filter 321 to the RGB image 101 according to, for example, a user operation.
- an inverse filter 321 is generated that compresses the image of the subject obj that is stretched due to blurring toward the start point side of the motion vector V, but in other examples, the subject is An inverse filter 321 that compresses the image of obj to the end point side of the motion vector V or to the intermediate point may be generated. Further, the inverse filter 321 generated based on the event signal 201 is not limited to the above example, and for example, various filters known as filters for reducing the influence of blurring caused by the movement of the subject are used. be able to.
- the motion estimation unit 310 estimates the motion region R of the RGB image 101, and the inverse filter generation unit 320 generates the inverse filter 321 that acts exclusively on the motion region R, so that the RGB image, for example, The occurrence of artifacts can be suppressed as compared with the case where the filter is applied to the entire 101.
- FIG. 5 is a flowchart showing an example of an image processing method according to an embodiment of the present invention.
- the RGB camera 100 captures the RGB image 101 (step S101), and at the same time, the EDS 200 generates the event signal 201 (step S102).
- the step S102 for generating the event signal 201 is executed only when the sensor 210 associated with one or a plurality of pixels of the RGB image 101 detects a change in light intensity.
- a time stamp 102 is given to the RGB image 101 (step S103), and a time stamp 202 is given to the event signal (step S104).
- the motion estimation unit 310 estimates the motion of the subject in the RGB image 101 based on the time stamp 102 of the RGB image 101, the event signal 201, and the time stamp 202 of the event signal 201 (step S105).
- the inverse filter generation unit 320 generates an inverse filter 321 based on the estimated motion (step S106), and the filter application unit 330 applies the inverse filter 321 to the RGB image 101 (step S107).
- 10 ... system, 100 ... RGB camera, 101 ... RGB image, 102 ... time stamp, 110 ... image sensor, 120 ... processing circuit, 201 ... event signal, 202 ... time stamp, 210 ... sensor, 220 ... processing circuit, 300 ... Image processing device, 310 ... motion estimation unit, 320 ... inverse filter generation unit, 321 ... inverse filter, 330 ... filter application unit, 331 ... output image.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
画像処理装置は、同期的なスキャンによって撮像された画像に与えられた第1のタイムスタンプ、画像の1または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、およびイベント信号に与えられ第1のタイムスタンプに同期する第2のタイムスタンプに基づいて、画像における被写体の動きを推定する動き推定部と、動きに基づいて逆フィルタを生成する逆フィルタ生成部と、逆フィルタを画像に適用するフィルタ適用部とを備える。
Description
本発明は、画像処理装置、撮像装置、システム、画像処理方法およびプログラムに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはCCDやCMOSなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献1および特許文献2に記載されている。
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、他の装置、例えばフレーム型ビジョンセンサと組み合わせた利用方法については、まだ十分に提案されているとは言いがたい。
そこで、本発明は、イベント駆動型のビジョンセンサをフレーム型ビジョンセンサと組み合わせて用いることによって有利な効果を得ることができる画像処理装置、撮像装置、システム、画像処理方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、同期的なスキャンによって撮像された画像に与えられた第1のタイムスタンプ、画像の1または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、およびイベント信号に与えられ第1のタイムスタンプに同期する第2のタイムスタンプに基づいて、画像における被写体の動きを推定する動き推定部と、動きに基づいて逆フィルタを生成する逆フィルタ生成部と、逆フィルタを画像に適用するフィルタ適用部とを備える画像処理装置が提供される。
本発明の別の観点によれば、同期的なスキャンによって画像を撮像し、画像に第1のタイムスタンプを与える第1のビジョンセンサと、画像の1または複数のピクセルに対応付けられるセンサを含み、センサが光の強度変化を検出したときにイベント信号を生成し、イベント信号に第1のタイムスタンプに同期する第2のタイムスタンプを与える第2のビジョンセンサとを備える撮像装置が提供される。
本発明のさらに別の観点によれば、同期的なスキャンによって画像を撮像し、画像に第1のタイムスタンプを与える第1のビジョンセンサと、画像の1または複数のピクセルに対応付けられるセンサを含み、センサが光の強度変化を検出したときにイベント信号を生成し、イベント信号に第1のタイムスタンプに同期する第2のタイムスタンプを与える第2のビジョンセンサと、第1のタイムスタンプ、イベント信号、および第2のタイムスタンプに基づいて画像における被写体の動きを推定する動き推定部、動きに基づいて逆フィルタを生成する逆フィルタ生成部、および逆フィルタを画像に適用するフィルタ適用部を備える画像処理装置とを含むシステムが提供される。
本発明のさらに別の観点によれば、同期的なスキャンによって画像を撮像し、画像に第1のタイムスタンプを与えるステップと、画像の1または複数のピクセルに対応付けられるセンサを含み、センサが光の強度変化を検出したときにイベント信号を生成し、イベント信号に第1のタイムスタンプに同期する第2のタイムスタンプを与えるステップと、第1のタイムスタンプ、イベント信号、および第2のタイムスタンプに基づいて画像における被写体の動きを推定するステップと、動きに基づいて逆フィルタを生成するステップと、逆フィルタを画像に適用するステップとを含む画像処理方法が提供される。
本発明のさらに別の観点によれば、同期的なスキャンによって撮像された画像に与えられた第1のタイムスタンプ、画像の1または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、およびイベント信号に与えられ第1のタイムスタンプに同期する第2のタイムスタンプに基づいて、画像における被写体の動きを推定する機能と、動きに基づいて逆フィルタを生成する機能と、逆フィルタを画像に適用する機能とをコンピュータに実現させるためのプログラムが提供される。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本発明の一実施形態に係るシステムの概略的な構成を示すブロック図である。図1に示されるように、システム10は、RGBカメラ100と、EDS(Event Driven Sensor)200と、画像処理装置300とを含む。
RGBカメラ100は、同期的なスキャンによって画像を撮像する第1のビジョンセンサの例であり、イメージセンサ110と、イメージセンサ110に接続される処理回路120とを含む。イメージセンサ110は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってRGB画像101を撮像する。処理回路120は、例えばRGB画像101を保存および伝送に適した形式に変換する。また、処理回路120は、RGB画像101にタイムスタンプ102を与える。例えば、処理回路120は、RGB画像101に、イメージセンサ110によるスキャンの開始または終了の少なくともいずれかを示すタイムスタンプ102を与える。例えば静止画像の場合、スキャンの開始から終了までの時間は露光時間とも呼ばれる。
EDS200は、センサが光の強度変化を検出したときにイベント信号を生成する第2のビジョンセンサの例であり、センサアレイを構成するセンサ210と、センサ210に接続される処理回路220とを含む。センサ210は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号201を生成する。入射する光の強度変化を検出しなかったセンサ210はイベント信号201を生成しないため、EDS200においてイベント信号201は時間非同期的に生成される。処理回路220を経て出力されるイベント信号201は、センサ210の識別情報(例えばピクセルの位置)と、輝度変化の極性(上昇または低下)と、タイムスタンプ202とを含む。
ここで、本実施形態において、RGB画像101に与えられるタイムスタンプ102と、イベント信号201に与えられるタイムスタンプ202とは同期している。具体的には、例えば、EDS200でタイムスタンプ202を生成するために用いられる時刻情報をRGBカメラ100に提供することによって、タイムスタンプ102をタイムスタンプ202に同期させることができる。あるいは、タイムスタンプ102,202を生成するための時刻情報がRGBカメラ100とEDS200とでそれぞれ独立している場合、特定のイベント(例えば、画像全体にわたる被写体の変化)が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にタイムスタンプ102とタイムスタンプ202とを同期させることができる。
また、本実施形態では、事前に実行されるRGBカメラ100とEDS200とのキャリブレーション手順によって、EDS200のセンサ210がRGB画像101の1または複数のピクセルに対応付けられ、イベント信号201はRGB画像101の1または複数のピクセルにおける光の強度変化に応じて生成される。
図2は、本発明の一実施形態におけるカメラ・センサ間のキャリブレーションについて概略的に説明するための図である。図示された例では、RGBカメラ100とEDS200とで共通の校正パターン21を撮像し(EDS200の場合、例えば光源22を用いて校正パターン21の領域全体を明滅させることによって校正パターンを撮像できる)、RGBカメラ100およびEDS200のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、RGB画像101の1または複数のピクセルにセンサ210を対応付けることができる。例えば、上記のようなタイムスタンプの同期およびキャリブレーション手順が予め実施されたRGBカメラ100およびEDS200を組み合わせた撮像装置が提供されてもよい。
図3は、本発明の一実施形態における画像とイベント信号とのマッチングの例について説明するための図である。図示された例では、RGBカメラ100で撮像されたRGB画像101と、RGB画像101のスキャンに対応する時間にEDS200から出力されたイベント信号201をピクセルの位置に配置したものとが示されている。上記で図2を参照して説明したようなカメラ・センサ間の対応パラメータを予め算出しておくことによって、図3に示されるようにRGB画像101の1または複数のピクセルにイベント信号201を対応付ける、つまりRGB画像101にイベント信号201を重ね合わせることが可能になる。
再び図1を参照して、画像処理装置300は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される動き推定部310、逆フィルタ生成部320、およびフィルタ適用部330の機能を含む。以下、各部の機能についてさらに説明する。
動き推定部310は、RGB画像101に与えられたタイムスタンプ102、イベント信号201、およびイベント信号201に与えられたタイムスタンプ202に基づいて、RGB画像101における被写体の動きを推定する。RGB画像101の被写体が動いた場合、例えば被写体のエッジ部分で発生する光の強度変化、具体的には輝度変化がイベント信号201によって検出される。つまり、本実施形態において、動き推定部310はRGB画像101そのものを参照しなくても、イベント信号201に基づいて、RGB画像101における被写体の動きを推定することができる。動き推定部310は、例えば後述する例のように、イベント信号201によって輝度変化が発生したことが示されるピクセルの時系列での位置変化から、RGB画像101において被写体の動きが発生した動き領域、およびRGB画像101における被写体の動きを示す動きベクトルを推定することができる。
具体的には、例えば、動き推定部310は、RGB画像101を撮像するためのスキャンの開始から終了までの時間に含まれるタイムスタンプ202を有するイベント信号201に基づいて動きを推定する。ここで、スキャンの開始から終了までの時間は、例えばRGB画像101に与えられた2つのタイムスタンプによって特定される。あるいは、RGB画像101にスキャンの開始または終了のいずれかを示すタイムスタンプしか与えられない場合であっても、スキャンの継続時間が既知であれば、スキャンの開始から終了までの時間を特定することができる。後述するように、例えばスキャンの開始から終了までの時間に発生した被写体の動きに基づいて生成した逆フィルタを適用することによって、被写体の動きによってRGB画像101に発生しているボケの影響を低減することができる。
逆フィルタ生成部320は、動き推定部310が推定したRGB画像101における被写体の動きに基づいて逆フィルタ321を生成する。ここで、逆フィルタは、被写体の動きによってRGB画像101に生じた本来の被写体の像からの変化(フィルタ)とは逆の変化(フィルタ)を生じさせることによってRGB画像101を本来の被写体の像に近づけることを意図したフィルタである。フィルタ適用部330は、逆フィルタ321をRGB画像101に適用して出力画像331を得る。後述するように、フィルタ適用部330は、逆フィルタ321の適用によってRGB画像101に生じた変化を補償する(例えば、空白領域を背景を引き伸ばすことによって埋める)ためのフィルタを、別途RGB画像101に適用してもよい。
図4A~図4Dは、本発明の一実施形態におけるイベント信号に基づく動きの推定および逆フィルタについて説明するための図である。図示された例では、RGB画像101において被写体objが捉えられている。イメージセンサ110によるスキャンの間に被写体objが移動したため、図4Aに示すようにRGB画像101ではボケが発生して被写体objの像が引き伸ばされている。一方、図4Bに示すように、イベント信号201は、RGB画像101のスキャンの開始直後にはピクセル群P1でイベントが発生しており、それが徐々に移動して(ピクセル群P2,…,Pn-1)、スキャンの終了直前にはピクセル群Pnでイベントが発生していたことを示している。
この場合、動き推定部310は、図4Cに示すように、RGB画像101における動き領域Rおよび動きベクトルVを推定する。例えば動き領域Rはスキャンの開始から終了までの間にイベントが発生したピクセル群P1,P2,・・・,Pn-1,Pnを包含する領域(ボケが発生して引き伸ばされた被写体objの像に対応する)であり、動きベクトルVは動きの始点に対応するピクセル群P1の各ピクセルを動きの終点に対応するピクセル群Pnの各ピクセルに移動させるベクトルである。上述の通り、RGB画像101の1または複数のピクセルにイベント信号201を生成するセンサ210が対応付けられているため、動き推定部310は動き領域Rおよび動きベクトルVを推定するためにRGB画像101そのものを参照しなくてもよい。
上記のような動き領域Rおよび動きベクトルVが推定された場合、逆フィルタ生成部320は、RGB画像101に適用することによって図4Dに示すような出力画像331が得られる逆フィルタ321を生成する。図示された例において、逆フィルタ321は、動き領域R内のピクセルについて限定的に作用して動きベクトルVを打ち消す。具体的には、逆フィルタ321は、動き領域R内のピクセルを動きベクトルVの逆ベクトル-Vに係数kを乗じたベクトル-kVだけ移動させる。係数kは、例えば動きベクトルVの始点(ピクセル群P1)では0、終点(ピクセル群Pn)では1になるように漸増する。出力画像331では、引き伸ばされた被写体objの像が本来の大きさに圧縮され、被写体objの動きによって生じたボケの影響が低減されている。
以上で説明したような本発明の一実施形態では、画像処理装置300の動き推定部310が、RGB画像101における被写体の動きをイベント信号201から推定する。イベント信号201はRGB画像101の1または複数のピクセルで光の強度変化が検出された場合にのみ生成されるため、例えば時間的に連続する複数のRGB画像101のピクセル同士を比較して動きを推定する場合に比べて処理を高速化することができる。また、逆フィルタ生成部320が生成する逆フィルタ321はRGB画像101の動き領域Rに限定的に作用するため、例えば動き領域R以外の領域を含むRGB画像101の全体にフィルタを適用する場合に比べてアーティファクトの発生を抑制できる。
なお、上記の例で説明されたシステム10は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、RGBカメラ100で取得されるRGB画像101とEDS200で取得されるイベント信号201とが、タイムスタンプ102,202とともにメモリに保存され、後処理として画像処理装置300による動きの推定、逆フィルタ321の生成、および逆フィルタ321の適用が実行されてもよい。あるいは、RGB画像101およびイベント信号201が取得されたときに画像処理装置300における逆フィルタ321の生成までの処理が実行され、逆フィルタ321がRGB画像101とともに保存されてもよい。この場合、RGB画像101の表示時に、例えばユーザーの操作に従って逆フィルタ321をRGB画像101に適用して出力画像331が生成されてもよい。
また、上記で図4Dに示された例では、ボケが発生して引き伸ばされた被写体objの像を動きベクトルVの始点側に圧縮する逆フィルタ321が生成されたが、他の例では、被写体objの像を動きベクトルVの終点側、または中間点に圧縮する逆フィルタ321が生成されてもよい。また、イベント信号201に基づいて生成される逆フィルタ321は上記の例には限られず、例えば被写体の動きによって生じたボケの影響を低減するためのフィルタとして知られている各種のフィルタを利用することができる。これらの場合においても、例えば動き推定部310がRGB画像101の動き領域Rを推定し、逆フィルタ生成部320が動き領域Rに限定的に作用する逆フィルタ321を生成することによって、例えばRGB画像101の全体にフィルタを適用する場合に比べてアーティファクトの発生を抑制できる。
図5は、本発明の一実施形態に係る画像処理方法の例を示すフローチャートである。図示された例では、RGBカメラ100がRGB画像101を撮像し(ステップS101)、それと同時にEDS200がイベント信号201を生成する(ステップS102)。なお、イベント信号201を生成するステップS102は、RGB画像101の1または複数のピクセルに対応付けられるセンサ210が光の強度変化を検出した場合にのみ実行される。RGB画像101にはタイムスタンプ102が与えられ(ステップS103)、イベント信号にはタイムスタンプ202が与えられる(ステップS104)。
次に、画像処理装置300での処理が実行される。まず、動き推定部310が、RGB画像101のタイムスタンプ102、イベント信号201、およびイベント信号201のタイムスタンプ202に基づいてRGB画像101における被写体の動きを推定する(ステップS105)。次に、逆フィルタ生成部320が推定された動きに基づいて逆フィルタ321を生成し(ステップS106)、フィルタ適用部330がRGB画像101に逆フィルタ321を適用する(ステップS107)。以上のような処理によって、例えば被写体の動きによってRGB画像101に発生しているボケの影響を低減した出力画像331を得ることができる。
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10…システム、100…RGBカメラ、101…RGB画像、102…タイムスタンプ、110…イメージセンサ、120…処理回路、201…イベント信号、202…タイムスタンプ、210…センサ、220…処理回路、300…画像処理装置、310…動き推定部、320…逆フィルタ生成部、321…逆フィルタ、330…フィルタ適用部、331…出力画像。
Claims (8)
- 同期的なスキャンによって撮像された画像に与えられた第1のタイムスタンプ、前記画像の1または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、および前記イベント信号に与えられ前記第1のタイムスタンプに同期する第2のタイムスタンプに基づいて、前記画像における被写体の動きを推定する動き推定部と、
前記動きに基づいて逆フィルタを生成する逆フィルタ生成部と、
前記逆フィルタを前記画像に適用するフィルタ適用部と
を備える画像処理装置。 - 前記第1のタイムスタンプは、前記スキャンの開始または終了の少なくともいずれかを示すタイムスタンプを含み、
前記動き推定部は、前記スキャンの開始から終了までの時間に含まれる前記第2のタイムスタンプを有する前記イベント信号に基づいて前記画像における被写体の動きを推定する、請求項1に記載の画像処理装置。 - 前記動き推定部は、前記画像において被写体の動きが発生した動き領域を推定し、
前記逆フィルタ生成部は、前記動き領域に限定的に作用する前記逆フィルタを生成する、請求項1または請求項2のいずれか1項に記載の画像処理装置。 - 前記動き推定部は、前記画像における被写体の動きを示す動きベクトルを推定し、
前記逆フィルタ生成部は、前記動きベクトルを打ち消す前記逆フィルタを生成する、請求項1から請求項3のいずれか1項に記載の画像処理装置。 - 同期的なスキャンによって画像を撮像し、前記画像に第1のタイムスタンプを与える第1のビジョンセンサと、
前記画像の1または複数のピクセルに対応付けられるセンサを含み、前記センサが光の強度変化を検出したときにイベント信号を生成し、前記イベント信号に前記第1のタイムスタンプに同期する第2のタイムスタンプを与える第2のビジョンセンサと
を備える撮像装置。 - 同期的なスキャンによって画像を撮像し、前記画像に第1のタイムスタンプを与える第1のビジョンセンサと、
前記画像の1または複数のピクセルに対応付けられるセンサを含み、前記センサが光の強度変化を検出したときにイベント信号を生成し、前記イベント信号に前記第1のタイムスタンプに同期する第2のタイムスタンプを与える第2のビジョンセンサと、
前記第1のタイムスタンプ、前記イベント信号、および前記第2のタイムスタンプに基づいて前記画像における被写体の動きを推定する動き推定部、
前記動きに基づいて逆フィルタを生成する逆フィルタ生成部、および
前記逆フィルタを前記画像に適用するフィルタ適用部
を備える画像処理装置と
を含むシステム。 - 同期的なスキャンによって画像を撮像し、前記画像に第1のタイムスタンプを与えるステップと、
前記画像の1または複数のピクセルに対応付けられるセンサを含み、前記センサが光の強度変化を検出したときにイベント信号を生成し、前記イベント信号に前記第1のタイムスタンプに同期する第2のタイムスタンプを与えるステップと、
前記第1のタイムスタンプ、前記イベント信号、および前記第2のタイムスタンプに基づいて前記画像における被写体の動きを推定するステップと、
前記動きに基づいて逆フィルタを生成するステップと、
前記逆フィルタを前記画像に適用するステップと
を含む画像処理方法。 - 同期的なスキャンによって撮像された画像に与えられた第1のタイムスタンプ、前記画像の1または複数のピクセルにおける光の強度変化に応じて生成されたイベント信号、および前記イベント信号に与えられ前記第1のタイムスタンプに同期する第2のタイムスタンプに基づいて、前記画像における被写体の動きを推定する機能と、
前記動きに基づいて逆フィルタを生成する機能と、
前記逆フィルタを前記画像に適用する機能と
をコンピュータに実現させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/032342 WO2021033250A1 (ja) | 2019-08-20 | 2019-08-20 | 画像処理装置、撮像装置、システム、画像処理方法およびプログラム |
KR1020227003456A KR20220050130A (ko) | 2019-08-20 | 2019-08-20 | 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램 |
EP19942090.2A EP4020962A4 (en) | 2019-08-20 | 2019-08-20 | IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
JP2021541371A JP7197715B2 (ja) | 2019-08-20 | 2019-08-20 | 画像処理装置、システム、画像処理方法およびプログラム |
US17/634,300 US11954866B2 (en) | 2019-08-20 | 2019-08-20 | Image processing apparatus using movement estimation, imaging apparatus, system, image processing method, and program |
CN201980099252.5A CN114245983B (zh) | 2019-08-20 | 2019-08-20 | 图像处理装置、成像装置、系统、图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/032342 WO2021033250A1 (ja) | 2019-08-20 | 2019-08-20 | 画像処理装置、撮像装置、システム、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021033250A1 true WO2021033250A1 (ja) | 2021-02-25 |
Family
ID=74660624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/032342 WO2021033250A1 (ja) | 2019-08-20 | 2019-08-20 | 画像処理装置、撮像装置、システム、画像処理方法およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11954866B2 (ja) |
EP (1) | EP4020962A4 (ja) |
JP (1) | JP7197715B2 (ja) |
KR (1) | KR20220050130A (ja) |
CN (1) | CN114245983B (ja) |
WO (1) | WO2021033250A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017535999A (ja) * | 2014-09-30 | 2017-11-30 | クアルコム,インコーポレイテッド | フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ |
US20180098082A1 (en) * | 2016-09-30 | 2018-04-05 | Intel Corporation | Motion estimation using hybrid video imaging system |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209735A (ja) * | 2002-01-15 | 2003-07-25 | Hitachi Ltd | 監視装置及びブレ補正機能付蓄積型カメラ |
KR101880998B1 (ko) | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
US9549100B2 (en) * | 2015-04-23 | 2017-01-17 | Microsoft Technology Licensing, Llc | Low-latency timing control |
BR112018006094A2 (pt) * | 2015-09-25 | 2018-10-16 | Qualcomm Inc | sistemas e métodos para sinalização e geração de campos de reconhecimento de blocos de comprimento variável em uma rede sem fio |
US10062151B2 (en) * | 2016-01-21 | 2018-08-28 | Samsung Electronics Co., Ltd. | Image deblurring method and apparatus |
US10434624B2 (en) | 2016-07-07 | 2019-10-08 | The Boeing Company | Roto peening orbital drilling tool |
US20180146149A1 (en) | 2016-11-21 | 2018-05-24 | Samsung Electronics Co., Ltd. | Event-based sensor, user device including the same, and operation method of the same |
JP7027737B2 (ja) * | 2017-09-05 | 2022-03-02 | ソニーグループ株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
CN108074222A (zh) * | 2017-12-25 | 2018-05-25 | 清华大学 | 基于混合相机系统的高速运动物体去模糊方法及装置 |
CN108989606B (zh) * | 2018-08-22 | 2021-02-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
US20230154143A1 (en) * | 2021-11-16 | 2023-05-18 | Intrinsic Innovation Llc | Polarization event cameras |
US20230169665A1 (en) * | 2021-12-01 | 2023-06-01 | Intrinsic Innovation Llc | Systems and methods for temporal autocalibration in a camera system |
-
2019
- 2019-08-20 CN CN201980099252.5A patent/CN114245983B/zh active Active
- 2019-08-20 KR KR1020227003456A patent/KR20220050130A/ko active Search and Examination
- 2019-08-20 WO PCT/JP2019/032342 patent/WO2021033250A1/ja unknown
- 2019-08-20 US US17/634,300 patent/US11954866B2/en active Active
- 2019-08-20 JP JP2021541371A patent/JP7197715B2/ja active Active
- 2019-08-20 EP EP19942090.2A patent/EP4020962A4/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017535999A (ja) * | 2014-09-30 | 2017-11-30 | クアルコム,インコーポレイテッド | フレームベースとイベントベースのハイブリッド方式を使用するセンサアーキテクチャ |
US20180098082A1 (en) * | 2016-09-30 | 2018-04-05 | Intel Corporation | Motion estimation using hybrid video imaging system |
Non-Patent Citations (1)
Title |
---|
See also references of EP4020962A4 * |
Also Published As
Publication number | Publication date |
---|---|
US20220284593A1 (en) | 2022-09-08 |
CN114245983B (zh) | 2024-03-22 |
JPWO2021033250A1 (ja) | 2021-02-25 |
JP7197715B2 (ja) | 2022-12-27 |
US11954866B2 (en) | 2024-04-09 |
KR20220050130A (ko) | 2022-04-22 |
EP4020962A4 (en) | 2023-05-10 |
EP4020962A1 (en) | 2022-06-29 |
CN114245983A (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4127411B1 (ja) | 画像処理装置及び方法 | |
JP4487191B2 (ja) | 画像処理装置および画像処理プログラム | |
US8810663B2 (en) | Methods for motion correction for high-dynamic-range imaging systems | |
US8223235B2 (en) | Digital imager with dual rolling shutters | |
JP2003078812A (ja) | デジタル画像における動きによるぼけを低減する方法 | |
EP2323376B1 (en) | Image sensor with shaking compensation | |
US8018495B2 (en) | Image capturing apparatus with movement compensation function and method for movement compensation thereof | |
JP4831760B2 (ja) | 3次元情報検出方法及びその装置 | |
CN103546730A (zh) | 基于多摄像头的图像感光度增强方法 | |
EP1646006A4 (en) | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM | |
JP2009182527A (ja) | 撮像方法および撮像装置 | |
JP4250583B2 (ja) | 画像撮像装置及び画像復元方法 | |
JP2010206521A (ja) | 撮像装置、画像補正方法およびプログラム | |
WO2021033250A1 (ja) | 画像処理装置、撮像装置、システム、画像処理方法およびプログラム | |
US8073280B2 (en) | Image processing apparatus and image processing program for correcting image degradation | |
WO2021033252A1 (ja) | 転送制御装置、画像処理装置、転送制御方法およびプログラム | |
JP2010081261A (ja) | 撮像装置及びそのプログラム、並びに電子機器 | |
JP2010056883A (ja) | 光学装置及び撮影装置 | |
JPH06105224A (ja) | ダイナミックレンジ拡大装置 | |
KR102240054B1 (ko) | 영상 처리 장치 | |
WO2024146450A1 (zh) | 一种信号处理方法、装置及系统 | |
US20210203899A1 (en) | Image processing device, image processing method, and imaging device | |
WO2021033251A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20230336682A1 (en) | Image processing apparatus, method of controlling image processing apparatus, and program storage | |
US20240214697A1 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19942090 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021541371 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2019942090 Country of ref document: EP Effective date: 20220321 |