WO2017010314A1 - 撮像装置および撮像方法、並びにプログラム - Google Patents

撮像装置および撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2017010314A1
WO2017010314A1 PCT/JP2016/069644 JP2016069644W WO2017010314A1 WO 2017010314 A1 WO2017010314 A1 WO 2017010314A1 JP 2016069644 W JP2016069644 W JP 2016069644W WO 2017010314 A1 WO2017010314 A1 WO 2017010314A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
defective pixel
imaging
candidate
defect
Prior art date
Application number
PCT/JP2016/069644
Other languages
English (en)
French (fr)
Inventor
大典 川又
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2017010314A1 publication Critical patent/WO2017010314A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present technology relates to an imaging apparatus, an imaging method, and a program, and in particular, an imaging apparatus, an imaging method, and a program that can appropriately correct a pixel defect even when an imaging direction is fixed to a moving body such as a vehicle. About.
  • the defective pixel is measured in a state where the shutter is closed and the incident light to the imaging element is shielded, and this is stored, and the mechanical shutter is released to obtain an actually captured image.
  • static defect correction that corrects defects by performing processing is performed.
  • the present technology has been made in view of such a situation, and in particular, it is possible to appropriately correct a pixel defect even in an imaging device mounted in a state where the imaging direction is fixed to a moving body such as a vehicle. To do.
  • An imaging device detects an image capturing unit that captures an image in a state where an image capturing direction is fixed, and defective pixels of the image capturing unit based on information on relative movement with respect to a subject, and detects An image pickup apparatus including a defect detection and correction unit that performs defect correction on the defective pixels.
  • the defect detection and correction unit searches for defective pixel candidates, and information on relative movement with respect to the subject,
  • the pixel signal of the defective pixel candidate calculates a moving time required to move by a predetermined number of pixels, and the defective pixel candidate does not move by the predetermined number of pixels within the moving time
  • a defective pixel candidate can be specified as a defective pixel, and the pixel specified as the defective pixel can be corrected.
  • the defect detection / correction unit is registered as the defective pixel candidate, and the defective pixel candidate is registered.
  • a pixel as a candidate for the registered defective pixel can be specified as a defective pixel, and the pixel specified as the defective pixel can be corrected for defects.
  • the defect detection correction unit when registering a pixel that is a candidate for the defective pixel, the registration count is counted up, a predetermined time has elapsed since the pixel that is a candidate for the defective pixel is registered, and When the number of registrations is greater than a predetermined number, the registered defective pixel candidate pixel can be specified as a defective pixel, and the pixel specified as the defective pixel can be corrected for defects.
  • the relative movement information with respect to the subject includes relative movement speed, relative acceleration, relative angular velocity, and relative information obtained by GPS (Global Positioning System) between the imaging apparatus main body and the subject. Position information can be included.
  • GPS Global Positioning System
  • the imaging unit is provided with power, and a moving body that moves by the power is caused to capture an image in a state in which an imaging direction is fixed, and the defect detection correction unit includes the defective pixels of the imaging unit, Detection can be performed based on information on relative movement between the moving body and the subject, and the detected defective pixel can be corrected.
  • the moving body may be a vehicle, and the relative movement information may be a relative moving speed of the vehicle with respect to the subject.
  • An imaging method is an imaging method in an imaging apparatus including an imaging unit that captures an image in a state in which an imaging direction is fixed to a moving body that has power and moves by the power. And detecting a defective pixel of the imaging unit based on information on relative movement with respect to a subject, and correcting the detected defective pixel.
  • a program according to an aspect of the present technology is provided in a computer that controls an imaging apparatus including an imaging unit that captures an image with a power and a moving body that is moved by the power in a state in which an imaging direction is fixed.
  • the defective pixel of the part is detected based on the information of the relative movement with respect to the subject, and the detected defective pixel is caused to function as a defect detection correction unit that corrects the defect.
  • an image is captured by an imaging unit in a state in which an imaging direction is fixed on a moving body that has power and moves by the power, and the defective pixel of the imaging unit is relative to the subject. Is detected on the basis of the information on the movement, and the detected defective pixel is corrected.
  • the imaging device may be an independent device or a block that functions as an imaging device.
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • FIG. 1 shows a configuration example of an imaging apparatus having a general mechanical shutter and a defective pixel correction method.
  • a defective pixel is statically detected based on an image sensor 11 including a solid-state imaging device having a mechanical shutter and an imaging result from the image sensor 11. Then, the detection result is stored in the defect coordinate memory 13, and further, the static defect detection correction unit 12 that corrects the defective pixel based on the detection result, and the dynamic defect that dynamically corrects the subsequent white spot defect A correction unit 14 is provided.
  • the image signal in which the defective pixel is corrected is subjected to signal processing by a configuration (not shown) subsequent to the dynamic defect correction unit 14 to generate an image.
  • the image sensor 11 is shielded from light by closing the shutter, and the pixel signal in this state Is output to the static defect detection and correction unit 12.
  • the static defect detection and correction unit 12 detects a defective pixel based on the pixel signal in this state, and stores the coordinates of the detected defective pixel in the defect coordinate memory 13.
  • the image sensor 11 generates a pixel signal corresponding to incident light by being in a state where the shutter is released, Output to the static defect detection and correction unit 12.
  • the static defect detection and correction unit 12 corrects the pixel at the coordinates stored in the defect coordinate memory 13 as a defective pixel out of the pixel signals in this state, and outputs the corrected pixel to the dynamic defect correction unit 14.
  • the dynamic defect correction unit 14 dynamically corrects and outputs defective pixels from a pixel signal in which defective pixels are statically corrected.
  • the dynamic defect correction unit 14 uses the peripheral level u that is the average of the difference between the pixel value of the target pixel to be processed and the peripheral pixel value as a reference.
  • the difference Dth is sufficiently larger than the shot noise ⁇ set on the basis of the peripheral level u, it is regarded as a defect, and when it is larger than the difference Fth several times the shot noise ⁇ , it is regarded as an edge.
  • the difference between the pixel P12 that is an actual defective pixel in FIG. 3 and the pixel P13 that images a distant traffic light is in units of one pixel and is a defective pixel or a highlight pixel. It is not possible to judge whether it is.
  • an imaging apparatus that does not include a mechanical shutter, if only dynamic defect correction is applied, it may be processed as a defective pixel even though it is a pixel included in the edge, or it may be in the edge. There is a possibility that the defective pixel cannot be corrected.
  • the imaging apparatus of the present technology dynamically realizes appropriate defect correction even in a configuration that does not include a mechanical shutter.
  • the imaging device 21 in FIG. 4 is mounted in a state where the imaging direction is fixed with respect to the vehicle 20, and corrects defective pixels appropriately according to the vehicle speed from the vehicle 20.
  • the imaging device 21 in FIG. 4 can also be understood as constituting an imaging system including the components provided in the vehicle 20.
  • the vehicle 20 of FIG. 4 is regarded as an imaging system including the imaging device 21 and the vehicle 20, as long as the imaging device 21 is mounted in a state where the imaging direction is fixed, it is a moving body that moves with power. As long as it is present, it is not limited to the vehicle 20 and may be another moving body.
  • the imaging device 21 captures an image with a zoom size in which the front of the traveling direction of the vehicle 20 is fixed.
  • the vehicle 20 is provided with an imaging device 21, an image receiving unit 22, an external camera controller 23, and an ECU (Engine Control Unit) 24.
  • an imaging device 21 an image receiving unit 22, an external camera controller 23, and an ECU (Engine Control Unit) 24.
  • the imaging device 21 includes a lens 41, an imaging element 42, a defect detection correction unit 43, a signal processing unit 44, and a control unit 45.
  • the lens 41 is composed of a plurality of optical lenses, for example, and collects incident light and forms an image on the incident surface of the image sensor 42.
  • the image sensor 42 is an image sensor including a plurality of pixels such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, for example. Are output to the defect detection and correction unit 43. Note that the imaging device 21 in FIG. 4 does not have a mechanical shutter or a configuration equivalent thereto, and therefore cannot capture an image in a light-shielded state.
  • CMOS Complementary Metal Oxide Semiconductor
  • the defect detection and correction unit 43 operates under the control of the control unit 45, detects a defective pixel, stores the coordinate position, and corrects the pixel value of the pixel stored as the defective pixel in subsequent images.
  • the defect detection and correction unit 43 detects a pixel signal that exceeds a threshold value Dth set with reference to the peripheral pixel level u of the target pixel described with reference to FIG. Then, on the basis of the coordinate position of the pixel signal exceeding the threshold value Dth and the vehicle speed supplied from the ECU 24 via the external camera controller 23 and the control unit 45, a predetermined pixel is adjacent to the vehicle 20 as the vehicle 20 moves.
  • a predetermined pixel is adjacent to the vehicle 20 as the vehicle 20 moves.
  • the defect detection and correction unit 43 sets the defective pixel candidate as a defective pixel when a predetermined time elapses after the stored defective pixel candidate is stored and is registered as a defective pixel candidate more than a predetermined number of times. The coordinate position is stored.
  • the defect detection and correction unit 43 thereafter performs defect correction on the pixel signal at the coordinate position stored as the defective pixel among the pixel signals supplied from the image sensor 42 and supplies the signal processing unit 44 with the defect correction. Output.
  • the signal processing unit 44 performs signal processing based on the pixel signal subjected to defect correction supplied from the defect detection correction unit 43, generates an image, and outputs the image to the image reception unit 22.
  • the control unit 45 controls the entire operation of the imaging device 21 by controlling the image sensor 42, the defect detection correction unit 43, and the signal processing unit 44. Further, the control unit 45 acquires the vehicle speed and other information supplied from the ECU 24 via the external camera controller 23, and outputs the vehicle speed information to the defect detection / correction unit 43.
  • the image receiving unit 22 receives the image signal supplied from the imaging device 21 and supplies it to the external camera controller 23.
  • the external camera controller 23 recognizes an object such as a traffic light or a vehicle ahead in the image based on the image signal supplied from the image receiving unit 22, and also provides information such as the distance between the host vehicle and the object. The included recognition result is supplied to the ECU 24.
  • the ECU 24 controls, for example, the speed of an unillustrated engine of the vehicle 20 according to the image recognition result supplied from the external camera controller 23, or controls the operation of an unillustrated automatic brake, or automatically Perform operation control.
  • the ECU 24 measures vehicle speed and other information and supplies the measured information to the imaging device 21 via the external camera controller 23.
  • step S11 the defect detection correction unit 43 determines whether or not a new processing target frame is input from the image sensor 42, and repeats the same processing until it is determined that the processing target frame is input. If it is determined in step S11 that a new process target frame has been input, the process proceeds to step S12.
  • step S12 the defect detection correction unit 43 sets any unprocessed pixel among the pixels of the processing target frame as the processing target pixel.
  • the defect detection correction unit 43 determines whether or not the processing target pixel has a condition as a defective pixel. More specifically, the defect detection correction unit 43 is based on whether or not the pixel value exceeds a threshold value Dth set on the basis of the peripheral pixel level u of the processing target pixel described with reference to FIG. It is determined whether or not a condition as a defective pixel is provided.
  • step S13 for example, when it is determined that the processing target pixel satisfies the defective pixel condition, the process proceeds to step S14.
  • the defect detection correction unit 43 calculates a movement time until the pixel signal of the processing target pixel moves to the adjacent pixel by two pixels (pixels). More specifically, for example, the defect detection and correction unit 43 calculates a moving time until moving to the adjacent pixel by two adjacent pixels where pixels of the same color exist in the Bayer array.
  • the vehicle 20 is moving at the vehicle speed v in the direction of the object B corresponding to the pixel signal of the pixel to be processed.
  • the coordinates of the pixel to be processed on the image sensor 42 are (x, y)
  • the distance between the lens 41 and the image sensor 42 is the focal length f
  • the distance from the lens 41 to the object B is the distance d.
  • the optical axis of the lens 41 is the x axis
  • the intersection point on the imaging surface of the imaging element 42 is the origin
  • the upper part in the drawing parallel to the imaging surface of the imaging element 42 is the y axis.
  • the imaging device 21 is usually mounted inside the front window and in the vicinity of the upper part, and the optical axis is the upper part of the vehicle body.
  • the optical axis is the upper part of the vehicle body.
  • the pixel signal of the pixel to be processed moves to the adjacent pixel of the same color (two adjacent pixels) after 22 frames. Further, it can be said that the movement time t is a time necessary to determine whether or not the defect is dependent on pixel coordinates.
  • step S15 the defect detection correction unit 43 determines whether or not the pixel signal of the processing target pixel has moved to the adjacent pixel by two pixels within the movement time t calculated by the processing of step S14. That is, the defect detection and correction unit 43 determines whether or not the pixel signal of the pixel to be processed is not a defective pixel but a pixel signal such as a remote traffic signal or a motorcycle tail lamp.
  • step S15 when the pixel signal of the pixel to be processed does not move to the adjacent pixel by two pixels within the movement time t, that is, when the pixel to be processed is regarded as a defective pixel, Proceed to S16.
  • step S16 the defect detection correction unit 43 regards the processing target pixel as a defective pixel candidate, and registers (stores) the coordinate position in the image sensor 42 indicating the pixel position of the processing target pixel as a defective pixel candidate.
  • step S17 the defect detection and correction unit 43 determines whether or not the number of defective pixel candidates exceeds the maximum number (DEFMAX). In step S17, if the information on the coordinate position of the registered candidate defective pixel exceeds the maximum number (DEFMAX), the criterion for the defective pixel candidate is low, and the defective pixel candidate is registered more than necessary. The process proceeds to step S24.
  • step S24 the defect detection and correction unit 43 adjusts the condition as a defective pixel. That is, since the condition as a defective pixel used in the determination process in step S13 is too low, it is considered that defective pixel candidates are registered more than necessary. Therefore, the defect detection correction unit 43 determines the condition as a defective pixel. Adjust to pull up. That is, for example, the defect detection correction unit 43 performs an adjustment such that the threshold value Dth set according to the peripheral pixel level described with reference to FIG. 2 is set higher. Note that other conditions may be adjusted as long as the condition of the defective pixel can be made higher.
  • step S25 the defect detection and correction unit 43 resets the coordinate position information that has been registered as defective pixels so far, regards all pixels in the processing target frame as unprocessed pixels, and the process proceeds to step S12. Return to. That is, all the processing so far is discarded and the processing is performed again.
  • step S17 when it is determined in step S17 that the registered number of coordinates of the defective pixel candidate pixel does not exceed the maximum value (DEFMAX), the process proceeds to step S18.
  • step S18 the defect detection / correction unit 43 counts up the number of registrations of the processing target pixel to the defective pixel candidate. More specifically, the defect detection and correction unit 43 counts up the number of registrations to the defective pixel candidate by a counter (not shown) associated with the coordinate position information indicating the defective pixel candidate.
  • step S19 the defect detection correction unit 43 determines whether or not a predetermined time has elapsed since the pixel to be processed is set as a defective pixel candidate. If the predetermined time has elapsed, the process proceeds to step S20. move on.
  • the predetermined time here needs to be equal to or longer than the necessary time required in the process of step S14, which is required to determine whether or not the pixel is a defective pixel.
  • step S20 the defect detection and correction unit 43 determines whether or not the number of registrations for which the processing target pixel is a defective pixel candidate is equal to or greater than a predetermined number. That is, when a predetermined time has elapsed since the pixel to be processed is determined as a defective pixel candidate and the number of times registered as a defective pixel candidate is equal to or greater than the predetermined number, the process proceeds to step S21.
  • the combination of defect determination methods and the threshold value are adjusted so that the number falls within the maximum number (DEFMAX). There is a need.
  • step S21 the defect detection and correction unit 43 regards the processing target pixel as a defective pixel and stores the coordinate position of the pixel. In other words, after this, the defect detection and correction unit 43 performs a defect correction process on each pixel of the processing target frame supplied from the image sensor 42 and performs a signal for defect correction processing. The data is output to the processing unit 44.
  • step S22 the defect detection and correction unit 43 determines whether or not there is an unprocessed pixel. If there is an unprocessed pixel, the process returns to step S12. If no unprocessed pixel exists in step S22, the process proceeds to step S23.
  • step S23 the defect detection correction unit 43 determines whether a new unprocessed frame has been input from the image sensor 42. If an unprocessed frame has been input, the process returns to step S11. The subsequent processing is repeated. If no unprocessed frame is input in step S23, the process ends.
  • step S13 when the processing target pixel does not have the condition as a defective pixel, in step S15, when the pixel signal of the processing target pixel moves to a pixel adjacent to two pixels within the calculated movement time, in step S19, when a predetermined time has not passed since the processing target pixel is determined as a defective pixel candidate, in step S20, when the number of registrations where the processing target pixel is determined as a defective pixel candidate is not equal to or greater than the predetermined number In this case, the process proceeds to step S22.
  • steps S19 and S20 only when a predetermined time has elapsed since the pixel to be processed becomes a defective pixel candidate and the number of times registered as a defective pixel candidate is a predetermined number of times or more, the pixel to be processed is By considering it as a defective pixel, it is possible to appropriately detect a blinking defect as a defective pixel. However, for the predetermined time, it is necessary to consider the blinking cycle of the blinking defect.
  • the conventional defect detection process by light shielding by closing the mechanical shutter of the surveillance camera is not required, and it is possible to always realize defect detection dynamically during movement. Furthermore, since it is possible to improve the accuracy by dynamic defect detection, it is possible to reduce overcorrection. In addition, the presence of a traffic light or a vehicle can be detected and tracked from a distance, and erroneous detection of a detection result by a defective pixel as a traffic light or a vehicle is reduced. For example, the accuracy of automatic driving can be improved. It becomes possible.
  • the imaging device 21 is in a state in which the imaging direction is fixed to the vehicle 20 has been described. However, the operation is fixed even in the imaging device 21 having pan, tilt, and zoom. If it is a state, the same effect can be produced by the same processing. Further, the imaging device 21 may be other than a vehicle as long as it is a moving body having power, and may be, for example, a ship or an aircraft, or a motorcycle or a bicycle.
  • the moving time required for moving a predetermined number of defective pixel candidates to the adjacent pixels is calculated, and the pixel value is calculated within the calculated moving time.
  • An example has been described in which a pixel is identified as a defective pixel when it has been moved and has been registered a predetermined number of times or more.
  • information indicating the movement state of the moving body other than the vehicle speed may be used.
  • An angular velocity or the like may be used, or the moving speed may be calculated using position information obtained by GPS (Global Positioning System) or acceleration information of a motion sensor.
  • an imaging device fixed to a moving body such as a vehicle
  • an imaging device having a pan / tilt / zoom function fixed to an object that does not move also operates. Is fixed, the subject is moved within the imaging field of view, the image is taken, and the information on the moving speed of the subject is used, so that defect detection can be realized by a similar method. That is, in this case, the subject moves instead of moving the imaging device, but the relative positional relationship is set to the same condition as when the imaging device moves and the subject is fixed. In other words, using relative movement speed information (including relative acceleration, relative angular velocity, and relative position information obtained by GPS (Global Positioning System)) between the imaging device and the subject. Thus, the same effect as the above-described configuration can be obtained.
  • GPS Global Positioning System
  • ⁇ Example executed by software> By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • FIG. 11 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • An image pickup apparatus comprising: a defect detection correction unit that detects a defective pixel of the image pickup unit based on information on relative movement with respect to a subject and corrects the detected defect pixel.
  • the defect detection and correction unit includes: Search for defective pixel candidates based on the peripheral pixel level of the pixel value of each pixel of the image captured by the imaging unit, Based on the information on the relative movement with respect to the subject, the movement time required for the pixel signal of the defective pixel candidate to move by a predetermined number of pixels is calculated, If the defective pixel candidate does not move by the predetermined number of pixels within the movement time, the defective pixel candidate is specified as a defective pixel, and the pixel specified as the defective pixel is corrected for defects.
  • Imaging device
  • the defect detection and correction unit includes: If the defective pixel candidate does not move by the predetermined number of pixels within the movement time, register as the defective pixel candidate, When a predetermined time has elapsed since the registration of the defective pixel candidate pixel, the registered defective pixel candidate pixel is specified as a defective pixel, and the pixel specified as the defective pixel is corrected for defects ⁇ 2>.
  • the defect detection and correction unit includes: When registering a pixel that is a candidate for the defective pixel, count up the number of registrations, When a predetermined time elapses after the pixel that is a candidate for the defective pixel is registered and the number of registrations is greater than the predetermined number of times, the registered pixel that is a candidate for the defective pixel is specified as a defective pixel, The imaging device according to ⁇ 3>, wherein the pixel specified as the defective pixel is subjected to defect correction.
  • Information on relative movement with respect to the subject is obtained by relative movement speed, relative acceleration, relative angular velocity, and GPS (Global Positioning System) between the imaging apparatus main body and the subject.
  • the imaging apparatus includes power and captures an image in a state in which an imaging direction is fixed to a moving body that moves by the power.
  • the defect detection correction unit detects a defective pixel of the imaging unit based on information on relative movement between the moving body and the subject, and corrects the detected defective pixel according to ⁇ 1>.
  • Imaging device. ⁇ 7> The imaging device according to ⁇ 6>, wherein the moving body is a vehicle, and the information on the relative movement is a relative moving speed of the vehicle with respect to the subject.
  • An imaging method in an imaging apparatus including an imaging unit that captures an image in a state where the imaging direction is fixed, An imaging method comprising: detecting a defective pixel of the imaging unit based on information on relative movement with respect to a subject, and correcting the detected defective pixel.
  • a computer that controls an imaging apparatus including an imaging unit that captures an image with a fixed imaging direction; A program that detects a defective pixel of the imaging unit based on information on relative movement with respect to a subject and functions as a defect detection correction unit that corrects the detected defective pixel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、特に、車両などの移動体に撮像方向が固定されている場合でも画素の欠陥を適切に補正することができるようにする撮像装置および撮像方法、並びにプログラムに関する。 撮像方向が固定された状態で画像を撮像する撮像部の欠陥画素の候補の画素値が、被写体との相対的な移動の情報である被写体に対する撮像部が固定された物体の移動速度で移動するとき所定時間内に所定数だけ隣の画素に移動しなかった場合、欠陥画素の候補を欠陥画素であるものと検出し、検出した欠陥画素を欠陥補正する。本技術は、撮像装置に適用することができる。

Description

撮像装置および撮像方法、並びにプログラム
　本技術は、撮像装置および撮像方法、並びにプログラムに関し、特に、車両などの移動体に撮像方向が固定されている場合でも画素の欠陥を適切に補正できるようにした撮像装置および撮像方法、並びにプログラムに関する。
　一般に、メカシャッタを持つ撮像装置では、シャッタを閉塞し、撮像素子への入射光を遮光した状態で欠陥画素を測定し、これを記憶しておき、メカシャッタを解放して実際に撮像された画像に対して処理を施すことで欠陥を補正するStatic（静的）欠陥補正が行われている。
　ところが、メカシャッタを持たない撮像装置では、静的欠陥補正を実施することができないので、撮像中に繰り返し欠陥画素となる位置を検出することで、欠陥画素らしい画素とみなして補正する、Dynamic（動的）欠陥補正が行われている。
　このようなDynamic（動的）欠陥補正を行う技術として、手振れが起きた前後のフレームで欠陥検出した座標が一致している場合に、欠陥の確度が高いとして、欠陥補正の強度を強くする技術が提案されている（特許文献１参照）。
特許第４５４８１２８号
　しかしながら、Dynamic欠陥補正においては、一般的に、欠陥画素とテクスチャに属する画素との区別が難しい部分があり、テクスチャである画素を過剰に補正してしまうことがあり、適切に欠陥画素を補正することができない恐れがあった。
　本技術は、このような状況に鑑みてなされたものであり、特に、車両などの移動体に撮像方向が固定された状態で搭載されている撮像装置でも適切に画素の欠陥を補正できるようにするものである。
　本技術の一側面の撮像装置は、撮像方向が固定された状態で画像を撮像する撮像部と、前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部とを含む撮像装置である。
　前記欠陥検出補正部には、前記撮像部で撮像された画像の各画素の画素値の周辺画素レベルに基づいて、欠陥画素の候補を検索させ、前記被写体との相対的な移動の情報により、前記欠陥画素の候補の画素信号が、所定のピクセル数だけ動くのに必要とされる移動時間を演算させ、前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補を、欠陥画素に特定させ、前記欠陥画素に特定した画素を欠陥補正させるようにすることができる。
　前記欠陥検出補正部には、前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補として登録させ、前記欠陥画素の候補となる画素が登録されてから所定時間が経過したとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定させ、前記欠陥画素に特定した画素を欠陥補正させるようにすることができる。
　前記欠陥検出補正部には、前記欠陥画素の候補となる画素を登録するとき、登録回数をカウントアップさせ、前記欠陥画素の候補となる画素が登録されてから所定時間が経過し、かつ、前記登録回数が所定回数よりも多いとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定させ、前記欠陥画素に特定した画素を欠陥補正させるようにすることができる。
　前記被写体との相対的な移動の情報には、前記撮像装置本体と前記被写体との相対的な移動速度、相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含ませるようにすることができる。
　前記撮像部には、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像させ、前記欠陥検出補正部には、前記撮像部の欠陥画素を、前記移動体と前記被写体との相対的な移動の情報に基づいて検出させ、検出した前記欠陥画素を欠陥補正させるようにすることができる。
　前記移動体は、車両とすることができ、前記相対的な移動の情報は、前記被写体に対する前記車両の相対的な移動速度とすることができる。
　本技術の一側面の撮像方法は、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置における撮像方法であって、前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正するステップを含む。
　本技術の一側面のプログラムは、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置を制御するコンピュータに、前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部として機能させる。
　本技術の一側面においては、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態の撮像部により画像が撮像され、前記撮像部の欠陥画素が、被写体との相対的な移動の情報に基づいて検出され、検出された前記欠陥画素が欠陥補正される。
　本技術の一側面の撮像装置は、それぞれ独立した装置であっても良いし、撮像装置として機能するブロックであっても良い。
　本技術の一側面によれば、移動体に撮像方向が固定されている状態で搭載された撮像装置でも画素の欠陥を適切に補正することが可能となる。
一般的な欠陥補正を説明する図である。 動的な欠陥補正を説明する図である。 欠陥画素であるかハイライト画素であるかの認識が困難であることを説明する図である。 本技術を適用した撮像システムの構成例を説明する図である。 欠陥画素検出処理を説明するフローチャートである。 欠陥画素を検出する処理を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
　＜一般的な欠陥画素補正＞
　図１は、一般的なメカシャッタを備えた撮像装置における構成例と、欠陥画素補正の方法を示している。
　図１で示されるように、一般的な撮像装置においては、メカシャッタを備えた固体撮像素子からなるイメージセンサ１１、イメージセンサ１１からの撮像結果に基づいて、静的（Static）に欠陥画素を検出して、検出結果を欠陥座標メモリ１３に記憶させ、さらに、検出結果に基づいて欠陥画素を補正するStatic欠陥検出補正部１２、および後発の白点欠陥を動的（Dynamic）に補正するDynamic欠陥補正部１４を備えている。尚、欠陥画素が補正された画像信号は、Dynamic欠陥補正部１４の後段の図示せぬ構成により信号処理されて画像が生成される。
　図１で示されるような撮像装置の場合、欠陥画素を検出する動作時には、図１の上部で示されるように、イメージセンサ１１は、シャッタが閉塞されることで遮光され、この状態における画素信号がStatic欠陥検出補正部１２に出力される。
　Static欠陥検出補正部１２は、この状態における画素信号に基づいて、欠陥画素を検出し、検出した欠陥画素の座標を欠陥座標メモリ１３に記憶させる。
　次に、欠陥画素を補正して撮像する動作時には、図１の下部で示されるように、イメージセンサ１１は、シャッタが解放される状態となることで入射光に応じた画素信号を生成し、Static欠陥検出補正部１２に出力する。
　Static欠陥検出補正部１２は、この状態における画素信号のうち、欠陥座標メモリ１３に記憶されている座標の画素を欠陥画素とみなして補正し、Dynamic欠陥補正部１４に出力する。
　Dynamic欠陥補正部１４は、静的に欠陥画素が補正された画素信号より、動的に欠陥画素を補正して出力する。
　一方、メカシャッタを設けていない撮像装置では、イメージセンサ１１を遮光した状態で撮像することができないので、Static欠陥検出を適切にすることができない。このため、Dynamic欠陥補正部１４が、動的欠陥補正により欠陥画素を検出した上で補正する必要がある。
　Dynamic欠陥補正部１４は、図２で示されるように、処理対象となる注目画素の画素値に対して、その周辺の画素値との差分の平均となる周辺レベルｕを基準としたとき、この周辺レベルｕに基づいて設定されるショットノイズσに対して十分な差分Ｄｔｈより大きいとき、欠陥であるものとみなし、ショットノイズσの数倍程度の差分Ｆｔｈより大きいときエッジであるものとみなす。
　ところで、撮像装置が、車両の前方に対して撮像方向が固定された状態で搭載されている場合、図３で示されるように、処理対象となる注目画素が比較的近い位置に存在する信号機を撮像している画素Ｐ１１であるようなとき、画素Ｐ１１の周辺に色が滲み出ることにより、画素欠陥ではなくエッジ等であることを認識することができる。
　しかしながら、例えば、図３の現実の欠陥画素である画素Ｐ１２と、遠方の信号機を撮像した画素Ｐ１３との差異については、いずれも１画素単位であり、欠陥画素であるのか、またはハイライト画素などであるのかを判断することができない。
　このため、メカシャッタを備えていない撮像装置において、動的な欠陥補正のみを適用しようとすると、エッジに含まれる画素であるにもかかわらず欠陥画素として処理されてしまう恐れや、エッジの中にある欠陥画素を補正処理できない恐れがあった。
　＜本技術を適用した撮像装置を搭載した車両の一実施の形態＞
　本技術の撮像装置は、メカシャッタを備えていない構成でも動的に適切な欠陥補正を実現させるものである。
　そこで、図４を参照して、本技術を適用した欠陥画素を適切に補正できるようにした撮像装置について説明する。図４の撮像装置２１は、車両２０に対して撮像方向が固定された状態で搭載されており、車両２０からの車両速度に応じて、適切に欠陥画素を補正するものである。尚、図４の撮像装置２１は、車両２０に設けられた各構成とからなる撮像システムを構成するものとして捉えることもできる。
　したがって、図４の車両２０を、撮像装置２１と車両２０とからなる撮像システムと捉える場合、撮像方向が固定された状態で撮像装置２１が搭載される限り、動力を備えて移動する移動体であれば、車両２０に限るものではなく、その他の移動体であってもよい。
　図４の撮像装置２１は、撮像方向が固定された状態で、車両２０に搭載されており、例えば、車両２０の進行方向の前方を固定したズームサイズで撮像している。
　車両２０には、撮像装置２１、画像受信部２２、外部カメラコントローラ２３、およびECU（Engine Control Unit）２４が設けられている。
　撮像装置２１は、レンズ４１、撮像素子４２、欠陥検出補正部４３、信号処理部４４、制御部４５を備えている。
　レンズ４１は、例えば、複数の光学レンズなどから構成され、入射光を集光して撮像素子４２の入射面に結像させる。
　撮像素子４２は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの複数の画素からなるイメージセンサであり、制御部４５の制御下において、レンズ４１により入射光が結像された光より、複数の画素信号を生成し、欠陥検出補正部４３に出力する。尚、図４の撮像装置２１には、メカシャッタやそれに準じた構成は存在しないため、遮光状態で撮像することはできない。
　欠陥検出補正部４３は、制御部４５の制御下において動作し、欠陥画素を検出して、座標位置を記憶すると共に、以降の画像において、欠陥画素として記憶した画素の画素値を補正する。
　より詳細には、欠陥検出補正部４３は、図２を参照して説明した注目画素の周辺画素レベルｕを基準として設定される閾値Ｄｔｈを超える画素信号を検出する。そして、閾値Ｄｔｈを超える画素信号の座標位置と、ECU２４より外部カメラコントローラ２３、および制御部４５を介して供給されてくる車両速度とに基づいて、車両２０の移動に伴って、所定ピクセルだけ隣の画素位置へと移動するのに要する移動時間を推定し、移動時間内に所定ピクセルだけ隣の画素位置に移動しないとき、欠陥画素の候補として登録し、欠陥画素の候補として登録された回数をカウントアップする。
　さらに、欠陥検出補正部４３は、記憶した欠陥画素の候補が、記憶されてから所定時間が経過し、かつ、所定回数以上欠陥画素の候補として登録されたとき、欠陥画素の候補を欠陥画素として、その座標位置を記憶する。
　この処理により、以降において、欠陥検出補正部４３は、撮像素子４２より供給されてくる画素信号のうち、欠陥画素として記憶した座標位置の画素信号に対して欠陥補正を施して信号処理部４４に出力する。
　信号処理部４４は、欠陥検出補正部４３より供給されてくる、欠陥補正が施された画素信号に基づいて、信号処理を施し、画像を生成して画像受信部２２に出力する。
　制御部４５は、撮像素子４２、欠陥検出補正部４３、および信号処理部４４を制御して撮像装置２１の動作の全体を制御する。また、制御部４５は、外部カメラコントローラ２３を介して、ECU２４より供給されてくる車両速度、および、その他の情報を取得し、このうち、車両速度の情報を欠陥検出補正部４３に出力する。
　画像受信部２２は、撮像装置２１より供給されてくる画像信号を受信すると、外部カメラコントローラ２３に供給する。
　外部カメラコントローラ２３は、画像受信部２２より供給されてくる画像信号に基づいて、画像内に含まれる信号機や前方の車両等の物体を認識すると共に、自車両と物体までの距離等の情報を含めた認識結果をECU２４に供給する。
　ECU２４は、外部カメラコントローラ２３より供給されてくる画像の認識結果に応じて、例えば、車両２０の図示せぬエンジンの回転数を制御する、図示せぬ自動ブレーキの動作を制御する、または、自動運転制御などを行う。また、ECU２４は、車両速度や、その他の情報を計測し、外部カメラコントローラ２３を介して撮像装置２１に供給する。
　＜欠陥画素検出処理＞
　次に、図５のフローチャートを参照して、図４の車両２０からなる撮像システムによる欠陥画素検出処理について説明する。
　ステップＳ１１において、欠陥検出補正部４３は、撮像素子４２より新たな処理対象フレームが入力されたか否かを判定し、処理対象フレームが入力されたと判定されるまで同様の処理を繰り返す。ステップＳ１１において、新たな処理対象フレームが入力されたと判定された場合、処理は、ステップＳ１２に進む。
　ステップＳ１２において、欠陥検出補正部４３は、処理対象フレームの画素のうちのいずれか未処理の画素を処理対象画素に設定する。
　ステップＳ１３において、欠陥検出補正部４３は、処理対象画素が欠陥画素としての条件を備えているか否かを判定する。より具体的には、欠陥検出補正部４３は、図２を参照して説明した処理対象画素の周辺画素レベルｕを基準として設定される閾値Ｄｔｈを超える画素値であるか否かに基づいて、欠陥画素としての条件を備えているか否かを判定する。
　ステップＳ１３において、例えば、処理対象画素が欠陥画素の条件を満たしていると判定された場合、処理は、ステップＳ１４に進む。
　ステップＳ１４において、欠陥検出補正部４３は、処理対象画素の画素信号が、２画素（ピクセル）だけ隣の画素に移動するまでの移動時間を演算する。より詳細には、欠陥検出補正部４３は、例えば、ベイヤ配列において同色の画素が存在する、隣接する２画素だけ隣の画素に移動するまでの移動時間を演算する。例えば、図６で示されるように、車両２０が処理対象画素の画素信号に対応する物体Ｂの方向に車両速度ｖで移動しているものとする。ここで、撮像素子４２上の処理対象画素の座標は（ｘ，ｙ）であり、レンズ４１および撮像素子４２間の距離は焦点距離ｆであり、レンズ４１から物体Ｂまでの距離が距離ｄであり、物体Ｂの高さが高さｈであるものとし、撮像素子４２上の画素ピッチがｐであるものとする。また、図６においては、レンズ４１の光軸をx軸とし、撮像素子４２の撮像面上の交点を原点として、撮像素子４２の撮像面に平行な、図中上方をy軸とする。このとき、処理対象画素（ｘ，ｙ）の画素信号が、２画素移動するまでの移動時間ｔが経過するとき、レンズ４１から物体Ｂまでの距離は、ｖ・ｔだけ距離ｄから接近して、図中の物体Ｂ’の位置に移動することになる。このような関係から、処理対象画素の画素信号が２画素だけ移動するまでの時間ｔは、以下の式（１）で表される。
　ｔ＝ｄ／ｖ・１／（１＋ｙ／２ｐ）
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　尚、撮像装置２１は、通常、フロントウィンドウの内側であって、上部付近に搭載されて、光軸は、車体の上部とされる。このため、図６においては、撮像素子４２における光軸（x軸）に対して下部の範囲（y<0）での受光がなされるときには、車両２０より高い位置の信号機などが撮像された場合であり、光軸対して上部の範囲（y>0）での受光がなされるときには、バイクのテールランプなどが撮像された場合である。
　より具体的には、例えば、距離ｄが600(m)であり、車両速度ｖが60(km/h)（＝1000/60(m/s)）である場合、y=200であるとき、移動時間ｔは、以下の式（２）で示されるように0.36秒(s)となる。
　ｔ＝600/(1000/60)・1/(1+y/2p)＝36/(1+200p/2p)＝0.36(s)
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　したがって、60fpsであれば、22フレーム後に処理対象画素の画素信号が同色隣接画素（2画素だけ隣の画素）に移動する。また、この移動時間ｔは、画素座標依存で、欠陥であるか否かを判定するのに必要な時間であるともいえる。
　ステップＳ１５において、欠陥検出補正部４３は、処理対象画素の画素信号が、ステップＳ１４の処理により演算された移動時間ｔ内に、２画素だけ隣の画素に移動したか否かを判定する。すなわち、欠陥検出補正部４３は、処理対象画素の画素信号が欠陥画素を示すものではなく、遠方の信号機やバイクのテールランプなどの画素信号であるか否かを判定する。ステップＳ１５において、処理対象画素の画素信号が、移動時間ｔ内に２画素だけ隣の画素に移動することがない場合、すなわち、処理対象画素が欠陥画素であるとみなされる場合、処理は、ステップＳ１６に進む。
　ステップＳ１６において、欠陥検出補正部４３は、処理対象画素を欠陥画素候補とみなして、処理対象画素の画素位置を示す撮像素子４２内の座標位置を欠陥画素の候補として登録する（記憶する）。
　ステップＳ１７において、欠陥検出補正部４３は、欠陥画素候補となる画素数が最大数（ＤＥＦＭＡＸ）を超えているか否かを判定する。ステップＳ１７において、登録されている欠陥画素の候補となる画素の座標位置の情報が最大数（ＤＥＦＭＡＸ）を超えている場合、欠陥画素候補となる基準が低く、必要以上に欠陥画素候補が登録されているものとみなし、処理は、ステップＳ２４に進む。
　ステップＳ２４において、欠陥検出補正部４３は、欠陥画素としての条件を調整する。すなわち、ステップＳ１３における判定処理で使用される欠陥画素としての条件が低過ぎるため、必要以上に欠陥画素候補が登録されているものとみなされるので、欠陥検出補正部４３は、欠陥画素としての条件を引き上げるように調整する。すなわち、欠陥検出補正部４３は、例えば、図２を参照して説明した周辺画素レベルに応じて設定される閾値Ｄｔｈをより高く設定するといった調整を行う。尚、欠陥画素としての条件を、より高くできれば、これ以外の条件を調整するようにしてもよい。
　ステップＳ２５において、欠陥検出補正部４３は、これまでに欠陥画素として登録していた座標位置の情報をリセットすると共に、処理対象フレームにおける全画素を未処理の画素とみなして、処理は、ステップＳ１２に戻る。すなわち、これまでの処理を全て破棄して、処理をやり直す。
　一方、ステップＳ１７において、欠陥画素候補の画素の座標の登録数が、最大値（ＤＥＦＭＡＸ）を超えていないとみなされた場合、処理は、ステップＳ１８に進む。
　ステップＳ１８において、欠陥検出補正部４３は、処理対象画素の欠陥画素候補への登録回数をカウントアップする。より詳細には、欠陥検出補正部４３は、欠陥画素の候補を示す座標位置の情報に対応づけた図示せぬカウンタにより欠陥画素候補への登録回数をカウントアップする。
　ステップＳ１９において、欠陥検出補正部４３は、処理対象画素が欠陥画素候補に設定されてから所定時間が経過したか否かを判定し、所定時間が経過している場合、処理は、ステップＳ２０に進む。ここでいう所定時間は、欠陥画素であるか否かを判定するのに必要とされる、ステップＳ１４の処理で求められる必要時間以上である必要がある。
　ステップＳ２０において、欠陥検出補正部４３は、処理対象画素が欠陥画素候補とされた登録回数が所定回数以上となっているか否かを判定し、所定回数以上になっているとみなされた場合、すなわち、処理対象画素が欠陥画素候補とされてから所定時間が経過して、かつ、欠陥画素の候補として登録された回数が所定回数以上である場合、処理は、ステップＳ２１に進む。ここで、所定回数は、アナログゲイン、シャッタ時間、温度特性、および量産特性等における最悪条件を考慮した回数とするようにすることが望ましい。ただし、テクスチャの誤検出により、欠陥候補画素数が最大数（ＤＥＦＭＡＸ）を超える可能性があるため、欠陥判定方法の組み合わせや閾値を調整するなどして、最大数（ＤＥＦＭＡＸ）に収まるようにする必要がある。
　ステップＳ２１において、欠陥検出補正部４３は、処理対象画素が欠陥画素であるものとみなし、その画素の座標位置を記憶する。すなわち、これ以降においては、欠陥検出補正部４３は、撮像素子４２より供給されてくる処理対象フレームの各画素に対して、対応する座標位置の画素に対しては、欠陥補正処理を施して信号処理部４４に出力する。
　ステップＳ２２において、欠陥検出補正部４３は、未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１２に戻る。また、ステップＳ２２において、未処理の画素が存在しない場合、処理は、ステップＳ２３に進む。
　ステップＳ２３において、欠陥検出補正部４３は、撮像素子４２より新たな未処理のフレームが入力されてきたか否かを判定し、未処理のフレームが入力されてきた場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。そして、ステップＳ２３において、未処理のフレームの入力がない場合、処理は終了する。
　尚、ステップＳ１３において、処理対象画素が欠陥画素としての条件を備えていない場合、ステップＳ１５において、処理対象画素の画素信号が、演算された移動時間内に２画素隣の画素に移動した場合、ステップＳ１９において、処理対象画素が欠陥画素候補とされてから所定の時間が経過していない場合、ステップＳ２０において、処理対象画素が欠陥画素候補とされた登録回数が所定回数以上ではない場合、何れの場合も処理は、ステップＳ２２に進む。
　また、ステップＳ１９，Ｓ２０において、処理対象画素が欠陥画素候補とされてから所定時間が経過して、かつ、欠陥画素候補に登録された回数が所定回数以上である場合にのみ、処理対象画素を欠陥画素としてみなすようにすることで、点滅欠陥をも適切に欠陥画素として検出することが可能となる。ただし、所定時間については、点滅欠陥の点滅周期を考慮する必要がある。
　以上の処理により、遠方の信号機やバイクのテールランプ等、１画素単位で検出されるハイライト画素と欠陥画素との区別が可能になる。また、従来の監視カメラのメカシャッタの閉塞による遮光による欠陥検出工程が不要になり、移動中に、動的に欠陥検出を常時実現することが可能となる。さらに、動的な欠陥検出による精度を向上させることが可能となるので、過補正を低減することができる。また、遠方より信号機や車両の存在を検知して追尾することができ、欠陥画素による検出結果を信号機や車両と誤認識することが低減されるので、例えば、自動運転の精度を向上させることが可能となる。
　尚、以上においては、撮像装置２１が車両２０に撮像方向が固定された状態である場合について説明してきたが、パン・チルト・ズームを備えた撮像装置２１であっても、動作を固定させた状態であれば同様の処理により同様の効果を奏することができる。また、撮像装置２１は、動力を備えた移動体であれば、車両以外のものでもよく、例えば、船舶や航空機であってもよいし、または、バイクや自転車などでもよい。
　さらに、車両のECUから供給される車両速度に基づいて、欠陥画素の候補となる画素が所定数だけ隣の画素に移動するのに要する移動時間を演算し、演算した移動時間内に画素値の移動があった場合であって、所定時間以上で、かつ、所定回数だけ登録されているときに欠陥画素として特定する例について説明してきた。しかしながら、欠陥画素の候補となる画素の画素値の移動時間を演算できれば、車両速度以外の移動体の移動状態を示す情報を利用するようにしてもよく、例えば、車両２０の移動に係る加速度や角速度などを利用してもよいし、GPS（Global Positioning System）により得られる位置情報やモーションセンサの加速度の情報を利用して移動速度を演算するようにしてもよい。
　以上においては、車載などの移動体に固定される撮像装置の例について説明してきたが、移動することがない物体に固定された、パン・チルト・ズームの機能を備えた撮像装置においても、動作を固定させ、撮像視野内で被写体を移動させて撮像し、被写体の移動速度の情報を利用することで、同様の手法により欠陥検出を実現することができる。すなわち、この場合、撮像装置が移動するのではなく、被写体が移動することになるが、撮像装置が移動し、被写体が固定されている場合と、相対的な位置関係を同一の条件にすることで、すなわち、撮像装置と被写体との相対的な移動速度の情報（相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含む）を利用することで、上述した構成と同様の効果を奏することができる。
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本技術は、以下のような構成も取ることができる。
＜１＞　撮像方向が固定された状態で画像を撮像する撮像部と、
　前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部と
　を含む撮像装置。
＜２＞　前記欠陥検出補正部は、
　　前記撮像部で撮像された画像の各画素の画素値の周辺画素レベルに基づいて、欠陥画素の候補を検索し、
　　前記被写体との相対的な移動の情報により、前記欠陥画素の候補の画素信号が、所定のピクセル数だけ動くのに必要とされる移動時間を演算し、
　　前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補を、欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
　＜１＞に記載の撮像装置。
＜３＞　前記欠陥検出補正部は、
　　前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補として登録し、
　　前記欠陥画素の候補となる画素が登録されてから所定時間が経過したとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
　＜２＞に記載の撮像装置。
＜４＞　前記欠陥検出補正部は、
　　前記欠陥画素の候補となる画素を登録するとき、登録回数をカウントアップし、
　　前記欠陥画素の候補となる画素が登録されてから所定時間が経過し、かつ、前記登録回数が所定回数よりも多いとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
　＜３＞に記載の撮像装置。
＜５＞　前記被写体との相対的な移動の情報は、前記撮像装置本体と前記被写体との相対的な移動速度、相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含む
　＜１＞乃至＜４＞のいずれかに記載の撮像装置。
＜６＞　前記撮像部は、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像し、
　前記欠陥検出補正部は、前記撮像部の欠陥画素を、前記移動体と前記被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
　＜１＞に記載の撮像装置。
＜７＞　前記移動体は、車両であり、前記相対的な移動の情報は、前記被写体に対する前記車両の相対的な移動速度である
　＜６＞に記載の撮像装置。
＜８＞　撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置における撮像方法において、
　前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
　ステップを含む撮像方法。
＜９＞　撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置を制御するコンピュータに、
　前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部として機能させる
　プログラム。
　１１　イメージセンサ，　１２　Static欠陥検出補正部，　１３　欠陥座標メモリ，　１４　Dynamic欠陥補正部，　２１　撮像装置，　２２　画像受信部，　２３　外部カメラコントローラ，　２４　ECU，　４１　レンズ，　４２　撮像素子，　４３　欠陥検出補正部，　４４　信号処理部，　４５　制御部

Claims (9)

  1. 　撮像方向が固定された状態で画像を撮像する撮像部と、
    　前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部と
    　を含む撮像装置。
  2. 　前記欠陥検出補正部は、
    　　前記撮像部で撮像された画像の各画素の画素値の周辺画素レベルに基づいて、欠陥画素の候補を検索し、
    　　前記被写体との相対的な移動の情報により、前記欠陥画素の候補の画素信号が、所定のピクセル数だけ動くのに必要とされる移動時間を演算し、
    　　前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補を、欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
    　請求項１に記載の撮像装置。
  3. 　前記欠陥検出補正部は、
    　　前記欠陥画素の候補が前記移動時間内に前記所定のピクセル数だけ移動しない場合、前記欠陥画素の候補として登録し、
    　　前記欠陥画素の候補となる画素が登録されてから所定時間が経過したとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
    　請求項２に記載の撮像装置。
  4. 　前記欠陥検出補正部は、
    　　前記欠陥画素の候補となる画素を登録するとき、登録回数をカウントアップし、
    　　前記欠陥画素の候補となる画素が登録されてから所定時間が経過し、かつ、前記登録回数が所定回数よりも多いとき、登録された前記欠陥画素の候補となる画素を欠陥画素に特定し、前記欠陥画素に特定した画素を欠陥補正する
    　請求項３に記載の撮像装置。
  5. 　前記被写体との相対的な移動の情報は、前記撮像装置本体と前記被写体との相対的な移動速度、相対的な加速度、相対的な角速度、およびGPS（Global Positioning System）により得られる相対的な位置情報を含む
    　請求項１に記載の撮像装置。
  6. 　前記撮像部は、動力を備えて、前記動力により移動する移動体に、撮像方向が固定された状態で画像を撮像し、
    　前記欠陥検出補正部は、前記撮像部の欠陥画素を、前記移動体と前記被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
    　請求項１に記載の撮像装置。
  7. 　前記移動体は、車両であり、前記相対的な移動の情報は、前記被写体に対する前記車両の相対的な移動速度である
    　請求項６に記載の撮像装置。
  8. 　撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置における撮像方法において、
    　前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する
    　ステップを含む撮像方法。
  9. 　撮像方向が固定された状態で画像を撮像する撮像部を備えた撮像装置を制御するコンピュータに、
    　前記撮像部の欠陥画素を、被写体との相対的な移動の情報に基づいて検出し、検出した前記欠陥画素を欠陥補正する欠陥検出補正部として機能させる
    　プログラム。
PCT/JP2016/069644 2015-07-15 2016-07-01 撮像装置および撮像方法、並びにプログラム WO2017010314A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015141048A JP2017022671A (ja) 2015-07-15 2015-07-15 撮像装置および撮像方法、並びにプログラム
JP2015-141048 2015-07-15

Publications (1)

Publication Number Publication Date
WO2017010314A1 true WO2017010314A1 (ja) 2017-01-19

Family

ID=57756995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069644 WO2017010314A1 (ja) 2015-07-15 2016-07-01 撮像装置および撮像方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2017022671A (ja)
WO (1) WO2017010314A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7262044B2 (ja) * 2019-02-13 2023-04-21 パナソニックＩｐマネジメント株式会社 異常検出システム、移動体、異常検出方法、及びプログラム
GB2581977B (en) * 2019-03-05 2023-03-29 Advanced Risc Mach Ltd Pixel Correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140654A (ja) * 2004-11-11 2006-06-01 Sony Corp 欠陥検出補正回路及び欠陥検出補正方法
JP2010093471A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置、撮像装置用半導体集積回路、および欠陥画素判定方法
JP2013115449A (ja) * 2011-11-25 2013-06-10 Hitachi Ltd 撮像装置、撮像方法および監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006140654A (ja) * 2004-11-11 2006-06-01 Sony Corp 欠陥検出補正回路及び欠陥検出補正方法
JP2010093471A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置、撮像装置用半導体集積回路、および欠陥画素判定方法
JP2013115449A (ja) * 2011-11-25 2013-06-10 Hitachi Ltd 撮像装置、撮像方法および監視システム

Also Published As

Publication number Publication date
JP2017022671A (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
US9124807B2 (en) Imaging apparatus, control method therefor, and storage medium
US11516382B2 (en) System and method for intelligent camera control
US7643062B2 (en) Method and system for deblurring an image based on motion tracking
US7801432B2 (en) Imaging apparatus and method for controlling the same
US9986164B2 (en) Camera shaking correction device and imaging apparatus with offset correction
US20130107066A1 (en) Sensor aided video stabilization
US20190320118A1 (en) Anti-Shake Method for Camera and Camera
US10863090B2 (en) Control apparatus, image capturing apparatus, control method, and computer-readable storage medium
CN110248097A (zh) 追焦方法、装置、终端设备、计算机可读存储介质
US9842284B2 (en) Image processing apparatus and method, and program
JP2019078843A5 (ja)
US20130107064A1 (en) Sensor aided image stabilization
US11089222B2 (en) Shake correction device, shake correction method, shake correction program, lens device, and imaging device
WO2017010314A1 (ja) 撮像装置および撮像方法、並びにプログラム
JP6250446B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2017092839A5 (ja)
JP2016173795A (ja) 画像処理装置、画像処理方法およびプログラム
US9883105B2 (en) Image processing apparatus and control method thereof
JP2010021597A (ja) 撮像装置および撮像方法
JP4086025B2 (ja) 動き検出装置及び方法
US11770608B2 (en) Imaging apparatus, method for controlling the same, and storage medium
US20240062551A1 (en) Information processing apparatus
JP2012249071A (ja) 撮像装置
US20230046830A1 (en) Image capturing apparatus that performs blur correction and method of controlling same
JP5177513B2 (ja) 動きベクトル検出装置およびその方法、並びに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16824294

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16824294

Country of ref document: EP

Kind code of ref document: A1