WO2021059990A1 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
WO2021059990A1
WO2021059990A1 PCT/JP2020/034218 JP2020034218W WO2021059990A1 WO 2021059990 A1 WO2021059990 A1 WO 2021059990A1 JP 2020034218 W JP2020034218 W JP 2020034218W WO 2021059990 A1 WO2021059990 A1 WO 2021059990A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
resolution
video data
resolution performance
imaging device
Prior art date
Application number
PCT/JP2020/034218
Other languages
English (en)
French (fr)
Inventor
大樹 小坂
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2021548781A priority Critical patent/JP7232928B2/ja
Publication of WO2021059990A1 publication Critical patent/WO2021059990A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging device and an imaging method.
  • Patent Document 1 states, "By shifting the focus position to a position where the resolution of the subject in the center of the image and the resolution of the periphery of the image are substantially equivalent according to the lens movement amount and the movement direction stored in advance in the storage table. , Balancing the resolution performance of the entire image ”is disclosed.
  • Patent Document 1 is an effective countermeasure against the deviation of the focus position between the peripheral portion of the image and the central portion of the image, that is, the curvature of field.
  • an object of the present invention is to provide a technique for acquiring data on the resolution performance of an imaging device without hindering the operation of the imaging device.
  • one of the imaging devices of the present invention includes an imaging unit, a resolution evaluation unit, and a database unit.
  • the imaging unit captures an optical image of the subject formed by the photographing optical system and generates video data.
  • the resolution evaluation unit evaluates and determines the resolution performance of the video data based on the signal component indicating the resolution performance extracted by the video processing of the video data.
  • the database unit stores the correspondence between the setting parameters of the photographing optical system and the resolution performance.
  • the present invention it is possible to acquire data on the resolution performance of the image pickup device without hindering the operation of the image pickup device.
  • FIG. 1 is a diagram showing a block configuration of the image pickup apparatus of the first embodiment.
  • FIG. 2 is a flow chart (1/2) for explaining the photographing operation of the image pickup apparatus.
  • FIG. 3 is a flow chart (2/2) for explaining the photographing operation of the image pickup apparatus.
  • FIG. 4 is a diagram showing a gradation change of the focused edge boundary, a gradient inclination of the signal level, and an edge component (contour correction signal) extracted for contour correction.
  • FIG. 5 is a waveform diagram showing the relationship between the resolution performance and the edge component.
  • FIG. 6 is a diagram showing the data structure of the database unit.
  • FIG. 7 is a flow chart for explaining the operation of maintenance management of the image pickup apparatus.
  • FIG. 8 is a diagram showing backup data of the database unit.
  • FIG. 1 is a diagram showing a block configuration of the image pickup apparatus 100 of Example 1.
  • the imaging device 100 includes a photographing optical system 101, a lens control unit 102, an imaging unit 103, a drive circuit 104, an image processing unit 105, a contour correction unit 106, an image output unit 107, and a central control unit 110.
  • the photographing optical system 101 is a zoom optical system in which the focal length is variable, and is a focus optical system for adjusting the focus distance, an aperture mechanism for limiting the amount of incident light, and rotating the photographing direction of the photographing optical system 101.
  • a pan head drive mechanism for panning and tilting is provided as needed.
  • the lens control unit 102 controls the photographing optical system 101.
  • the lens control unit 102 position-drives the focus optical system in the photographing optical system 101 to focus on the subject.
  • the lens control unit 102 detects the distance to the subject (focus distance) based on the position in the lens of the focus optical system.
  • the lens control unit 102 drives the aperture mechanism in the photographing optical system 101 to control the F value (aperture value) of the photographing optical system 101.
  • the focal length (zoom amount) of the zoom optical system of the photographing optical system 101 is changed based on the pan / tilt direction and the focus distance of the photographing optical system 101 to control the zoom magnification of the subject.
  • the imaging unit 103 captures a subject image formed via the photographing optical system 101 and generates video data.
  • the drive circuit 104 includes a vertical counter and a horizontal counter in order to use the internal operating clock for vertical and horizontal coordinate management.
  • Drive signals (horizontal synchronization, vertical synchronization, etc.) generated by these counters are given to the imaging unit 103.
  • the imaging unit 103 controls the exposure time of the subject image, reads out all the pixels of the video data, reads out the pixel addition of the video data, and the like.
  • the drive circuit 104 gives a synchronization signal for video processing to the video processing unit 105.
  • the video processing unit 105 performs variable gain adjustment (imaging sensitivity), demosaic processing, color processing, and gradation correction (gamma correction) for the video data read from the imaging unit 103 according to the horizontal and vertical timing of the synchronization signal for video processing. (Including), perform video processing such as data compression processing as necessary.
  • the contour correction unit 106 is a part of the image processing unit 105, extracts an edge component (contour correction signal) of the video data, and corrects the contour of the video data. Since the amplitude of the edge component is determined as described later, it is preferable that the contour correction unit extracts the edge component from the video data before the variable gain adjustment by the imaging sensitivity is performed. Further, when the edge component is extracted from the video data after adjusting the variable gain, the amplitude of the edge component may be determined by subtracting the variable gain component. In these processes, it is possible to determine the amplitude of the edge component without being affected by the amplitude change due to the variable gain (in a situation where a small variable gain that does not interfere with the determination of the resolution performance is applied). Further, in the case of standard sensitivity (fixed gain), these processes are not necessary.
  • the video output unit 107 converts the video data that has undergone video processing into a predetermined video signal format, and outputs the video output to the outside according to external synchronization or internal synchronization. For example, when the image pickup device 100 is a surveillance camera, the video output is sent to an external surveillance center or the like.
  • the central control unit 110 controls the entire image pickup apparatus 100. Further, the central control unit 110 outputs data related to maintenance management for maintenance of the image pickup apparatus 100 to an external management system via the network M.
  • the dotted line range shown in FIG. 1 shows the configuration of the internal block of the central control unit 110.
  • the central control unit 110 includes a control unit 111, an amplitude / frequency determination unit 112, a database unit 113, a parameter inquiry unit 114, a resolution limit setting unit 115, a resolution limit unit 116, and maintenance management.
  • a unit 117 is provided.
  • the control unit 111 sends an operation command to the lens control unit 102 and the drive circuit 104, and acquires information on the setting parameters of the photographing optical system 101.
  • the amplitude / frequency determination unit 112 (corresponding to the resolution evaluation unit) acquires the edge component of the video data and the frequency cycle signal from the contour correction unit 106.
  • the amplitude / frequency determination unit 112 determines the resolution performance of the image pickup apparatus 100 by determining the amplitude of the edge component and the edge frequency within the period of the frequency cycle signal.
  • the database unit 113 acquires information on the setting parameters (for example, zoom amount, focus distance, F value, etc.) of the photographing optical system 101 from the control unit 111. Further, the database unit 113 acquires information on the resolution performance from the amplitude / frequency determination unit 112. The database unit 113 associates these setting parameters with the resolution performance and accumulates data as a correspondence relationship. Through such data accumulation, the database unit 113 becomes a database capable of inquiring the resolution performance for each combination of various setting parameters.
  • the setting parameters for example, zoom amount, focus distance, F value, etc.
  • the initial value of the database unit 113 may be set to a predetermined NA value (not applicable). Further, the database unit 113 may be initially set by giving standard design data (default value) of the image pickup apparatus 100.
  • the database unit 113 may be initially set based on the result of the test shooting at the timing of factory shipment of the image pickup apparatus 100 or the start of operation.
  • the control unit 111 commands the lens control unit 102 to sequentially change the setting parameters, and commands the drive circuit 104 to sequentially perform test shooting.
  • the amplitude / frequency determination unit 112 sequentially acquires the resolution performance of the image pickup apparatus 100.
  • the database unit 113 sequentially accumulates these data, so that the initial setting is automatically completed. For test shooting, it is desirable to prepare a defined subject environment corresponding to the shooting sequence.
  • the parameter inquiry unit 114 acquires information from the control unit 111 of the setting parameters required for the shooting to be performed.
  • the parameter inquiry unit 114 queries the database unit 113 for this setting parameter to estimate the resolution performance.
  • the resolution limit setting unit 115 acquires information on brightness conditions such as the photometric value of the subject, the signal level of the video data, and the imaging sensitivity gain.
  • the resolution limit setting unit 115 obtains an appropriate resolution limit from the viewpoint of image quality and the like based on the brightness condition and the resolution performance estimated by the parameter inquiry unit 114.
  • the resolution limiting unit 116 resolves the video data by limiting the resolution performance of the video data (pixel addition reading by the imaging unit 103, pinning addition of pixel values by the video processing unit 105, or smoothing processing). Reduce performance to the proper resolution limit.
  • the maintenance management unit 117 creates a history of data in the database unit 113.
  • the resolution performance deteriorates with the passage of time due to aging, dust, and dirt of the photographing optical system 101.
  • the maintenance management unit 117 monitors the deterioration of the resolution performance with the passage of time based on the history of the database unit 113.
  • the maintenance management unit 117 periodically notifies the external management system of the history or the monitoring result of the database unit 113 as information for managing the deterioration of the image pickup apparatus 100 via the network M.
  • the central control unit 110 described above may be configured as a computer system equipped with a CPU (Central Processing Unit), memory, or the like as hardware. When this hardware executes a program, the various functions described above of the central control unit 110 are realized. For some or all of this hardware, dedicated equipment, general-purpose machine learning machines, DSP (Digital Signal Processor), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit), PLD (programmable logic device) You may substitute with. Further, by centralizing or distributing a part or all of the hardware to the servers on the network and arranging them in the cloud, a plurality of imaging devices may jointly use the system of the central control unit 110 via the network M.
  • a plurality of imaging devices may jointly use the system of the central control unit 110 via the network M.
  • Step S01 The control unit 111 commands the lens control unit 102 to set the setting parameters according to the shooting environment in the shooting optical system 101.
  • the setting parameters are a zoom amount, a focus distance, an F value, and the like.
  • Step S02 The control unit 111 commands the drive circuit 104 to drive the image pickup unit 103 to read the video data.
  • Step S03 The control unit 111 determines the subject brightness (photometric value and signal level of video data) and the imaging sensitivity gain as threshold values, and determines whether or not the subject is in a bright environment such as daytime (hereinafter referred to as "bright environment"). To judge.
  • the bright environment means a situation in which the S / N of the video data is higher than a predetermined value and is suitable for evaluation and determination of the resolution performance of the image pickup apparatus.
  • the control unit 111 shifts the operation to step S02.
  • the control unit 111 shifts the operation to step S10 while avoiding the evaluation determination of the resolution performance.
  • a high-contrast proper exposure state in which a high-luminance region of 80% or more and a low-luminance region of 20% or less continuously exist with respect to 100% white. It may be determined as a bright environment.
  • control unit 111 determines whether or not it is daytime based on the date and time information, and whether or not the shooting location is in the shadow depending on the position of the sun. It may be determined whether it is an environment or not.
  • Step S04 The video processing unit 105 performs video processing on the video data read from the imaging unit 103.
  • the contour correction unit 106 extracts an edge component (contour correction signal) from the video data and performs contour correction (contour enhancement or the like) of the video data based on the edge component.
  • Step S05 The amplitude / frequency determination unit 112 acquires information on edge components (contour correction signal, etc.) from the contour correction unit 106.
  • the amplitude / frequency determination unit 112 evaluates and determines the resolution performance (high / low of contour correction, etc.) of video data based on the amplitude or frequency of the edge component. For example, in the amplitude / frequency determination unit 112, the larger the feature value of the edge component (for example, the peak hold value, the amplitude value, the maximum peak value, the intermediate value, the gradient, the absolute value average, the root mean square, etc.) of the edge component, the more the image Highly evaluate and judge the data resolution performance. Further, for example, the amplitude / frequency determination unit 112 evaluates and determines the resolution performance of the video data higher as the frequency of occurrence of high-frequency edge components in a predetermined cycle increases.
  • Step S06 When the image pickup device 100 is pan / tilt driven, the control unit 111 acquires the pan / tilt angle of the photographing optical system 101 via the lens control unit 102.
  • the shooting target changes between "relatively dark indoors” and “relatively bright windows and outdoors” depending on the pan / tilt angle (that is, the shooting direction).
  • the focus distance to the shooting target changes according to the pan / tilt angle. Therefore, the control unit 111 adds the pan / tilt angle as an option to the setting parameter item of the photographing optical system as a parameter indicating such an environmental change.
  • Step S07 The database unit 113 accumulates data on the correspondence between the setting parameters of the photographing optical system acquired in step S02 (and step S06) and the resolution performance of the video data evaluated and determined in step S05. After such an operation, the control unit 111 advances the operation to step S15 in order to process the video data.
  • Step S10 If it is determined in step S01 that the environment is dark, the control unit 111 starts the operation from step S10.
  • the control unit 111 commands the lens control unit 102 to set the setting parameters according to the shooting environment in the shooting optical system 101.
  • the setting parameters are a zoom amount, a focus distance, an F value, and the like.
  • Step S11 When the image pickup device 100 is pan / tilt driven, the control unit 111 acquires the pan / tilt angle of the photographing optical system 101 via the lens control unit 102. The control unit 111 optionally adds this pan / tilt angle to the setting parameter item of the photographing optical system as a “parameter indicating an environmental change”.
  • Step S12 The control unit 111 queries the database unit 113 for the setting parameters of the photographing optical system, searches the database unit 113 for data, and obtains the resolution performance (as a past record) corresponding to the setting parameters.
  • Step S13 The resolution limit setting unit 115 obtains an appropriate resolution limit of video data from the viewpoint of image quality based on the brightness condition of the subject in the dark environment and the resolution performance obtained in step S12. For example, the resolution limit setting unit 115 sets an appropriate resolution limit relatively lower with respect to the image resolution of the image pickup unit 103 as the resolution performance obtained in step S12 is lower. Further, in order to suppress noise that increases as the subject becomes darker, an appropriate resolution limit is set low.
  • the resolution limit setting unit 115 does not limit the resolution limit so as not to impair the resolution performance.
  • Step S14 The control unit 111 commands the drive circuit 104 to drive the image pickup unit 103 to read the video data.
  • Step S15 The resolution limiting unit 116 commands the drive circuit 104 or the video processing unit 105 via the control unit 111 to reduce the imaging resolution of the video data to an appropriate resolution limit.
  • the drive circuit 104 performs n-line pixel addition reading (n ⁇ 2) and pixel addition reading for each horizontal p pixel ⁇ vertical q pixel (p ⁇ 2, q ⁇ 2).
  • the resolution limiting unit 116 increases the pixel addition numbers n, p, and q as the appropriate resolution limit is lower, so that the imaging resolution (apparent resolution) of the video data is appropriately resolved. Lower to the limit.
  • the video processing unit 105 performs binning addition of pixel values, smoothing processing, and the like.
  • the resolution limiting unit 116 lowers the imaging resolution (apparent resolution) of video data to an appropriate resolution limit by increasing the number of binning additions and the number of smoothed pixels as the appropriate resolution limit is lower.
  • Step S16 The video output unit 107 converts the video data into a predetermined video signal format, and outputs the video data to the outside in time with the external synchronization or the internal synchronization. At this time, the number of pixels of the video data may be converted according to the number of monitor pixels and the number of recording pixels of the output destination.
  • Step S17 The control unit 111 returns to step S01 and continues shooting until it receives an instruction input to end shooting. On the other hand, when an instruction input for ending shooting is given, the shooting operation is terminated.
  • the imaging operation of the imaging device 100 is performed.
  • FIG. 4 is a diagram showing a gradation change of the focused edge boundary, a gradient inclination of the signal level, and an edge component (contour correction signal) extracted for contour correction.
  • FIG. 4 [A] shows a case of a lens setting having high resolution performance.
  • the gradation change of the edge boundary changes sharply, and the gradient slope of the signal level becomes large.
  • the amplitude of the edge component (contour correction signal) also increases.
  • FIG. 4 [B] shows a case in a lens state with low resolution performance.
  • the gradation change of the edge boundary changes gently, and the gradient slope of the signal level is small.
  • the amplitude of the edge component becomes small.
  • FIG. 5 is a waveform diagram showing the relationship between the resolution performance and the edge component.
  • the signal waveform of the video data having high resolution performance and the signal waveform of the edge component of the video data are shown in two upper and lower stages.
  • the signal waveform of the video data whose resolution performance is experimentally lowered and the signal waveform of the edge component of the video data are shown in two upper and lower stages.
  • the edge component of the video data (resolution performance: high) has a relatively large amplitude and a relatively high frequency as compared with the edge component of the video data (resolution performance: low).
  • an edge component (contour correction signal) extracted from the video data for contour correction by the contour correction unit 106 is used as a signal component indicating the resolution performance.
  • FIG. 4C shows a case where the resolution of the video data is reduced to an appropriate resolution limit in a lens state with low resolution performance.
  • the resolution performance of the subject image is low in the first place, the change in the gradient inclination due to the lower resolution is not noticeable.
  • jaggies a phenomenon in which diagonal edges become jagged due to lower resolution
  • the S / N of video data is improved by pixel addition reading, binning processing, and smoothing filter. Therefore, in the case of FIG. 4 [C], the overall image quality is improved.
  • FIG. 6 is a diagram showing the data structure of the database unit 113.
  • the vertical item of the data structure is the F value of the photographing optical system 101, and is divided into nine categories from the open aperture to the minimum aperture.
  • the first horizontal item of the data structure is the zoom amount (focal length) of the photographing optical system 101, and is divided into six from the wide-angle side focal length (Wide) to the telephoto side focal length (Tele). If desired, pan / tilt angles may be added as options for these items.
  • the range in which the resolution performance is substantially constant is one category.
  • the designer may design as a specification.
  • the amplitude / frequency determination unit 112 obtains a range of setting parameters in which the resolution performance becomes substantially constant.
  • the database unit 113 may learn (automatically set) the data structure with this range as one division.
  • the second horizontal item of the data structure stores the high / low edge component (contour correction signal) as the resolution performance.
  • the number of evaluation stages is two, high and low, but the number of evaluation stages may be increased to three or more.
  • the focus distance is stored corresponding to the intersection position of the above items.
  • a predetermined NA value (not applicable) is set in the place where the data is not stored.
  • the database unit 113 By repeating shooting in a bright environment with a sufficient amount of incident light during the day and less noise, the database unit 113 is constantly updated and has abundant data. As a result, the range of "resolution performance: high” where the contour correction signal has a large output and the range of “resolution performance: low” where the contour correction signal does not have a large output are clarified in the data structure. come.
  • FIG. 7 is a flow chart showing the operation of maintenance management of the image pickup apparatus 100. Hereinafter, description will be given according to the step numbers shown in the figure.
  • Step S31 The maintenance management unit 117 checks the resolution performance of the image pickup apparatus 100 at predetermined time intervals. The maintenance management unit 117 stands by in step S31 until the inspection time comes. On the other hand, when the inspection time comes, the maintenance management unit 117 proceeds to step S32.
  • Step S32 The maintenance management unit 117 collects the latest data of the database unit 113 from the time of the previous inspection and creates backup data of the database unit 113.
  • FIG. 8 is a diagram showing backup data of the database unit 113. The figure shows the backup data on the specified date last month and the backup data on the specified date last year. Not all of the data structure of the database unit 113 is used as backup data, and only representative data that is frequently used may be used as backup data.
  • the backup on the specified date last year is an area in which the backup data on the specified date last month is backed up on the specified date in the specified month. If the "low" data range is clearly increased in the latest data of the database unit 113 compared to the data of the designated date last month or the designated date last year, the resolution performance deteriorates due to aging or dirt. It may be.
  • Step S33 The maintenance management unit 117 transfers the latest backup data of the database unit 113 to an external management system via the network.
  • the management system saves the latest data to be transferred as a backup of the database unit 113.
  • the maintenance management unit 117 restores the database unit 113 at a predetermined history date and time based on the backup history saved in the management system. Becomes possible.
  • Step S34 (The subsequent maintenance management will be described as being performed by the maintenance management unit 117. However, the subsequent maintenance management may be performed by either the maintenance management unit 117 or the management system. In addition, both may be shared or collaborated.)
  • the maintenance management unit 117 determines the progress of deterioration (for example, an increase in the “low” data range) in terms of resolution performance and the like on the time axis. Preserves the deterioration curve expressed as the curve or mathematical formula of. Such a deterioration curve may be obtained by a deterioration experiment in which deterioration is accelerated by an environmental operation of the image pickup apparatus. Further, the deterioration curve calculated by adding the deterioration parameter to the simulator of the photographing optical system may be used. In addition, a standard default degradation curve may be used. The maintenance management unit 117 adjusts the position and scale of the deterioration curve so that the plot of the past history such as the resolution performance of the database unit 113 approaches the curve of the deterioration curve.
  • Step S35 The maintenance management unit 117 determines the time when the deterioration of the resolution performance (for example, the increase of the “low” data range) reaches a level unsuitable for shooting by tracing the adapted deterioration curve in the time axis direction. .. This point is predicted as the time when maintenance is required (hereinafter referred to as "maintenance time").
  • Step S36 The maintenance management unit 117 manages the maintenance time on the time schedule. As a result, when there are sufficient days until the maintenance time, the maintenance management unit 117 returns to the operation in step S31. On the other hand, when a certain deadline has expired until the maintenance time, the maintenance management unit 117 determines that it is the time for the maintenance notice, and shifts the operation to step S37.
  • Step S37 The maintenance management unit 117 sends maintenance information (predicted maintenance time, installation location of the imaging device 100, trouble content, previous time) to the maintenance management destination registered in the maintenance management destination list of the imaging device 100. Notify the number of days since the maintenance date and time, the previous maintenance details, etc.). After the notification, the maintenance management unit 117 returns to the operation in step S31 in order to prepare for further maintenance and inspection.
  • the maintenance and management of the image pickup apparatus 100 is performed by the above series of operations.
  • Example 1 the resolution performance of the video data is evaluated and determined based on the "signal component indicating the resolution performance extracted by the video processing of the video data". Therefore, it is possible to evaluate and determine the resolution performance in parallel with the original shooting in the image pickup apparatus 100. Therefore, in the above-mentioned image pickup device for traffic monitoring and crime prevention, it is not necessary to stop the operation of the original shooting, and there is no problem in the use of traffic monitoring and crime prevention.
  • the database unit 113 holds the correspondence between the setting parameters of the photographing optical system 101 and the resolution performance. Therefore, it is possible to save the resolution performance as data for each combination of various setting parameters.
  • the shooting environment it is determined whether or not the shooting environment is a bright environment, and when it is determined to be a bright environment, an evaluation determination of the resolution performance is performed.
  • the S / N of the video data decreases. Therefore, when it becomes dark to some extent, it becomes difficult to evaluate and judge the resolution performance of the small signal level S, and the large noise level N is erroneously evaluated and judged as the resolution performance. Therefore, in the first embodiment, it is possible to determine whether or not the S / N of the video data is suitable for the evaluation determination of the resolution performance by performing the determination process of whether or not the shooting environment is a bright environment. Further, when it is determined that the environment is bright, it is possible to prevent erroneous evaluation of the resolution performance due to noise by performing the evaluation determination of the resolution performance.
  • the setting parameters of the photographing optical system 101 are referred to the database unit 113.
  • the resolution performance which is a past record, can be obtained. Therefore, it is possible to estimate the resolution performance even before shooting.
  • the resolution performance of the video data can be lowered according to an appropriate resolution limit.
  • the imaging resolution of the imaging unit 103 may exceed the resolution performance of the photographing optical system 101 depending on the setting parameters due to the recent increase in the number of pixels.
  • the apparent resolution (number of shooting pixels) of the video data is higher than the substantial resolution performance of the image pickup apparatus 100.
  • the apparent resolution of the video data is reduced to the substantial resolution performance (appropriate resolution limit) of the imaging device 100 (shooting optical system 101, etc.)
  • the actual resolution of the video data is reduced. Performance does not change much.
  • the noise level N in the region higher than the resolution limit can be suppressed by the process of reducing the apparent resolution according to the appropriate resolution limit.
  • adjacent pixel addition such as pixel addition reading and binning processing is performed.
  • the signal level S is doubled (the number of added pixels) for the video data signal having a high spatial correlation (adjacent pixels have similar values).
  • the noise level N increases only up to ⁇ (number of added pixels) times because the random value is added in the adjacent pixel addition such as pixel addition reading and binning processing. Therefore, it is possible to increase the S / N of the video data.
  • the amplitude or frequency of the edge component (contour correction signal) acquired from the contour correction unit 106 is used as a signal component indicating the resolution performance.
  • the contour correction unit 106 extracts an edge component having an edge thickness that is visually conspicuous in order to visually sharpen the contour of the video data. Therefore, the evaluation and determination of the resolution performance using the edge component of the contour correction unit 106 makes it possible to obtain a visually straightforward resolution performance.
  • the first embodiment it is possible to create a history of the database unit 113 and monitor the deterioration of the image pickup apparatus 100 based on the history.
  • the data of the database unit 113 is updated in parallel with taking a picture in a normal time with the image pickup apparatus 100. Therefore, it is possible to monitor the deterioration of the image pickup apparatus 100 as a background process while continuing the normal operation of the image pickup apparatus 100.
  • information for managing deterioration of the image pickup apparatus 100 can be transmitted to an external management system of the image pickup apparatus 100. Therefore, in combination with the effect of (11) described above, it is possible to manage the deterioration of the image pickup apparatus 100 in the external system while continuing the normal operation of the image pickup apparatus 100.
  • the resolution performance is evaluated and judged under the condition of a bright environment with less noise. Therefore, the high frequency noise that increases in the dark environment is not erroneously detected as the resolution performance, and the resolution performance can be obtained more accurately.
  • the zoom amount, the focus distance, and the F value are used together as the setting parameters of the photographing optical system 101.
  • the present invention is not limited to this.
  • any one or two of the zoom amount, the focus distance, and the F value may be used as the setting parameter.
  • any setting parameter that affects the resolution performance can be used as other setting parameters of the photographing optical system 101.
  • the edge component is used for the evaluation judgment of the resolution performance.
  • the present invention is not limited to this. Any "signal component indicating resolution performance extracted by video processing of video data" can be used in place of the edge component.
  • the higher the resolution performance of the video data the larger the file capacity (compression code amount) after compression. Therefore, the capacity (compression code amount) of the compressed file when the video data is variable-length compressed may be used as "a signal component indicating the resolution performance extracted by the video processing of the video data".
  • the resolution performance is evaluated and judged in a bright state during the daytime. Therefore, since the increase in the compressed file capacity (compressed code amount) due to noise is small, the resolution performance can be accurately evaluated and judged.
  • the compression parameter when the video data is compressed to a fixed length may be used as a "signal component indicating the resolution performance extracted by the video processing of the video data".
  • a contour correction signal is used as an edge component.
  • the edge component may be a high-frequency spatial frequency component corresponding to the edge portion of the video data.
  • Such an edge component may be obtained by a local difference of video data, a local plural-order difference, or the like.
  • the edge component is not limited to the component in the image space.
  • a component on the spatial frequency domain of the edge may be obtained by orthogonal transform (for example, discrete cosine transform, discrete wavelet transform) or the like and used as the edge component.
  • the present invention is not limited to this.
  • the present invention may be configured as an imaging system in which a plurality of imaging devices 100 are arranged at a plurality of locations. In this case, it is possible to obtain the same effect as described in the first embodiment in the individual image pickup apparatus 100. Further, in the external management system, by individually managing each image pickup device 100 by an ID number or the like, it is possible to perform maintenance management for each image pickup device 100.
  • the imaging unit 103 and the image processing unit 105 are described as separate blocks.
  • the image pickup unit 103 and the image processing unit may be laminated to form a one-chip image pickup device.
  • the functional circuits of the various blocks shown in FIG. 1 may be appropriately incorporated in the one-chip image sensor.
  • the present invention is not limited to the embodiments, and includes various modifications.
  • the above-described first embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations. Further, it is possible to add / delete / replace a part of the configuration of the first embodiment with another configuration.
  • 100 ... Imaging device, 101 ... Imaging optical system, 102 ... Lens control unit, 103 ... Imaging unit, 104 ... Drive circuit, 105 ... Video processing unit, 106 ... Contour correction unit, 107 ... Video output unit, 110 ... Central control unit , 111 ... Control unit, 112 ... Amplitude / frequency determination unit, 113 ... Database unit, 114 ... Parameter inquiry unit, 115 ... Resolution limit setting unit, 116 ... Resolution limit unit, 117 ... Maintenance management unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、撮像装置の運用に支障少なく、撮像装置の解像性能をデータ取得するための技術を提供することを目的とする。　本発明の撮像装置は、撮像部、解像評価部、およびデータベース部を備える。撮像部は、撮影光学系により形成される被写体の光像を撮像し、映像データを生成する。解像評価部は、映像データの映像処理により抽出された解像性能を示す信号成分に基づいて、映像データの解像性能を評価判定する。データベース部は、撮影光学系の設定パラメータと、解像性能との対応関係を保存する。この撮像装置では、通常の撮影シーケンスにおいて、解像性能の評価判定を行うことが可能になり、撮像装置の解像性能をデータ取得することが可能になる。

Description

撮像装置および撮像方法
　本発明は、撮像装置および撮像方法に関する。
　従来、交通監視用や防犯用などの撮像装置では、遠方の被写体を拡大撮影する際に、超望遠ズームレンズによる狭画角撮影が行われていた。このような特殊なレンズ条件では、レンズ収差や回折現象によって光学的な解像性能の低下が生じる可能性があり、撮影画質に影響が生じる。
　一方、特許文献１には、『記憶テーブルに予め記憶されたレンズ移動量と移動方向に従って、画像中央部の被写体の解像度と画像周辺部の解像度が略等価となる位置までピント位置をずらすことにより、画像全域の解像性能をバランスさせる』旨の技術が開示される。
特開２００２－３３３５６８号公報
　特許文献１の技術は、画像周辺部と画像中央部の間のピント位置のズレ、すなわち像面湾曲に対して有効な対策である。
　しかしながら、上述した交通監視用や防犯用の撮像装置において、像面湾曲の実態を検査して記憶テーブルを作成するためには、本来の撮影を運用停止しなければならない。そのため、交通監視や防犯といった撮像装置の運用に支障が生じるという問題があった。
　そこで、本発明は、撮像装置の運用に支障少なく、撮像装置の解像性能をデータ取得するための技術を提供することを目的とする。
　上記課題を解決するために、本発明の撮像装置の一つは、撮像部、解像評価部、およびデータベース部を備える。
　撮像部は、撮影光学系により形成される被写体の光像を撮像し、映像データを生成する。
　解像評価部は、映像データの映像処理により抽出された解像性能を示す信号成分に基づいて、映像データの解像性能を評価判定する。
　データベース部は、撮影光学系の設定パラメータと、解像性能との対応関係を保存する。
　本発明によれば、撮像装置の運用に支障少なく、撮像装置の解像性能をデータ取得することが可能になる。
　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 
図１は、実施例１の撮像装置のブロック構成を示す図である。 図２は、撮像装置の撮影動作を説明する流れ図（１／２）である。 図３は、撮像装置の撮影動作を説明する流れ図（２／２）である。 図４は、合焦したエッジ境界の階調変化と、信号レベルの勾配傾きと、輪郭補正用に抽出されたエッジ成分（輪郭補正信号）とを示す図である。 図５は、解像性能とエッジ成分との関係を示す波形図である。 図６は、データベース部のデータ構造を示した図である。 図７は、撮像装置の保守管理の動作を説明する流れ図である。 図８は、データベース部のバックアップデータを示す図である。
　以下、図面に基づいて、本発明の実施例を説明する。
＜実施例１の構成＞ 　図１は、実施例１の撮像装置１００のブロック構成を示す図である。
　同図において、撮像装置１００は、撮影光学系１０１、レンズ制御部１０２、撮像部１０３、駆動回路１０４、映像処理部１０５、輪郭補正部１０６、映像出力部１０７、および中央制御部１１０を備える。
　撮影光学系１０１は、焦点距離が可変するズーム光学系であって、フォーカス距離の調整のためのフォーカス光学系と、入射光量を制限する絞り機構と、撮影光学系１０１の撮影方向を回動してパン・チルトするための雲台駆動機構とを、必要に応じて備える。
　レンズ制御部１０２は、撮影光学系１０１を制御する。
　例えば、撮像装置１００が検出する被写体の焦点情報に基づいて、レンズ制御部１０２は撮影光学系１０１内のフォーカス光学系を位置駆動して被写体にピントを合わせる。このフォーカス光学系のレンズ内位置に基づいて、レンズ制御部１０２は、被写体までの距離（フォーカス距離）を検出する。
　また、撮像装置１００が検出する測光情報に基づいて、レンズ制御部１０２は撮影光学系１０１内の絞り機構を駆動して撮影光学系１０１のＦ値（絞り値）を制御する。
　さらに、撮影光学系１０１のパン・チルト方向やフォーカス距離などに基づいて、撮影光学系１０１のズーム光学系の焦点距離（ズーム量）を可変して、被写体のズーム倍率を制御する。
　撮像部１０３は、撮影光学系１０１を介して形成される被写体像を撮像し、映像データを生成する。
　駆動回路１０４は、内部の動作クロックを垂直水平の座標管理に使用するために、垂直カウンタおよび水平カウンタを備える。これらのカウンタにより生成される駆動信号（水平同期、垂直同期など）は撮像部１０３に与えられる。この駆動信号に従って、撮像部１０３は、被写体像の露光時間制御、映像データの全画素読み出し、映像データの画素加算読み出しなどを行う。また、駆動回路１０４は、映像処理部１０５に対して、映像処理用の同期信号を与える。
　映像処理部１０５は、映像処理用の同期信号の水平垂直タイミングに従って、撮像部１０３から読み出される映像データに対して、可変ゲイン調整（撮像感度）、デモザイク処理、色処理、階調補正（ガンマ補正含む）、データ圧縮処理などの映像処理を必要に応じて施す。
　輪郭補正部１０６は、映像処理部１０５の一部であり、映像データのエッジ成分（輪郭補正信号）を抽出して、映像データの輪郭補正を行う。
　なお、後述するようにエッジ成分の振幅判定を行うため、輪郭補正部は、撮像感度による可変ゲイン調整を行う前の映像データからエッジ成分を抽出することが好ましい。また、可変ゲイン調整後の映像データからエッジ成分を抽出する場合は、可変ゲイン分を差し引いてエッジ成分の振幅判定を行ってもよい。これらの処理では、（解像性能の判定に支障ない程度の小さな可変ゲインがかかる状況において）可変ゲインによる振幅変化の影響を受けずにエッジ成分の振幅判定が可能になる。また、標準感度（固定ゲイン）の場合であれば、これらの処理は必要ない。
　映像出力部１０７は、映像処理を施した映像データを、所定の映像信号形式に変換し、外部同期または内部同期に従って映像出力を外部へ出力する。例えば、撮像装置１００が監視カメラである場合、映像出力は外部の監視センターなどへ送出される。
　中央制御部１１０は、撮像装置１００の全体制御を行う。また、中央制御部１１０は、撮像装置１００のメンテナンスのための保守管理に関するデータを、ネットワークＭを介して外部の管理システムへ出力する。
　図１に示す点線範囲は、中央制御部１１０の内部ブロックの構成を示す。
　この内部ブロックに示すように、中央制御部１１０は、制御部１１１、振幅・頻度判定部１１２、データベース部１１３、パラメータ照会部１１４、解像限界設定部１１５、解像制限部１１６、および保守管理部１１７を備える。
　制御部１１１は、レンズ制御部１０２および駆動回路１０４に対して動作指令を送ると共に、撮影光学系１０１の設定パラメータを情報取得する。
　振幅・頻度判定部１１２（解像評価部に相当）は、輪郭補正部１０６から映像データのエッジ成分および頻度周期信号を取得する。振幅・頻度判定部１１２は、エッジ成分の振幅、および頻度周期信号の周期内のエッジ頻度を判定することによって撮像装置１００の解像性能を判定する。
　データベース部１１３は、制御部１１１から撮影光学系１０１の設定パラメータ（例えば、ズーム量、フォーカス距離、Ｆ値など）を情報取得する。また、データベース部１１３は、振幅・頻度判定部１１２から解像性能を情報取得する。データベース部１１３は、これらの設定パラメータと解像性能との対応付けを行い、対応関係としてデータ蓄積する。このようなデータ蓄積を経て、データベース部１１３は各種の設定パラメータの組み合わせごとに解像性能を照会可能なデータベースになる。
　なお、データベース部１１３の初期値は所定のＮＡ値（not applicable）にしておいてもよい。また、撮像装置１００の標準的な設計上のデータ（デフォルト値）を与えて、データベース部１１３を初期設定しておいてもよい。
　また、撮像装置１００の工場出荷や運用開始などのタイミングで、テスト撮影の結果に基づいてデータベース部１１３を初期設定してもよい。例えば、制御部１１１がレンズ制御部１０２に指令して設定パラメータを一通りに順次変更しながら、駆動回路１０４に指令してテスト撮影を順次に行う。このテスト撮影のシーケンスに同期して、振幅・頻度判定部１１２は撮像装置１００の解像性能を順次に取得する。データベース部１１３が、これらのデータを順次に蓄積することによって、初期設定は自動的に完了する。
　なお、テスト撮影には撮影シーケンスに相当して定義された被写体環境を準備することが望ましい。例えば、撮影距離を1m、2m、3mとする撮影シーケンスの場合、該当する距離に、定義されたチャートと、色温度や照度の等しい照明環境などが、準備されたテスト環境を用いることが推奨される。
　パラメータ照会部１１４は、これから行う撮影に必要な設定パラメータを制御部１１１から情報取得する。パラメータ照会部１１４は、この設定パラメータをデータベース部１１３に照会して解像性能を推定する。
　解像限界設定部１１５は、被写体の測光値や映像データの信号レベルや撮像感度ゲインなどの明るさ条件を情報取得する。解像限界設定部１１５は、明るさ条件と、パラメータ照会部１１４が推定する解像性能とに基づいて、画質の観点などから適正な解像限界を求める。
　一方、解像制限部１１６は、映像データの解像性能の制限処理（撮像部１０３による画素加算読み出し、映像処理部１０５による画素値のビニング加算、または平滑化処理）により、映像データの解像性能を適正な解像限界まで下げる。
　保守管理部１１７は、データベース部１１３のデータの履歴を作成する。撮影光学系１０１の経年変化やゴミや汚れによって、解像性能は時間経過に従って低くなる。保守管理部１１７は、データベース部１１３の履歴に基づいて時間経過に伴う解像性能の低下をモニタする。保守管理部１１７は、このデータベース部１１３の履歴またはモニタ結果を、撮像装置１００の劣化を管理するための情報として、外部の管理システムにネットワークＭを介して定期的に報知する。
　なお、上述した中央制御部１１０を、ハードウェアとしてＣＰＵ（Central Processing Unit）やメモリなどを備えたコンピュータシステムとして構成してもよい。このハードウェアがプログラムを実行することにより、中央制御部１１０の上述した各種機能が実現する。このハードウェアの一部または全部については、専用の装置、汎用の機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ(programmable logic device）などで代替してもよい。また、ハードウェアの一部または全部をネットワーク上のサーバに集中または分散してクラウド配置することにより、複数の撮像装置がネットワークＭを介して中央制御部１１０のシステムを共同使用してもよい。
＜実施例１の撮影動作＞ 　続いて、撮像装置１００の一連の撮影動作について説明する。
　図２および図３は、撮像装置１００の撮影動作を説明する流れ図である。
　以下、図２および図３に示すステップ番号の順番に説明する。
ステップＳ０１：　制御部１１１は、レンズ制御部１０２に指令して、撮影環境に応じた設定パラメータを撮影光学系１０１に設定する。例えば、設定パラメータは、ズーム量、フォーカス距離、Ｆ値などである。
ステップＳ０２：　制御部１１１は、駆動回路１０４に指令して、撮像部１０３を駆動して映像データを読み出す。
ステップＳ０３：　制御部１１１は、被写体輝度（測光値や映像データの信号レベル）や撮像感度ゲインを閾値判定し、被写体が日中などの明るい環境（以下「明環境」という）にあるか否かを判定する。明環境とは、映像データのＳ／Ｎが所定の値より高く、撮像装置の解像性能の評価判定に適する状況を意味する。明環境と判定されると、制御部１１１はステップＳ０２に動作を移行する。一方、被写体が低照度下の暗い環境（以下「暗環境」という）にある場合、映像データのノイズが増えるため、解像性能の評価判定には適さない。そのため、制御部１１１は、解像性能の評価判定を避けてステップＳ１０に動作を移行する。
　例えば、撮像感度によるゲイン増倍前の映像データにおいて、１００％白に対して８０％以上の高輝度域や、２０％以下の低輝度域が継続して存在する高コントラストの適正露光状態において、明環境と判定してもよい。
　また例えば、撮像装置１００が屋外設置の監視カメラの場合、制御部１１１は、日時情報に基づいて日中か否か、太陽位置により撮影場所が影になるか否かなど判定することによって、明環境か否かを判定してもよい。
ステップＳ０４：　映像処理部１０５は、撮像部１０３から読み出される映像データに映像処理を施す。この映像処理の一つとして、輪郭補正部１０６は映像データからエッジ成分（輪郭補正信号）を抽出し、エッジ成分に基づいて映像データの輪郭補正（輪郭強調など）を実施する。
ステップＳ０５：　振幅・頻度判定部１１２は、輪郭補正部１０６からエッジ成分（輪郭補正信号など）を情報取得する。振幅・頻度判定部１１２は、エッジ成分の振幅または頻度に基づいて、映像データの解像性能（輪郭補正の高低など）を評価判定する。例えば、振幅・頻度判定部１１２は、エッジ成分の特徴値（例えば、エッジ成分のピークホールド値、振幅値、最大ピーク値、中間値、勾配、絶対値平均、二乗平均など）が大きいほど、映像データの解像性能を高く評価判定する。また例えば、振幅・頻度判定部１１２は、所定周期における高域のエッジ成分の発生頻度が多いほど、映像データの解像性能を高く評価判定する。
ステップＳ０６：　制御部１１１は、撮像装置１００がパン・チルト駆動される場合、レンズ制御部１０２を介して、撮影光学系１０１のパン・チルト角度を取得する。例えば、監視範囲内を回動する監視カメラの場合、パン・チルト角度（つまり撮影方向）に応じて、撮影対象が『比較的暗い室内』と『比較的明るい窓際や屋外』と変化する。また、パン・チルト角度に応じて撮影対象までのフォーカス距離が変化する。そこで、制御部１１１は、このような環境変化を示すパラメータとして、パン・チルト角度を撮影光学系の設定パラメータの項目にオプション追加する。
ステップＳ０７：　データベース部１１３は、ステップＳ０２（およびステップＳ０６）で取得された撮影光学系の設定パラメータと、ステップＳ０５で評価判定された映像データの解像性能との対応関係をデータ蓄積する。このような動作の後に、制御部１１１は、映像データの処理を行うためにステップＳ１５に動作を進める。
ステップＳ１０：　ステップＳ０１において、暗環境と判定された場合、制御部１１１はステップＳ１０から動作を開始する。制御部１１１は、レンズ制御部１０２に指令して、撮影環境に応じた設定パラメータを撮影光学系１０１に設定する。例えば、設定パラメータは、ズーム量、フォーカス距離、Ｆ値などである。
ステップＳ１１：　制御部１１１は、撮像装置１００がパン・チルト駆動される場合、レンズ制御部１０２を介して、撮影光学系１０１のパン・チルト角度を取得する。制御部１１１は、このパン・チルト角度を、『環境変化を示すパラメータ』として撮影光学系の設定パラメータの項目にオプションで追加する。
ステップＳ１２：　制御部１１１は、撮影光学系の設定パラメータをデータベース部１１３に照会してデータベース部１１３内をデータ検索し、設定パラメータに対応する（過去実績としての）解像性能を求める。
ステップＳ１３：　解像限界設定部１１５は、暗環境にある被写体の明るさ条件と、ステップＳ１２で求めた解像性能とに基づいて、画質の観点において映像データの適正な解像限界を求める。例えば、解像限界設定部１１５は、ステップＳ１２で求めた解像性能が低いほど、撮像部１０３の撮像解像度に対して適正な解像限界を相対的に低く設定する。また、被写体が暗いほど増大するノイズを抑制するために、適正な解像限界を低く設定する。
　なお、ステップＳ１２で求めた解像性能が高く、ノイズ量も少ない場合、解像限界設定部１１５は、解像性能を損なわないように解像限界の制限を行わない。
ステップＳ１４：　制御部１１１は、駆動回路１０４に指令して、撮像部１０３を駆動して映像データを読み出す。
ステップＳ１５：　解像制限部１１６は、制御部１１１を介して、駆動回路１０４または映像処理部１０５に指令して、映像データの撮像解像度を適正な解像限界まで下げる。
　例えば、駆動回路１０４は、ｎラインの画素加算読み出し（ｎ≧２）や、横ｐ画素×縦ｑ画素ごとの画素加算読み出し（ｐ≧２，ｑ≧２）を行う。解像制限部１１６は、これらの処理において、適正な解像限界が低いほど画素加算数のｎ，ｐ，q を大きくすることにより、映像データの撮像解像度（見かけの解像度）を適正な解像限界まで下げる。
　また例えば、映像処理部１０５は、画素値のビニング加算や平滑化処理などを行う。解像制限部１１６は、適正な解像限界が低いほどビニング加算数や平滑化画素数を大きくすることにより、映像データの撮像解像度（見かけの解像度）を適正な解像限界まで下げる。
ステップＳ１６：　映像出力部１０７は、映像データを、所定の映像信号形式に変換し、外部同期または内部同期にタイミングを合わせて外部へ出力する。このとき、出力先のモニタ画素数や記録画素数などに合わせて、映像データを画素数変換してもよい。
ステップＳ１７：　制御部１１１は、撮影終了の指示入力を受けるまで、ステップＳ０１に戻って撮影を継続する。一方、撮影終了の指示入力が与えられると、撮影動作を終了する。
　以上の一連の動作により、撮像装置１００の撮影動作が行われる。
＜輪郭補正処理と解像性能との関係＞ 　次に、ステップＳ０５で説明した、輪郭補正処理と解像性能との関係について説明する。
　図４は、合焦したエッジ境界の階調変化と、信号レベルの勾配傾きと、輪郭補正用に抽出されたエッジ成分（輪郭補正信号）とを示す図である。
　まず、図４［Ａ］は、解像性能が高いレンズ設定のケースを示す。このケースでは、エッジ境界の階調変化は急峻に変化し、信号レベルの勾配傾きは大きくなる。その結果、エッジ成分（輪郭補正信号）の振幅も大きくなる。
　一方、図４［Ｂ］は、解像性能が低いレンズ状態のケースを示す。このケースでは、エッジ境界の階調変化は緩やかに変化し、信号レベルの勾配傾きは小さい。その結果、エッジ成分（輪郭補正信号）の振幅は小さくなる。
　図５は、解像性能とエッジ成分との関係を示す波形図である。
　図５の左列には、解像性能の高い映像データの信号波形と、その映像データのエッジ成分の信号波形とが上下２段に示される。
　図５の右列には、試験的に解像性能を低くした映像データの信号波形と、その映像データのエッジ成分の信号波形とが上下２段に示される。
　図５によれば、映像データ（解像性能：高）のエッジ成分は、映像データ（解像性能：低）のエッジ成分に比べて、振幅が比較的大きく、頻度が比較的多くなる。
　このように、解像性能と、エッジ成分とには相関関係があり、エッジ成分は解像性能を示す信号成分の一つである。そこで、実施例１では、解像性能を示す信号成分として、輪郭補正部１０６で輪郭補正用に映像データから抽出されるエッジ成分（輪郭補正信号）を使用する。
　一方、図４［Ｃ］は、解像性能が低いレンズ状態において、適正な解像限界まで映像データを低解像度化したケースである。
　このケースでは、そもそも被写体像の解像性能が低いために、低解像度化による勾配傾きの変化は目立たない。また、そもそもエッジが緩やかに階調変化しているため、ジャギー発生（低解像度化によって斜めエッジがジグザクになる現象）も目立たない。その一方で、画素加算読み出しやビニング処理や平滑化フィルタによって映像データのＳ／Ｎは改善する。そのため、図４［Ｃ］のケースでは、総合的に画質は向上する。
＜データベース部１１３の一例＞ 　続いて、データベース部１１３について説明する。
　図６は、データベース部１１３のデータ構造を示した図である。
　同図に示すように、データ構造の縦項目は、撮影光学系１０１のＦ値であって、開放絞りから最小絞りまでが９つの区分に分けられる。
　データ構造の第１の横項目は、撮影光学系１０１のズーム量（焦点距離）であって、広角側焦点距離（Wide）から望遠側焦点距離（Tele）までが６つに区分される。
　必要であれば、これら項目に対してパン・チルト角度をオプションとして追加してもよい。
　このような区分は、解像性能が略一定になる範囲を１区分とすることが好ましい。実際には、設計者が仕様として設計してもよい。また、振幅・頻度判定部１１２において、解像性能が略一定になる設定パラメータの範囲を求める。データベース部１１３は、この範囲を一区分としてデータ構造を学習（自動設定）してもよい。
　データ構造の第２の横項目は、解像性能として、エッジ成分（輪郭補正信号）の高／低が格納される。ここでは評価段数は高低の２段であるが、評価段数を３段以上に増やしてもよい。
　データ構造のデータフィールド内には、上記項目の交差位置に対応して、フォーカス距離が格納される。なお、データフィールド内において、データ未格納の箇所には、所定のＮＡ値（not applicable）が設定される。
　日中の充分な入射光量とノイズの少ない明環境での撮影が繰り返されることによって、データベース部１１３は常に更新され、かつ潤沢なデータを有するようになる。その結果、輪郭補正信号が大きい出力を持つ『解像性能：高』の範囲と、輪郭補正信号が大きい出力を持たない『解像性能：低』の範囲が、データ構造上において明確になってくる。
　このようなデータテーブルの形式では、ズーム量、フォーカス距離、絞り値に基づいてテーブル内を探索することにより、解像性能としてのエッジ成分（輪郭補正信号）の高／低を情報取得することが可能になる。
＜保守管理の動作＞ 　次に、実施例１における撮像装置１００の保守管理について説明する。
　図７は、撮像装置１００の保守管理の動作を示す流れ図である。
　以下、同図に示すステップ番号に沿って説明する。
ステップＳ３１：　保守管理部１１７は、所定の時間間隔おきに撮像装置１００の解像性能を点検する。点検時期になるまで、保守管理部１１７はステップＳ３１で待機する。一方、点検時期になると、保守管理部１１７は、ステップＳ３２に動作を進める。
ステップＳ３２：　保守管理部１１７は、前回点検時からのデータベース部１１３の最新データを収集し、データベース部１１３のバックアップデータを作成する。
　図８は、データベース部１１３のバックアップデータを示す図である。
　同図には、先月指定日のバックアップデータと、先年指定日のバックアップデータが示される。
　データベース部１１３のデータ構造の全てをバックアップデータにせず、使用頻度の高い代表データのみバックアップデータとしてもよい。
　先年指定日のバックアップは、先月指定日のバックアップデータを指定月の指定日などにバックアップした領域である。
　先月指定日や先年指定日のデータに比較して、データベース部１１３の最新データにおいて「低」のデータ範囲が明らかに増えているならば、経年変化や汚れなどの理由で解像性能が劣化している可能性がある。
ステップＳ３３：　保守管理部１１７は、データベース部１１３の最新のバックアップデータを、ネットワークを介して外部の管理システムに転送する。管理システムでは、転送される最新データをデータベース部１１３のバックアップとして履歴保存する。
　撮像装置１００においてデータベース部１１３にデータ故障などの不具合が生じた場合には、保守管理部１１７は、管理システムに履歴保存されたバックアップに基づいて、所定の履歴日時のデータベース部１１３を復旧することが可能になる。
ステップＳ３４：　（これ以降の保守管理については、保守管理部１１７が行うものとして説明する。しかしながら、これ以降の保守管理については、保守管理部１１７、および管理システムのどちらか一方が行ってもよい。また、両方が、分担または協働して行ってもよい。） 　まず、保守管理部１１７は、解像性能などについて劣化の進み具合（例えば「低」のデータ範囲の増加）を時間軸上の曲線または数式として表した劣化曲線を予め保持する。このような劣化曲線は、撮像装置の環境操作により加速的に劣化させる劣化実験により求めてもよい。また、撮影光学系のシミュレータに劣化パラメータを加えて計算した劣化曲線でもよい。さらに、標準的な既定の劣化曲線を用いてもよい。
　保守管理部１１７は、データベース部１１３の解像性能などの過去履歴のプロットが、劣化曲線のカーブに近づくように、劣化曲線の位置や縮尺などを適合させる。
ステップＳ３５：　保守管理部１１７は、適合させた劣化曲線を時間軸方向に辿ることによって、解像性能の劣化（例えば「低」のデータ範囲の増加）が撮影に適さないレベルに達する時点を求める。この時点を、保守が必要になる時期（以下「保守時期」という）として予測する。
ステップＳ３６：　保守管理部１１７は、保守時期をタイムスケジュール上で管理する。その結果、保守時期まで十分な日数がある場合、保守管理部１１７はステップＳ３１に動作を戻す。
　一方、保守時期まで一定の期限を切った場合、保守管理部１１７は保守予告の時期と判断して、ステップＳ３７に動作を移行する。
ステップＳ３７：　保守管理部１１７は、撮像装置１００の保守管理先リストに登録されている保守管理先に対して、保守情報（予測される保守時期、撮像装置１００の設置場所、支障内容、前回の保守日時からの日数、および前回の保守内容など）を通知する。通知の後、保守管理部１１７は、さらなる保守点検に備えるため、ステップＳ３１に動作を戻す。
　以上の一連の動作により、撮像装置１００の保守管理が行われる。
＜実施例１の効果＞（１）実施例１では、「映像データの映像処理により抽出された解像性能を示す信号成分」に基づいて、映像データの解像性能を評価判定する。そのため、撮像装置１００において本来の撮影を行いながら、それに並行して解像性能の評価判定を行うことが可能になる。
　したがって、上述した交通監視用や防犯用の撮像装置においては、本来の撮影を運用停止する必要がなくなり、交通監視や防犯の用途に支障は生じない。
（２）さらに、実施例１では、撮影光学系１０１の設定パラメータと解像性能との対応関係をデータベース部１１３に保持する。そのため、種々の設定パラメータの組み合わせごとに解像性能をデータ保存することが可能になる。
（３）また、実施例１では、撮影環境が明環境か否かを判定し、明環境と判定された場合に解像性能の評価判定を実施する。
　一般に、撮影環境が暗くなるに従って、映像データのＳ／Ｎは低下する。そのため、ある程度暗くなると、小さい信号レベルＳの解像性能の評価判定が困難になると共に、大きなノイズレベルＮを解像性能として誤って評価判定してしまう。
　そこで、実施例１では、撮影環境が明環境か否かの判定処理を行うことによって、映像データのＳ／Ｎが解像性能の評価判定に適するか否かを判定することが可能になる。
　さらに、明環境と判定された場合に、解像性能の評価判定を実施することにより、ノイズに起因する解像性能の誤った評価を防止することが可能になる。
（４）また、実施例１では、撮影光学系１０１の設定パラメータをデータベース部１１３に照会する。この照会の結果として、過去の実績である解像性能が得られる。そのため、撮影前においても、解像性能を推定することが可能になる。
（５）さらに、実施例１では、推定される解像性能に基づいて、これから撮影する映像データについて適切な解像限界を定めることが可能になる。
（６）また、実施例１では、映像データの解像性能を適切な解像限界に応じて下げることが可能になる。通常、撮像部１０３の撮像解像度は、近年の高画素化のため、設定パラメータによっては撮影光学系１０１の解像性能を超える場合がある。この場合、撮像装置１００としての実質的な解像性能よりも映像データの見かけの解像度（撮影画素数）の方が高くなる。このようなケースでは、映像データの見かけの解像度を、撮像装置１００（撮影光学系１０１など）の実質的な解像性能（適正な解像限界）まで落としても映像データの実質的な解像性能はさほど変わらない。
（７）さらに、実施例１では、見かけの解像度を適切な解像限界に応じて落とす処理によって、解像限界よりも高域のノイズレベルＮを抑制することが可能になる。
（８）また、実施例１では、見かけの解像度を落とす処理において、画素加算読み出しやビニング処理などの隣接画素加算を行う。この場合、空間的相関性（隣接画素は似た値）の高い映像データの信号については信号レベルＳが（加算画素数）倍に増加する。その一方、空間的相関性のないランダムノイズについては、画素加算読み出しやビニング処理などの隣接画素加算においてランダム値の加算になるため、ノイズレベルＮは√（加算画素数）倍までしか増加しない。そのため、映像データのＳ／Ｎを高くすることが可能になる。
（９）上述した（６）～（８）の効果により、映像データの見かけの解像度は低下しても、実質的な解像性能はさほど低下せず、かつ映像データのノイズは相対的に低下して映像データのＳ／Ｎを高めることが可能になる。その結果、実施例１では、解像性能が低下する撮影環境において、撮像装置１００の総合的な画質を高めることが可能になる。
（１０）また、実施例１では、輪郭補正部１０６から取得したエッジ成分（輪郭補正信号）の振幅または頻度を、解像性能を示す信号成分として使用する。通常、輪郭補正部１０６は、映像データの輪郭を視覚的に鮮明にするため、視覚的に目立ちやすいエッジ太さのエッジ成分を抽出する。そのため、輪郭補正部１０６のエッジ成分を用いた解像性能の評価判定は、視覚的に素直な解像性能を得ることが可能になる。
（１１）さらに、実施例１では、データベース部１１３の履歴を作成し、その履歴に基づいて撮像装置１００の劣化をモニタすることが可能になる。特に、実施例１では、撮像装置１００において通常時の撮影を行いながら、それに並行してデータベース部１１３のデータ更新が行われる。そのため、撮像装置１００の通常運用を継続しながら、その背景処理として撮像装置１００の劣化をモニタすることが可能になる。
（１２）また、実施例１では、撮像装置１００の劣化を管理するための情報を、撮像装置１００の外部の管理システムに伝達することができる。そのため、上述した（１１）の効果と相俟って、撮像装置１００の通常運用を継続しながら、外部システムにおいて、撮像装置１００の劣化管理を行うことが可能になる。
（１４）さらに、実施例１では、ノイズの少ない明環境の条件で、解像性能を評価判定する。そのため、暗環境において増大する高域ノイズを解像性能として誤検出することがなく、解像性能をより正確に求めることが可能になる。
＜実施形態の補足事項＞ 　なお、実施形態では、撮影光学系１０１の設定パラメータとして、ズーム量、フォーカス距離、Ｆ値を合わせて使用する。しかしながら、本発明はこれに限定されない。例えば、ズーム量、フォーカス距離、Ｆ値のいずれか一つか二つを設定パラメータに使用してもよい。また、撮影光学系１０１のその他の設定パラメータとしては、解像性能に影響を与える設定パラメータであれば使用可能である。
　また、実施例では、解像性能の評価判定にエッジ成分を使用する。しかしながら、本発明はこれに限定されない。「映像データの映像処理により抽出された解像性能を示す信号成分」であれば、エッジ成分に代えて使用できる。
　例えば、映像データの可変長圧縮において、映像データの解像性能が高くなるほど、圧縮後のファイル容量（圧縮符号量）は大きくなる。そこで、映像データを可変長圧縮した際の圧縮ファイルの容量（圧縮符号量）を、「映像データの映像処理により抽出された解像性能を示す信号成分」として使用してもよい。なお、実施形態では、日中の明るい状態において解像性能を評価判定する。そのため、ノイズによる圧縮ファイル容量（圧縮符号量）の増大は少ないので、解像性能を正確に評価判定することができる。
　また例えば、映像データの固定長圧縮においては、映像データの解像性能が高くなるほど、情報量の削減に係る圧縮パラメータ（量子化係数や量子化テーブルなど）が変化する。そこで、そこで、映像データを固定長圧縮した際の圧縮パラメータを、「映像データの映像処理により抽出された解像性能を示す信号成分」として使用してもよい。
　さらに、実施形態では、エッジ成分として輪郭補正信号を使用する。しかしながら、本発明はこれに限定されない。エッジ成分は、映像データのエッジ箇所に相当する高域の空間周波数成分であればよい。このようなエッジ成分は、映像データの局所的な差分や、局所的な複数次差分などによって求めてもよい。また、エッジ成分は、画像空間の成分に限定されない。例えば、直交変換（例えば離散コサイン変換、離散ウェーブレット変換）などによってエッジの空間周波数領域上の成分を求めて、エッジ成分としてもよい。
　また、実施形態では、説明を簡単にするために、撮像装置１００を単体使用するケースについて説明した。しかしながら、本発明はこれに限定されない。本発明を、複数の撮像装置１００を複数箇所に配置した撮像システムとして構成してもよい。この場合、個々の撮像装置１００において、実施例１で述べたと同様の効果を得ることが可能になる。また、外部の管理システムでは、個々の撮像装置１００をＩＤ番号などで個別に管理することによって、撮像装置１００一つ一つについて保守管理を行うことが可能になる。
　さらに、実施形態では、図１に示すように、撮像部１０３と映像処理部１０５とを別ブロックとして説明した。しかしながら、本発明はこれに限定されない。撮像部１０３と映像処理部とを積層して１チップの撮像素子としてもよい。この１チップの撮像素子に対して、図１に示す各種ブロックの機能回路を適宜に内蔵させてもよい。
　なお、本発明は実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例１は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。さらに、実施例１の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１００…撮像装置、１０１…撮影光学系、１０２…レンズ制御部、１０３…撮像部、１０４…駆動回路、１０５…映像処理部、１０６…輪郭補正部、１０７…映像出力部、１１０…中央制御部、１１１…制御部、１１２…振幅・頻度判定部、１１３…データベース部、１１４…パラメータ照会部、１１５…解像限界設定部、１１６…解像制限部、１１７…保守管理部

Claims (7)

  1. 　撮影光学系により形成される被写体の光像を撮像し、映像データを生成する撮像部と、
    　前記映像データの映像処理により抽出された解像性能を示す信号成分に基づいて、前記映像データの解像性能を評価判定する解像評価部と、
    　前記撮影光学系の設定パラメータと、評価判定された解像性能との対応関係を保存するデータベース部と、
    　を備えたことを特徴とする撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記解像評価部は、前記映像データの撮影環境の明るさについて判定処理を行い、明るい撮影環境と判定された場合に前記映像データの解像性能を評価判定する 　ことを特徴とする撮像装置。
  3. 　請求項１に記載の撮像装置であって、
    　前記撮影光学系の設定パラメータを前記データベース部に照会し、解像性能を推定するパラメータ照会部と、
    　被写体の明るさ条件と、前記パラメータ照会部が推定する解像性能とに基づいて、前記映像データの適正な解像限界を求める解像限界設定部と、
    　前記撮像部が生成する前記映像データの解像性能を前記解像限界に応じて下げる解像制限部と 　を備えたことを特徴とする撮像装置。
  4. 　請求項１に記載の撮像装置であって、
    　前記解像評価部は、
    　　前記映像データのエッジ成分を抽出して輪郭補正を行う輪郭補正部から前記エッジ成分を取得し、前記エッジ成分の振幅または頻度に基づいて前記映像データの解像性能を判定する 　ことを特徴とする撮像装置。
  5. 　請求項１に記載の撮像装置であって、
    　前記データベース部の履歴を作成し、前記履歴に基づいて前記撮像装置の劣化をモニタする保守管理部を備えた 　ことを特徴とする撮像装置。
  6. 　請求項５に記載の撮像装置であって、
    　前記保守管理部は、前記撮像装置の劣化を管理するための情報を、前記撮像装置の外部の管理システムに報告する 　ことを特徴とする撮像装置。
  7. 　撮影光学系により形成される被写体の光像を撮像し、映像データを生成する撮像ステップと、
    　前記映像データの映像処理により抽出された解像性能を示す信号成分に基づいて、前記映像データの解像性能を評価判定する解像評価ステップと、
    　前記撮影光学系の設定パラメータと、評価判定された解像性能との対応関係をデータベース部に保存するデータ保存ステップと、
    　を備えたことを特徴とする撮像方法。
PCT/JP2020/034218 2019-09-26 2020-09-10 撮像装置および撮像方法 WO2021059990A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021548781A JP7232928B2 (ja) 2019-09-26 2020-09-10 撮像装置および撮像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-174835 2019-09-26
JP2019174835 2019-09-26

Publications (1)

Publication Number Publication Date
WO2021059990A1 true WO2021059990A1 (ja) 2021-04-01

Family

ID=75165714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/034218 WO2021059990A1 (ja) 2019-09-26 2020-09-10 撮像装置および撮像方法

Country Status (2)

Country Link
JP (1) JP7232928B2 (ja)
WO (1) WO2021059990A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077876A (ja) * 2009-09-30 2011-04-14 Konica Minolta Opto Inc 撮像装置
JP2013162280A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法
JP2016072931A (ja) * 2014-10-02 2016-05-09 リコーイメージング株式会社 画像表示装置を備える撮像装置
JP2016105568A (ja) * 2014-12-01 2016-06-09 株式会社ザクティ 撮像装置
JP2017108243A (ja) * 2015-12-08 2017-06-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017173920A (ja) * 2016-03-18 2017-09-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011077876A (ja) * 2009-09-30 2011-04-14 Konica Minolta Opto Inc 撮像装置
JP2013162280A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法
JP2016072931A (ja) * 2014-10-02 2016-05-09 リコーイメージング株式会社 画像表示装置を備える撮像装置
JP2016105568A (ja) * 2014-12-01 2016-06-09 株式会社ザクティ 撮像装置
JP2017108243A (ja) * 2015-12-08 2017-06-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP2017173920A (ja) * 2016-03-18 2017-09-28 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体

Also Published As

Publication number Publication date
JPWO2021059990A1 (ja) 2021-04-01
JP7232928B2 (ja) 2023-03-03

Similar Documents

Publication Publication Date Title
WO2021042816A1 (zh) 一种检测监控设备故障的方法、装置
JP4186699B2 (ja) 撮像装置および画像処理装置
JP4705664B2 (ja) 累積および平均化を用いる適応バッファ値のためのバッファ管理
WO2004062275A1 (ja) 画像処理装置および画像処理プログラム
US10467731B2 (en) Automatic defective digital motion picture pixel detection
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
JP2014029353A (ja) 焦点調整装置および焦点調整方法
JP2009177472A (ja) 画像処理方法、画像処理装置及び撮像装置
US20080075384A1 (en) System, medium, and method compensating brightness of an image
KR20090042724A (ko) 오토포커스 제어 회로, 오토포커스 제어 방법 및 이미지 픽업 장치
CN112217999B (zh) 一种宽动态模式的调整方法、装置、电子设备和存储介质
CN109922275A (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
JP6185249B2 (ja) イメージ処理装置及びイメージ処理方法
CN109688332B (zh) 摄像模式调整方法、装置及终端设备
WO2021059990A1 (ja) 撮像装置および撮像方法
US10475162B2 (en) Image processing device, method, and storage medium for gamma correction based on illuminance
JP4438363B2 (ja) 画像処理装置および画像処理プログラム
US8218040B2 (en) Image processing apparatus, image processing method and computer-readable storage medium
JP4466017B2 (ja) 画像処理装置および画像処理プログラム
KR101327078B1 (ko) 카메라 및 이의 영상 처리 방법
CN112036401B (zh) 一种基于车牌图像属性标定的车牌识别一体机评测方法及装置
JP6467865B2 (ja) 画像処理装置、カメラシステム、画像処理方法及びプログラム
JP4546664B2 (ja) 撮像装置および画素欠陥補正方法
US10902574B2 (en) Information processing apparatus, image capture system, control method and storage medium
WO2021059991A1 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20869872

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548781

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20869872

Country of ref document: EP

Kind code of ref document: A1