WO2021246171A1 - 撮像装置、および画像処理方法、並びにプログラム - Google Patents

撮像装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021246171A1
WO2021246171A1 PCT/JP2021/018917 JP2021018917W WO2021246171A1 WO 2021246171 A1 WO2021246171 A1 WO 2021246171A1 JP 2021018917 W JP2021018917 W JP 2021018917W WO 2021246171 A1 WO2021246171 A1 WO 2021246171A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
focus
pixel
unit
change
Prior art date
Application number
PCT/JP2021/018917
Other languages
English (en)
French (fr)
Inventor
遼太 宮澤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022528528A priority Critical patent/JPWO2021246171A1/ja
Priority to US17/921,495 priority patent/US20230164436A1/en
Publication of WO2021246171A1 publication Critical patent/WO2021246171A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present disclosure relates to an image pickup apparatus, an image processing method, and a program. More specifically, the present invention relates to an image pickup apparatus that generates and displays information that enables confirmation of the in-focus state when the focus adjustment process is executed, an image processing method, and a program.
  • High-performance, high-resolution image pickup devices are capable of manual focus adjustment.
  • the cameraman who is the user, looks at the image (through image) of the viewfinder or the monitor, confirms the change in the resolution level of the image, and determines whether or not the optimum focus adjustment has been made for the target subject.
  • the display unit such as a view finder or monitor often has a smaller number of pixels than the image sensor (image sensor), and the display unit such as the view finder or monitor sufficiently expresses the change in resolution. This is because it cannot output. As a result, it becomes difficult for the user (cameraman) to identify a subtle difference in focus level.
  • Patent Document 1 International Publication WO2016 / 163324
  • Patent Document 2 Japanese Patent Laid-Open No. 2009-272784
  • Patent Document 1 International Publication No. WO2016 / 163324 provides a peaking signal generated by an HPF or the like in an output image of an image sensor (image sensor), that is, a peaking signal for identifying a region having a high degree of focus in the image.
  • image sensor image sensor
  • High-frequency signals increase in the region with high in-focus degree, and by using a filtered image by HPF, it is possible to select the region with high in-focus degree, and peaking such as a red signal in the region with high in-focus degree. By superimposing and displaying the signals, the user can determine the in-focus area.
  • Patent Document 2 Japanese Unexamined Patent Publication No. 2009-272784
  • the in-focus degree level is determined according to the ratio of high-frequency components contained in the through image, and the determined result is indicated by the length of the bar.
  • the configuration is disclosed in which the in-focus level display unit of the mold is displayed together with the through image.
  • the peaking signal disclosed in Patent Document 1 is not limited to the object to be focused, and is superimposed and displayed on the entire through image, and further superimposed even after the focus adjustment is completed, so that the imaged object becomes difficult to see. There is.
  • the present disclosure has been made in view of the above problems, for example, and includes an image pickup device that generates and displays information that enables confirmation of the in-focus state in a predetermined pixel area unit, an image processing method, and a program.
  • the purpose is to provide.
  • the first aspect of this disclosure is An in-focus degree change analysis unit that analyzes a change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image.
  • a display control unit that uses the analysis result of the in-focus degree change analysis unit to generate display data that enables confirmation of the in-focus state from the past image in units of pixel areas of the current image.
  • the image pickup apparatus has a display unit for displaying the display data.
  • the second aspect of the present disclosure is It is an image processing method executed in an image processing device.
  • the in-focus degree change analysis unit analyzes the change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image.
  • the display unit is in an image processing method having a display step for displaying the display data.
  • the third aspect of the present disclosure is A program that executes image processing in an image processing device.
  • Focus change analysis step for causing the in-focus degree change analysis unit to analyze the change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image.
  • a display control step for causing the display control unit to generate display data capable of confirming the in-focus state from the past image in units of the pixel area of the current image by using the analysis result of the in-focus degree change analysis unit.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system capable of executing various program codes.
  • a program can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system capable of executing various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
  • a device and a method for analyzing a change in focus between a current image and a past image and outputting display data capable of identifying the change in focus to a display unit are realized.
  • an in-focus degree change analysis unit that analyzes a change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image is used. It has a display control unit that uses the analysis result of the focus change analysis unit to generate display data that enables confirmation of the focus change state from the past image in units of pixel areas of the current image.
  • each pixel is either (a) a pixel that is approaching focus, (b) a pixel that is out of focus, or (c) a pixel that does not change the degree of focus.
  • Generate and display classification information With this configuration, a device and a method for analyzing changes in the in-focus degree between the current image and the past image and outputting display data capable of identifying the change in the in-focus degree to the display unit are realized. It should be noted that the effects described in the present specification are merely exemplary and not limited, and may have additional effects.
  • FIG. 1 It is a figure explaining the configuration example of the image pickup apparatus of this disclosure. It is a figure explaining the structural example of the focusing degree change analysis part. It is a figure explaining the pixel classification information. It is a figure explaining the example of display data. It is a figure explaining the example of display data. It is a figure explaining the example of display data. It is a figure explaining the example of display data. It is a figure explaining the specific example of the pixel analysis processing executed by the pixel classification part of the focusing degree change analysis part. It is a figure explaining the specific example of the pixel analysis processing executed by the pixel classification part of the focusing degree change analysis part. It is a figure explaining the structural example of the focusing degree change analysis part of Example 2.
  • FIG. 1 It is a figure explaining the configuration example of the image pickup apparatus of this disclosure. It is a figure explaining the structural example of the focusing degree change analysis part. It is a figure explaining the pixel classification information. It is a figure explaining the example of display data. It is a figure explaining the example
  • FIG. 1 It is a figure explaining the specific example of the characteristic of HPF, and the example of the focus degree change analysis. It is a figure explaining the specific example of the characteristic of HPF, and the example of the focus degree change analysis. It is a figure explaining the structural example of the focusing degree change analysis part of Example 3.
  • FIG. 1 It is a figure explaining the specific example of the characteristic of HPF, and the example of the focus degree change analysis. It is a figure explaining the specific example of the characteristic of HPF, and the example of the focus degree change analysis. It is a figure explaining the structural example of the focusing degree change analysis part of Example 3. FIG.
  • FIG. 1 is a block diagram showing a main configuration of the image pickup apparatus 100 of the present disclosure.
  • the image pickup device 100 includes an input unit 101, a control unit 102, a drive unit 103, an image sensor (image sensor) 104, an in-focus degree change analysis unit 105, a display control unit 106, and a display unit 107. ..
  • FIG. 1 is a diagram showing only the main configuration used for the processing of the present disclosure in the configuration of the image pickup apparatus 100.
  • the image pickup apparatus 100 has various components such as a lens and a storage unit in addition to the configuration shown in this figure.
  • the input unit 101 corresponds to a user's operation unit, and is an input unit for performing, for example, a shutter, focus adjustment, and various other operations and settings.
  • the control unit 102 controls various processes executed by the image pickup apparatus 100.
  • the control unit 102 includes, for example, a processor that executes processing according to a program stored in a storage unit (not shown).
  • the drive unit 103 executes, for example, a drive process based on a user operation on the input unit 101. For example, a lens drive process for adjusting the focus is executed.
  • the image sensor (image sensor) 104 is an image sensor for generating a subject image input through a lens (not shown). For example, it is composed of CMOS, CCD and the like.
  • the output of the image sensor (image sensor) 104 is the image sensor (image sensor) output image 121 shown in the figure.
  • the image sensor (image sensor) output image 121 is input to the in-focus degree change analysis unit 105.
  • the in-focus degree change analysis unit 105 analyzes the temporal change in the in-focus degree in units of, for example, pixels or a predetermined number of pixel areas.
  • the details of the configuration and processing of the in-focus degree change analysis unit 105 will be described later.
  • the current image sensor output image is compared with the past image sensor output image one to several frames ago to present.
  • an analysis process for classifying which of the following pixels corresponds to is executed. (1) Pixels approaching focus (2) Pixels out of focus (3) Pixels with no change in focus
  • the details of the configuration and processing of the focus change analysis unit 105 will be described later. explain.
  • the display control unit 106 performs a development process for displaying the image sensor (image sensor) output image 121 on the display unit 107, and a focus change state based on the pixel classification information output from the focus change analysis unit 105. Processing for generating pixel-based focusing degree change information for showing, processing for superimposing the generated pixel-based focusing degree change information on the developed image of the image sensor (image sensor) output image 121, and the like are performed, and the display unit 107 is displayed. Generate a display image to be output.
  • the display unit 107 is a display unit that displays a display image generated by the display control unit 106, and is composed of, for example, a monitor or a view finder. Specifically, it is a display unit such as an LCD.
  • FIG. 2 is a block diagram showing an example (Example 1) of the detailed configuration of the in-focus degree change analysis unit 105, which is a component of the image pickup apparatus 100 shown in FIG.
  • the in-focus degree change analysis unit 105 of the first embodiment has a memory 151, a first HPF (High Pass Filter) 152, a second HPF (High Pass Filter) 153, and a pixel classification unit 154.
  • the image sensor output image 121 which is the output of the image sensor (image sensor) 104, is input to the first HPF 152 of the in-focus degree change analysis unit 105 and is stored in the memory 151.
  • the latest image sensor output image 121 that is, the current image 122 is input to the first HPF 152, and the first HPF 152 performs a filtering process applying the HPF to the current image 122.
  • a pixel region with a high degree of focus has a high frequency
  • a pixel region with a low degree of focus has a low frequency and a large number of low-frequency signals. It is possible to generate an HPF filtering image in which a high frequency region and a low frequency region can be identified.
  • the HPF filtering image is, for example, an image in which a signal (pixel value) corresponding to the degree of focus (high frequency component amount) is set.
  • the first HPF 152 generates a current image HPF filtering image, and inputs the generated current image HPF filtering image to the pixel classification unit 154.
  • the memory 151 is an image frame memory, and is a memory capable of storing one image frame to several image frames.
  • the image sensor output image 121 which is the output of the image sensor (image sensor) 104, is sequentially input to and stored in the memory 151. From the memory 151, the past image 123 one image frame to several image frames before the current image 122 is read out and input to the second HPF 153.
  • a past image 123 one image frame to several image frames before the current image 122 is input to the second HPF 153, and filtering processing is performed by applying the HPF to the past image 123.
  • the second HPF 153 generates an HPF filtering image capable of distinguishing a region having a high degree of focus and a region having a low degree of focusing of the past image 123 by a filtering process to which the HPF is applied, and the generated past image HPF filtering image is sent to the pixel classification unit 154. input.
  • the pixel classification unit 154 inputs the following two HPF filtering images. (1) HPF filtering image for the current image 122 (2) HPF filtering image for the past image 123
  • the pixel classification unit 154 compares these two HPF filtering images and classifies which of the following each pixel of the current image corresponds to. (1) Pixels approaching focus (2) Pixels out of focus (3) Pixels with no change in focus
  • the pixel classification unit 154 compares the high frequency signal component of the corresponding pixel region between the current image HPF filtering image and the past image HPF filtering image. As described above, if there are many high frequency components, it can be determined that the degree of focus is high.
  • the pixel classification unit 154 determines that the pixel is "a pixel approaching focus”. Judge that there is.
  • the pixel is "a pixel out of focus”. do.
  • the pixel is determined to be a "pixel whose focus degree does not change".
  • the pixel classification unit 154 analyzes the change in the high frequency component signal for each pixel corresponding to the current image HPF filtering image and the past image HPF filtering image, and the analysis result shows the change state of the focusing degree.
  • pixel classification information for each pixel that is, which of the following three types of pixel classification each pixel corresponds to is analyzed, and the analysis result is output to the display control unit 106 as pixel classification information 124.
  • the pixel classification unit 154 classifies pixels based on the difference between the high frequency component signal of the current image and the high frequency component signal of the past image. Therefore, even in a pixel region having many high frequency components such as a signal component of the original image, for example, a texture region, if the amount of change in the high frequency component is small according to the focus adjustment, the pixel has no change in focus. It is judged. That is, by applying the process of the present disclosure, it is possible to display the in-focus state confirmation data that does not interfere with the manual focus.
  • FIG. 3 is a diagram illustrating pixel classification information 124 generated by the pixel classification unit 154. As shown in FIG. 3, the pixel classification information 124 is provided. (Category 1) Pixels approaching focus (Category 2) Pixels out of focus (Category 3) Pixels with no change in focus Each pixel is classified into the above three types.
  • Pixels that are approaching focus are pixels whose in-focus degree is higher than the past image in the current image by a threshold value or more.
  • Pixels that are out of focus are pixels whose in-focus degree is lower than the past image in the current image by a threshold value or more.
  • Category 3) A pixel having no change in the degree of focus is a pixel in which the change in the degree of focus is less than the threshold value between the past image and the current image.
  • the pixel classification information 124 generated by the pixel classification unit 154 is output to the display control unit 106.
  • the display control unit 106 is based on the development process for displaying the image sensor (imaging element) output image 121 on the display unit 107 and the pixel classification information output from the in-focus degree change analysis unit 105. It performs processing such as generating pixel-based focusing degree change information to indicate the focusing degree change state, and superimposing the generated pixel-based focusing degree change information on the developed image of the image sensor (imaging element) output image 121. , Generates display data 125 to be output to the display unit 107. The display data 125 generated by the display control unit 106 is displayed on the display unit 107.
  • FIG. 4 shows an example of transition of an image displayed on the display unit 107 in the process of adjusting the focus by the user (cameraman).
  • FIG. 4 (1) is a through image, which is an image of the image sensor (image sensor) output image 121 after development processing.
  • the user (cameraman) starts focus adjustment while looking at this through image.
  • the pixel classification unit 154 classifies each pixel in the image into the following three types. (Category 1) Pixels approaching focus (Category 2) Pixels out of focus (Category 3) Pixels with no change in focus
  • the pixel classification information 124 is input to the display control unit 106, and the display control unit 106 uses this classification information to generate display data 125.
  • the example shown in FIG. 4 is an example of generating display data in which only "(classification 1) pixels approaching focus” are selected and this "(classification 1) pixels approaching focus” can be identified. Is.
  • FIG. 4 (2a) Pixel-by-pixel-by-focus degree change information superimposed image is a change in focus degree for making it possible to identify "(Category 1) pixels approaching focus” in the image of "house” in the image.
  • This is display data in which a discrimination signal (peaking signal), for example, a specific color signal (for example, a red signal) is superimposed.
  • the user By looking at this display data, the user (cameraman) can confirm that the "house” area in the image is approaching focus.
  • FIG. 4 (2b) Pixel-unit focusing degree change information superimposed image is a change in focusing degree for making it possible to identify "(Category 1) pixels approaching focusing" in the image of "people" in the image.
  • This is display data in which a discrimination signal (peaking signal), for example, a specific color signal (for example, a red signal) is superimposed.
  • the user By looking at this display data, the user (cameraman) can confirm that the area of "people” in the image is approaching focus. In this way, it is easy to check the degree of focus only in the "people" area.
  • the example of the display data shown in FIG. 4 is a simple explanatory diagram for explaining the process of the present disclosure in an easy-to-understand manner. In reality, it is unlikely that the focus change determination signal for each house or person will be displayed, and the focus change determination signal (peaking) in finer units such as a part of the house or a part of the person. Signal) is displayed.
  • the example shown in FIG. 4 is an example of display data superposed with an in-focus degree change determination signal capable of identifying only "(classification 1) pixels approaching in-focus", but the display control unit 106 For example, it is also possible to generate display data in which only the “(classification 2) out-of-focus pixels” are superimposed with the in-focus degree change determination signal that can be identified and display them on the display unit 107. ..
  • FIG. 5 is an example of generating display data in which only "(classification 2) out-of-focus pixels" is selected and this "(classification 2) out-of-focus pixels" can be identified. be.
  • FIG. 5 (1) is a through image, which is an image of the image sensor (image sensor) output image 121 after development processing.
  • the user (cameraman) starts focus adjustment while looking at this through image.
  • FIG. 5 (2a) In the pixel-by-pixel unit focus change information superimposed image, the focus degree for making it possible to identify "(classification 2) pixels out of focus” in the image of "tree” in the image.
  • This is display data in which a change determination signal, for example, a specific color signal (for example, a blue signal) is superimposed.
  • the user By looking at this display data, the user (cameraman) can confirm that the "tree" area in the image is out of focus.
  • FIG. 4 (2b) In the pixel-by-pixel unit focusing degree change information superimposed image, the focusing degree for making it possible to identify "(classification 2) pixels out of focus” in the image of "house” in the image.
  • This is display data in which a change determination signal, for example, a specific color signal (for example, a blue signal) is superimposed.
  • the user By looking at this display data, the user (cameraman) can confirm that the "house” area in the image is out of focus.
  • FIG. 4 is an example of image data in which only the pixel area of “(Category 1) pixels approaching focus” can be identified, and FIG. 5 shows “(Category 2) out of focus”.
  • This is an example of image data in which the pixel area of only "pixels” can be identified, but the display control unit 106 can also identify only "(classification 3) pixels having no change in focus degree”. It is also possible to generate data.
  • the display control unit 106 can also generate display data in which all of the following three types of pixels or two types can be identified together. (Category 1) Pixels approaching focus (Category 2) Pixels out of focus (Category 3) Pixels with no change in focus
  • a red focus change determination signal is superimposed on "(Category 1) Pixels approaching focus”.
  • a blue focus change determination signal is superimposed on "(Category 2) Pixels that are out of focus”.
  • the "(classification 3) pixel having no change in focus degree” may be configured to generate display data on which a yellow focus degree change determination signal is superimposed and display it on the display unit 107.
  • the user By looking at the display data displayed on the display unit 107, the user (cameraman) can easily and surely identify the in-focus degree change mode for each pixel region in the image.
  • the display control unit 106 may be configured to generate data displayed by using the bar indicator and output the degree of focus of the pixel region approaching focus to the display unit 107, for example.
  • FIG. 6 shows a specific example.
  • the “human” region in the image is the “(classification 1) pixel approaching focus” region, respectively.
  • a bar indicator indicating the degree of focus is displayed at the lower side of the image.
  • This bar indicator is a level indicator of the degree of focus indicating the level of the degree of focus in the "(classification 1) pixels approaching focus” region by the length of the bar.
  • the length of the bar is longer in (2c), and the user (cameraman) can see the "person” in the "(classification 1) pixel approaching focus” area. It is possible to correctly recognize that the degree of focus of the pixel region is gradually increasing.
  • the in-focus degree change analysis unit 105 of the image pickup apparatus 100 of the present disclosure analyzes the change in the in-focus degree of each pixel, and classifies each pixel into the following three types of pixels based on the analysis result. .. (Category 1) Pixels approaching focus (Category 2) Pixels out of focus (Category 3) Pixels with no change in focus
  • the display control unit 106 uses this classification result to generate display data in which the in-focus degree change mode of each pixel can be recognized and displays it on the display unit 107.
  • the user By performing these processes, the user (cameraman) can see the image displayed on the display unit 107 and accurately and easily identify the change in the in-focus degree of each pixel.
  • the in-focus degree change analysis unit 105 analyzes the temporal change in the in-focus degree in units of, for example, pixels or a predetermined number of pixel areas. For example, the current image sensor output image is compared with the past image sensor output image one to several frames ago, and each pixel of the current image sensor output image is classified as which of the following is applicable. do. (Category 1) Pixels approaching focus (Category 2) Pixels out of focus (Category 3) Pixels with no change in focus
  • the pixel classification unit 154 of the in-focus degree change analysis unit 105 has a current image HPF filtering image, a past image HPF filtering image, and these two HPF filtering images. , And analyze which of the above (Category 1) to (Category 3) each of the pixels of the current image corresponds to.
  • the graph shown in FIG. 7 is a graph showing time on the horizontal axis and focusing degree (HPF result) on the vertical axis.
  • the captured image at time t1 corresponds to the past image, and the captured image at time t2 corresponds to the current image.
  • the past image which is the captured image at time t1
  • the current image which is the captured image at time t2
  • the HPF in the first HPF 152 shown in FIG. 2 is filtered by the HPF in the first HPF 152 shown in FIG. 2, and the amount of high frequency components for each pixel is calculated.
  • the pixel classification unit 154 compares the current image HPF filtering image, the past image HPF filtering image, and these two HPF filtering images, and each pixel of the current image is described in the above (classification 1) to (classification 3). It is analyzed which of the pixels corresponds to.
  • the pixel A shown in FIG. 7 has a lower in-focus degree of the current image than the past image, and the in-focus degree difference (high-frequency component amount difference) is equal to or more than the threshold value. "are categorized. Further, the pixel B has a higher in-focus degree of the current image than the past image, and the in-focus degree difference (high-frequency component amount difference) is equal to or more than the threshold value, so that the pixel B is classified as "a pixel approaching in-focus". .. Further, the pixel C is classified as "a pixel having no change in the in-focus degree” because the difference between the in-focus degree of the past image and the present image (difference in the amount of high-frequency component) is less than the threshold value.
  • the in-focus degree change analysis process in the in-focus degree change analysis unit 105 is repeated for images continuously input from the image sensor (image sensor) 104, and the process is executed. That is, the process of generating the latest classification result for the latest input image is repeatedly executed for each new input image.
  • FIG. 8 is a graph showing a change in the degree of focus of one pixel, “pixel A”, while the user (cameraman) continuously executes the focus adjustment. Similar to FIG. 7, the graph shown in FIG. 8 is a graph showing time on the horizontal axis and focusing degree (HPF result) on the vertical axis.
  • the difference in focus difference in the amount of high frequency components
  • the difference in focus difference in the amount of high frequency components
  • the in-focus degree of the current image (t21 photographed image) is higher than that of the past image (t20 photographed image), and the in-focus degree difference (high frequency component amount difference) is equal to or more than the threshold value. It is classified as "a pixel approaching the focus”.
  • the in-focus degree of the current image (t31 photographed image) is lower than that of the past image (t30 photographed image), and the in-focus degree difference (high-frequency component amount difference) is equal to or more than the threshold value. It is classified as "a pixel that is out of focus”.
  • the difference in the degree of focus (difference in the amount of high frequency components) between the past image (image taken at t40) and the current image (image taken at t41) is less than the threshold value. It is classified as "no pixel”.
  • the in-focus degree change analysis process in the in-focus degree change analysis unit 105 is repeated for the images continuously input from the image sensor (image sensor) 104, and the process is executed.
  • the display control unit 106 sequentially updates the display data according to the latest pixel classification information input from the focus degree change analysis unit 105, generates new display data, and outputs the new display data to the display unit 107.
  • Example 2 About the example of the in-focus degree change analysis unit that performs pixel classification using the averaging data for each of a plurality of pixel areas]
  • Example 2 an example of the in-focus degree change analysis unit that performs pixel classification using averaging data in units of a plurality of pixel areas will be described.
  • the in-focus degree change analysis unit 105 described above with reference to FIG. 2 executes a process of classifying each pixel as a pixel corresponding to any of the following in the pixel classification unit 154 in the pixel classification unit 154. It is a configuration to do. (Category 1) Pixels approaching focus (Category 2) Pixels out of focus (Category 3) Pixels with no change in focus
  • FIG. 9 is a block diagram showing a configuration example of the in-focus degree change analysis unit 105b of the second embodiment. That is, it is a block diagram which shows the structural example of the focusing degree change analysis unit 105b which performs pixel classification using the averaging data of a plurality of pixel area units.
  • the in-focus degree change analysis unit 105b shown in FIG. 9 has a pixel area unit first HPF output averaging unit 201 and a pixel area unit second HPF output in the in-focus degree change analysis unit 105 described above with reference to FIG. This is a configuration in which the averaging unit 202 is added.
  • the pixel area unit first HPF output averaging unit 201 performs averaging processing using the pixel values of surrounding pixels for each pixel value of the current image HPF filtering image output from the first HPF 152 in the previous stage. For example, for one pixel of the HPF filtering image, the averaged pixel value of the pixel values in the 9 ⁇ 9 pixel region around the pixel is calculated and used as the pixel value of the one pixel (HPF filtering result).
  • the pixel area unit second HPF output averaging unit 202 performs averaging processing using the pixel values of the surrounding pixels for each pixel value of the past image HPF filtering image output from the second HPF 153 in the previous stage. For example, for one pixel of the HPF filtering image, the averaged pixel value of the pixel values in the 9 ⁇ 9 pixel region around the pixel is calculated and used as the pixel value of the one pixel (HPF filtering result).
  • the first HPF 152 inputs the latest image sensor output image 121, that is, the current image 122, performs filtering processing by applying the HPF to the current image 122, and performs the filtering process of the current image 122. Generate the corresponding HPF filtered image.
  • the second HPF 153 inputs the past image 123 one image frame to several image frames before the current image 122, performs filtering processing by applying the HPF to the past image 123, and generates an HPF filtering image corresponding to the past image 123. do.
  • a pixel region with a high degree of focus has a high frequency
  • a pixel region with a low degree of focus has a small high frequency and a large number of low frequency signals. It is possible to generate an HPF filtered image in which low regions can be identified.
  • the Nyquist frequency is a frequency corresponding to 1/2 of the sampling frequency.
  • FIG. 10 shows the following figures.
  • Example A Frequency characteristics of HPF
  • the HPF characteristic shown in this graph is a characteristic in which the change becomes smaller as the frequency approaches the vicinity of the Nyquist frequency.
  • the results of the in-focus degree change analysis when the HPF having such characteristics is used as the first HPF152 and the second HPF153 in the in-focus degree change analysis unit 105 of the image pickup apparatus of the present disclosure are shown in (a2) on the right side. It is a graph.
  • This graph (a2) is a graph showing time on the horizontal axis and focusing degree (HPF result) on the vertical axis, as described above with reference to FIGS. 7 and 8.
  • the degree of focus on the vertical axis (HPF result) corresponds to the amount of high-frequency component detected in the HPF filtering result image.
  • the difference between the in-focus degree of the current image and the past image becomes smaller than the regulation threshold value, and as a result, it is determined as a pixel whose in-focus degree does not change even though the pixel is approaching in-focus. There is a possibility that it will be done.
  • the amplitude characteristics increase at an accelerating rate as the frequency approaches the high frequency side. It is preferable to use the HPF having. That is, it is preferable that the HPF has a characteristic that the filtering result of the HPF has a large slope up to the peak.
  • FIG. 11 shows the following figures.
  • B1 HPF frequency characteristic example B
  • B2 Example of frequency characteristic example Focus change analysis example when HPF having the characteristics shown in B is applied.
  • Example B Frequency characteristic of HPF
  • the HPF characteristic shown in this graph is a characteristic in which the change becomes large as the frequency approaches the vicinity of the Nyquist frequency.
  • the results of the in-focus degree change analysis when the HPF having such characteristics is used as the first HPF152 or the second HPF153 in the in-focus degree change analysis unit 105 of the image pickup apparatus of the present disclosure are shown in (b2) on the right side. It is a graph.
  • the graph of (b2) is a graph showing time on the horizontal axis and focusing degree (HPF result) on the vertical axis.
  • the degree of focus on the vertical axis (HPF result) corresponds to the amount of high-frequency component detected in the HPF filtering result image.
  • the HPF 152 used as the first HPF 152 and the HPF used as the second HPF 153 in the in-focus degree change analysis unit 105 of the image pickup apparatus of the present disclosure are HPFs having a characteristic that the amplitude characteristic increases at an accelerating rate as the frequency approaches the high frequency side. Is preferable.
  • FIG. 12 is a block diagram showing a configuration example of the in-focus degree change analysis unit 105b of the third embodiment. That is, it is a block diagram which shows the structural example of the focusing degree change analysis unit 105c which performs pixel classification using the averaging data of a plurality of pixel areas.
  • the display unit 107 has a smaller number of pixels than the number of pixels of the image sensor (image sensor) 104.
  • the image displayed on the display unit 107 needs to be an image in which the number of pixels of the image sensor output image 121, which is the output of the image sensor (image sensor) 104, is reduced, that is, a down-converted image. ..
  • the display control unit 106 in the configuration shown in FIG. 12 executes the down-conversion process of the image sensor output image 121.
  • the pixel classification information 124 output by the in-focus degree change analysis unit 105c to the display control unit 106 also corresponds to the pixel position of the down-converted image. It is necessary to use the pixel classification information.
  • the in-focus degree change analysis unit 105c shown in FIG. 12 has a configuration for realizing this process.
  • the in-focus degree change analysis unit 105c shown in FIG. 12 has a first HPF output down-conversion unit 221 and a second HPF output down-conversion unit 222 in the in-focus degree change analysis unit 105 shown in FIG. 9 described above as the second embodiment. Is added.
  • the first HPF output down-converting unit 221 is configured between the first HPF 152 and the pixel area unit first HPF output averaging unit 201.
  • the first HPF output down-conversion unit 221 executes a down-conversion process of the current image HPF filtering image output from the first HPF 152.
  • the down-conversion rate (pixel count reduction rate) of this down-conversion process is the same as the down-conversion rate of the down-conversion process executed by the display control unit 106 for the image sensor output image 121.
  • the first HPF output down-conversion unit 221 executes the down-conversion process of the current image HPF filtering image generated by the first HPF 152 to generate the down-converted image of the current image HPF filtering image.
  • the down-converted image of the current image HPF filtering image generated by the first HPF output down-converting unit 221 is input to the pixel area unit first HPF output averaging unit 201.
  • the pixel area unit first HPF output averaging unit 201 executes processing for the down-converted image of the current image HPF filtering image.
  • the second HPF output down-converting unit 222 is configured between the second HPF 153 and the pixel area unit second HPF output averaging unit 202.
  • the second HPF output down-conversion unit 222 executes the down-conversion process of the past image HPF filtering image output from the second HPF 153.
  • the down-conversion rate (pixel count reduction rate) of this down-conversion process is also the same as the down-conversion rate of the down-conversion process executed by the display control unit 106 for the image sensor output image 121.
  • the second HPF output down-conversion unit 222 executes the down-conversion process of the past image HPF filtering image generated by the second HPF 153 to generate the down-converted image of the past image HPF filtering image.
  • the down-converted image of the past image HPF filtering image generated by the second HPF output down-converting unit 222 is input to the second HPF output averaging unit 202 in pixel area units.
  • the second HPF output averaging unit 202 for each pixel area executes processing for the down-converted image of the past image HPF filtering image.
  • the pixel area unit first HPF output averaging unit 201 and the pixel area unit second HPF output averaging unit 202 are used to down-convert the current image HPF filtering image and down the past image HPF filtering image, respectively.
  • the execution result for the converted image is input.
  • All of the execution results are the results for the down-converted image of the HPF filtering image, and the pixel classification unit 154 compares the results of the down-converted image of the HPF filtering image with respect to the past image to perform pixel classification.
  • the number of pixels to be classified as pixels corresponds to the number of pixels of the down-converted image generated by the down-convert process executed by the display control unit 106 on the image sensor output image 121.
  • the display control unit 106 focuses on the down-converted image generated by the down-convert process for the image sensor output image 121 based on the pixel classification information corresponding to the number of pixels of the down-converted image output from the in-focus degree change analysis unit 105c. Pixel-based focusing degree change information indicating a degree change state is generated, and display data 125 including these data is output to the display unit 107.
  • the first HPF output down-conversion unit 221 is set between the first HPF 152 and the pixel area unit first HPF output averaging unit 201, and the second HPF output is down.
  • the conversion unit 222 is set between the second HPF 153 and the pixel area unit second HPF output averaging unit 202,
  • the down-conversion unit in the in-focus degree change analysis unit 105c can be set to various positions other than the positions shown in FIG. 12 as long as it is the position after the first HPF 152 and the second HPF 153.
  • the HPF filter image By configuring the HPF filter image to be down-converted in the in-focus degree change analysis unit in this way, even if the image displayed on the display unit is the down-converted image of the image sensor output image 121, the down-converted image is down. It is possible to output focus change information corresponding to the converted image.
  • the technology disclosed in the present specification can have the following configurations.
  • An in-focus degree change analysis unit that analyzes a change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image.
  • a display control unit that uses the analysis result of the in-focus degree change analysis unit to generate display data that enables confirmation of the in-focus state from the past image in units of pixel areas of the current image.
  • An image pickup apparatus having a display unit for displaying the display data.
  • the display control unit is The image pickup apparatus according to (1), which generates display data capable of confirming the in-focus degree of the current image and the in-focus degree change state from the past image to the present image.
  • the in-focus degree change analysis unit is Each pixel, on a pixel-by-pixel basis, (A) Pixels approaching focus (b) Pixels out of focus (c) Pixels with no change in focus Pixel classification information indicating which of the above (a) to (c) is The image pickup apparatus according to (1) or (2), wherein the image is generated and output to the display control unit.
  • the display control unit is Display data that makes it possible to identify at least one of the pixels that are approaching focus, the pixels that are out of focus, and the pixels whose degree of focus does not change is generated for each pixel of the current image.
  • the image pickup apparatus according to any one of (1) to (3).
  • the display control unit is It is possible to identify at least one of pixels that are approaching focus, pixels that are out of focus, and pixels that do not change the degree of focus in a through image that is a developed image of the output of the image sensor.
  • the image pickup apparatus according to any one of (1) to (4), which generates display data in which the focus change determination signal is superimposed.
  • the display control unit is The image pickup apparatus according to any one of (1) to (6), which generates display data including a bar indicator capable of determining the degree of focus of a pixel approaching focus.
  • the in-focus degree change analysis unit is A first filter unit that generates current image in-focus degree analysis data that can identify the in-focus degree of each pixel by executing the filtering process for the current image, and A second filter unit that generates past image in-focus degree analysis data that can identify the in-focus degree of each pixel by executing the filtering process for the past image, and The current image focus analysis data is compared with the past image focus analysis data to analyze the change in focus in pixel units or pixel region units, and pixel classification information is generated based on the analysis result.
  • the image pickup apparatus according to any one of (1) to (7), which has a pixel classification unit.
  • the in-focus degree change analysis unit is It has a memory for storing the output image from the image sensor, and has a memory.
  • the first filter unit and the second filter unit are The image pickup apparatus according to (8) or (9), which executes a filtering process to which an HPF (high Pass Filter) is applied.
  • HPF high Pass Filter
  • the HPF used by the first filter unit and the second filter unit is The image pickup apparatus according to (10), which is an HPF having a characteristic that the amplitude characteristic increases at an accelerating rate as it approaches the high frequency side.
  • the in-focus degree change analysis unit is The output averaging unit of the first filter unit, which averages the output of the first filter unit in units of a plurality of pixels, It has a second filter unit output averaging unit that averages the output of the second filter unit in units of a plurality of pixels.
  • the pixel classification unit is The output of the output averaging unit of the first filter unit is compared with the output of the output averaging unit of the second filter unit to analyze the change in the degree of focus in pixel units or pixel region units, and based on the analysis result.
  • the image pickup apparatus according to any one of (8) to (11), which has a pixel classification unit for generating pixel classification information.
  • the display control unit is The configuration is such that the down-converted image generated by down-converting the output image from the image sensor is output to the display unit.
  • the focus change analysis unit is The image pickup apparatus according to any one of (1) to (12), which generates pixel classification information indicating a change in the degree of focus of each pixel of the down-converted image.
  • the in-focus degree change analysis unit is A first filter unit that generates current image in-focus degree analysis data that can identify the in-focus degree of each pixel by executing the filtering process for the current image, and A second filter unit that generates past image in-focus degree analysis data that can identify the in-focus degree of each pixel by executing the filtering process for the past image, and
  • the in-focus degree change analysis unit analyzes the change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image.
  • a display control step for generating display data in which the display control unit can confirm the in-focus state from the past image in units of the pixel area of the current image by using the analysis result of the in-focus degree change analysis unit.
  • a program that executes image processing in an image processing device Focus change analysis step for causing the in-focus degree change analysis unit to analyze the change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image.
  • a display control step for causing the display control unit to generate display data capable of confirming the in-focus state from the past image in units of the pixel area of the current image by using the analysis result of the in-focus degree change analysis unit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • the program can be pre-recorded on a recording medium.
  • programs can be received via networks such as LAN (Local Area Network) and the Internet, and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the device that executes the processes.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • the change in focus between the current image and the past image is analyzed, and display data that can identify the change in focus is output to the display unit.
  • the device and method to do so are realized.
  • an in-focus degree change analysis unit that analyzes a change in the in-focus degree between the current image output from the image sensor and the past image output from the image sensor before the output of the current image is used. It has a display control unit that uses the analysis result of the focus change analysis unit to generate display data that enables confirmation of the focus change state from the past image in units of pixel areas of the current image.
  • each pixel is either (a) a pixel that is approaching focus, (b) a pixel that is out of focus, or (c) a pixel that does not change the degree of focus.
  • Generate and display classification information With this configuration, a device and a method for analyzing changes in the in-focus degree between the current image and the past image and outputting display data capable of identifying the change in the in-focus degree to the display unit are realized.
  • Image pickup device 101 Input section 102 Control section 103 Drive section 104 Image sensor (image sensor) 105 Focus change analysis unit 106 Display control unit 107 Display unit 151 Memory 152 1st HPF 153 2nd HPF 154 Pixel classification unit 201 Pixel area unit 1st HPF output averaging unit 202 Pixel area unit 2nd HPF output averaging unit 221 1st HPF output down conversion unit 222 2nd HPF output down conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法を提供する。画像センサから出力される現在画像と、現在画像の出力前に画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、合焦度変化解析部の解析結果を利用して、現在画像の画素領域単位で過去画像からの合焦度変化状態を確認可能とした表示データを生成する表示制御部を有する。画素単位で、各画素が、（ａ）合焦に近づいている画素、（ｂ）合焦から外れていっている画素、（ｃ）合焦度に変化のない画素のいずれであるかを示す画素分類情報を生成して表示する。

Description

撮像装置、および画像処理方法、並びにプログラム
　本開示は、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、フォーカス調整処理を実行した際に、合焦状態を確認可能とした情報を生成して表示する撮像装置、および画像処理方法、並びにプログラムに関する。
　撮像装置（カメラ）での画像撮影を行う場合、特定の撮影被写体に対するフォーカス調整、すなわち合焦させる処理を行うことが必要となる。昨今は、オートフォーカス機能を持つカメラが多く利用されているが、例えばプロのカメラマン等が利用するカメラの多くは、マニュアルフォーカス調整を可能とした構成を持つものが多い。
　特に高機能な高解像度の撮像装置には、マニュアルフォーカス調整を可能としたものが多い。ユーザであるカメラマンは、ビューファインダやモニタの画像（スルー画）を見て、画像の解像度レベルの変化を確認して、目的の被写体に対して最適なフォーカス調整がなされたか否かを判定する。
　しかし、カメラマン用の小さなビューファインダやモニタではフォーカス位置の違いによる解像感の差を認識しづらく、正確なフォーカス合わせをすることが難しいという問題がある。
　これは、ビューファインダやモニタ等の表示部は、撮像素子（画像センサ）より少ない画素数であることが多く、ビューファインダやモニタ等の表示部に、解像感の変化を十分に表現した画像を出力することができないためである。
　結果として、ユーザ（カメラマン）は、微妙なフォーカスレベルの差を識別することが困難となる。
　このような問題を解決する手法を開示した従来技術として、例えば特許文献１（国際公開ＷＯ２０１６／１６３３２４号公報）や、特許文献２（特開２００９－２７２７８４号公報）がある。
　特許文献１（国際公開ＷＯ２０１６／１６３３２４号公報）は、撮像素子（画像センサ）の出力画像にＨＰＦ等で生成したピーキング信号、すなわち画像内の合焦度が高い領域を識別するためのピーキング信号を、ビューファインダやモニタ等の表示部の表示画像に重畳して表示する構成を開示している。
　合焦度が高い領域は高周波信号が多くなり、ＨＰＦによるフィルタリング画像を用いることで、合焦度が高い領域を選択することが可能であり、合焦度が高い領域に例えば赤色信号等のピーキング信号を重畳して表示することで、ユーザは合焦領域を判別することができる。
　また、特許文献２（特開２００９－２７２７８４号公報）は、スルー画に含まれる高周波成分の割合に応じて、合焦度レベルを判定して、判定された結果をバーの長さで示すバー型の合焦レベル表示部を、スルー画に併せて表示する構成を開示している。
　しかし、特許文献１に開示されたピーキング信号は合焦させたい対象物に限らず、スルー画全体に重畳表示され、さらにフォーカス調整が終わっても重畳され続けるため、撮像対象が見え難くなるという問題がある。
　また、特許文献２に開示されたバー表示を行う構成は、フォーカス検出エリア内で元々高周波成分をもつ被写体があると、このような被写体の存在により、合焦度レベルが上昇してしまい、ユーザが本当に合焦させたい被写体の合焦度がバー型の合焦レベル表示部に反映されない場合があるといった問題がある。
国際公開ＷＯ２０１６／１６３３２４号公報 特開２００９－２７２７８４号公報
　本開示は、例えば上記の問題点に鑑みてなされたものであり、所定の画素領域単位で合焦状態を確認可能とした情報を生成して表示する撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、
　前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御部と、
　前記表示データを表示する表示部を有する撮像装置にある。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　合焦度変化解析部が、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析ステップと、
　表示制御部が、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御ステップと、
　表示部が、前記表示データを表示する表示ステップを有する画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　合焦度変化解析部に、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析させる合焦度変化解析ステップと、
　表示制御部に、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成させる表示制御ステップと、
　表示部に、前記表示データを表示する表示ステップを実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
　具体的には、例えば、画像センサから出力される現在画像と、現在画像の出力前に画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、合焦度変化解析部の解析結果を利用して、現在画像の画素領域単位で過去画像からの合焦度変化状態を確認可能とした表示データを生成する表示制御部を有する。画素単位で、各画素が、（ａ）合焦に近づいている画素、（ｂ）合焦から外れていっている画素、（ｃ）合焦度に変化のない画素のいずれであるかを示す画素分類情報を生成して表示する。
　本構成により、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の撮像装置の構成例について説明する図である。 合焦度変化解析部の構成例について説明する図である。 画素分類情報について説明する図である。 表示データの例について説明する図である。 表示データの例について説明する図である。 表示データの例について説明する図である。 合焦度変化解析部の画素分類部が実行する画素解析処理の具体例について説明する図である。 合焦度変化解析部の画素分類部が実行する画素解析処理の具体例について説明する図である。 実施例２の合焦度変化解析部の構成例について説明する図である。 ＨＰＦの特性の具体例と、合焦度変化解析例について説明する図である。 ＨＰＦの特性の具体例と、合焦度変化解析例について説明する図である。 実施例３の合焦度変化解析部の構成例について説明する図である。
　以下、図面を参照しながら本開示の撮像装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の撮像装置の構成例について
　２．合焦度変化解析部の詳細構成と処理の具体例について
　３．表示データの具体例について
　４．画素単位の合焦度変化の解析処理と画素分類処理の具体例について
　５．（実施例２）複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部の実施例について
　６．合焦度変化解析部において利用する最適なＨＰＦの特性について
　７．（実施例３）表示部の画素数に応じたダウンコンバート処理を行う実施例について
　８．本開示の構成のまとめ
　　［１．本開示の撮像装置の構成例について］
　まず、本開示の撮像装置の構成例について説明する。
　図１は、本開示の撮像装置１００の主要構成を示すブロック図である。
　図１に示すように、撮像装置１００は、入力部１０１、制御部１０２、駆動部１０３、画像センサ（撮像素子）１０４、合焦度変化解析部１０５、表示制御部１０６、表示部１０７を有する。
　なお、図１は、撮像装置１００の構成中、本開示の処理に利用される主要構成のみを示した図である。撮像装置１００は、この図に示す構成以外にも、レンズ、記憶部等、様々な構成要素を有する。
　入力部１０１は、ユーザの操作部に相当し、例えばシャッタ、フォーカス調整、その他の様々な操作や設定を行うための入力部である。
　制御部１０２は、撮像装置１００において実行する様々な処理の制御を実行する。制御部１０２は、例えば図示しない記憶部に格納されたプログラムに従った処理を実行するプロセッサ等を有する。
　駆動部１０３は、例えば入力部１０１に対するユーザ操作に基づく駆動処理を実行する。例えばフォーカス調整のためのレンズ駆動処理等を実行する。
　画像センサ（撮像素子）１０４は、図示しないレンズを介して入力される被写体像を生成するための画像センサである。例えばＣＭＯＳ、ＣＣＤ等によって構成される。
　画像センサ（撮像素子）１０４の出力は、図に示す画像センサ（撮像素子）出力画像１２１である。
　この画像センサ（撮像素子）出力画像１２１が、合焦度変化解析部１０５に入力される。
　合焦度変化解析部１０５は、合焦度の時間的変化を例えば画素単位、あるいは所定数の画素領域単位で解析する。
　合焦度変化解析部１０５の構成と処理の詳細については、後段で説明するが、例えば、現在の画像センサ出力画像と、１～数フレーム前の過去の画像センサ出力画像を比較して、現在の画像センサ出力画像の各画素について、以下のいずれに該当する画素であるかを分類するための解析処理を実行する。
　（１）合焦に近づいている画素
　（２）合焦から外れていっている画素
　（３）合焦度に変化のない画素
　合焦度変化解析部１０５の構成と処理の詳細については、後段で説明する。
　表示制御部１０６は、画像センサ（撮像素子）出力画像１２１を表示部１０７に表示するための現像処理や、合焦度変化解析部１０５から出力される画素分類情報に基づく合焦度変化状態を示すための画素単位合焦度変化情報の生成処理や、生成した画素単位合焦度変化情報を、画像センサ（撮像素子）出力画像１２１の現像画像に重畳する処理などを行い、表示部１０７に出力する表示画像を生成する。
　表示部１０７は、表示制御部１０６の生成した表示画像を表示する表示部であり、例えばモニタやビュューファインダによって構成される。具体的には例えばＬＣＤ等の表示部である。
　　［２．合焦度変化解析部の詳細構成と処理の具体例について］
　次に、合焦度変化解析部の詳細構成と処理の具体例について説明する。
　すなわち、図１に示す撮像装置１００の構成要素である合焦度変化解析部１０５の詳細構成と処理の具体例について説明する。
　図２は、図１に示す撮像装置１００の構成要素である合焦度変化解析部１０５の詳細構成の一例（実施例１）を示すブロック図である。
　図２に示すように、本実施例１の合焦度変化解析部１０５はメモリ１５１、第１ＨＰＦ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）１５２、第２ＨＰＦ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）１５３、画素分類部１５４を有する。
　画像センサ（撮像素子）１０４の出力である画像センサ出力画像１２１は、合焦度変化解析部１０５の第１ＨＰＦ１５２に入力されるとともに、メモリ１５１に格納される。
　第１ＨＰＦ１５２には、最新の画像センサ出力画像１２１、すなわち現在画像１２２が入力され、第１ＨＰＦ１５２は、現在画像１２２に対するＨＰＦを適用したフィルタリング処理を行う。
　一般的に、合焦度が高い画素領域は高周波が多く、合焦度が低い画素領域は高周波が少なく低周波信号が多くなるため、ＨＰＦを適用したフィルタリング処理により、現在画像１２２の合焦度の高い領域、低い領域を識別可能としたＨＰＦフィルタリング画像を生成することができる。ＨＰＦフィルタリング画像は、例えば合焦度（高周波成分量）に応じた信号（画素値）が設定された画像である。
　第１ＨＰＦ１５２は、現在画像ＨＰＦフィルタリング画像を生成し、生成した現在画像ＨＰＦフィルタリング画像を画素分類部１５４に入力する。
　メモリ１５１は、画像フレームメモリであり、１画像フレーム～数画像フレームを格納することが可能なメモリである。
　メモリ１５１には、画像センサ（撮像素子）１０４の出力である画像センサ出力画像１２１が、順次、入力され、格納される。メモリ１５１からは、現在画像１２２より１画像フレーム～数画像フレーム前の過去画像１２３が読み出されて第２ＨＰＦ１５３に入力される。
　第２ＨＰＦ１５３には、現在画像１２２より１画像フレーム～数画像フレーム前の過去画像１２３が入力され、この過去画像１２３に対するＨＰＦを適用したフィルタリング処理を行う。
　第２ＨＰＦ１５３は、ＨＰＦを適用したフィルタリング処理により、過去画像１２３の合焦度の高い領域、低い領域を識別可能としたＨＰＦフィルタリング画像を生成し、生成した過去画像ＨＰＦフィルタリング画像を画素分類部１５４に入力する。
　画素分類部１５４は、以下の２つのＨＰＦフィルタリング画像を入力する。
　（１）現在画像１２２に対するＨＰＦフィルタリング画像
　（２）過去画像１２３に対するＨＰＦフィルタリング画像
　画素分類部１５４は、これら２つのＨＰＦフィルタリング画像を比較して、現在画像の各画素の各々が、以下のいずれに該当する画素であるかを分類する。
　（１）合焦に近づいている画素
　（２）合焦から外れていっている画素
　（３）合焦度に変化のない画素
　画素分類部１５４は、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像との対応画素領域の高周波信号成分を比較する。
　前述したように、高周波成分が多ければ合焦度が高いと判定できる。
　画素分類部１５４は、現在画像の高周波成分信号が、過去画像の高周波成分信号より上昇し、上昇量が予め規定した閾値以上であれば、その画素は、「合焦に近づいている画素」であると判定する。
　また、現在画像の高周波成分信号が、過去画像の高周波成分信号より低下し、低下量が予め規定した閾値以上であれば、その画素は、「合焦から外れていっている画素」であると判定する。
　さらに、現在画像の高周波成分信号と、過去画像の高周波成分信号ととの差分が予め規定した閾値未満であれば、その画素は、「合焦度に変化のない画素」であると判定する。
　画素分類部１５４は、このように、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像との対応画素単位で、高周波成分信号の変化を解析し、この解析結果を合焦度の変化状態を示す指標値として、画素単位の画素分類情報、すなわち、各画素が以下の３種類の画素分類のいずれに該当するかを解析し、解析結果を画素分類情報１２４として、表示制御部１０６に出力する。
　（１）合焦に近づいている画素
　（２）合焦から外れていっている画素
　（３）合焦度に変化のない画素
　このように、画素分類部１５４は、現在画像の高周波成分信号と過去画像の高周波成分信号との差分に基づいて画素分類を行う。従って、例えば元々の画像の信号成分、例えばテクスチャ領域等、高周波成分が多い画素領域であっても、フォーカス調整に応じて高周波成分の変化量が少ない場合は、合焦度の変化がない画素と判定される。すなわち、本開示の処理を適用することで、マニュアルフォーカスの邪魔にならない合焦状態確認データの表示を行うことができる。
　図３は、画素分類部１５４が生成する画素分類情報１２４について説明する図である。
　画素分類情報１２４は、図３に示すように、
　（分類１）合焦に近づいている画素
　（分類２）合焦から外れていっている画素
　（分類３）合焦度に変化のない画素
　各画素を上記３種類に分類する。
　図３に示すように、
　（分類１）合焦に近づいている画素は、過去画像より、現在画像の方が、合焦度が、しきい値以上、上昇している画素である。
　（分類２）合焦から外れていっている画素は、過去画像より、現在画像の方が、合焦度が、しきい値以上、低下している画素である。
　（分類３）合焦度に変化のない画素は、過去画像と、現在画像間で、合焦度の変化が、しきい値未満の画素である。
　画素分類部１５４が生成した画素分類情報１２４は、表示制御部１０６に出力される。
　前述したように、表示制御部１０６は、画像センサ（撮像素子）出力画像１２１を表示部１０７に表示するための現像処理や、合焦度変化解析部１０５から出力される画素分類情報に基づく合焦度変化状態を示すための画素単位合焦度変化情報の生成処理や、生成した画素単位合焦度変化情報を、画像センサ（撮像素子）出力画像１２１の現像画像に重畳する処理などを行い、表示部１０７に出力する表示データ１２５を生成する。
　表示部１０７には、表示制御部１０６が生成した表示データ１２５が表示される。
　　［３．表示データの具体例について］
　次に、表示データの具体例について説明する。
　図４を参照して、表示制御部１０６が生成する表示データ１２５の一例について説明する。
　図４には、ユーザ（カメラマン）がフォーカス調整を行う過程で、表示部１０７に表示される画像の遷移例を示している。
　図４（１）は、スルー画であり、画像センサ（撮像素子）出力画像１２１に対する現像処理後の画像である。
　ユーザ（カメラマン）は、このスルー画を見ながら、フォーカス調整を開始する。
　ユーザ（カメラマン）がフォーカス調整を開始すると、画素分類部１５４が、画像内の各画素を以下の３種類に分類する。
　（分類１）合焦に近づいている画素
　（分類２）合焦から外れていっている画素
　（分類３）合焦度に変化のない画素
　この画素分類情報１２４が表示制御部１０６に入力され、表示制御部１０６はこの分類情報を利用して表示データ１２５を生成する。
　図４に示す例は、「（分類１）合焦に近づいている画素」のみを選択して、この「（分類１）合焦に近づいている画素」を識別可能とした表示データの生成例である。
　ユーザ（カメラマン）がフォーカス調整を行うことで、例えば、図４（２ａ）に示す表示データが生成され、表示部１０７に表示される。
　図４（２ａ）画素単位合焦度変化情報重畳画像は、画像内の「家」の画像に、「（分類１）合焦に近づいている画素」を識別可能とするための合焦度変化判別信号（ピーキング信号）、例えば特定の色信号（例えば赤色信号）を重畳した表示データである。
　ユーザ（カメラマン）は、この表示データを見ることで、画像内の「家」の領域が合焦に近づいていることを確認することができる。
　さらに、ユーザ（カメラマン）がフォーカス調整を行うことで、表示データは、図４（２ａ）に示す表示データから、図４（２ｂ）に示す表示データに遷移する。
　図４（２ｂ）画素単位合焦度変化情報重畳画像は、画像内の「人」の画像に、「（分類１）合焦に近づいている画素」を識別可能とするための合焦度変化判別信号（ピーキング信号）、例えば特定の色信号（例えば赤色信号）を重畳した表示データである。
　ユーザ（カメラマン）は、この表示データを見ることで、画像内の「人」の領域が合焦に近づいていることを確認することができる。このように「人」領域のみの合焦度確認が容易となる。
　このように、本開示の処理を適用することで、画像内のどの画素領域が合焦に近づいているかを容易にかつ、確実に確認することができる。
　なお、合焦に近づいている領域以外は合焦判定用信号が表示されないため、スルー画が見やすくなるという利点がある。
　なお、図４に示す表示データの例は、本開示の処理を分かりやすく説明するための簡易的な説明図である。実際には、家単位や、人単位の合焦度変化判別信号が表示される可能性は低く、家の一部や人の一部など、もっと細かい単位での合焦度変化判別信号（ピーキング信号）が表示される。
　なお、図４に示す例は、「（分類１）合焦に近づいている画素」のみを識別可能とした合焦度変化判別信号を重畳した表示データの例であるが、表示制御部１０６は、例えば、「（分類２）合焦から外れていっている画素」のみを、識別可能とした合焦度変化判別信号を重畳した表示データを生成して表示部１０７に表示することも可能である。
　図５は、「（分類２）合焦から外れていっている画素」のみを選択して、この「（分類２）合焦から外れていっている画素」を識別可能とした表示データの生成例である。
　図５（１）は、スルー画であり、画像センサ（撮像素子）出力画像１２１に対する現像処理後の画像である。
　ユーザ（カメラマン）は、このスルー画を見ながら、フォーカス調整を開始する。
　ユーザ（カメラマン）がフォーカス調整を行うことで、例えば、図５（２ａ）に示す表示データが生成され、表示部１０７に表示される。
　図５（２ａ）画素単位合焦度変化情報重畳画像は、画像内の「木」の画像に、「（分類２）合焦から外れていっている画素」を識別可能とするための合焦度変化判別信号、例えば特定の色信号（例えば青色信号）を重畳した表示データである。
　ユーザ（カメラマン）は、この表示データを見ることで、画像内の「木」の領域が合焦から外れていっていることを確認することができる。
　さらに、ユーザ（カメラマン）がフォーカス調整を行うことで、表示データは、図４５２ａ）に示す表示データから、図４（２ｂ）に示す表示データに遷移する。
　図４（２ｂ）画素単位合焦度変化情報重畳画像は、画像内の「家」の画像に、「（分類２）合焦から外れていっている画素」を識別可能とするための合焦度変化判別信号、例えば特定の色信号（例えば青色信号）を重畳した表示データである。
　ユーザ（カメラマン）は、この表示データを見ることで、画像内の「家」の領域が合焦から外れていっていることを確認することができる。
　このように、本開示の処理を適用することで、画像内のどの画素領域が合焦から外れていっているかを容易にかつ、確実に確認することができる。
　なお、図４は、「（分類１）合焦に近づいている画素」のみの画素領域を識別可能とした画像データの例であり、図５は、「（分類２）合焦から外れていっている画素」のみの画素領域を識別可能とした画像データの例であるが、表示制御部１０６は、この他、「（分類３）合焦度に変化のない画素」のみを識別可能とした画像データを生成することも可能である。
　さらに、表示制御部１０６は、以下の３種類の画素の全て、あるいは、２種類を併せて識別可能とした表示データを生成することも可能である。
　（分類１）合焦に近づいている画素
　（分類２）合焦から外れていっている画素
　（分類３）合焦度に変化のない画素
　例えば、「（分類１）合焦に近づいている画素」には、赤色の合焦度変化判別信号を重畳し、
　「（分類２）合焦から外れていっている画素」には、青色の合焦度変化判別信号を重畳し、
　「（分類３）合焦度に変化のない画素」には、黄色の合焦度変化判別信号を重畳した表示データを生成して表示部１０７に表示する構成としてもよい。
　ユーザ（カメラマン）は、表示部１０７に表示された表示データを見ることで、画像内の各画素領域についての合焦度変化態様を、容易にかつ確実に識別することが可能となる。
　さらに、表示制御部１０６は、例えば、合焦に近づいている画素領域の合焦度を、バーインジケータを用いて表示したデータを生成して表示部１０７に出力する構成としてもよい。
　図６に具体例を示す。
　図６（２ｂ），（２ｃ）は、それぞれ画像内の「人」の領域が、「（分類１）合焦に近づいている画素」領域である。
　例えば図６（２ａ），（２ｂ）に示すように、画像の下側に、合焦度を示すバーインジケータを表示する。
　このバーインジケータは、「（分類１）合焦に近づいている画素」領域の合焦度のレベルをバーの長さで示した合焦度のレベルインジケータである。
　図６（２ｂ）より、（２ｃ）の方が、バーの長さが長くなっており、ユーザ（カメラマン）は、「（分類１）合焦に近づいている画素」領域である「人」の画素領域の合焦度が、徐々に高くなっていることを正しく認識することが可能となる。
　このように、本開示の撮像装置１００の合焦度変化解析部１０５は、画素単位の合焦度の変化を解析し、解析結果に基づいて、各画素を以下の３種類の画素に分類する。
　（分類１）合焦に近づいている画素
　（分類２）合焦から外れていっている画素
　（分類３）合焦度に変化のない画素
　さらに、表示制御部１０６が、この分類結果を用いて、各画素の合焦度変化態様を認識可能とした表示データを生成して表示部１０７に表示する。
　これらの処理を行うことで、ユーザ（カメラマン）は、表示部１０７に表示された画像を見て、各画素の合焦度の変化を、正確にかつ容易に識別することが可能となる。
　　［４．画素単位の合焦度変化の解析処理と画素分類処理の具体例について］
　次に、画素単位の合焦度変化の解析処理と画素分類処理の具体例について説明する。
　前述したように、合焦度変化解析部１０５は、合焦度の時間的変化を例えば画素単位、あるいは所定数の画素領域単位で解析する。
　例えば、現在の画像センサ出力画像と、１～数フレーム前の過去の画像センサ出力画像を比較して、現在の画像センサ出力画像の各画素について、以下のいずれに該当する画素であるかを分類する。
　（分類１）合焦に近づいている画素
　（分類２）合焦から外れていっている画素
　（分類３）合焦度に変化のない画素
　先に、図２、図３を参照して説明したように、合焦度変化解析部１０５の画素分類部１５４は、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像、これら２つのＨＰＦフィルタリング画像を比較して、現在画像の各画素の各々が、上記（分類１）～（分類３）のいずれに該当する画素であるかを解析する。
　図７を参照して、合焦度変化解析部１０５の画素分類部１５４が実行する画素解析処理の具体例について説明する。
　図７に示すグラフは、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
　時間ｔ１の撮影画像が過去画像に対応し、時間ｔ２の撮影画像が現在画像に対応する。
　時間ｔ１の撮影画像である過去画像については、図２に示す第２ＨＰＦ１５３においてＨＰＦによるフィルタリング処理がなされ、各画素単位の高周波成分量が算出される。
　一方、時間ｔ２の撮影画像である現在画像については、図２に示す第１ＨＰＦ１５２においてＨＰＦによるフィルタリング処理がなされ、各画素単位の高周波成分量が算出される。
　画素分類部１５４は、これら現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像、これら２つのＨＰＦフィルタリング画像を比較して、現在画像の各画素の各々が、上記（分類１）～（分類３）のいずれに該当する画素であるかを解析する。
　例えば、図７に示す画素Ａは、過去画像より、現在画像の合焦度が低く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦から外れていっている画素」に分類される。
　また、画素Ｂは、過去画像より、現在画像の合焦度が高く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦に近づいている画素」に分類される。
　さらに、画素Ｃは、過去画像と、現在画像の合焦度の差分（高周波成分量差分）が、閾値未満であるため、「合焦度に変化のない画素」に分類される。
　このように、画素分類部１５４は、現在画像ＨＰＦフィルタリング画像と、過去画像ＨＰＦフィルタリング画像、これら２つのＨＰＦフィルタリング画像の対応画素の合焦度差分（＝高周波成分量差分）を算出し、算出差分を予め規定した閾値と比較し、現在画像の各画素の各々が、上記（分類１）～（分類３）のいずれに該当する画素であるかを判定する。
　なお、合焦度変化解析部１０５における合焦度変化解析処理は、画像センサ（撮像素子）１０４から連続して入力される画像に対して、繰り返し、処理を実行する。
　すなわち、最新の入力画像に対する最新の分類結果を生成する処理を、新たな入力画像ごとに繰り返し実行する。
　図８は、ユーザ（カメラマン）がフォーカス調整を継続して実行している間のある１つの画素、「画素Ａ」の合焦度変化を示すグラフである。
　図８に示すグラフは、図７と同様、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
　合焦度変化解析部１０５は、時間ｔ１１，ｔ２１，ｔ３１，ｔ４１において、その直前の撮影画像である時間ｔ１０，ｔ２０，ｔ３０，ｔ４０の過去画像との対応画素の合焦度（＝高周波成分量）を比較し、最新の撮影画像の画素Ａの合焦度変化態様を解析し、解析結果に基づく画素分類処理を行う。
　時間ｔ１１では、過去画像（ｔ１０撮影画像）と、現在画像（ｔ１１撮影画像）の合焦度の差分（高周波成分量差分）が、閾値未満であるため、「合焦度に変化のない画素」に分類される。
　次の、時間ｔ２１では、過去画像（ｔ２０撮影画像）より、現在画像（ｔ２１撮影画像）の合焦度が高く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦に近づいている画素」に分類される。
　次の、時間ｔ３１では、過去画像（ｔ３０撮影画像）より、現在画像（ｔ３１撮影画像）の合焦度が低く、合焦度差分（高周波成分量差分）が、閾値以上であるため、「合焦から外れていっている画素」に分類される。
　次の、時間ｔ４１では、過去画像（ｔ４０撮影画像）と、現在画像（ｔ４１撮影画像）の合焦度の差分（高周波成分量差分）が、閾値未満であるため、「合焦度に変化のない画素」に分類される。
　このように、合焦度変化解析部１０５における合焦度変化解析処理は、画像センサ（撮像素子）１０４から連続して入力される画像に対して、繰り返し、処理を実行する。
　表示制御部１０６は、合焦度変化解析部１０５から入力する最新の画素分類情報に応じて表示データを、遂次、更新し、新たな表示データを生成して表示部１０７に出力する。
　これにより、ユーザ（カメラマン）は、自分の実行しているフォーカス調整による各被写体の合焦度の変化を容易に、かつ確実に把握することが可能となる。
　例えば、ある画素領域が、あるタイミングで「合焦に近づいている画素」に分類されている場合、赤色の合焦度変化判別信号が重畳された表示データが表示される。さらに、その後のタイミングで、「合焦から外れていっている画素」に分類された場合、青色の合焦度変化判別信号が重畳された表示データが表示されることになる。
　ユーザ（カメラマン）は、この重畳信号の色の切り替わり点、すなわち重畳される色が赤色から青色に変わるところが合焦点であると判定することが可能であり、容易に、かつ確実にフォーカス調整を行うことが可能となる。
　　［５．（実施例２）複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部の実施例について］
　次に、実施例２として複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部の実施例について説明する。
　先に図２を参照して説明した合焦度変化解析部１０５は、画素分類部１５４において、１つの画素単位で、各画素が以下のいずれに該当する画素であるかを分類する処理を実行する構成である。
　（分類１）合焦に近づいている画素
　（分類２）合焦から外れていっている画素
　（分類３）合焦度に変化のない画素
　しかし、撮影画像にノイズや揺れがある場合、画素単位の解析処理結果にはエラーが発生し、正確な分類処理が行えない場合がある。
　このような問題を解決するため、複数画素領域単位の平均化データを用いて、画素分類を行う構成が有効となる。
　図９は、本実施例２の合焦度変化解析部１０５ｂの構成例を示すブロック図である。
　すなわち、複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部１０５ｂの構成例を示すブロック図である。
　図９に示す合焦度変化解析部１０５ｂは、先に図２を参照して説明した合焦度変化解析部１０５に、画素領域単位第１ＨＰＦ出力平均化部２０１と、画素領域単位第２ＨＰＦ出力平均化部２０２を追加した構成である。
　画素領域単位第１ＨＰＦ出力平均化部２０１は、前段の第１ＨＰＦ１５２から出力される現在画像ＨＰＦフィルタリング画像の各画素値に対して、周囲画素の画素値を用いた平均化処理を行う。例えばＨＰＦフィルタリング画像のある１画素に対して、その画素周辺の９×９画素領域の画素値の平均化画素値を算出し、その１画素の画素値（ＨＰＦフィルタリング結果）とする。
　同様に、画素領域単位第２ＨＰＦ出力平均化部２０２は、前段の第２ＨＰＦ１５３から出力される過去画像ＨＰＦフィルタリング画像の各画素値に対して、周囲画素の画素値を用いた平均化処理を行う。例えばＨＰＦフィルタリング画像のある１画素に対して、その画素周辺の９×９画素領域の画素値の平均化画素値を算出し、その１画素の画素値（ＨＰＦフィルタリング結果）とする。
　このように、ＨＰＦフィルタリング画像の構成画素の画素値の平均化処理を行うことで、各画素のノイズや揺れが低減され、分類エラーを減少させることができる。
　例えばある画素の上下左右１画素の揺れが起きても８×８の画素の値は変わらないため、平均値に対しては影響が少ない。同時に、多くの画素で平均を取ることでランダムノイズも低減される。また、単純平均ではなく、中心画素ほど重みを大きくするような重みづけ平均を行ってもよい。このような処理を行うことで離れた画素の影響を減らすことができる。
　　［６．合焦度変化解析部において利用する最適なＨＰＦの特性について］
　次に、合焦度変化解析部において利用する最適なＨＰＦの特性について説明する。
　先に図２を参照して説明したように、第１ＨＰＦ１５２は、最新の画像センサ出力画像１２１、すなわち現在画像１２２を入力して、現在画像１２２に対するＨＰＦを適用したフィルタリング処理を行い、現在画像１２２対応のＨＰＦフィルタリング画像を生成する。
　また、第２ＨＰＦ１５３は、現在画像１２２より１画像フレーム～数画像フレーム前の過去画像１２３を入力して、過去画像１２３に対するＨＰＦを適用したフィルタリング処理を行い、過去画像１２３対応のＨＰＦフィルタリング画像を生成する。
　一般的に、合焦度が高い画素領域は高周波が多く、合焦度が低い画素領域は高周波が少なく低周波信号が多くなるため、ＨＰＦを適用したフィルタリング処理により、合焦度の高い領域、低い領域を識別可能としたＨＰＦフィルタリング画像を生成することができる。
　しかし、例えば、ある画素について、合焦点に達するまでは「合焦に近づいている画素」と判定される必要があるので、ＨＰＦの周波数特性には工夫が必要になる。
　合焦点付近で増加するのはナイキスト周波数付近の高周波成分のみになるが、一般的にレンズや光学ＬＰＦの影響で、ナイキスト周波数付近の高周波成分およびその変化は小さくなる傾向がある。なお、ナイキスト周波数はサンプリング周波数の１／２の周波数に相当する周波数である。
　このような傾向があっても、「合焦に近づいている画素」と判定するためには、高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦを用いることが好ましい。すなわち、ＨＰＦのフィルタリング結果が、ピークまで大きな傾きをもつようになるような特性を持つＨＰＦとすることが好ましい。
　ＨＰＦの特性の具体例と、合焦度変化解析例について図を参照して説明する。
　図１０には、以下の各図を示している。
　（ａ１）ＨＰＦの周波数特性例Ａ
　（ａ２）周波数特性例Ａに示す特性を持つＨＰＦを適用した場合の合焦度変化解析例
　（ａ１）ＨＰＦの周波数特性例Ａに示すグラフは、横軸＝周波数、縦軸＝振幅としたＨＰＦの周波数特性を示すグラフである。
　このグラフの示すＨＰＦ特性は、周波数がナイキスト周波数付近に近づくと変化が小さくなる特性である。
　このような特性を持つＨＰＦを、本開示の撮像装置の合焦度変化解析部１０５内の第１ＨＰＦ１５２や、第２ＨＰＦ１５３として利用した場合の合焦度変化解析結果が、右側の（ａ２）に示すグラフである。
　この（ａ２）のグラフは、先に図７や図８を参照して説明したと同様、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
　縦軸の合焦度（ＨＰＦ結果）は、ＨＰＦフィルタリング結果画像内の高周波成分量の検出量に対応する。
　ここで、ＨＰＦ特性が、（ａ１）ＨＰＦの周波数特性例Ａのように、ナイキスト周波数付近で変化が小さくなる特性であると、結果として、（ａ２）に示すように、合焦度のピーク付近で、合焦度の変化（＝検出される高周波成分の変化）が小さくなってしまう。
　このような場合、現在画像と過去画像の合焦度の差分が規程閾値より小さくなり、結果として、合焦に近づいている画素であるにも関わらず、合焦度に変化のない画素として判定されてしまう可能性がある。
　このような問題を発生させず、合焦度がピークとなる位置で確実に「合焦に近づいている画素」と判定するためには、高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦを用いることが好ましい。すなわち、ＨＰＦのフィルタリング結果が、ピークまで大きな傾きをもつようになるような特性を持つＨＰＦとすることが好ましい。
　具体的には、図１１（ｂ１）に示すような特性を持つＨＰＦを用いることが好ましい。
　図１１には、以下の各図を示している。
　（ｂ１）ＨＰＦの周波数特性例Ｂ
　（ｂ２）周波数特性例Ｂに示す特性を持つＨＰＦを適用した場合の合焦度変化解析例
　（ｂ１）ＨＰＦの周波数特性例Ｂに示すグラフは、横軸＝周波数、縦軸＝振幅としたＨＰＦの周波数特性を示すグラフである。
　このグラフの示すＨＰＦ特性は、周波数がナイキスト周波数付近に近づくと変化が大きくなる特性である。
　このような特性を持つＨＰＦを、本開示の撮像装置の合焦度変化解析部１０５内の第１ＨＰＦ１５２や、第２ＨＰＦ１５３として利用した場合の合焦度変化解析結果が、右側の（ｂ２）に示すグラフである。
　この（ｂ２）のグラフは、図１０（ａ２）に示すグラフと同様、横軸に時間、縦軸に合焦度（ＨＰＦ結果）を示すグラフである。
　縦軸の合焦度（ＨＰＦ結果）は、ＨＰＦフィルタリング結果画像内の高周波成分量の検出量に対応する。
　ここで、ＨＰＦ特性が、（ｂ１）ＨＰＦの周波数特性例Ｂのように、ナイキスト周波数付近で変化が大きくなる特性であると、結果として、（ｂ２）に示すように、合焦度のピーク付近で、合焦度の変化（＝検出される高周波成分の変化）が大きくなる。
　このように、合焦度のピーク付近で、大きな合焦度の変化量（＝検出される高周波成分の変化量）を検出できれば、現在画像と過去画像の合焦度の差分が規程閾値より大きくなり、結果として、合焦度ピーク付近でも、「合焦に近づいている画素」として判定することができる。
　このように、本開示の撮像装置の合焦度変化解析部１０５内の第１ＨＰＦ１５２や、第２ＨＰＦ１５３として利用するＨＰＦは、高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦとすることが好ましい。
　　［７．（実施例３）表示部の画素数に応じたダウンコンバート処理を行う実施例について］
　次に、実施例３として、表示部の画素数に応じたダウンコンバート処理を行う実施例について説明する。
　図１２は、本実施例３の合焦度変化解析部１０５ｂの構成例を示すブロック図である。
　すなわち、複数画素領域単位の平均化データを用いて、画素分類を行う合焦度変化解析部１０５ｃの構成例を示すブロック図である。
　図１２に示す構成において、表示部１０７は、画像センサ（撮像素子）１０４の画素数より少ない画素数である。
　この場合、表示部１０７に表示する画像は、画像センサ（撮像素子）１０４の出力である画像センサ出力画像１２１の画素数を減少させた画像、すなわち、ダウンコンバートした画像とすることが必要となる。
　図１２に示す構成中の表示制御部１０６は、画像センサ出力画像１２１のダウンコンバート処理を実行する。
　このように、画像センサ出力画像１２１のダウンコンバート画像を表示部１０７に表示する場合、合焦度変化解析部１０５ｃが表示制御部１０６に出力する画素分類情報１２４もダウンコンバート画像の画素位置に対応した画素分類情報とすることが必要となる。
　図１２に示す合焦度変化解析部１０５ｃは、この処理を実現するための構成を有する。
　図１２に示す合焦度変化解析部１０５ｃは、先に実施例２として説明した図９に示す合焦度変化解析部１０５に、第１ＨＰＦ出力ダウンコンバート部２２１と、第２ＨＰＦ出力ダウンコンバート部２２２を追加した構成である。
　図に示すように、第１ＨＰＦ出力ダウンコンバート部２２１は、第１ＨＰＦ１５２と、画素領域単位第１ＨＰＦ出力平均化部２０１の間に構成される。
　第１ＨＰＦ出力ダウンコンバート部２２１は、第１ＨＰＦ１５２から出力される現在画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行する。このダウンコンバート処理のダウンコンバート率（画素数削減率）は、表示制御部１０６が画像センサ出力画像１２１に対して実行するダウンコンバート処理のダウンコンバート率と同様とする。
　第１ＨＰＦ出力ダウンコンバート部２２１は、第１ＨＰＦ１５２が生成した現在画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行して、現在画像ＨＰＦフィルタリング画像のダウンコンバート画像を生成する。
　第１ＨＰＦ出力ダウンコンバート部２２１が生成した現在画像ＨＰＦフィルタリング画像のダウンコンバート画像は、画素領域単位第１ＨＰＦ出力平均化部２０１に入力される。
　画素領域単位第１ＨＰＦ出力平均化部２０１は、現在画像ＨＰＦフィルタリング画像のダウンコンバート画像に対する処理を実行する。
　一方、第２ＨＰＦ出力ダウンコンバート部２２２は、第２ＨＰＦ１５３と、画素領域単位第２ＨＰＦ出力平均化部２０２の間に構成される。
　第２ＨＰＦ出力ダウンコンバート部２２２は、第２ＨＰＦ１５３から出力される過去画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行する。このダウンコンバート処理のダウンコンバート率（画素数削減率）も、表示制御部１０６が画像センサ出力画像１２１に対して実行するダウンコンバート処理のダウンコンバート率と同様とする。
　第２ＨＰＦ出力ダウンコンバート部２２２は、第２ＨＰＦ１５３が生成した過去画像ＨＰＦフィルタリング画像のダウンコンバート処理を実行して、過去画像ＨＰＦフィルタリング画像のダウンコンバート画像を生成する。
　第２ＨＰＦ出力ダウンコンバート部２２２が生成した過去画像ＨＰＦフィルタリング画像のダウンコンバート画像は、画素領域単位第２ＨＰＦ出力平均化部２０２に入力される。
　画素領域単位第２ＨＰＦ出力平均化部２０２は、過去画像ＨＰＦフィルタリング画像のダウンコンバート画像に対する処理を実行する。
　画素分類部１５４には、画素領域単位第１ＨＰＦ出力平均化部２０１と、画素領域単位第２ＨＰＦ出力平均化部２０２が、それぞれ現在画像ＨＰＦフィルタリング画像のダウンコンバート画像と、過去画像ＨＰＦフィルタリング画像のダウンコンバート画像に対する実行結果が入力される。
　この実行結果は、いずれもＨＰＦフィルタリング画像のダウンコンバート画像に対する結果であり、画素分類部１５４は、ＨＰＦフィルタリング画像のダウンコンバート画像の現在画像と過去画像に対する結果を比較して画素分類を行う。この画素分類対象とする画素数は、表示制御部１０６が画像センサ出力画像１２１に対して実行するダウンコンバート処理によって生成されるダウンコンバート画像の画素数に一致したものとなる。
　表示制御部１０６は、画像センサ出力画像１２１に対するダウンコンバート処理によって生成したダウンコンバート画像に、合焦度変化解析部１０５ｃから出力されるダウンコンバート画像の画素数に対応した画素分類情報に基づく合焦度変化状態を示す画素単位合焦度変化情報を生成し、これらのデータを含む表示データ１２５を表示部１０７に出力する。
　なお、図１２に示す合焦度変化解析部１０５ｃの構成では、第１ＨＰＦ出力ダウンコンバート部２２１を、第１ＨＰＦ１５２と、画素領域単位第１ＨＰＦ出力平均化部２０１の間に設定し、第２ＨＰＦ出力ダウンコンバート部２２２を、第２ＨＰＦ１５３と、画素領域単位第２ＨＰＦ出力平均化部２０２の間に設定しているが、
　合焦度変化解析部１０５ｃ内のダウンコンバート部は、第１ＨＰＦ１５２と、第２ＨＰＦ１５３の後段の位置であれば、図１２に示す位置以外の様々な位置に設定することが可能である。
　このように合焦度変化解析部内でＨＰＦフィルタ画像に対するダウンコンバート処理を行う構成とすることで、表示部に表示される画像が、画像センサ出力画像１２１のダウンコンバート画像であっても、そのダウンコンバート画像に対応した合焦度変化情報を出力することが可能となる。
　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、
　前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御部と、
　前記表示データを表示する表示部を有する撮像装置。
　（２）前記表示制御部は、
　前記現在画像の合焦度、および前記過去画像から前記現在画像までの合焦度変化状態を確認可能とした表示データを生成する（１）に記載の撮像装置。
　（３）　前記合焦度変化解析部は、
　画素単位で、各画素が、
　（ａ）合焦に近づいている画素
　（ｂ）合焦から外れていっている画素
　（ｃ）合焦度に変化のない画素
　上記（ａ）～（ｃ）のいずれであるかを示す画素分類情報を生成して、前記表示制御部に出力する（１）または（２）に記載の撮像装置。
　（４）　前記表示制御部は、
　前記現在画像の画素単位で、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした表示データを生成する（１）～（３）いずれかに記載の撮像装置。
　（５）　前記表示制御部は、
　前記画像センサの出力の現像画像であるスルー画に、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした合焦度変化判別信号を重畳した表示データを生成する（１）～（４）いずれかに記載の撮像装置。
　（６）　前記合焦度変化判別信号は、合焦度変化状態に応じて異なる色信号である（５）に記載の撮像装置。
　（７）　前記表示制御部は、
　合焦に近づいている画素の合焦度を判別可能なバーインジケータを含む表示データを生成する（１）～（６）いずれかに記載の撮像装置。
　（８）　前記合焦度変化解析部は、
　前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
　前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
　前記現在画像合焦度解析データと、前記過去画像合焦度解析データを比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する（１）～（７）いずれかに記載の撮像装置。
　（９）　前記合焦度変化解析部は、
　前記画像センサからの出力画像を格納するメモリを有し、
　前記第２フィルタ部は、前記メモリから前記過去画像を入力して、前記過去画像に対するフィルタリング処理を実行する（８）に記載の撮像装置。
　（１０）　前記第１フィルタ部、および前記第２フィルタ部は、
　ＨＰＦ（ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）を適用したフィルタリング処理を実行する（８）または（９）に記載の撮像装置。
　（１１）　前記第１フィルタ部、および前記第２フィルタ部の利用するＨＰＦは、
　高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦである（１０）に記載の撮像装置。
　（１２）　前記合焦度変化解析部は、
　前記第１フィルタ部の出力を複数画素単位で平均化する第１フィルタ部出力平均化部と、
　前記第２フィルタ部の出力を複数画素単位で平均化する第２フィルタ部出力平均化部を有し、
　前記画素分類部は、
　前記第１フィルタ部出力平均化部の出力と、前記第２フィルタ部出力平均化部の出力を比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する（８）～（１１）いずれかに記載の撮像装置。
　（１３）　前記表示制御部は、
　前記画像センサからの出力画像をダウンコンバートして生成したダウンコンバート画像を前記表示部に出力する構成であり、
　前記合焦度変化解析部は、
　前記ダウンコンバート画像の画素単位の合焦度変化を示す画素分類情報を生成する（１）～（１２）いずれかに記載の撮像装置。
　（１４）　前記合焦度変化解析部は、
　前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
　前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
　前記現在画像合焦度解析データと、前記過去画像合焦度解析データをダウンコンバートするダウンコンバート部を有する（１３）に記載の撮像装置。
　（１５）　画像処理装置において実行する画像処理方法であり、
　合焦度変化解析部が、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析ステップと、
　表示制御部が、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御ステップと、
　表示部が、前記表示データを表示する表示ステップを有する画像処理方法。
　（１６）　画像処理装置において画像処理を実行させるプログラムであり、
　合焦度変化解析部に、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析させる合焦度変化解析ステップと、
　表示制御部に、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成させる表示制御ステップと、
　表示部に、前記表示データを表示する表示ステップを実行させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
　具体的には、例えば、画像センサから出力される現在画像と、現在画像の出力前に画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、合焦度変化解析部の解析結果を利用して、現在画像の画素領域単位で過去画像からの合焦度変化状態を確認可能とした表示データを生成する表示制御部を有する。画素単位で、各画素が、（ａ）合焦に近づいている画素、（ｂ）合焦から外れていっている画素、（ｃ）合焦度に変化のない画素のいずれであるかを示す画素分類情報を生成して表示する。
　本構成により、現在画像と過去画像との合焦度変化を解析し、合焦度の変化を識別可能な表示データを表示部に出力する装置、方法が実現される。
　１００　撮像装置
　１０１　入力部
　１０２　制御部
　１０３　駆動部
　１０４　画像センサ（撮像素子）
　１０５　合焦度変化解析部
　１０６　表示制御部
　１０７　表示部
　１５１　メモリ
　１５２　第１ＨＰＦ
　１５３　第２ＨＰＦ
　１５４　画素分類部
　２０１　画素領域単位第１ＨＰＦ出力平均化部
　２０２　画素領域単位第２ＨＰＦ出力平均化部
　２２１　第１ＨＰＦ出力ダウンコンバート部
　２２２　第２ＨＰＦ出力ダウンコンバート部

Claims (16)

  1. 　画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析部と、
    　前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御部と、
    　前記表示データを表示する表示部を有する撮像装置。
  2. 　前記表示制御部は、
    　前記現在画像の合焦度、および前記過去画像から前記現在画像までの合焦度変化状態を確認可能とした表示データを生成する請求項１に記載の撮像装置。
  3. 　前記合焦度変化解析部は、
    　画素単位で、各画素が、
    　（ａ）合焦に近づいている画素
    　（ｂ）合焦から外れていっている画素
    　（ｃ）合焦度に変化のない画素
    　上記（ａ）～（ｃ）のいずれであるかを示す画素分類情報を生成して、前記表示制御部に出力する請求項１に記載の撮像装置。
  4. 　前記表示制御部は、
    　前記現在画像の画素単位で、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした表示データを生成する請求項１に記載の撮像装置。
  5. 　前記表示制御部は、
    　前記画像センサの出力の現像画像であるスルー画に、合焦に近づいている画素、または、合焦から外れていっている画素、または、合焦度に変化のない画素の少なくともいずれかを識別可能とした合焦度変化判別信号を重畳した表示データを生成する請求項１に記載の撮像装置。
  6. 　前記合焦度変化判別信号は、合焦度変化状態に応じて異なる色信号である請求項５に記載の撮像装置。
  7. 　前記表示制御部は、
    　合焦に近づいている画素の合焦度を判別可能なバーインジケータを含む表示データを生成する請求項１に記載の撮像装置。
  8. 　前記合焦度変化解析部は、
    　前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
    　前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
    　前記現在画像合焦度解析データと、前記過去画像合焦度解析データを比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する請求項１に記載の撮像装置。
  9. 　前記合焦度変化解析部は、
    　前記画像センサからの出力画像を格納するメモリを有し、
    　前記第２フィルタ部は、前記メモリから前記過去画像を入力して、前記過去画像に対するフィルタリング処理を実行する請求項８に記載の撮像装置。
  10. 　前記第１フィルタ部、および前記第２フィルタ部は、
    　ＨＰＦ（ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）を適用したフィルタリング処理を実行する請求項８に記載の撮像装置。
  11. 　前記第１フィルタ部、および前記第２フィルタ部の利用するＨＰＦは、
    　高周波側に近づくにつれ加速度的に振幅特性が大きくなる特性を持つＨＰＦである請求項１０に記載の撮像装置。
  12. 　前記合焦度変化解析部は、
    　前記第１フィルタ部の出力を複数画素単位で平均化する第１フィルタ部出力平均化部と、
    　前記第２フィルタ部の出力を複数画素単位で平均化する第２フィルタ部出力平均化部を有し、
    　前記画素分類部は、
    　前記第１フィルタ部出力平均化部の出力と、前記第２フィルタ部出力平均化部の出力を比較して、画素単位、または画素領域単位の合焦度変化を解析し、解析結果に基づいて画素分類情報を生成する画素分類部を有する請求項８に記載の撮像装置。
  13. 　前記表示制御部は、
    　前記画像センサからの出力画像をダウンコンバートして生成したダウンコンバート画像を前記表示部に出力する構成であり、
    　前記合焦度変化解析部は、
    　前記ダウンコンバート画像の画素単位の合焦度変化を示す画素分類情報を生成する請求項１に記載の撮像装置。
  14. 　前記合焦度変化解析部は、
    　前記現在画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした現在画像合焦度解析データを生成する第１フィルタ部と、
    　前記過去画像に対するフィルタリング処理を実行して画素単位の合焦度を識別可能とした過去画像合焦度解析データを生成する第２フィルタ部と、
    　前記現在画像合焦度解析データと、前記過去画像合焦度解析データをダウンコンバートするダウンコンバート部を有する請求項１３に記載の撮像装置。
  15. 　画像処理装置において実行する画像処理方法であり、
    　合焦度変化解析部が、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析する合焦度変化解析ステップと、
    　表示制御部が、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成する表示制御ステップと、
    　表示部が、前記表示データを表示する表示ステップを有する画像処理方法。
  16. 　画像処理装置において画像処理を実行させるプログラムであり、
    　合焦度変化解析部に、画像センサから出力される現在画像と、該現在画像の出力前に前記画像センサから出力された過去画像との合焦度の変化を解析させる合焦度変化解析ステップと、
    　表示制御部に、前記合焦度変化解析部の解析結果を利用して、前記現在画像の画素領域単位で前記過去画像からの合焦状態を確認可能とした表示データを生成させる表示制御ステップと、
    　表示部に、前記表示データを表示する表示ステップを実行させるプログラム。
PCT/JP2021/018917 2020-06-04 2021-05-19 撮像装置、および画像処理方法、並びにプログラム WO2021246171A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022528528A JPWO2021246171A1 (ja) 2020-06-04 2021-05-19
US17/921,495 US20230164436A1 (en) 2020-06-04 2021-05-19 Imaging device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020097742 2020-06-04
JP2020-097742 2020-06-04

Publications (1)

Publication Number Publication Date
WO2021246171A1 true WO2021246171A1 (ja) 2021-12-09

Family

ID=78830458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018917 WO2021246171A1 (ja) 2020-06-04 2021-05-19 撮像装置、および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20230164436A1 (ja)
JP (1) JPWO2021246171A1 (ja)
WO (1) WO2021246171A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114858A (ja) * 2003-10-03 2005-04-28 Jai Corporation 測距カメラ装置
JP2010219741A (ja) * 2009-03-16 2010-09-30 Nikon Corp 撮像装置および画像処理装置
JP2016024489A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114858A (ja) * 2003-10-03 2005-04-28 Jai Corporation 測距カメラ装置
JP2010219741A (ja) * 2009-03-16 2010-09-30 Nikon Corp 撮像装置および画像処理装置
JP2016024489A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2021246171A1 (ja) 2021-12-09
US20230164436A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
US8629915B2 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US8184171B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
KR100994596B1 (ko) 소정 조건을 따른 화상을 기록하는 촬상장치, 촬영방법 및 그 프로그램을 기록한 기록매체
US9432575B2 (en) Image processing apparatus
KR101399012B1 (ko) 영상 복원 장치 및 방법
KR101228978B1 (ko) 메인 얼굴 선택장치, 그 제어방법, 및 촬상장치
US8098305B2 (en) Image-capturing system diagnostic device, image-capturing system diagnostic program product and image-capturing device for monitoring foreign matter
KR100897768B1 (ko) 자동 초점 조절 방법과 상기 방법을 사용할 수 있는 장치
US10395348B2 (en) Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus
US8989447B2 (en) Dynamic focus for computational imaging
CN103685861A (zh) 用于在深度估计过程中使用增强的场景检测的系统和方法
JP2008262049A (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
US7519285B2 (en) Imaging apparatus, imaging method, imaging program, and storage medium
US10873694B2 (en) Imaging apparatus, control apparatus, and storage medium providing phase difference detection focusing control of an image having a saturated object
US7733411B2 (en) Image capturing apparatus performing filtering process with variable cut-off frequency
KR20100013171A (ko) 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치
US9591205B2 (en) Focus control apparatus, optical apparatus, focus control method, and storage medium storing focus detection program
WO2021246171A1 (ja) 撮像装置、および画像処理方法、並びにプログラム
US10477098B2 (en) Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium
US10911660B2 (en) Control apparatus, imaging apparatus, control method, and storage medium
JP7023673B2 (ja) 焦点調節装置、焦点調節方法、及び撮像装置
JP2014110624A (ja) 画像処理装置、画像処理方法及びプログラム
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
US20070196092A1 (en) Imaging lens position control device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21817499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528528

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21817499

Country of ref document: EP

Kind code of ref document: A1