WO2012035971A1 - 撮像装置、撮像方法及び記録媒体 - Google Patents

撮像装置、撮像方法及び記録媒体 Download PDF

Info

Publication number
WO2012035971A1
WO2012035971A1 PCT/JP2011/069602 JP2011069602W WO2012035971A1 WO 2012035971 A1 WO2012035971 A1 WO 2012035971A1 JP 2011069602 W JP2011069602 W JP 2011069602W WO 2012035971 A1 WO2012035971 A1 WO 2012035971A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image signals
depth
focal length
focal lengths
Prior art date
Application number
PCT/JP2011/069602
Other languages
English (en)
French (fr)
Inventor
麻子 関
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2012035971A1 publication Critical patent/WO2012035971A1/ja
Priority to US13/831,086 priority Critical patent/US20130201355A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Definitions

  • the present invention relates to an imaging apparatus and an imaging method for acquiring an image signal, and a recording medium on which a program for causing a computer to execute a procedure of such an imaging apparatus is recorded.
  • R image information is stored in the real part of the FFT operation unit
  • G image information is stored in the imaginary part of the FFT operation unit
  • B image information is stored in the real part of the FFT operation unit. Is input to the imaginary part of the FFT operation unit to perform the calculation, thereby shortening the processing time.
  • Patent Document 1 Even if the method disclosed in Patent Document 1 is adopted, the processing time is not sufficiently shortened. Therefore, the method disclosed in Patent Document 1 has a problem that it is not suitable for a moving image or the like that requires real-time performance.
  • Patent Document 1 has a problem in that when the camera shake is complicated or the subject is moving, correct alignment processing is not performed and artifacts are generated. there were.
  • the present invention has been made in view of the above points, and is capable of suppressing processing time for alignment, composition, etc., and enabling the depth of field to be expanded without generating artifacts. Objective.
  • One aspect of the imaging device of the present invention is an imaging device that captures a plurality of image signals.
  • Subject recognition means for recognizing a subject from a pre-captured image signal;
  • Subject focus setting means for setting a plurality of focal lengths using the subject recognition results in the subject recognition means;
  • Image signal acquisition means for acquiring image signals at a plurality of focal lengths set by the subject focus setting means;
  • Display control means for controlling to continuously display a plurality of image signals acquired by the image signal acquisition means; It is provided with.
  • Another aspect of the imaging apparatus of the present invention is an imaging apparatus that acquires a plurality of image signals.
  • a focus setting means for setting a plurality of focal lengths;
  • Image signal acquisition means for acquiring image signals at a plurality of focal lengths set by the focus setting means;
  • Display control means for controlling to continuously display a plurality of image signals acquired by the image signal acquisition means; It is provided with.
  • the imaging method of the present invention when acquiring a plurality of image signals, Recognize the subject from the pre-captured image signal, A plurality of focal lengths are set using the recognition result of the subject, Obtaining image signals at the set focal lengths; Control to continuously display a plurality of acquired image signals, It is characterized by that.
  • One aspect of the recording medium of the present invention is a recording medium that records a program for controlling a computer of an imaging apparatus that acquires a plurality of image signals.
  • the computer Subject recognition means for recognizing a subject from a pre-captured image signal; Subject focus setting means for setting a plurality of focal lengths using the recognition result of the subject; Image signal acquisition means for causing the image capturing unit to acquire image signals at the set focal lengths, Display control means for controlling to continuously display a plurality of acquired image signals; It is characterized by recording a program for functioning as.
  • Another aspect of the recording medium of the present invention is a recording medium that records a program for controlling a computer of an imaging apparatus that acquires a plurality of image signals.
  • the computer Focus setting means for setting a plurality of focal lengths; Image signal acquisition means for causing the image capturing unit to acquire image signals at the set focal lengths, Display control means for controlling to continuously display a plurality of acquired image signals; It is characterized by recording a program for functioning as.
  • focusing is performed at different depths, which can reduce the processing time for alignment, composition, etc. by switching display, and can bring about the effect of expanding the depth of field without generating artifacts.
  • a plurality of image signals are obtained.
  • FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the display order of a plurality of captured image signals.
  • FIG. 3 is a diagram showing the configuration of the subject focus setting unit in FIG.
  • FIG. 4A is a diagram for explaining a focal length setting method based only on the positions and numbers of a plurality of subjects.
  • FIG. 4B is a diagram for explaining a method of setting a focal length when a plurality of subjects are present apart from each other in the optical axis direction.
  • FIG. 4C is a diagram for explaining a method of setting a focal length when a plurality of subjects are close to each other in the optical axis direction (the target depth of field is not set).
  • FIG. 4A is a diagram for explaining a focal length setting method based only on the positions and numbers of a plurality of subjects.
  • FIG. 4B is a diagram for explaining a method of setting a focal length when
  • FIG. 4D is a diagram for describing a method for setting a focal length when a plurality of subjects are close to each other in the optical axis direction (a target depth of field is set).
  • FIG. 5 is a diagram showing a flowchart of the program according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a configuration of an imaging apparatus according to the second embodiment of the present invention.
  • FIG. 7 is a diagram showing the configuration of the focus setting unit in FIG.
  • FIG. 8 is a diagram for explaining an example of a method for setting the focal length and the number thereof according to the second embodiment.
  • the imaging device 10 As shown in FIG. 1, the imaging device 10 according to the first embodiment of the present invention includes an image processing system 11 that performs image processing, and a display unit 12 that displays an image.
  • the image processing system 11 includes an image capturing unit 13, a preprocessing unit 14, a subject recognition unit 15, a subject focus setting unit 16, a control unit 17, a display control unit 18, and an angle of view correction unit 19. I have.
  • the image capturing unit 13 includes a lens system 20, an image capturing system 21, and a lens driving device 22.
  • the imaging system 21 of the image imaging unit 13 is connected to the preprocessing unit 14.
  • the preprocessing unit 14 is connected to the subject recognition unit 15 and the display unit 12.
  • the subject recognition unit 15 is connected to the subject focus setting unit 16.
  • the subject focus setting unit 16 is connected to the control unit 17.
  • the control unit 17 is bidirectionally connected to the lens driving device 22 and the display control unit 18 in the image capturing unit 13.
  • the display control unit 18 is connected to the display unit 12.
  • the angle of view correction unit 19 is connected to the display control unit 18 in both directions.
  • the lens system 20 forms an image on the imaging system 21.
  • the imaging system 21 photoelectrically converts the optical subject image formed by the lens system 20 to obtain an electrical image signal. This image signal is transferred to the preprocessing unit 14.
  • the lens driving device 22 controls driving of the lens system 20 and the like.
  • the pre-processing unit 14 performs processing such as A / D conversion on the acquired image signal, and then transfers it to the subject recognition unit 15.
  • the subject recognition unit 15 recognizes the subject from the image using the image signal, and transfers the number of subjects and the subject position information to the subject focus setting unit 16.
  • the subject recognition here may be any known face recognition or object recognition.
  • the subject focus setting unit 16 sets a plurality of focal lengths using the recognition result of the subject recognition unit 15. In the present embodiment, the focal length is set for each number of subjects recognized by the subject recognition unit 15. That is, the subject focus setting unit 16 sets the focal length according to the number of subjects.
  • the control unit 17 transfers the focal length set by the subject focus setting unit 16 to the lens driving device 22 of the image capturing unit 13 and transfers the number of focal lengths to the display control unit 18.
  • the lens driving device 22 drives the lens system 20 so as to focus on the transferred focal length.
  • the lens driving device 22 may drive the imaging system 21 instead of the lens system 20.
  • the imaging system 21 acquires an image signal each time these drivings are performed. As a result, the imaging system 21 acquires a plurality of image signals focused on each focal length.
  • the subject recognition unit 15 does not need to perform subject recognition for each drive.
  • the subject recognition unit 15 may perform subject recognition only once in the case of a still image, and may perform subject recognition at a rate of once for any number of driving in the case of a moving image.
  • the pre-processing unit 14 performs A / D conversion on the plurality of image signals obtained in this way, and transfers them to the display control unit 18.
  • the display control unit 18 performs control so that the obtained plurality of image signals are continuously displayed. In the case of a still image, the display control unit 18 performs control so that a plurality of obtained image signals are continuously displayed at a constant frame rate like a moving image. On the other hand, in the case of a moving image, processing similar to that for a still image is performed on one frame of the original moving image, so that a higher frame rate is required than that for a still image.
  • the display control unit 18 controls the display frame rate on the display unit 12 based on the number of focal lengths transferred from the subject focus setting unit 16 via the control unit 17. Generally, the display control unit 18 sets the frame rate so that the frame rate increases in proportion to the number of focal lengths.
  • the angle-of-view correction unit 19 corrects the angle of view of all image signals transferred from the display control unit 18 to be the same.
  • the angle of view correction means in the angle of view correction unit 19 includes a method of making the angle of view constant using a telecentric optical system or the like, and a method of performing angle of view correction by enlarging / reducing by digital signal processing. Etc.
  • the display unit 12 displays a plurality of images whose field angles have been corrected by the field angle correction unit 19.
  • the imaging apparatus 10 includes the display unit 12, but only the display unit may be a separate body such as a digital photo frame.
  • the image signal is displayed while being imaged. Therefore, as shown as (1) in FIG.
  • the image signals 23 1 to 23 N are switched and displayed in such an order that they are repeatedly and continuously displayed (subscripts 1, 2,..., N indicate the photographing order).
  • the image signals are switched and displayed in the order in which they are displayed back in time, that is, in the order of imaging in the reverse direction. You may do it.
  • the images may be displayed in a random arrangement order different from the imaging order after imaging.
  • a plurality of image signals focused at different depths can be obtained by imaging with a plurality of focal lengths aligned with the recognized subject position.
  • the human eye recognizes the image signal as a deep-focused image signal that is in focus from a subject at a short distance to a subject at a long distance. The Therefore, since it is possible to obtain an image signal having a deep depth of field without performing processing such as alignment and composition for a plurality of image signals, processing time for alignment and composition is suppressed, and The effect of expanding the depth of field can be achieved without causing artifacts.
  • the subject focus setting unit 16 has a function of setting the focal length and the number of image signals to be acquired using the position of the subject, and as shown in FIG. 3, the focal length setting unit 24, the focal number setting unit, and the like. 25, a subject depth calculation unit 26, a distance calculation unit 27, a comparison unit 28, a calculation unit 29, and a target depth setting unit 30.
  • the subject recognition unit 15 is connected to a focal length setting unit 24, a focal number setting unit 25, a subject depth calculation unit 26, and a distance calculation unit 27.
  • the subject depth calculation unit 26 and the distance calculation unit 27 are connected to the comparison unit 28.
  • the comparison unit 28 is connected to the calculation unit 29, and the calculation unit 29 is connected to the focal length setting unit 24 and the focal number setting unit 25.
  • the target depth setting unit 30 is bidirectionally connected to the comparison unit 28, the calculation unit 29, and the control unit 17.
  • the calculation unit 29 is connected to the control unit 17 in both directions.
  • the focal length setting unit 24 and the focal number setting unit 25 are bidirectionally connected to the control unit 17.
  • the focal length setting unit 24 determines a focal length for acquiring an image signal using the recognition result of the subject by the subject recognition unit 15.
  • the focal number setting unit 25 determines the number of focal lengths from which image signals are acquired. For example, when the subject recognition unit 15 recognizes three subjects, the focal length setting unit 24 uses f 1 , f 2 , and f 3 as focal lengths for acquiring image signals, as shown in FIG. 4A.
  • the focal number setting unit 25 determines the number of focal lengths as “3”.
  • the control unit 17 controls the image capturing unit 13 and the display control unit 18 based on the determined focal lengths and the number thereof.
  • the focal length and the number thereof may be set as the positions and the number of subjects recognized by the subject recognition unit 15.
  • the depth of field at each of the focal lengths f 1 and f 2 is exceeded. Will be observed.
  • the focal lengths f 1 and f 2 of the plurality of subjects are one focal length f. Since it falls within the depth of field at i , the effect of expanding the depth of field cannot be brought about.
  • the focal length may be set at an arbitrary position between the subjects.
  • the subject depth calculation unit 26 calculates the depth of field at each subject position using the recognition result of the subject by the subject recognition unit 15.
  • the distance calculation unit 27 calculates the focal length of each subject position and calculates the focal length difference between the subjects. It should be noted that the distance calculation unit 27 may obtain the subject distance by another method such as using a sensor.
  • the comparison unit 28 compares the calculated depths of field with the focal length difference to check whether blur is observed between the subjects. That is, the following expression (1) is adopted as an example of a conditional expression for determining whether blur is observed between the subjects.
  • the subject focus setting unit 16 may be configured to acquire parameters necessary for the conditional expressions.
  • f i is an arbitrarily set focal length
  • d is a predetermined target depth of field calculated from the depth of field at each subject position obtained by the subject depth calculator 26. It is.
  • the calculation unit 29 in addition to the focal lengths f 1 and f 2 set at the subject position so as to satisfy the above expression (1). , and calculates the new focal length f 3 between subjects that do not satisfy the above equation (1). Then, the calculated new focal length f 3 is set in the focal length setting unit 24, and the new number of focal lengths is also set in the focal number setting unit 25.
  • the distance calculation unit 27 calculates the maximum value between the focal lengths.
  • the comparison unit 28 compares the maximum value between the focal lengths calculated by the distance calculation unit 27 with a predetermined target depth of field, so that the maximum value between the focal lengths represents the target depth of field. Check if it meets.
  • the conditional expression for this confirmation the following expression (2) is adopted.
  • other subject expressions may be used, and the subject focus setting unit 16 may be configured to acquire parameters necessary for the conditional expressions.
  • f max represents the longest set focal length
  • the initial value is x max
  • f min represents the shortest set focal length.
  • the value is x min .
  • the initial value x max means the distance to the subject that is farthest from the imaging apparatus 10
  • x min means the distance to the subject that is closest to the imaging apparatus 10.
  • d ′ is a target depth of field, and the value thereof is a predetermined depth calculated from the depth of field at each subject position obtained by the subject depth calculator 26.
  • the target depth of field d ′ may be the maximum value, minimum value, average value, etc. of the depth of field at each subject position. Which one to use must be determined in advance.
  • the calculation unit 29 sets the focal length f set at the subject position so as to satisfy the target depth of field. 1, in addition to the new focal length of f 2, in the example of FIG. 4C calculates an f 3, f 4. Then, the calculated new focal lengths f 3 and f 4 are set in the focal length setting unit 24, and the new number of focal lengths is also set in the focal number setting unit 25. Normally, the newly set focal length is set to be shorter than f min , longer than f max , or both. And it is necessary to arrange
  • the focal length and the number thereof may be set in advance or may be set via the control unit 17.
  • the distance between each subject is guaranteed to be within the depth by the depth of field provided at each subject position, and the condition here is that the total reaches the target depth of field.
  • the target depth of field d ′ may be a value set in advance in the imaging device 10 or a value arbitrarily set by the user.
  • the target depth of field is set by the target depth setting unit 30 via the control unit 17.
  • the comparison unit 28 compares the maximum value between the focal lengths calculated by the distance calculation unit 27 with the target depth of field d ′ set in the target depth setting unit 30, so It is confirmed whether or not the maximum value satisfies the target depth of field d ′.
  • the target depth of field d ′ (focal length D 1 to focal distance D 2 ) is satisfied, and the above-mentioned It is necessary to newly arrange focal lengths f 3 , f 4 , f 5 , and f 6 shorter than or longer than the focal length of the subject so as to satisfy the expression (2).
  • the subject recognition unit 15 and the subject focus setting unit 16 have been described as being configured as independent hardware, but a software program that realizes the functions of the subject recognition unit 15 and the subject focus setting unit 16 is recorded. It is also possible to realize the above functions by supplying the program from a recording medium to a computer constituting the control unit 17 and executing the program by the computer.
  • the computer first reads an image signal acquired by the image capturing unit 13 (step S11), and recognizes a plurality of subjects from the image signal (step S12). Then, one position among the recognized plurality of subjects is set as the focal length (step S13). Thereafter, it is determined whether the focal length has been set for all the subjects (step S14). Here, if the process has not been performed for all the subjects, the process returns to step S13 to perform the process for the next one subject. On the other hand, if the processing has been performed for all the subjects, the process proceeds to the next step S15.
  • step S15 it is next determined whether or not blur is observed between one subject using the conditional expression (1) (step). S15).
  • the conditional expression (1) is not satisfied, that is, when blur is observed between the subjects, a new focal length is provided between the focal lengths (step S16).
  • the focal length is interpolated. If the conditional expression (1) is satisfied, that is, if no blur is observed between the subjects, step S16 is skipped.
  • step S17 it is confirmed whether processing has been performed for all focal lengths.
  • the process returns to step S15, and the determination processing for the next one focal length is performed. On the other hand, if the processing is performed for all focal lengths, the process proceeds to the next step S17.
  • step S18 whether or not the maximum value between the focal lengths satisfies the target depth of field using the conditional expression (2) above. Is confirmed (step S18).
  • conditional expression (2) when the conditional expression (2) is not satisfied, that is, when the maximum value between the focal distances does not satisfy the target depth of field, a new focal distance is provided (step S19).
  • the newly provided focal length is set to a value smaller than f min or a value larger than f max , and then f min and f max are updated.
  • the focal length is newly set so that the set focal length achieves the target depth of field or brings about expansion of the depth of field.
  • step S18 When the conditional expression (2) is satisfied in step S18, that is, when the maximum value between the focal lengths satisfies the target depth of field, the target depth of field is achieved or the object is captured.
  • the process proceeds to the next step S20. That is, the image capturing unit 13 is made to acquire image signals at a plurality of focal lengths set as described above (step S20). Then, the angle-of-view correction unit 19 corrects the angles of view of the acquired plurality of image signals, and the display control unit 18 controls the frame rate according to the set number of focal lengths (step S21). Instead of providing the angle of view correction unit 19 and the display control unit 18, a computer constituting the control unit 17 may perform angle of view correction and frame rate control. Then, using the corrected plurality of image signals and the controlled frame rate, these image signals are switched and displayed on the display unit 12 (step S22), and the processing is ended.
  • the imaging apparatus 10 recognizes a subject by the subject recognition unit 15 and recognizes a plurality of focal lengths by the subject recognition unit 15 by the subject focus setting unit 16.
  • the image capturing unit 13 acquires image signals at a plurality of focal lengths set by the subject focus setting unit 16. In this manner, by acquiring a plurality of focal lengths at the position of the recognized subject and acquiring image signals, a plurality of image signals focused at different depths can be obtained. Then, by switching and displaying the acquired plurality of image signals, it is possible to reduce the processing time for alignment, composition, etc., and to bring about the effect of expanding the depth of field without generating artifacts.
  • the image signal acquired in accordance with a plurality of focal lengths by the image capturing unit 13 is switched and displayed on the display unit 12 on the display unit 12 without performing synthesis processing or alignment processing. Since a plurality of image signals focused at different depths are arranged, an image having a deep depth of field can be obtained.
  • the angle of view correction unit 19 corrects the angle of view so as not to change with respect to the change of the focal length. In this way, by correcting the angle of view of the plurality of image signals captured by the image capturing unit 13 to display the image signal, a high-quality image can be obtained without changing the angle of view.
  • the focal length setting unit 24 sets the focal length to match the position of the subject recognized by the subject recognition unit 15, and the focal number setting unit 25 recognizes the number of focal lengths to be set by the subject recognition unit 15. Set the number of subjects. In this way, since the focal length is set according to the recognized subject, an image in which all the subjects of the image are in focus can be obtained.
  • the distance calculation unit 27 calculates the focal length of the subject recognized by the subject recognition unit 15, and the target depth setting unit 30 calculates the set focus with respect to the set target depth of field.
  • a plurality of focal lengths including at least the focal length calculated by the distance calculation unit 27 are set so that the maximum value between the distances is satisfied. That is, in addition to the focal length set based on the recognized subject position, the focal length is further set so that the maximum value between the set focal lengths satisfies the target depth of field. Therefore, since the focal length is newly set in addition to the position of the subject, an image having a deep depth of field can be obtained even when the depth is not enlarged only by the position of the subject. In addition, it is possible to obtain an image that satisfies the target depth of field while focusing on the subject position.
  • the display control unit 18 controls the display frame rate of the image signal displayed on the display unit 12 according to the set number of focal lengths. Therefore, since the display frame rate is controlled according to the set number of focal lengths, a high-quality image can be obtained.
  • FIG. 6 is a diagram showing a configuration of the imaging apparatus 10 according to the second embodiment of the present invention.
  • blocks having the same functions as those shown in FIG. 1 are denoted by the same reference numerals, and redundant description is omitted.
  • the imaging device 10 according to the second embodiment includes a focus setting unit 31 instead of the subject recognition unit 15 and the subject focus setting unit 16 in the imaging device 10 according to the first embodiment.
  • the image capturing unit 13 and the preprocessing unit 14 are connected to the focus setting unit 31.
  • the focus setting unit 31 is bidirectionally connected to the control unit 17.
  • the focus setting unit 31 sets the focal length and the number thereof using the preprocessed image signal and the aperture value obtained from the image capturing unit 13.
  • the focal length set by the focus setting unit 31 and the number thereof are transferred to the lens driving device 22 of the image capturing unit 13 via the control unit 17 so that the lens driving device 22 is focused on the transferred focal length.
  • the lens system 20 is driven.
  • the number of focal lengths set by the focus setting unit 31 is transferred to the display control unit 18 via the control unit 17.
  • FIG. 7 is a diagram illustrating an example of the configuration of the focus setting unit 31.
  • the focus setting unit 31 has a function of setting a focal length for acquiring an image signal and the number thereof, and includes an aperture value detection unit 32, a depth calculation unit 33, a target depth setting unit 34, and a calculation unit 35. .
  • the image capturing unit 13 and the preprocessing unit 14 are connected to the aperture value detection unit 32.
  • the aperture value detection unit 32 is connected to the depth calculation unit 33, and the depth calculation unit 33 is connected to the target depth setting unit 34 and the calculation unit 35.
  • the calculation unit 35 is bidirectionally connected to the target depth setting unit 34 and the control unit 17.
  • the target depth setting unit 34 is connected to the control unit 17 in both directions.
  • the aperture value detection unit 32 detects the aperture value based on the captured image signal from the preprocessing unit 14 and the information obtained from the image imaging unit 13. To do. Then, the depth calculation unit 33 obtains the depth of field at each focal length from the aperture value detected by the aperture value detection unit 32.
  • the aperture value is used here, another method may be used for calculating the depth of field. When other methods are used, the aperture value detection unit 32 is not necessary.
  • Each focal length means any one focal length or any plurality of focal lengths within the focal length that the image capturing unit 13 can take.
  • a target depth of field is set in advance or by user designation via the control unit 17.
  • the calculation unit 35 uses the target depth of field set in the target depth setting unit 34 and the depth of field at each focal length obtained by the depth calculation unit 33 to calculate the depth of field.
  • the focal length and the number of images for acquiring the image signal for depth expansion are calculated.
  • An example of this calculation method is shown in FIG. Although details will be described later, the focal lengths are arranged so that the depths of field at the focal lengths do not overlap, and the total depth of field at the arranged focal lengths becomes the target depth set by the target depth setting unit 34.
  • the number N of focal lengths to be set is derived so as to be equal. The focal length and the number thereof derived in this way are transferred to the image capturing unit 13 and the display control unit 18 via the control unit 17.
  • a plurality of image signals focused at different depths can be obtained by focusing on a plurality of focal lengths set regardless of the position of the subject.
  • these plural image signals are switched and displayed at high speed, it is recognized by human eyes as an image signal having a deep depth of field that is in focus from a short distance to a long distance. Therefore, since it is possible to obtain an image signal having a deep depth of field without performing processing such as alignment and composition for a plurality of image signals, processing time for alignment and composition is suppressed, and The effect of expanding the depth of field can be achieved without causing artifacts.
  • FIG. 8 is a diagram illustrating an example of a method of setting the focal length and the number thereof in the focus setting unit 31.
  • Focus setting unit 31 sets the focal length x i and the number N in order to meet the depth of field d of the target '(focal length D 1 ⁇ focal length D 2). Assuming that the depth of field d 1 to d N at each obtained focal length is a constant value d 0 , the number N of focal lengths is obtained by the following equation (3).
  • the focal length x i is obtained by the following equation (4).
  • the focal length is set so that the target depth of field is filled without gaps by the depth of field at each focal length, but it is not always necessary to fill without gaps. Even if there is a slight gap between the depth of field at each focal length so that the observer does not recognize the blur, it is not considered a problem.
  • the depth of field at the focal length x j is Assuming d j , the number N of focal lengths is N that satisfies the following expression (5).
  • the focal length x i is obtained by the following equation (6).
  • the focal length is set so that the target depth of field is filled with the depth of field at each focal length without any gap in both the above formulas (3) and (4). There is no. Even if there is a slight gap between the depth of field at each focal length so that the observer does not recognize the blur, it is not considered a problem.
  • the computer configuring the control unit 17 records on the recording medium. It goes without saying that the above function can be realized by executing a software program that realizes the function of the focus setting unit 31.
  • the imaging apparatus 10 sets a plurality of focal lengths at the focus setting unit 31 and at a plurality of focal lengths set by the focus setting unit 31 at the image imaging unit 13. Get the image signal.
  • a plurality of focal lengths set by the focus setting unit 31 in focus a plurality of image signals focused at different depths can be obtained.
  • switching and displaying the acquired plurality of image signals it is possible to reduce the processing time for alignment, composition, etc., and to bring about the effect of expanding the depth of field without generating artifacts.
  • the image signal acquired in accordance with a plurality of focal lengths by the image capturing unit 13 is switched and displayed on the display unit 12 on the display unit 12 without performing synthesis processing or alignment processing. Accordingly, since a plurality of image signals focused at different depths are arranged, an image having a deep depth of field can be obtained.
  • the angle of view correction unit 19 corrects the angle of view so as not to change with respect to the change of the focal length. In this way, by correcting the angle of view of the plurality of image signals captured by the image capturing unit 13 to display the image signal, a high-quality image can be obtained without changing the angle of view.
  • the focal length and the number thereof are determined using the target depth set by the target depth setting unit 34.
  • the focal length can be set efficiently by using the set target depth.
  • the depth calculation unit 33 calculates the depth of field at each focal length
  • the target depth setting unit 34 sets the target depth of field
  • the calculation unit 35 calculates the depth of field.
  • the focal length and the number thereof are determined using the depth of field at each focal length and the target depth of field set by the target depth setting unit 34.
  • the aperture value detection unit 32 calculates the aperture value in the image capturing unit 13, and the depth calculation unit 33 calculates the depth of field at each focal length using the aperture value calculated by the aperture value detection unit 32.
  • the target depth setting unit 34 sets the target depth of field
  • the calculation unit 35 sets the depth of field at each focal length calculated by the depth calculation unit 33 and the target depth setting unit 34.
  • the focal length and its number are determined. As described above, the focal length and the number thereof are determined using the depth of field at each focal length obtained using the aperture value and the set target depth of field, thereby efficiently setting the focal length. Processing time can be shortened.
  • the display control unit 18 controls the display frame rate of the image signal displayed on the display unit 12 according to the set number of focal lengths. Therefore, since the display frame rate is controlled according to the set number of focal lengths, a high-quality image can be obtained.
  • the image capturing apparatus 10 has been described as an example of an apparatus that immediately displays an image captured by the image capturing unit 13 such as a live view display in a digital camera or an observation image display in an endoscopic medical apparatus.
  • an image captured by the image capturing unit 13 such as a live view display in a digital camera or an observation image display in an endoscopic medical apparatus.
  • a plurality of captured image signals may be temporarily recorded and reproduced and displayed later on the apparatus.
  • the imaging device 10 performs the process from imaging a plurality of image signals to recording them on a recording medium, and (and necessary) the frame rate of the plurality of image signals recorded on the recording medium by another display device.
  • the angle of view can also be controlled by (by) and the display can be switched. Even in this way, it is possible to obtain an image signal having a deep depth of field without performing processing such as alignment and synthesis for a plurality of image signals.
  • the effect of expanding the depth of field can be brought about without reducing the time and generating artifacts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　被写体認識部１５にて、予め撮像した画像信号から被写体を認識し、被写体焦点設定部１６にて、その被写体認識結果を用いて複数の焦点距離を設定する。制御部１７は、その設定された複数の焦点距離で画像信号を取得するように画像撮像部１３を制御する。

Description

撮像装置、撮像方法及び記録媒体
　本発明は、画像信号を取得する撮像装置及び撮像方法、並びに、コンピュータにそのような撮像装置の手順を実行させるプログラムを記録した記録媒体に関する。
　従来、近距離から遠距離までピントの合った被写界深度の深い画像信号を得るための画像処理が行なわれている。これには、例えば、異なる焦点距離で撮像した画像信号を複数枚合成するといった被写界深度拡大処理が知られている。しかし、この被写界深度拡大処理では、複数枚の画像信号の位置合わせ処理や合成処理等での処理時間がかかっていた。
　そこで、例えば、特許文献１においては、Ｒの画像情報をＦＦＴ演算部の実数部に、Ｇの画像情報をＦＦＴ演算部の虚数部に、Ｂの画像情報をＦＦＴ演算部の実数部に、０をＦＦＴ演算部の虚数部に、それぞれ入力して演算を行なうことで、処理時間の短縮化を図っている。
特開２００２－６４７４１号公報
　しかしながら、上記特許文献１に開示されている手法を採ったとしても、処理時間の短縮化は不十分である。そのため、上記特許文献１に開示されている手法は、動画等のリアルタイム性を要するものには適さないという問題があった。
　また、上記特許文献１に開示されている手法では、複雑な手ブレが発生している場合や被写体が動いている場合等においては、正しい位置合わせ処理が行なわれず、アーティファクトが発生するという問題があった。
　本発明は、上記の点に鑑みてなされたもので、位置合わせや合成等の処理時間を抑えることができ、且つ、アーティファクトを発生させずに、被写界深度を拡大できるようにすることを目的とする。
　本発明の撮像装置の一態様は、複数枚の画像信号を撮像する撮像装置において、
　予め撮像した画像信号から被写体を認識するための被写体認識手段と、
　前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定するための被写体焦点設定手段と、
　前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得するための画像信号取得手段と、
　前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段と、
　を備えたことを特徴とする。
　また、本発明の撮像装置の別の態様は、複数枚の画像信号を取得する撮像装置において、
　複数の焦点距離を設定するための焦点設定手段と、
　前記焦点設定手段で設定された複数の焦点距離で画像信号を取得するための画像信号取得手段と、
　前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段と、
　を備えたことを特徴とする。
　本発明の撮像方法の一態様は、複数枚の画像信号を取得する際に、
　予め撮像した画像信号から被写体を認識し、
　前記被写体の認識結果を用いて複数の焦点距離を設定し、
　前記設定された複数の焦点距離で画像信号を取得し、
　取得された複数枚の画像信号を連続的に表示するよう制御する、
　ことを特徴とする。
　また、本発明の撮像方法の別の態様は、複数枚の画像信号を取得する際に、
　複数の焦点距離を設定し、
　前記設定された複数の焦点距離で画像信号を取得し、
　取得された複数枚の画像信号を連続的に表示するよう制御する、
　ことを特徴とする。
　本発明の記録媒体の一態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムを記録した記録媒体であって、
　前記コンピュータを、
　　予め撮像した画像信号から被写体を認識するための被写体認識手段、
　　前記被写体の認識結果を用いて複数の焦点距離を設定するための被写体焦点設定手段、
　　画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させるための画像信号取得手段、
　　取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段、
として機能させるためのプログラムを記録したことを特徴とする。
　また、本発明の記録媒体の別の態様は、複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムを記録した記録媒体であって、
　前記コンピュータを、
　　複数の焦点距離を設定するための焦点設定手段、
　　画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させるための画像信号取得手段、
　　取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段、
として機能させるためのプログラムを記録したことを特徴とする。
　本発明によれば、切り換え表示することで位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。
図１は、本発明の第１実施形態に係る撮像装置の構成を示す図である。 図２は、撮像した複数枚の画像信号の表示順序を説明するための図である。 図３は、図１中の被写体焦点設定部の構成を示す図である。 図４Ａは、複数の被写体の位置と数のみに基づく焦点距離の設定方法を説明するための図である。 図４Ｂは、光軸方向に複数の被写体が離れて存在する場合の焦点距離の設定方法を説明するための図である。 図４Ｃは、光軸方向に複数の被写体が近接して存在する（目標被写界深度が設定されていない）場合の焦点距離の設定方法を説明するための図である。 図４Ｄは、光軸方向に複数の被写体が近接して存在する（目標被写界深度が設定されている）場合の焦点距離の設定方法を説明するための図である。 図５は、本発明の第１実施形態に係るプログラムのフローチャートを示す図である。 図６は、本発明の第２実施形態に係る撮像装置の構成を示す図である。 図７は、図６中の焦点設定部の構成を示す図である。 図８は、第２実施形態における焦点距離及びその数の設定方法の一例を説明するための図である。
　以下、本発明を実施するための形態を図面を参照して説明する。
　［第１実施形態］　
　図１に示すように、本発明の第１実施形態に係る撮像装置１０は、画像処理を行う画像処理システム１１と、画像を表示する表示部１２と、を備えている。
　画像処理システム１１は、画像撮像部１３と、前処理部１４と、被写体認識部１５と、被写体焦点設定部１６と、制御部１７と、表示制御部１８と、画角補正部１９と、を備えている。上記画像撮像部１３は、レンズ系２０と、撮像系２１と、レンズ駆動装置２２と、を有している。
　画像撮像部１３の撮像系２１は、前処理部１４へ接続している。前処理部１４は、被写体認識部１５及び表示部１２へ接続している。被写体認識部１５は、被写体焦点設定部１６へ接続している。被写体焦点設定部１６は制御部１７に接続されている。制御部１７は、画像撮像部１３内のレンズ駆動装置２２及び表示制御部１８に双方向に接続されている。表示制御部１８は、表示部１２へ接続している。画角補正部１９は表示制御部１８に双方向に接続されている。
　レンズ系２０は、撮像系２１に像を結像させる。撮像系２１は、このレンズ系２０が結像する光学的な被写体像を光電変換して電気的な画像信号を取得する。この画像信号は、前処理部１４に転送される。レンズ駆動装置２２は、上記レンズ系２０等の駆動を制御する。
　前処理部１４は、上記取得された画像信号をＡ／Ｄ変換等の処理をした後、被写体認識部１５に転送する。被写体認識部１５は、画像信号を用いて画像から被写体を認識し、被写体数、被写体位置情報を被写体焦点設定部１６へ転送する。ここでの被写体認識は、公知の顔認識や物体認識等、何でも良い。被写体焦点設定部１６は、上記被写体認識部１５の認識結果を用いて複数の焦点距離を設定する。本実施形態においては、被写体認識部１５で認識した被写体数ごと焦点距離を設定する。すなわち被写体焦点設定部１６は、被写体の数に応じて焦点距離を設定する。制御部１７は、被写体焦点設定部１６により設定された焦点距離を画像撮像部１３のレンズ駆動装置２２へ転送し、焦点距離の数を表示制御部１８に転送する。
　レンズ駆動装置２２は、転送された焦点距離に合焦するようにレンズ系２０を駆動する。レンズ駆動装置２２は、レンズ系２０の代わりに撮像系２１を駆動しても良い。撮像系２１は、これらの駆動が行われる都度、画像信号を取得する。結果として撮像系２１は、各焦点距離に合焦した複数の画像信号を取得する。なお、被写体認識部１５は、被写体認識を駆動毎に行なう必要はない。被写体認識部１５は、静止画の場合、被写体認識を最初の１回のみ行い、動画の場合、任意の駆動数に対して１回の割合で被写体認識を行っても良い。
　前処理部１４は、このようにして得られた複数の画像信号をＡ／Ｄ変換し、表示制御部１８に転送する。表示制御部１８は、得られた複数枚の画像信号が連続的に表示されるよう制御する。表示制御部１８は、静止画像の場合、得られた複数枚の画像信号を動画像のように一定のフレームレートで連続的に表示するよう制御する。一方、動画像の場合、元の動画像の１フレームに対して静止画と同様の処理を施すため、静止画像に比べて更に高いフレームレートが必要となる。表示制御部１８は、制御部１７を介して被写体焦点設定部１６から転送された焦点距離の数を基に表示部１２での表示フレームレートを制御する。一般的に、表示制御部１８は、焦点距離の数に比例してフレームレートは高くなるようにフレームレートを設定する。
　画角補正部１９は、表示制御部１８から転送された複数枚画像全ての画像信号の画角が同様になるよう補正する。この画角補正部１９における画角補正の手段としては、テレセントリック光学系等を用いて画角が一定となるようにする方法や、デジタル信号処理で拡大・縮小を行い、画角補正を行なう方法などが挙げられる。表示部１２は、画角補正部１９にて画角が補正された複数の画像を表示する。なお、本実施形態では、撮像装置１０は表示部１２を備えていたが、表示部のみがデジタルフォトフレームのように別体であっても良い。
　表示部１２での複数枚の画像信号の切り換え表示方法においては、動画像の場合、画像信号の撮像を行ないながら表示するため、図２に（１）として示すように、撮像順（時系列）に沿って繰り返し連続的に表示させるような順序で、画像信号２３１～２３Ｎを切り換え表示する（ここで、下付き文字１，２，・・・，Ｎは、撮影順を表す）。もしくは、図２に（２）として示すように、最新の画像信号まで順方向の撮像順に表示後、時間を遡って、つまり逆方向の撮像順に表示させるような順序で、画像信号を切り換え表示するようにしても良い。静止画の場合は、上記の方法以外にも、撮像後に撮像順とは異なるランダムの並び順で表示させても良い。
　このように、認識した被写体の位置に複数の焦点距離を合わせて撮像することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離に存在する被写体から遠距離に存在する被写体までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。
　以下、図１の撮像装置１０における各部の詳細を説明する。　
　被写体焦点設定部１６は、被写体の位置を用いて画像信号を取得する焦点距離及びその数を設定する機能を有しており、図３に示すように、焦点距離設定部２４、焦点数設定部２５、被写体深度算出部２６、距離算出部２７、比較部２８、算出部２９、及び目標深度設定部３０から成る。
　上記被写体認識部１５は、焦点距離設定部２４、焦点数設定部２５、被写体深度算出部２６、及び距離算出部２７へ接続している。被写体深度算出部２６及び距離算出部２７は、比較部２８へ接続している。比較部２８は、算出部２９へ接続しており、算出部２９は、焦点距離設定部２４及び焦点数設定部２５に接続している。目標深度設定部３０は、比較部２８、算出部２９及び制御部１７に双方向で接続されている。また、算出部２９は、制御部１７に双方向で接続されている。そして、焦点距離設定部２４及び焦点数設定部２５は、上記制御部１７に双方向で接続されている。
　このような被写体焦点設定部１６においては、焦点距離設定部２４は、上記被写体認識部１５による被写体の認識結果を用いて、画像信号を取得する焦点距離を決定する。また、焦点数設定部２５は、画像信号を取得する焦点距離の数を決定する。例えば、被写体認識部１５にて３つの被写体が認識された場合には、焦点距離設定部２４は、図４Ａに示すように、画像信号を取得する焦点距離としてｆ１，ｆ２，ｆ３を決定し、焦点数設定部２５は、焦点距離の数を「３」と決定する。制御部１７は、この決定した各焦点距離とその数に基づいて画像撮像部１３及び表示制御部１８を制御することとなる。
　図４Ａに示すように被写体が多くある場合、焦点距離とその数は被写体認識部１５にて認識した被写体の位置とその数として設定すれば良い。しかしながら、このような認識した被写体位置と数のみに基づく単純な制御だけでは不十分な場合がある。例えば、図４Ｂに示すように、光軸方向に複数の被写体が離れて存在する場合には、各焦点距離ｆ１，ｆ２での被写界深度を越えてしまうために、被写体間にボケが観察されてしまうこととなる。逆に、被写体が一つ、或いは図４Ｃに示すように、光軸方向に複数の被写体が近接して存在する場合には、複数の被写体の焦点距離ｆ１，ｆ２が一つの焦点距離ｆｉでの被写界深度に納まってしまうために、被写界深度拡大の効果をもたらすことができない。
　そこで、図４Ｂに示すような各被写体間にボケが観察されてしまうような場合には、被写体間の任意の位置に焦点距離を設定するようにしても良い。本実施形態では、そのために、上記被写体認識部１５による被写体の認識結果を用いて、被写体深度算出部２６は、各被写体位置での被写界深度を算出する。また、距離算出部２７は、各被写体位置の焦点距離を算出して、各被写体間の焦点距離差を算出する。なお、距離算出部２７での被写体の距離取得の方法は、センサを用いる等、別の手法で求めても構わない。そして、比較部２８は、それら算出した各被写界深度と焦点距離差とを比較することで、各被写体間にボケが観察されることとなるか否かを確認する。即ち、各被写体間にボケが観察されるか否かを判定する際の条件式の一例として以下の（１）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該被写体焦点設定部１６を構成しても構わない。
Figure JPOXMLDOC01-appb-M000001
　但し、上記（１）式において、ｆｉは任意の設定した焦点距離であり、ｄは被写体深度算出部２６で得られる各被写体位置の被写界深度から算出するある所定の目標被写界深度である。
　ここで、各被写体間にボケが観察されると判定された場合には、算出部２９は、上記（１）式を満たすように、被写体位置に設定した焦点距離ｆ１，ｆ２の他に、上記（１）式を満たさない被写体間に新たな焦点距離ｆ３を算出する。そして、上記焦点距離設定部２４にその算出した新たな焦点距離ｆ３を設定し、焦点数設定部２５にも新たな焦点距離の数を設定する。
　また、被写体が一つ又は図４Ｃに示すような光軸方向に複数の被写体が近接して存在するような場合には、被写体の焦点距離よりも短い、或いは、長い焦点距離を新たに設定しても良い。本実施形態では、そのために、距離算出部２７は、各焦点距離間の最大値を算出する。そして、比較部２８は、距離算出部２７で算出した各焦点距離間の最大値と所定の目標被写界深度とを比較することで、各焦点距離間の最大値が目標被写界深度を満たすか否かを確認する。この確認のための条件式の一例として以下の（２）式を採用する。もちろん、他の条件式を用いるものとし、その条件式に必要なパラメータを取得するように、該被写体焦点設定部１６を構成しても構わない。
Figure JPOXMLDOC01-appb-M000002
　但し、上記（２）式において、ｆｍａｘは設定した焦点距離の中で最も長いものを表し、初期値はｘｍａｘであり、ｆｍｉｎは設定した焦点距離の中で最も短いものを表し、初期値はｘｍｉｎである。初期値であるｘｍａｘは被写体までの距離で撮像装置１０から最も遠いもの、ｘｍｉｎは被写体までの距離で撮像装置１０から最も近いものを意味する。また、ｄ’は目標被写界深度であり、その値は、被写体深度算出部２６で得られる各被写体位置の被写界深度から算出する、ある所定の深度とする。この目標被写界深度ｄ’は、各被写体位置の被写界深度の最大値、最小値、平均値などが考えられる。どれを用いるかは事前に決定する必要がある。
　ここで、各焦点距離間の最大値が目標被写界深度に満たないと判定された場合には、算出部２９は、目標被写界深度を満たすように、被写体位置に設定した焦点距離ｆ１，ｆ２の他に新たな焦点距離、図４Ｃの例ではｆ３，ｆ４を算出する。そして、上記焦点距離設定部２４にその算出した新たな焦点距離ｆ３，ｆ４を設定し、焦点数設定部２５にも新たな焦点距離の数を設定する。なお、通常、この新たに設定する焦点距離は、ｆｍｉｎよりも短い、或いはｆｍａｘよりも長い、或いはその両方に設定される。そして、上記（２）式を満たすように焦点距離を配置する必要がある。この場合、被写体の数と設定された焦点距離の数は一致しない。この際の焦点距離及びその数は予め設定しておくか、制御部１７を介して設定する等の方法が考えられる。また、この各被写体間は、各被写体位置でもたらされる被写界深度によって深度内と保障され、その合計が目標被写界深度に達することがここでの条件となる。しかしながら、各被写体位置でもたらされる被写界深度の間にボケが認識されない程度の隙間があっても良い。
　このように、上記（２）式によって、被写体認識部１５にて認識した被写体位置のみによって目標被写界深度あるいは深度拡大効果をもたらすかを確認することができる。そして、確認できないのであれば新たに焦点距離を設定することで、各被写体位置で合焦しても深度拡大とならない場合においても、被写界深度拡大効果をもたらすことができる。
　また、上記目標被写界深度ｄ’は、当該撮像装置１０に予め設定された値、或いはユーザが任意に設定する値としても良い。この場合には、制御部１７を介して目標深度設定部３０にて目標被写界深度が設定される。そして、比較部２８は、距離算出部２７で算出した各焦点距離間の最大値と目標深度設定部３０に設定された目標被写界深度ｄ’とを比較することで、各焦点距離間の最大値が目標被写界深度ｄ’を満たすか否かを確認することとなる。このように目標被写界深度ｄ’が設定されている場合、図４Ｄに示すように、目標被写界深度ｄ’（焦点距離Ｄ１～焦点距離Ｄ２）を満たすように、且つ、上記（２）式を満たすように、被写体の焦点距離よりも短い、或いは長い焦点距離ｆ３，ｆ４，ｆ５，ｆ６を新たに配置する必要がある。
　なお、上記被写体認識部１５及び被写体焦点設定部１６は、独立したハードウェアとして構成した場合を説明したが、上記被写体認識部１５及び被写体焦点設定部１６の機能を実現するソフトウェアのプログラムを記録した記録媒体から当該プログラムを、制御部１７を構成するコンピュータに供給し、コンピュータが当該プログラムを実行することによって、上記機能を実現することも可能である。
　即ち、図５のフローチャートに示すように、コンピュータは、まず、画像撮像部１３にて取得した画像信号を読み込み（ステップＳ１１）、その画像信号より複数の被写体を認識する（ステップＳ１２）。そして、認識した複数の被写体の内の一つの位置を焦点距離として設定する（ステップＳ１３）。その後、全ての被写体について焦点距離の設定が行なわれたかを判断する（ステップＳ１４）。ここで、未だ全ての被写体に関して行なわれていない場合には、上記ステップＳ１３に戻って、次の一つの被写体に関する処理を行う。これに対して、全ての被写体に関して処理が行われた場合には、次のステップＳ１５へと進む。
　即ち、全ての被写体について焦点距離の設定が行なわれたならば、次に、上記（１）式の条件式を用いて、一つの被写体間にボケが観察されるか否かを判断する（ステップＳ１５）。ここで、上記（１）式の条件式を満たさない場合、つまり、当該被写体間にボケが観察される場合には、それらの焦点距離の間に新たな焦点距離を設ける（ステップＳ１６）。ここでは焦点距離の補間を行なっている。また、上記（１）式の条件式を満たす場合、つまり、当該被写体間にボケが観察されない場合には、このステップＳ１６はスキップされる。そして、全ての焦点距離間について処理を行なったかを確認する（ステップＳ１７）。ここで、未だ全ての焦点距離間について処理を行っていない場合には、上記ステップＳ１５に戻って、次の一つの焦点距離間に関する判断処理を行う。これに対して、全ての焦点距離に関して処理が行われた場合には、次のステップＳ１７へと進む。
　即ち、全ての焦点距離間についての確認が行なわれたならば、次に、上記（２）式の条件式を用いて、各焦点距離間の最大値が目標被写界深度を満たすか否かを確認する（ステップＳ１８）。ここで、上記（２）式の条件式を満たさない場合、つまり、各焦点距離間の最大値が目標被写界深度を満たさない場合には、新たな焦点距離を設けた後（ステップＳ１９）、上記ステップＳ１８に戻る。なおこの際、新たに設ける焦点距離は、ｆｍｉｎより小さい値、若しくは、ｆｍａｘより大きい値に設定し、その後ｆｍｉｎ及びｆｍａｘを更新する。ここでの処理は、設定した焦点距離が、目標被写界深度が達成或は被写界深度拡大をもたらすように、焦点距離を新たに設定するものである。
　上記ステップＳ１８にて上記（２）式の条件式が満たされた場合、つまり、各焦点距離間の最大値が目標被写界深度を満たす場合には、目標被写界深度が達成或いは被写界深度拡大がもたらされたとして、次のステップＳ２０に進む。即ち、上記のように設定した複数の焦点距離での画像信号を画像撮像部１３に取得させる（ステップＳ２０）。そして、それら取得した複数の画像信号の画角を画角補正部１９にそれぞれ補正させると共に、設定した焦点距離の数によって表示制御部１８にフレームレートを制御させる（ステップＳ２１）。なお、上記画角補正部１９及び表示制御部１８を設ける代わりに、制御部１７を構成するコンピュータが画角補正及びフレームレート制御を行うようにしても良い。そして、補正した複数の画像信号と制御したフレームレートを用いて、表示部１２にそれら画像信号を切り換え表示して（ステップＳ２２）、処理を終了とする。
　以上のように、本第１実施形態に係る撮像装置１０は、被写体認識部１５にて被写体を認識し、被写体焦点設定部１６にて複数の焦点距離をこの被写体認識部１５で認識した各被写体に合わせるよう設定し、画像撮像部１３にてこの被写体焦点設定部１６で設定した複数の焦点距離における画像信号を取得する。このように、認識した被写体の位置に複数の焦点距離を合わせて画像信号を取得することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら取得した複数の画像信号を切り換え表示することで、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る。
　また、表示部１２に、画像撮像部１３で複数の焦点距離に合わせて取得した画像信号を、合成処理や位置合わせ処理を行わずに、表示部１２に切り換え表示する。それぞれ異なる深度で合焦している複数枚の画像信号が並べられるため、被写界深度の深い画像が得られる。
　また、画角補正部１９にて、上記焦点距離の変化に対して、画角が変化しないよう補正する。このように、画像撮像部１３で撮像された複数の画像信号の画角を統一するよう補正することで、画像信号を表示させる際に、画角が変動せず高品位な画像が得られる。
　また、焦点距離設定部２４にて、被写体認識部１５で認識した被写体の位置に焦点距離を合わせるよう設定し、焦点数設定部２５にて、設定する焦点距離の数として被写体認識部１５で認識した被写体の数を設定する。このように、認識した被写体に合わせて焦点距離を設定するため、画像の各被写体全てに焦点の合った画像が得られる。
　また、距離算出部２７にて、被写体認識部１５において認識された被写体の焦点距離を算出し、目標深度設定部３０にて、設定されている目標被写界深度に対して、その設定した焦点距離間の最大値が満たすように、少なくとも距離算出部２７で算出した焦点距離を含む複数の焦点距離を設定する。すなわち、認識した被写体の位置に基づいて設定される焦点距離に加えて、それら設定した焦点距離間の最大値が目標被写界深度を満たすように、さらに焦点距離を設定する。従って、被写体の位置の他に新たに焦点距離を設定しているため、被写体の位置だけでは深度拡大しない場合においても被写界深度の深い画像を得ることができる。また、被写体位置に合焦しつつ、目標被写界深度を満たすような画像を得ることができる。
　また、表示制御部１８にて、表示部１２で表示される画像信号の表示フレームレートを、設定した焦点距離の数に応じて制御する。従って、設定した焦点距離の数に応じて表示フレームレートを制御することから、高品位な画像が得られる。
　［第２実施形態］　
　図６は、本発明の第２実施形態に係る撮像装置１０の構成を示す図である。なお、この図６において、図１において示したブロックと同一の機能を有するブロックには同一の符号を付し、重複する説明は省略する。
　本第２実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０における被写体認識部１５及び被写体焦点設定部１６に代えて、焦点設定部３１を備えている。この焦点設定部３１へは、上記画像撮像部１３及び上記前処理部１４が接続している。また、焦点設定部３１は、上記制御部１７に双方向に接続されている。
　図６において、信号の流れを説明する。なお、第１実施形態と重複する説明は省略する。即ち、焦点設定部３１は、前処理された画像信号と画像撮像部１３より得られる絞り値とを用いて、焦点距離及びその数を設定する。焦点設定部３１で設定した焦点距離及びその数は、制御部１７を介して画像撮像部１３のレンズ駆動装置２２に転送され、レンズ駆動装置２２は、その転送された焦点距離に合焦するように、レンズ系２０を駆動させる。同様に、焦点設定部３１で設定した焦点距離の数は、制御部１７を介して表示制御部１８に転送される。
　図７は、上記焦点設定部３１の構成の一例を示す図である。この焦点設定部３１は、画像信号を取得する焦点距離及びその数を設定する機能を有しており、絞り値検出部３２、深度算出部３３、目標深度設定部３４、及び算出部３５から成る。
　上記画像撮像部１３及び上記前処理部１４は、絞り値検出部３２へ接続している。絞り値検出部３２は、深度算出部３３へ接続しており、深度算出部３３は、目標深度設定部３４及び算出部３５へ接続している。算出部３５は、目標深度設定部３４及び制御部１７に双方向で接続されている。目標深度設定部３４は、制御部１７に双方向で接続されている。
　このような焦点設定部３１においては、まず、絞り値検出部３２は、上記前処理部１４からの撮像された画像信号と上記画像撮像部１３から得られる情報とに基づいて、絞り値を検出する。そして、深度算出部３３は、その絞り値検出部３２で検出した絞り値から、各焦点距離での被写界深度を求める。なお、ここでは絞り値を用いているが、被写界深度の算出方法は他の方法でも良い。他の方法を用いた場合、絞り値検出部３２は必要ない。各焦点距離とは、画像撮像部１３が取り得る焦点距離内の任意の一つの焦点距離又は任意の複数の焦点距離の各々を意味している。
　また、目標深度設定部３４には、予め又は制御部１７を介してユーザ指定によって目標被写界深度が設定されている。算出部３５は、その目標深度設定部３４に設定されている目標被写界深度と、上記深度算出部３３にて得られた各焦点距離での被写界深度とを用いて、被写界深度拡大のための画像信号を取得する焦点距離及びその数を算出する。この算出方法の一例を図８に示す。詳細は後述するが、各焦点距離における被写界深度が重ならないように焦点距離を配置し、配置した焦点距離での被写界深度の合計が目標深度設定部３４で設定される目標深度に等しくなるように、設定する焦点距離の数Ｎを導出する。このように導出した焦点距離及びその数は、制御部１７を介して画像撮像部１３及び表示制御部１８に転送される。
　このように、被写体の位置とは無関係に設定した複数の焦点距離に焦点を合わせて撮像することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら複数枚の画像信号を高速に切り換え表示すると、人間の目には、近距離から遠距離までピントの合った被写界深度の深い画像信号として認識される。従って、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができる。
　図８は、上記焦点設定部３１での焦点距離とその数の設定方法の一例を示す図である。焦点設定部３１は、目標の被写界深度ｄ’（焦点距離Ｄ１～焦点距離Ｄ２）を満たすために焦点距離ｘｉ及びその数Ｎを設定する。得られる各焦点距離における被写界深度ｄ１～ｄＮが一定値ｄ０であるとすると、焦点距離の数Ｎは、以下の（３）式により得られる。
Figure JPOXMLDOC01-appb-M000003
　また、焦点距離ｘｉは、以下の（４）式により得られる。
Figure JPOXMLDOC01-appb-M000004
　上記の場合は目標の被写界深度を各焦点距離での被写界深度によって隙間なく埋めるよう焦点距離を設定しているが、必ずしも隙間なく埋める必要はない。各焦点距離での被写界深度間に観測者がボケを認識しない程度の多少の隙間があっても問題にならないと考えられる。
　また、得られる被写界深度が各焦点距離で一定でない場合（深度算出部３３にて複数の焦点距離での被写界深度を求めた場合）、焦点距離ｘｊでの被写界深度をｄｊとすると、焦点距離の数Ｎは、以下の（５）式を満たすＮである。
Figure JPOXMLDOC01-appb-M000005
　また、焦点距離ｘｉは、以下の（６）式により得られる。
Figure JPOXMLDOC01-appb-M000006
　この場合も上記（３）式及び上記（４）式共に目標の被写界深度を各焦点距離での被写界深度によって隙間なく埋めるよう焦点距離を設定しているが、必ずしも隙間なく埋める必要はない。各焦点距離での被写界深度間に観測者がボケを認識しない程度の多少の隙間があっても問題にならないと考えられる。
　なお、本第２実施形態においても、上記第１実施形態の場合と同様に、上記焦点設定部３１を独立したハードウェアとして構成する代わりに、制御部１７を構成するコンピュータが、記録媒体に記録された上記焦点設定部３１の機能を実現するソフトウェアのプログラム実行することによって、上記機能を実現することが可能なことは言うまでもない。
　以上のように、本第２実施形態に係る撮像装置１０は、焦点設定部３１にて複数の焦点距離を設定し、画像撮像部１３にて焦点設定部３１で設定された複数の焦点距離における画像信号を取得する。このように、焦点設定部３１にて設定した複数の焦点距離に焦点を合わせて取得することで、それぞれ異なる深度で合焦している複数枚の画像信号が得られる。そして、それら取得した複数の画像信号を切り換え表示することで、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらし得る。
　また、表示部１２に、画像撮像部１３で複数の焦点距離に合わせて取得した画像信号を、合成処理や位置合わせ処理を行わずに、表示部１２に切り換え表示する。従って、それぞれ異なる深度で合焦している複数枚の画像信号が並べられるため、被写界深度の深い画像が得られる。
　また、画角補正部１９にて、上記焦点距離の変化に対して、画角が変化しないよう補正する。このように、画像撮像部１３で撮像された複数の画像信号の画角を統一するよう補正することで、画像信号を表示させる際に、画角が変動せず高品位な画像が得られる。
　また、目標深度設定部３４にて設定した目標深度を用いて、焦点距離及びその数を決定する。このように、設定した目標深度を用いることで、焦点距離を効率良く設定することができる。
　また、深度算出部３３にて各焦点距離での被写界深度を算出し、目標深度設定部３４にて目標の被写界深度を設定し、算出部３５にて深度算出部３３で算出した各焦点距離での被写界深度と目標深度設定部３４で設定した目標被写界深度とを用いて、焦点距離及びその数を決定する。このように、各焦点距離での被写界深度と設定した目標被写界深度とを用いて焦点距離及びその数を決定することで、焦点距離を効率良く設定することができ、処理時間を短縮することができる。
　また、絞り値検出部３２にて画像撮像部１３での絞り値を算出し、深度算出部３３にて絞り値検出部３２で算出した絞り値を用いて各焦点距離での被写界深度を算出し、目標深度設定部３４にて目標の被写界深度を設定し、算出部３５にて深度算出部３３で算出した各焦点距離での被写界深度と目標深度設定部３４で設定した目標被写界深度とを用いて、焦点距離及びその数を決定する。このように、絞り値を用いて得られた各焦点距離での被写界深度と設定した目標被写界深度とを用いて焦点距離及びその数を決定することで、焦点距離を効率良く設定することができ、処理時間を短縮することができる。
　また、表示制御部１８にて、表示部１２で表示される画像信号の表示フレームレートを、設定した焦点距離の数に応じて制御する。従って、設定した焦点距離の数に応じて表示フレームレートを制御することから、高品位な画像が得られる。
　以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
　例えば、上記実施形態では、撮像装置１０として、デジタルカメラにおけるライブビュー表示や内視鏡診療装置における観察画像表示等、画像撮像部１３で撮像した画像を直ちに表示する装置を例に説明した。しかしながら、複数枚撮像した画像信号を一旦記録しておき、当該装置にて後で再生表示するようにしても良いことは言うまでもない。
　さらには、撮像装置１０は複数枚の画像信号を撮像して記録媒体に記録するまでを行い、別の表示装置にてその記録媒体に記録された複数枚の画像信号のフレームレートを（及び必要により画角も）制御して切り換え表示するようにしても良い。このようにすることによっても、複数枚の画像信号に対して、位置合わせや合成等の処理を行うことなく被写界深度の深い画像信号を得ることができるので、位置合わせや合成等の処理時間を抑え、且つ、アーティファクトを発生させずに被写界深度拡大の効果をもたらすことができることは勿論である。

Claims (14)

  1. 　複数枚の画像信号を取得する撮像装置において、
    　予め撮像した画像信号から被写体を認識するための被写体認識手段と、
    　前記被写体認識手段での被写体認識結果を用いて複数の焦点距離を設定するための被写体焦点設定手段と、
    　前記被写体焦点設定手段で設定された複数の焦点距離で画像信号を取得するための画像信号取得手段と、
    　前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段と、
    　を備えたことを特徴とする撮像装置。
  2. 　複数枚の画像信号を取得する撮像装置において、
    　複数の焦点距離を設定するための焦点設定手段と、
    　前記焦点設定手段で設定された複数の焦点距離で画像信号を取得するための画像信号取得手段と、
    　前記画像信号取得手段により取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段と、
    　を備えたことを特徴とする撮像装置。
  3. 　前記画像信号取得手段で取得した前記複数の焦点距離における画像信号を表示するための表示手段をさらに備えたことを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記焦点距離の変化に対して、画角が変化しないよう補正するための補正手段をさらに備えたことを特徴とする請求項１または２に記載の撮像装置。
  5. 　前記被写体焦点設定手段は、
    　　前記被写体認識手段で認識した前記被写体の位置に前記焦点距離を設定するための焦点距離設定手段と、
    　　設定する焦点距離の数を前記被写体の数を用いて設定するための焦点数設定手段と、
    を有することを特徴とする請求項１に記載の撮像装置。
  6. 　前記被写体焦点設定手段は、
    　　前記被写体認識手段で認識した前記各被写体の焦点距離を算出するための距離算出手段と、
    　　目標の被写界深度を設定するための目標深度設定手段と、
    を有し、
    　　前記距離算出手段で算出した焦点距離間の最大値が前記目標深度設定手段で設定した目標被写界深度を満たすように、少なくとも前記距離算出手段で算出した焦点距離を含む複数の焦点距離を設定する、
    ことを特徴とする請求項１に記載の撮像装置。
  7. 　前記焦点設定手段は、
    　　目標の被写界深度を設定するための目標深度設定手段を有し、
    　　前記目標深度設定手段にて設定した目標の被写界深度を用いて焦点距離及びその数を設定する、
    ことを特徴とする請求項２に記載の撮像装置。
  8. 　前記焦点設定手段は、
    　　各焦点距離における被写界深度を算出するための被写界深度算出手段をさらに有し、
    　　前記目標深度設定手段にて設定した前記目標の被写界深度と前記被写界深度算出手段で算出した各焦点距離における被写界深度とを用いて焦点距離及びその数を設定する、
    ことを特徴とする請求項７に記載の撮像装置。
  9. 　前記焦点設定手段は、前記撮像装置の光学系の絞り値を検出するための絞り値検出手段をさらに有し、
    　前記被写界深度算出手段は、各焦点距離における被写界深度を、前記絞り値検出手段にて検出した絞り値を用いて算出する、
    ことを特徴とする請求項８に記載の撮像装置。
  10. 　前記表示制御手段は、表示フレームレートを設定するためのフレームレート設定手段を有し、
    　前記フレームレートは、設定した焦点距離の数に応じて制御する、
    ことを特徴とする請求項３に記載の撮像装置。
  11. 　複数枚の画像信号を取得する際に、
    　予め撮像した画像信号から被写体を認識し、
    　前記被写体の認識結果を用いて複数の焦点距離を設定し、
    　前記設定された複数の焦点距離で画像信号を取得し、
    　取得された複数枚の画像信号を連続的に表示するよう制御する、
    　ことを特徴とする撮像方法。
  12. 　複数枚の画像信号を取得する際に、
    　複数の焦点距離を設定し、
    　前記設定された複数の焦点距離で画像信号を取得し、
    　取得された複数枚の画像信号を連続的に表示するよう制御する、
    　ことを特徴とする撮像方法。
  13. 　複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムを記録した記録媒体であって、
    　前記コンピュータを、
    　　予め撮像した画像信号から被写体を認識するための被写体認識手段、
    　　前記被写体の認識結果を用いて複数の焦点距離を設定するための被写体焦点設定手段、
    　　画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させるための画像信号取得手段、
    　　取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段、
    として機能させるためのプログラムを記録したことを特徴とする記録媒体。
  14. 　複数枚の画像信号を取得する撮像装置のコンピュータを制御するためのプログラムを記録した記録媒体であって、
    　前記コンピュータを、
    　　複数の焦点距離を設定するための焦点設定手段、
    　　画像撮像部に、前記設定された複数の焦点距離で画像信号を取得させるための画像信号取得手段、
    　　取得された複数枚の画像信号を連続的に表示するよう制御するための表示制御手段、
    として機能させるためのプログラムを記録したことを特徴とする記録媒体。
PCT/JP2011/069602 2010-09-15 2011-08-30 撮像装置、撮像方法及び記録媒体 WO2012035971A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/831,086 US20130201355A1 (en) 2010-09-15 2013-03-14 Imaging apparatus, imaging method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010207122A JP5638890B2 (ja) 2010-09-15 2010-09-15 撮像装置、撮像方法及びプログラム
JP2010-207122 2010-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/831,086 Continuation US20130201355A1 (en) 2010-09-15 2013-03-14 Imaging apparatus, imaging method, and recording medium

Publications (1)

Publication Number Publication Date
WO2012035971A1 true WO2012035971A1 (ja) 2012-03-22

Family

ID=45831441

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069602 WO2012035971A1 (ja) 2010-09-15 2011-08-30 撮像装置、撮像方法及び記録媒体

Country Status (3)

Country Link
US (1) US20130201355A1 (ja)
JP (1) JP5638890B2 (ja)
WO (1) WO2012035971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685905A (zh) * 2012-09-17 2014-03-26 联想(北京)有限公司 一种拍照方法及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150010236A1 (en) * 2013-07-08 2015-01-08 Htc Corporation Automatic image refocusing method
US9726876B2 (en) * 2013-11-27 2017-08-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
CN109842758B (zh) * 2017-11-29 2022-06-07 超威半导体公司 计算传感器
KR102526651B1 (ko) * 2017-12-01 2023-04-27 삼성전자주식회사 영상 데이터 처리 방법 및 장치
EP3766023A4 (en) 2018-03-13 2021-04-21 Magic Leap, Inc. IMAGE-ENHANCED DEPTH DETECTION USING AUTOMATIC LEARNING
US11289078B2 (en) * 2019-06-28 2022-03-29 Intel Corporation Voice controlled camera with AI scene detection for precise focusing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279940A (ja) * 2005-03-03 2006-10-12 Fuji Photo Film Co Ltd 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法
JP2009206831A (ja) * 2008-02-27 2009-09-10 Kyocera Corp 撮像装置、画像生成方法、および電子機器
JP2009239460A (ja) * 2008-03-26 2009-10-15 Sony Corp 焦点制御方法、測距装置、撮像装置
JP2010166519A (ja) * 2009-01-19 2010-07-29 Sony Corp 表示制御装置、表示制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279940A (ja) * 2005-03-03 2006-10-12 Fuji Photo Film Co Ltd 撮像装置、撮像方法、および撮像プログラム、並びに画像記録出力システム、画像記録出力方法
JP2009206831A (ja) * 2008-02-27 2009-09-10 Kyocera Corp 撮像装置、画像生成方法、および電子機器
JP2009239460A (ja) * 2008-03-26 2009-10-15 Sony Corp 焦点制御方法、測距装置、撮像装置
JP2010166519A (ja) * 2009-01-19 2010-07-29 Sony Corp 表示制御装置、表示制御方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685905A (zh) * 2012-09-17 2014-03-26 联想(北京)有限公司 一种拍照方法及电子设备
CN103685905B (zh) * 2012-09-17 2016-12-28 联想(北京)有限公司 一种拍照方法及电子设备

Also Published As

Publication number Publication date
JP2012065113A (ja) 2012-03-29
JP5638890B2 (ja) 2014-12-10
US20130201355A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
US10928622B2 (en) Medical image processing apparatus, medical image processing method, and medical observation system
WO2012035971A1 (ja) 撮像装置、撮像方法及び記録媒体
JP5870264B2 (ja) 撮像装置、撮像方法、プログラム、および集積回路
JP5562808B2 (ja) 内視鏡装置及びプログラム
JP4794963B2 (ja) 撮像装置および撮像プログラム
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP5684033B2 (ja) 撮像装置及び内視鏡装置の作動方法
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5664626B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
JP2012027408A (ja) 電子機器
JP6574448B2 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP2008271240A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5799863B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2019138982A (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
JP2012065114A (ja) 撮像装置、撮像方法及びプログラム
JP2018074361A (ja) 撮像装置、撮像方法およびプログラム
JP5075110B2 (ja) 焦点調節装置及び方法
JP5225317B2 (ja) 撮像装置及び撮像装置の制御方法
JP6516426B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2010114712A (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2014000152A (ja) 内視鏡装置
JP6147081B2 (ja) 撮像装置、その制御方法、及びプログラム
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11824977

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11824977

Country of ref document: EP

Kind code of ref document: A1