WO2022264691A1 - 撮像方法及び撮像装置 - Google Patents

撮像方法及び撮像装置 Download PDF

Info

Publication number
WO2022264691A1
WO2022264691A1 PCT/JP2022/018701 JP2022018701W WO2022264691A1 WO 2022264691 A1 WO2022264691 A1 WO 2022264691A1 JP 2022018701 W JP2022018701 W JP 2022018701W WO 2022264691 A1 WO2022264691 A1 WO 2022264691A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
display
subject image
determination
Prior art date
Application number
PCT/JP2022/018701
Other languages
English (en)
French (fr)
Inventor
宏輔 ▲高▼橋
康一 田中
峻介 宮城島
広樹 斉藤
智貴 大槻
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023529655A priority Critical patent/JPWO2022264691A1/ja
Priority to CN202280041593.9A priority patent/CN117501707A/zh
Publication of WO2022264691A1 publication Critical patent/WO2022264691A1/ja
Priority to US18/516,911 priority patent/US20240089588A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Definitions

  • the technology of the present disclosure relates to an imaging method and an imaging device.
  • Patent Document 1 discloses a digital camera that generates high-quality images through super-resolution processing.
  • the digital camera described in Patent Document 1 acquires four captured images while moving the relative position of the image sensor with respect to the subject image, and performs super-resolution processing.
  • To detect whether or not there is a change in a subject image between a photographed image and photographed images obtained by photographing the second and subsequent frames each time photographing is performed.
  • super-resolution photography is restarted from the beginning.
  • Patent Document 2 discloses an image processing device capable of obtaining high-quality composite image data.
  • the obtaining unit obtains a plurality of image data having RGB color elements.
  • the division unit divides each image data into a plurality of areas.
  • the calculation unit calculates the amount of deviation for each region of each image data.
  • the color interpolation unit performs color interpolation for at least one of the RGB color components based on the shift amount for each region of each image data.
  • Patent document 3 describes pixel shifting means for moving the relative position between a light beam incident on an imaging device and the imaging device, and movement by a series of operations by the pixel shifting means when the relative position is at a specific position and from the specific position.
  • a photographing means for photographing when in at least one position where the photographing means is located, an image generating means for generating a new high-resolution image from a plurality of image data photographed by the photographing means in a series of operations, and the new image is generated and a display control means for displaying an image taken at an early stage among a plurality of images taken before.
  • JP 2016-171511 A JP 2019-161564 A Japanese Patent Application Laid-Open No. 2003-283887
  • An embodiment according to the technology of the present disclosure provides an imaging method and an imaging device that enable the user to recognize the processing status.
  • an imaging method of the present disclosure is an imaging method used in an imaging apparatus that includes an imaging device that captures a subject image and a moving mechanism that can change the relative position of the subject image and the imaging device. a changing step of changing the relative position a plurality of times; an imaging step of capturing a subject image using an imaging element at the plurality of relative positions to obtain a plurality of first images; and synthesizing the plurality of first images. a synthesizing step of generating a second image by doing so; and a display step of temporally displaying the imaging step or the synthesizing step.
  • the temporal display be a display that allows recognition of the execution time of the imaging process or the synthesizing process.
  • the changing step it is preferable to change the relative position by moving the imaging device to a predetermined position using a moving mechanism.
  • An imaging device includes an imaging device that captures a subject image, a moving mechanism that can change the relative position of the subject image and the imaging device, and a processor.
  • the processor performs change processing that changes the relative position multiple times.
  • the processor can selectively execute a first mode and a second mode. in which the relative position is changed by moving the imaging device to a predetermined position using the moving mechanism, and the composition processing is performed based on whether at least one of the plurality of first images satisfies the first condition. Performing determination processing for determining whether or not execution is possible, and when the determination is negative in the determination processing, changing temporal display in the display processing to contents different from each other in the first mode and the second mode. is preferred.
  • FIG. 7 is a diagram illustrating an example of imaging processing and synthesis processing in a multi-shot synthesis mode
  • FIG. 10 is a diagram showing an example of temporal display performed in the multi-shot synthesis mode
  • FIG. 10 is a diagram showing an example of notification performed in multi-shot synthesis mode
  • 4 is a flow chart showing an example of a series of operations in a multi-shot synthesis mode
  • FIG. 7 is a diagram illustrating an example of imaging processing and synthesis processing in a multi-shot synthesis mode
  • FIG. 10 is a diagram showing an example of temporal display performed in the multi-shot synthesis mode
  • FIG. 10 is a diagram showing an example of notification performed in multi-shot synthesis mode
  • 4 is a flow chart showing an example of a series of operations in a multi-shot synthesis mode
  • FIG. 7 is a diagram illustrating an example of imaging processing and synthesis processing in a multi-shot synthesis mode
  • FIG. 10 is a diagram showing an example of temporal display performed in the multi-shot
  • FIG. 10 is a diagram showing an example of imaging processing in a pixel-shifted multi-shot synthesis mode
  • 7 is a flow chart showing an example of a series of operations in a pixel-shifted multi-shot synthesis mode
  • FIG. 10 is a diagram showing an example of updating the temporal display when the number of times the subject image is captured is increased; It is a figure which shows the example which connected the imaging device with the external device.
  • IC is an abbreviation for “Integrated Circuit”.
  • CPU is an abbreviation for "Central Processing Unit”.
  • ROM is an abbreviation for “Read Only Memory”.
  • RAM is an abbreviation for “Random Access Memory”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor.”
  • FPGA is an abbreviation for "Field Programmable Gate Array”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • OPF is an abbreviation for "Optical View Finder”.
  • EMF is an abbreviation for "Electronic View Finder”.
  • JPEG is an abbreviation for "Joint Photographic Experts Group”.
  • DSP is an abbreviation for "Digital Signal Processor”.
  • the technology of the present disclosure will be described by taking a lens-interchangeable digital camera as an example.
  • the technique of the present disclosure is not limited to interchangeable-lens type digital cameras, and can be applied to lens-integrated digital cameras.
  • FIG. 1 shows an example of the front side of the imaging device 10.
  • the imaging device 10 is a lens-interchangeable digital camera.
  • the imaging device 10 is composed of a body 11 and an imaging lens 12 replaceably attached to the body 11 .
  • the imaging lens 12 is attached to the front side of the main body 11 via a camera side mount 11A and a lens side mount 12A (see FIG. 2).
  • the imaging lens 12 is an example of a lens according to the technology of the present disclosure.
  • a dial 13 and a release button 14 are provided on the upper surface of the main body 11.
  • the dial 13 is operated when setting an operation mode or the like.
  • the operation modes of the imaging device 10 include, for example, a still image imaging mode, a moving image imaging mode, and an image display mode.
  • the release button 14 is operated by the user when starting the execution of still image capturing or moving image capturing.
  • the still image capturing mode includes a "multi-shot synthesis mode" for obtaining super-resolution images.
  • a multi-shot synthesis mode of the present embodiment a plurality of images are synthesized by changing the relative positions of the subject image and the imaging sensor 20 (see FIG. 2) by using the shaking applied to the imaging device 10 due to the user's hand shake or the like. It is a mode that acquires and synthesizes. By synthesizing a plurality of images in which the relative positions of the subject image and the image sensor 20 are different, a super-resolution image exceeding the resolution of a single image can be obtained.
  • the main body 11 is provided with a finder 17 .
  • the finder 17 is a hybrid finder (registered trademark).
  • a hybrid viewfinder is, for example, a viewfinder that selectively uses an optical viewfinder (hereinafter referred to as "OVF”) and an electronic viewfinder (hereinafter referred to as "EVF").
  • a finder eyepiece 18 is provided on the back side of the main body 11 .
  • the viewfinder eyepiece 18 selectively displays an optical image that can be viewed with the OVF and a live view image that is an electronic image that can be viewed with the EVF.
  • a user can observe an optical image or a live view image of a subject through the viewfinder eyepiece 18 .
  • a display 15 (see FIG. 2) is provided on the back side of the main body 11.
  • the display 15 displays an image based on an image signal obtained by imaging, various menu screens, and the like.
  • the Z -axis AZ shown in FIG. 1 corresponds to the optical axis of the imaging lens 12 .
  • the X -axis AX and the Y-axis AY are orthogonal to each other and to the Z -axis AZ.
  • the X -axis AX and Y -axis AY correspond to the pitch axis and yaw axis according to the technology of the present disclosure.
  • the direction of rotation about the Z -axis AZ is called the roll direction.
  • the direction of rotation about the X -axis AX is called the pitch direction.
  • the direction of rotation about the Y -axis AY is called the yaw direction.
  • the X-axis A X direction is called the X direction
  • the Y-axis A Y direction is called the Y direction.
  • FIG. 2 shows an example of the internal configuration of the imaging device 10. As shown in FIG. The main body 11 and the imaging lens 12 are electrically connected by contact between an electrical contact 11B provided on the camera-side mount 11A and an electrical contact 12B provided on the lens-side mount 12A.
  • the imaging lens 12 includes an objective lens 30 , a focus lens 31 , a rear end lens 32 and an aperture 33 .
  • Each member is arranged along the optical axis of the imaging lens 12 (that is, the Z-axis A Z ) in the order of the objective lens 30, the diaphragm 33, the focus lens 31, and the rear end lens 32 from the objective side.
  • the objective lens 30, focus lens 31, and rear end lens 32 constitute an imaging optical system.
  • the type, number, and order of arrangement of the lenses that make up the imaging optical system are not limited to the example shown in FIG.
  • the imaging lens 12 has a lens driving control section 34 and a memory.
  • the lens drive control unit 34 is composed of, for example, a CPU, a RAM, a ROM, and the like.
  • the lens drive control section 34 is electrically connected to the processor 40 in the main body 11 via the electrical contacts 12B and 11B.
  • the lens drive control unit 34 drives the focus lens 31 and the diaphragm 33 based on control signals sent from the processor 40 .
  • the lens drive control unit 34 performs drive control of the focus lens 31 based on a control signal for focus control transmitted from the processor 40 in order to adjust the focus position of the imaging lens 12 .
  • the diaphragm 33 has an aperture whose aperture diameter is variable around the optical axis.
  • the lens drive control unit 34 performs drive control of the diaphragm 33 based on the control signal for diaphragm adjustment transmitted from the processor 40.
  • the main body 11 is provided with an imaging sensor 20 , a processor 40 , an image processing section 41 , an operation section 42 , a mechanical anti-vibration mechanism 43 , a shake detection sensor 44 , a memory 45 and a display 15 .
  • the processor 40 controls the operations of the imaging sensor 20 , the image processing unit 41 , the operation unit 42 , the mechanical vibration isolation mechanism 43 , the shake detection sensor 44 , the memory 45 , and the display 15 .
  • the processor 40 is composed of, for example, a CPU, RAM, ROM, and the like. In this case, the processor 40 executes various processes based on the operating program 45A stored in the memory 45.
  • FIG. Note that the processor 40 may be configured by an assembly of a plurality of IC chips.
  • the imaging sensor 20 is, for example, a CMOS image sensor.
  • the imaging sensor 20 is arranged such that the Z-axis AZ as an optical axis is orthogonal to the light-receiving surface 20A and the Z-axis AZ is positioned at the center of the light-receiving surface 20A.
  • Light (subject image) that has passed through the imaging lens 12 is incident on the light receiving surface 20A.
  • a plurality of pixels that generate image signals by performing photoelectric conversion are formed on the light receiving surface 20A.
  • the imaging sensor 20 photoelectrically converts light incident on each pixel to generate and output an image signal.
  • the imaging sensor 20 is an example of an “imaging element” according to the technology of the present disclosure.
  • a color filter array of Bayer arrangement is arranged on the light receiving surface of the imaging sensor 20, and one of R (red), G (green), and B (blue) color filters is arranged opposite to each pixel. It is Therefore, each pixel of one image before color interpolation processing includes R, G, or B color information. Note that the arrangement of the color filter array is not limited to the Bayer arrangement, and can be changed as appropriate.
  • the imaging sensor 20 is held by a mechanical anti-vibration mechanism 43 .
  • the mechanical vibration isolation mechanism 43 holds the imaging sensor 20 so as to be able to translate in the X -axis AX and Y-axis AY directions and to be rotatable in the roll direction.
  • the configuration of the mechanical vibration isolation mechanism 43 is known, for example, from Japanese Patent Application Laid-Open No. 2016-171511.
  • the mechanical anti-vibration mechanism 43 is an example of a “moving mechanism capable of changing the relative position between the subject image and the imaging device” according to the technology of the present disclosure.
  • the mechanical image stabilization mechanism 43 may be a mechanism that changes the relative position between the subject image and the imaging sensor 20 by driving a part of the lenses that constitute the imaging optical system of the imaging lens 12 .
  • the shake detection sensor 44 detects shake applied to the main body 11 housing the imaging sensor 20 .
  • the shake detection sensor 44 is, for example, a five-axis shake detection sensor that detects shake in the roll direction, yaw direction, pitch direction, X direction, and Y direction.
  • roll-direction blur is referred to as rotational blur.
  • Shaking in the yaw and pitch directions is called angular shake.
  • a blur in the X and Y directions is called a translational blur.
  • the shake detection sensor 44 is composed of, for example, a gyro sensor and an acceleration sensor.
  • a gyro sensor detects rotational shake and angular shake.
  • the acceleration sensor detects translational shake.
  • the processor 40 drives and controls the mechanical anti-vibration mechanism 43 based on the shake of the imaging device 10 (shaking applied to the imaging device 10 ) detected by the shake detection sensor 44 . Specifically, the processor 40 changes the relative positions of the subject image and the imaging sensor 20 so as to offset the displacement of the subject image due to the user's hand shake.
  • a position detection sensor for detecting the position of the imaging sensor 20 may be provided in the mechanical vibration isolation mechanism 43 .
  • This position detection sensor is, for example, a Hall sensor.
  • the processor 40 drives and controls the mechanical anti-vibration mechanism 43 based on the shake information detected by the shake detection sensor 44 and the position information of the imaging sensor 20 detected by the position detection sensor. Note that the processor 40 may stop driving control of the mechanical anti-vibration mechanism 43 in the multi-shot synthesis mode described above.
  • the processor 40 causes the imaging sensor 20 to perform a predetermined plurality of imaging operations (for example, four times) in response to the operation of the release button 14 by the user. That is, in the multi-shot synthesis mode, the imaging sensor 20 performs imaging processing to obtain a plurality of images with different relative positions between the subject image and the imaging sensor 20 .
  • the image acquired by the imaging sensor 20 is an example of the "first image" according to the technology of the present disclosure.
  • the image processing unit 41 is configured by a DSP, for example.
  • the image processing unit 41 generates image data in a predetermined file format (for example, JPEG format) by performing various image processing such as color interpolation processing on the image signal.
  • a predetermined file format for example, JPEG format
  • the image processing unit 41 performs synthesis processing for generating a super-resolution image by synthesizing a plurality of images acquired by imaging processing.
  • the super-resolution image is an example of the "second image" according to the technology of the present disclosure.
  • the image processing unit 41 derives the shift amount for each region of each image based on the blur information detected by the blur detection sensor 44 and the position information of the imaging sensor 20 detected by the position detection sensor, A plurality of images are synthesized based on the derived displacement amount. It should be noted that the image processing unit 41 can calculate the shift amount for each area of each image by using a block matching technique instead of the blurring information and the position information. Synthesis processing used in the multi-shot synthesis mode is known, for example, from Japanese Patent Application Laid-Open No. 2019-161564.
  • the display 15 displays images based on the image data generated by the image processing unit 41 .
  • Images include still images, moving images, and live view images.
  • a live view image is an image that is displayed in real time on the display 15 by sequentially outputting image data generated by the image processing unit 41 to the display 15 .
  • the image data generated by the image processing unit 41 can be stored in an internal memory (not shown) built into the main body 11 or a storage medium (for example, a memory card) removable from the main body 11.
  • a storage medium for example, a memory card
  • the operation unit 42 includes the aforementioned dial 13, release button 14, and instruction keys (not shown).
  • the instruction keys are provided on the back side of the main body 11, for example.
  • the processor 40 controls each part in the main body 11 and the lens driving control part 34 in the imaging lens 12 according to the operation of the operation part 42 .
  • the processor 40 determines whether the compositing process by the image processing unit 41 can be executed based on whether at least one of the multiple images obtained by the imaging process satisfies a predetermined quality condition. Determination processing is performed to determine whether or not.
  • a quality condition is a condition determined based on the brightness, blur, or degree of blurring of an image.
  • the quality condition may be a condition based on the brightness, blur, or degree of blur in one image, or a condition based on differences in brightness, blur, or degree of blur between a plurality of images, or differences in subject position.
  • the quality condition may be a comprehensive condition using a plurality of indices such as brightness, blur, degree of blurring, and the like.
  • the quality conditions may be different conditions for each of the multiple images acquired by the imaging process. Note that the quality condition is an example of the "first condition" according to the technology of the present disclosure.
  • the processor 40 changes the processing content in the imaging process when the determination is negative in the determination process.
  • first stop processing is performed to stop capturing of the subject image by the imaging sensor 20 .
  • the changed processing contents of the imaging apparatus include, for example, a mode of stopping the imaging process, a mode of re-executing a part of the imaging process, and imaging condition settings (shutter speed, aperture amount of the imaging lens, sensitivity of the imaging device, etc.). , and the sensitivity of the moving mechanism, etc.).
  • the processor 40 performs display processing for temporal display regarding imaging processing or synthesis processing.
  • the processor 40 controls the display 15 to provide temporal displays regarding imaging processing or compositing processing on the display 15 .
  • the temporal display is a user-recognizable display of the execution time of the imaging process or the synthesizing process.
  • the temporal display is, for example, a remaining time display that indicates the time until the end of the imaging process and the compositing process.
  • the temporal display may display the remaining time of the imaging process and the remaining time of the synthesis process separately, or display the remaining time until the super-resolution processing combining the imaging process and the synthesis process is completed.
  • the temporal display is not limited to a display mode in which the remaining time is directly displayed, and may be a display mode in which the number of remaining images or the like is displayed.
  • the processor 40 performs a first suspension process of suspending imaging of the subject image by the imaging sensor 20 when the determination is negative in the determination process, and also performs temporal A second cancellation process for canceling the display is performed.
  • the processor 40 performs notification processing for notifying the user of the reason for stopping the imaging of the subject image or the reason for stopping the temporal display when the determination is negative in the determination processing.
  • the processor 40 notifies the user of the cancellation reason by controlling the display 15 and displaying the cancellation reason on the display 15 .
  • FIG. 3 illustrates an example of imaging processing and synthesis processing in the multi-shot synthesis mode.
  • N images P are acquired by the imaging sensor 20 in the imaging process.
  • the imaging apparatus 10 shakes due to hand shake of the user or the like, and thus the positions of the subject images SI appearing in the respective images P are shifted.
  • each area forming the subject image SI includes a plurality of pieces of color information.
  • the area PA in the subject image SI contains all the R, G, and B color information.
  • each area forming the subject image SI contains a plurality of pieces of color information, by synthesizing the N images P, a high-quality super-resolution image PS can be obtained.
  • the super-resolution image PS is displayed on the display 15 under the control of the processor 40 .
  • FIG. 4 shows an example of temporal display performed in the multi-shot synthesis mode.
  • the display 15 displays (that is, displays as a percentage) the ratio of the processing time to the total processing time for each of the imaging process and the compositing process. In addition to the percentage display, the remaining time of each process may be displayed.
  • FIG. 5 shows an example of notification performed in the multi-shot synthesis mode.
  • the processor 40 displays on the display 15 the fact that the imaging process has been stopped and the reason for stopping the imaging when the imaging is stopped during the imaging process.
  • the reason for cancellation is, for example, a change in brightness during imaging processing. For example, if the brightness of the subject image changes due to changes in lighting caused by flickering of fluorescent lights, etc., there is a possibility that the compositing process cannot be performed due to differences in brightness between the multiple images to be composited.
  • reasons for canceling the imaging process or the compositing process include the case where an unacceptable large shake is applied to the imaging device 10 and the case where the subject has moved significantly.
  • FIG. 6 is a flow chart showing an example of a series of operations in the multi-shot synthesis mode.
  • the processor 40 determines whether or not the user has issued an imaging instruction by operating the release button 14 (step S10).
  • the processor 40 determines that an imaging instruction has been given (step S10: YES)
  • the processor 40 starts the above-described temporal display (step S11), and causes the imaging sensor 20 to pick up the subject image (step S12).
  • the processor 40 determines whether the image acquired by the imaging sensor 20 satisfies the above-described quality conditions (step S13). If the quality condition is satisfied (step S13: YES), the processor 40 determines whether or not the imaging sensor 20 has finished imaging a predetermined number of times (here, N times) (step S14). . If the N times of imaging have not been completed (step S14: NO), the processor 40 returns the process to step S12 and causes the imaging sensor 20 to perform imaging of the subject image again.
  • step S14 When the N times of imaging are completed (step S14: YES), the processor 40 causes the image processing unit 41 to perform the above-described synthesis processing (step S15), and when the synthesis processing by the image processing unit 41 is completed , terminate the temporal display (step S16).
  • the processor 40 stores the super-resolution image generated by the image processing unit 41 in the memory 45 and displays it on the display 15 (step S17).
  • step S13 When the processor 40 determines in step S13 that the quality condition is not satisfied (step S13: NO), it causes the imaging sensor 20 to stop capturing the subject image (step S18). In addition, the processor 40 stops the imaging of the subject image and the temporal display (step S19). Then, the processor 40 notifies the user of the reason for cancellation by displaying the reason for cancellation on the display 15 (step S20).
  • step S12 is an example of the "imaging process” according to the technology of the present disclosure.
  • Step S15 is an example of the "synthesis step” according to the technology of the present disclosure.
  • Step S11 is an example of a “display step” according to the technology of the present disclosure.
  • Step S14 is an example of a “change step” according to the technology of the present disclosure.
  • Step S13 is an example of a "determining step” according to the technology of the present disclosure.
  • Step S18 is an example of the "first stop step” according to the technology of the present disclosure.
  • Step S19 is an example of the “second stop step” according to the technology of the present disclosure.
  • Step S20 is an example of a "notification step” according to the technology of the present disclosure.
  • the imaging device 10 of the present embodiment performs temporal display during execution of super-resolution processing in the multi-shot synthesis mode. Since super-resolution processing includes imaging processing and synthesis processing, the processing takes a long time, so the user may have doubts about whether the processing is progressing normally.
  • the image capturing apparatus 10 of the present embodiment can make the user recognize the processing status by performing the temporal display, thereby alleviating the user's doubts.
  • the multi-shot synthesis mode is a mode in which change processing is performed to change the relative position between the subject image and the imaging sensor 20 by using the shaking applied to the imaging device 10 due to the user's camera shake or the like (hereinafter referred to as "shake shake”). (referred to as “use multi-shot synthesis mode”).
  • the multi-shot synthesis mode is a mode in which the mechanical image stabilization mechanism 43 actively moves the image sensor 20 to change the relative position of the subject image and the image sensor 20 multiple times (hereinafter referred to as "change processing”). , “pixel shift multi-shot synthesis mode”).
  • the processor 40 causes the image sensor 20 to perform image capturing multiple times while finely moving the image sensor 20 in a direction orthogonal to the optical axis.
  • the image processing unit 41 generates a super-resolution image by synthesizing a plurality of images acquired by the imaging sensor 20 .
  • the pixel-shifted multi-shot synthesis mode is known from Japanese Patent Application Laid-Open No. 2016-171511, Japanese Patent Application Laid-Open No. 2019-161564, and the like.
  • the imaging device 10 is shaken due to user's hand shake, etc., so it is preferable that the imaging device 10 is used while being fixed on a tripod or the like.
  • FIG. 7 shows an example of imaging processing in the pixel-shifted multi-shot synthesis mode.
  • the example shown in FIG. 7 is an example in which a total of four images P are acquired while shifting the imaging sensor 20 one pixel at a time in the X direction or the Y direction.
  • each area constituting the subject image SI includes all of the R, G, and B color information.
  • a super-resolution image PS is obtained. Note that the number of images to be acquired is not limited to four, and can be changed as appropriate, such as nine.
  • FIG. 8 is a flowchart showing an example of a series of operations in the pixel-shifted multi-shot synthesis mode. Steps S30 to S37 shown in FIG. 8 are the same as steps S10 to S17 shown in FIG. However, in this modified example, the processor 40 moves the image sensor 20 by one pixel as shown in FIG. Also, in step S34, the processor 40 determines whether or not imaging has been completed for the four positions shown in FIG.
  • step S33 when the processor 40 determines in step S33 that the quality condition is not satisfied (step S33: NO), it causes the imaging sensor 20 to perform imaging again at the same position (step S38). As a result of this re-imaging, the number of times of imaging becomes larger than the originally planned number of times of imaging (4 times), and the time required for the imaging process becomes longer. Therefore, the temporal display regarding the imaging process is updated (step S38). Then, the processor 40 notifies the user of the update reason by causing the display 15 to display the reason for updating the temporal display (step S40). After that, the processor 40 returns the process to step S33, and determines whether or not the image acquired by the re-imaging satisfies the quality condition.
  • step S38 is an example of the "update step" according to the technology of the present disclosure.
  • the relative position between the subject image and the image sensor 20 is determined by moving the image sensor 20 to a predetermined position using the mechanical vibration isolation mechanism 43 .
  • the processor 40 increases the number of times the subject image is captured in the imaging process compared to when the determination is affirmed.
  • the processor 40 updates the temporal display in the display process when the number of times the subject image is captured is increased. Then, notification processing is performed to notify the user of the reason for increasing the number of times of imaging or the reason for updating the temporal display in the imaging processing.
  • FIG. 9 shows an example of updating the temporal display when the number of times the subject image is captured is increased.
  • the processor 40 increases the remaining time of the imaging process. Therefore, as shown in FIG. Change the percentage display. Also, in the example shown in FIG. 9, the processor 40 displays on the display 15 that the brightness has changed as the reason for updating the temporal display.
  • the processor 40 causes the imaging sensor 20 to perform re-imaging when it is determined in step S33 that the quality condition is not satisfied, but re-imaging may not be performed.
  • the processor 40 may cause the image processing section 41 to perform synthesizing processing using only images that satisfy the quality condition.
  • the user may be able to select the camera-shake multi-shot synthesis mode (hereinafter referred to as the first mode) and the pixel-shifted multi-shot synthesis mode (hereinafter referred to as the second mode) using the operation unit 42 . That is, the processor 40 may selectively execute the first mode and the second mode. In this case, the processor 40 changes the temporal display in the display process to different contents between the first mode and the second mode when the determination is negative in the determination process. For example, processor 40 suspends the temporal representation in the first mode and updates the temporal representation in the second mode.
  • each time the imaging sensor 20 captures a subject image it is determined whether or not the captured image satisfies the quality condition.
  • the imaging sensor 20 may perform multiple imaging operations, acquire a predetermined number of images, and then determine whether or not each image satisfies the quality condition.
  • the processor 40 performs temporal display and reason display on the display 15. An indication and an indication of the reason may be provided.
  • the imaging device 10 may be capable of tethered imaging in which imaging is performed while connected to the personal computer 50 by wire or wirelessly. In this case, the combining process described above may be performed within the personal computer 50 . Also, the display 52 of the personal computer 50 may display the above-described time and reason. Note that the imaging device 10 may be connectable to an external device other than the personal computer 50 .
  • the following various processors can be used as the hardware structure of the control unit, with the processor 40 being an example.
  • the above-mentioned various processors include CPUs, which are general-purpose processors that function by executing software (programs), as well as processors such as FPGAs whose circuit configuration can be changed after manufacture.
  • FPGAs include dedicated electric circuits, which are processors with circuitry specifically designed to perform specific processing, such as PLDs or ASICs.
  • the control unit may be configured with one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). may consist of Also, the plurality of control units may be configured by one processor.
  • control unit there are multiple possible examples of configuring multiple control units with a single processor.
  • first example as typified by computers such as clients and servers, there is a mode in which one or more CPUs and software are combined to form one processor, and this processor functions as a plurality of control units.
  • second example is the use of a processor that implements the functions of the entire system including multiple control units with a single IC chip, as typified by System On Chip (SOC).
  • SOC System On Chip
  • an electric circuit combining circuit elements such as semiconductor elements can be used.
  • Imaging device 11 Body 11A Camera side mount 11B Electrical contact 12 Imaging lens 12A Lens side mount 12B Electrical contact 13 Dial 14 Release button 15 Display 17 Viewfinder 18 Viewfinder eyepiece 20 Image sensor 20A Light receiving surface 30 Objective lens 31 Focus lens 32 Rear End lens 34 Lens drive control unit 40 Processor 41 Image processing unit 42 Operation unit 43 Mechanical anti-vibration mechanism 44 Blur detection sensor 45A Operation program 50 Personal computer 52 Display A X X-axis A Y Y-axis A Z Z-axis P Image PA Region PS Super-resolution image SI Subject image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

処理状況をユーザに認識させることを可能とする撮像方法及び撮像装置を提供する。被写体像を撮像する撮像素子と、被写体像と撮像素子の相対位置を変更可能とする移動機構とを備える撮像装置に用いられる撮像方法であって、相対位置を複数回変更する変更工程と、複数の相対位置で撮像素子を用いて被写体像を撮像することにより複数の第１画像を取得する撮像工程と、複数の第１画像を合成することにより第２画像を生成する合成工程と、撮像工程又は合成工程に関する時間的表示を行う表示工程と、を含む。

Description

撮像方法及び撮像装置
　本開示の技術は、撮像方法及び撮像装置に関する。
　特許文献１には、超解像処理によって高画質の画像を生成するデジタルカメラが開示されている。特許文献１に記載のデジタルカメラは、イメージセンサの被写体像に対する相対位置を移動させながら４枚の撮影画像を取得し、超解像処理を行うデジタルカメラであって、最初の撮影によって得られた撮影画像と、２枚目以降の撮影によって得られた撮影画像との間で被写体像の変化があるか否かを撮影が行われる度に検出する。被写体像変化が生じた場合、超解像撮影を最初からやり直す。
　特許文献２には、高品質な合成画像データを得ることができる画像処理装置が開示されている。取得部は、ＲＧＢの色要素を有する複数の画像データを取得する。分割部は、各画像データを複数の領域に分割する。演算部は、各画像データの領域毎のずれ量を演算する。色補間部は、各画像データの領域毎のずれ量に基づいてＲＧＢの色要素の少なくとも１つについての色補間を行う。
　特許文献３には、撮像素子に入射する光束と該撮像素子との相対位置を移動させる画素ずらし手段と、相対位置が特定位置にあるとき及び該特定位置から画素ずらし手段による一連の動作により移動する少なくとも１つの位置にあるときに撮影する撮影手段と、一連の動作において撮影手段が撮影した複数の画像データから高解像度の新たな画像を生成する画像生成手段と、新たな画像が生成されるまでに撮影した複数の画像の内初期に撮影した画像を表示させる表示制御手段とを備えた画像取得装置が開示されている。
特開２０１６－１７１５１１号公報 特開２０１９－１６１５６４号公報 特開２００３－２８３８８７号公報
　本開示の技術に係る一つの実施形態は、処理状況をユーザに認識させることを可能とする撮像方法及び撮像装置を提供する。
　上記目的を達成するために、本開示の撮像方法は、被写体像を撮像する撮像素子と、被写体像と撮像素子の相対位置を変更可能とする移動機構とを備える撮像装置に用いられる撮像方法であって、相対位置を複数回変更する変更工程と、複数の相対位置で撮像素子を用いて被写体像を撮像することにより複数の第１画像を取得する撮像工程と、複数の第１画像を合成することにより第２画像を生成する合成工程と、撮像工程又は合成工程に関する時間的表示を行う表示工程と、を含む。
　時間的表示は、撮像工程又は合成工程の実行時間を認識可能な表示であることが好ましい。
　複数の第１画像のうち少なくとも１つが第１条件を満たしているかに基づいて、合成工程が実行可能であるか否かを判定する判定工程を含み、判定工程により判定が肯定された場合に合成工程を実行し、判定が否定された場合に撮像工程の処理内容を変更することが好ましい。
　判定工程により判定が否定された場合に、撮像工程における被写体像の撮像を中止する第１中止工程を含むことが好ましい。
　被写体像の撮像が中止された場合に、表示工程における時間的表示を中止する第２中止工程を含むことが好ましい。
　被写体像の撮像を中止した理由又は時間的表示を中止した理由をユーザに通知する通知工程を含むことが好ましい。
　変更工程では、撮像装置に加わる揺れを利用して相対位置を変更することが好ましい。
　判定工程により判定が否定された場合に、判定が肯定された場合よりも、撮像工程における被写体像の撮像回数を多くすることが好ましい。
　撮像工程における被写体像の撮像回数を多くした場合に、表示工程における時間的表示を更新する更新工程を含むことが好ましい。
　撮像工程において撮像回数を多くした理由又は時間的表示を更新した理由をユーザに通知する通知工程を含むことが好ましい。
　変更工程では、移動機構を用いて予め定められた位置に撮像素子を移動させることにより相対位置を変更することが好ましい。
　本開示の撮像装置は、被写体像を撮像する撮像素子と、被写体像と撮像素子の相対位置を変更可能とする移動機構と、プロセッサとを備え、プロセッサは、相対位置を複数回変更する変更処理と、複数の相対位置で撮像素子を用いて被写体像を撮像することにより複数の第１画像を取得する撮像処理と、複数の第１画像を合成することにより第２画像を生成する合成処理と、撮像処理又は合成処理に関する時間的表示を行う表示処理と、を実行する。
　プロセッサは、第１モード及び第２モードを選択的に実行可能であり、第１モードでは、変更処理において、撮像装置に加わる揺れを利用して相対位置を変更し、第２モードでは、変更処理において、移動機構を用いて予め定められた位置に撮像素子を移動させることにより相対位置を変更し、複数の第１画像のうち少なくとも１つが第１条件を満たしているかに基づいて、合成処理が実行可能であるか否かを判定する判定処理を実行し、判定処理により判定が否定された場合に、表示処理における時間的表示を、第１モードと第２モードで互いに異なる内容に変更することが好ましい。
撮像装置の前面側の一例を示す概略斜視図である。 撮像装置の内部構成の一例を示す図である。 マルチショット合成モードにおける撮像処理及び合成処理の一例を説明する図である。 マルチショット合成モードにおいて行われる時間的表示の一例を示す図である。 マルチショット合成モードにおいて行われる通知の一例を示す図である。 マルチショット合成モードにおける一連の動作の一例を示すフローチャートである。 画素ずらしマルチショット合成モードにおける撮像処理の一例を示す図である。 画素ずらしマルチショット合成モードにおける一連の動作の一例を示すフローチャートである。 被写体像の撮像回数を多くした場合に時間的表示を更新する例を示す図である。 撮像装置を外部機器と接続した例を示す図である。
　添付図面に従って本開示の技術に係る実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　以下の説明において、「ＩＣ」は、“Integrated Circuit”の略称である。「ＣＰＵ」は、“Central Processing Unit”の略称である。「ＲＯＭ」は、“Read Only Memory”の略称である。「ＲＡＭ」は、“Random Access Memory”の略称である。「ＣＭＯＳ」は、“Complementary Metal Oxide Semiconductor”の略称である。
　「ＦＰＧＡ」は、“Field Programmable Gate Array”の略称である。「ＰＬＤ」は、“Programmable Logic Device”の略称である。「ＡＳＩＣ」は、“Application Specific Integrated Circuit”の略称である。「ＯＶＦ」は、“Optical View Finder”の略称である。「ＥＶＦ」は、“Electronic View Finder”の略称である。「ＪＰＥＧ」は、“Joint Photographic Experts Group”の略称である。ＤＳＰは、“Digital Signal Processor”の略称である。
　撮像装置の一実施形態として、レンズ交換式のデジタルカメラを例に挙げて本開示の技術を説明する。なお、本開示の技術は、レンズ交換式に限られず、レンズ一体型のデジタルカメラにも適用可能である。
　図１は、撮像装置１０の前面側の一例を示す。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラである。撮像装置１０は、本体１１と、本体１１に交換可能に装着される撮像レンズ１２とで構成される。撮像レンズ１２は、カメラ側マウント１１Ａ及びレンズ側マウント１２Ａ（図２参照）を介して本体１１の前面側に取り付けられる。撮像レンズ１２は、本開示の技術に係るレンズの一例である。
　本体１１の上面には、ダイヤル１３及びレリーズボタン１４が設けられている。ダイヤル１３は、動作モード等の設定の際に操作される。撮像装置１０の動作モードとして、例えば、静止画撮像モード、動画撮像モード、及び画像表示モードが含まれる。レリーズボタン１４は、静止画撮像、又は動画撮像の実行を開始する際にユーザにより操作される。
　また、静止画撮像モードには、超解像画像を得るための「マルチショット合成モード」が含まれる。本実施形態のマルチショット合成モードは、ユーザの手振れ等により撮像装置１０に加わる揺れを利用することにより、被写体像と撮像センサ２０（図２参照）の相対位置を変更することにより複数の画像を取得して合成するモードである。被写体像と撮像センサ２０の相対位置が異なる複数の画像を合成することにより、１枚の画像の解像度を超える超解像画像が得られる。
　また、本体１１には、ファインダ１７が設けられている。ここで、ファインダ１７は、ハイブリッドファインダ（登録商標）である。ハイブリッドファインダとは、例えば光学ビューファインダ（以下、「ＯＶＦ」という）及び電子ビューファインダ（以下、「ＥＶＦ」という）が選択的に使用されるファインダをいう。
　本体１１の背面側には、ファインダ接眼部１８が設けられている。ファインダ接眼部１８には、ＯＶＦで視認可能な光学像と、ＥＶＦで視認可能な電子像であるライブビュー画像とが選択的に映し出される。ユーザは、ファインダ接眼部１８を介して、被写体の光学像又はライブビュー画像を観察することができる。
　また、本体１１の背面側には、ディスプレイ１５（図２参照）が設けられている。ディスプレイ１５には、撮像により得られた画像信号に基づく画像、及び各種のメニュー画面等が表示される。
　図１に示すＺ軸ＡＺは、撮像レンズ１２の光軸に対応する。Ｘ軸ＡＸ及びＹ軸ＡＹは、互いに直交し、かつＺ軸ＡＺに直交している。Ｘ軸ＡＸ及びＹ軸ＡＹは、本開示の技術に係るピッチ軸及びヨー軸に対応する。以下の説明では、Ｚ軸ＡＺ回りの回転方向をロール方向という。また、Ｘ軸ＡＸ回りの回転方向をピッチ方向という。また、Ｙ軸ＡＹ回りの回転方向をヨー方向という。また、Ｘ軸ＡＸ方向をＸ方向といい、Ｙ軸ＡＹ方向をＹ方向という。
　図２は、撮像装置１０の内部構成の一例を示す。本体１１と撮像レンズ１２とは、カメラ側マウント１１Ａに設けられた電気接点１１Ｂと、レンズ側マウント１２Ａに設けられた電気接点１２Ｂとが接触することにより電気的に接続される。
　撮像レンズ１２は、対物レンズ３０、フォーカスレンズ３１、後端レンズ３２、及び絞り３３を含む。各々部材は、撮像レンズ１２の光軸（すなわちＺ軸ＡＺ）に沿って、対物側から、対物レンズ３０、絞り３３、フォーカスレンズ３１、後端レンズ３２の順に配列されている。対物レンズ３０、フォーカスレンズ３１、及び後端レンズ３２、撮像光学系を構成している。撮像光学系を構成するレンズの種類、数、及び配列順序は、図２に示す例に限定されない。
　また、撮像レンズ１２は、レンズ駆動制御部３４及びメモリを有する。レンズ駆動制御部３４は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。レンズ駆動制御部３４は、電気接点１２Ｂ及び電気接点１１Ｂを介して、本体１１内のプロセッサ４０と電気的に接続されている。
　レンズ駆動制御部３４は、プロセッサ４０から送信される制御信号に基づいて、フォーカスレンズ３１及び絞り３３を駆動する。レンズ駆動制御部３４は、撮像レンズ１２の合焦位置を調節するために、プロセッサ４０から送信される合焦制御用の制御信号に基づいて、フォーカスレンズ３１の駆動制御を行う。
　絞り３３は、光軸を中心として開口径が可変である開口を有する。レンズ駆動制御部３４は、撮像センサ２０の受光面２０Ａへの入射光量を調節するために、プロセッサ４０から送信される絞り調整用の制御信号に基づいて、絞り３３の駆動制御を行う。
　本体１１には、撮像センサ２０、プロセッサ４０、画像処理部４１、操作部４２、機械防振機構４３、ブレ検出センサ４４、メモリ４５、及びディスプレイ１５が設けられている。撮像センサ２０、画像処理部４１、操作部４２、機械防振機構４３、ブレ検出センサ４４、メモリ４５、及びディスプレイ１５は、プロセッサ４０により動作が制御される。プロセッサ４０は、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成される。この場合、プロセッサ４０は、メモリ４５に格納された作動プログラム４５Ａに基づいて各種の処理を実行する。なお、プロセッサ４０は、複数のＩＣチップの集合体により構成されていてもよい。
　撮像センサ２０は、例えば、ＣＭＯＳ型イメージセンサである。撮像センサ２０は、光軸としてのＺ軸ＡＺが受光面２０Ａに直交し、かつＺ軸ＡＺが受光面２０Ａの中心に位置するように配置されている。受光面２０Ａには、撮像レンズ１２を通過した光（被写体像）が入射する。受光面２０Ａには、光電変換を行うことにより画像信号を生成する複数の画素が形成されている。撮像センサ２０は、各画素に入射した光を光電変換することにより、画像信号を生成し、かつ出力する。なお、撮像センサ２０は、本開示の技術に係る「撮像素子」の一例である。
　また、撮像センサ２０の受光面には、ベイヤー配列のカラーフィルタアレイが配置されており、Ｒ（赤），Ｇ（緑），Ｂ（青）いずれかのカラーフィルタが各画素に対して対向配置されている。したがって、色補間処理前の１枚の画像の各画素は、Ｒ，Ｇ，Ｂいずれかの色情報を含む。なお、カラーフィルタアレイの配列は、ベイヤー配列に限られず、適宜変更可能である。
　また、撮像センサ２０は、機械防振機構４３により保持されている。機械防振機構４３は、撮像センサ２０をＸ軸ＡＸ及びＹ軸ＡＹ方向に並進可能に保持するとともに、ロール方向に回転可能に保持している。機械防振機構４３の構成は、例えば、特開２０１６－１７１５１１号公報により公知である。なお、機械防振機構４３は、本開示の技術に係る「被写体像と撮像素子の相対位置を変更可能とする移動機構」の一例である。機械防振機構４３は、撮像レンズ１２の撮像光学系を構成するレンズの一部を駆動して被写体像と撮像センサ２０の相対位置を変更する機構であってもよい。
　ブレ検出センサ４４は、撮像センサ２０を収容する本体１１に加わるブレを検出する。ブレ検出センサ４４は、例えば、ロール方向、ヨー方向、ピッチ方向、Ｘ方向、及びＹ方向のブレをそれぞれ検出する５軸のブレ検出センサである。以下、ロール方向のブレを回転ブレという。ヨー方向及びピッチ方向のブレを角度ブレという。Ｘ方向及びＹ方向のブレを並進ブレという。
　ブレ検出センサ４４は、例えば、ジャイロセンサと加速度センサとで構成される。ジャイロセンサは、回転ブレ及び角度ブレを検出する。加速度センサは、並進ブレを検出する。
　プロセッサ４０は、ブレ検出センサ４４によって検出される撮像装置１０のブレ（撮像装置１０に加わる揺れ）に基づいて、機械防振機構４３を駆動制御する。具体的には、プロセッサ４０は、ユーザの手振れによる被写体像の変位を相殺するように、被写体像と撮像センサ２０の相対位置を変更する。
　機械防振機構４３には、撮像センサ２０の位置を検出するための位置検出センサが設けられていてもよい。この位置検出センサは、例えばホールセンサである。この場合、プロセッサ４０は、ブレ検出センサ４４によって検出されるブレ情報と、位置検出センサにより検出される撮像センサ２０の位置情報とに基づいて、機械防振機構４３を駆動制御する。なお、プロセッサ４０は、上述のマルチショット合成モードの場合には、機械防振機構４３の駆動制御を停止してもよい。
　プロセッサ４０は、マルチショット合成モードの場合には、ユーザによるレリーズボタン１４の操作に応じて、撮像センサ２０に予め定められた複数回（例えば４回）の撮像動作を行わせる。すなわち、マルチショット合成モードでは、撮像センサ２０は、被写体像と撮像センサ２０の相対位置が異なる複数の画像を取得する撮像処理を行う。なお、撮像センサ２０により取得される画像は、本開示の技術に係る「第１画像」の一例である。
　画像処理部４１は、例えば、ＤＳＰにより構成されている。画像処理部４１は、画像信号に対して色補間処理等の種々の画像処理を施すことにより、既定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。
　また、画像処理部４１は、マルチショット合成モードでは、撮像処理により取得された複数の画像を合成することにより、超解像画像を生成する合成処理を行う。なお、超解像画像は、本開示の技術に係る「第２画像」の一例である。
　具体的には、画像処理部４１は、ブレ検出センサ４４によって検出されるブレ情報、及び位置検出センサにより検出される撮像センサ２０の位置情報により、各画像の領域ごとのずれ量を導出し、導出したずれ量に基づいて複数の画像を合成する。なお、画像処理部４１は、上記のブレ情報及び位置情報に代えて、ブロックマッチング技術により、各画像の領域ごとのずれ量を演算により求めることも可能である。マルチショット合成モードに用いる合成処理は、例えば、特開２０１９－１６１５６４号公報により公知である。
　ディスプレイ１５は、画像処理部４１が生成した画像データに基づき、画像を表示する。画像には、静止画、動画、及びライブビュー画像が含まれる。ライブビュー画像は、画像処理部４１で生成された画像データを、ディスプレイ１５に順次出力することにより、ディスプレイ１５にリアルタイム表示される画像である。
　画像処理部４１が生成した画像データは、本体１１に内蔵された内部メモリ（図示せず）、又は本体１１に着脱可能な記憶媒体（例えば、メモリカード）に保存することが可能である。
　操作部４２は、前述のダイヤル１３、レリーズボタン１４、及び指示キー（図示せず）を含む。指示キーは、例えば、本体１１の背面側に設けられている。プロセッサ４０は、操作部４２の操作に応じて、本体１１内の各部と、撮像レンズ１２内のレンズ駆動制御部３４とを制御する。
　プロセッサ４０は、マルチショット合成モードでは、撮像処理により取得された複数の画像のうちの少なくとも１つが所定の品質条件を満たしているかに基づいて、画像処理部４１による合成処理が実行可能であるか否かを判定する判定処理を行う。品質条件は、画像の明るさ、ブレ、又はボケ度合いに基づいて定められた条件である。品質条件は、１枚の画像における明るさ、ブレ、又はボケ度合いに基づく条件であってよいし、複数の画像間における明るさ、ブレ、ボケ度合いの差異、又は、被写体位置の差異に基づく条件であってもよい。また、品質条件は、明るさ、ブレ、ボケ度合い等の複数の指標を用いた総合的な条件であってもよい。さらに、品質条件は、撮像処理により取得された複数の画像の各々について異なる条件であってもよい。なお、品質条件は、本開示の技術に係る「第１条件」の一例である。
　プロセッサ４０は、判定処理において判定が否定された場合には、撮像処理における処理内容を変更する。本実施形態では、撮像センサ２０による被写体像の撮像を中止する第１中止処理を行う。変更された撮像装置の処理内容としては、例えば、撮像処理を中止する態様、撮像処理の一部を再度実行する態様、及び、撮像条件設定（シャッタースピード、撮像レンズの絞り量、撮像素子の感度、及び、移動機構の感度等）を変更する態様が挙げられる。
　また、プロセッサ４０は、マルチショット合成モードでは、撮像処理又は合成処理に関する時間的表示を行う表示処理を行う。プロセッサ４０は、ディスプレイ１５を制御し、ディスプレイ１５に、撮像処理又は合成処理に関する時間的表示を行う。より好ましくは、時間的表示は、撮像工程又は合成工程の実行時間をユーザが認識可能な表示である。時間的表示は、例えば、撮像処理及び合成処理が終了するまでの時間を表す残時間表示である。時間的表示は、撮像処理の残時間と合成処理の残時間とを個別に表示してもよいし、撮像処理と合成処理とを合わせた超解像処理が終了するまでの残時間を表示してもよい。また、時間的表示は、残時間を直接表示する表示態様に限られず、残りの画像の枚数等を表示する表示態様であってもよい。
　また、プロセッサ４０は、マルチショット合成モードにおいて、判定処理において判定が否定された場合に、撮像センサ２０による被写体像の撮像を中止する第１中止処理に加えて、撮像処理又は合成処理に関する時間的表示を中止する第２中止処理を行う。
　また、プロセッサ４０は、判定処理において判定が否定された場合に、被写体像の撮像を中止した理由又は時間的表示を中止した理由をユーザに通知する通知処理を行う。例えば、プロセッサ４０は、ディスプレイ１５を制御し、ディスプレイ１５に中止理由を表示することにより、ユーザに中止理由を通知する。
　図３は、マルチショット合成モードにおける撮像処理及び合成処理の一例を説明する。図３に示すように、撮像処理では撮像センサ２０によりＮ枚の画像Ｐが取得される。撮像処理中に、ユーザの手振れ等により撮像装置１０に揺れが加わることにより、各画像Ｐに写る被写体像ＳＩの位置にずれが生じる。
　各画像Ｐにおいて被写体像ＳＩの位置にずれが生じることにより、被写体像ＳＩを構成する各領域には複数の色情報が含まれることになる。図３に示す例では、被写体像ＳＩ中の領域ＰＡには、Ｒ，Ｇ，Ｂのすべての色情報が含まれる。このように、被写体像ＳＩを構成する各領域には複数の色情報が含まれるので、Ｎ枚の画像Ｐを合成することにより、高画質の超解像画像ＰＳが得られる。
　超解像画像ＰＳは、メモリ４５に記憶された後、プロセッサ４０の制御に基づいてディスプレイ１５に表示される。
　図４は、マルチショット合成モードにおいて行われる時間的表示の一例を示す。図４に示す例では、撮像処理と合成処理との各々について、処理に掛かる総時間に対する処理済みの時間の割合をディスプレイ１５に表示（すなわちパーセント表示）している。なお、パーセント表示に加えて、各処理の残時間を表示してもよい。
　図５は、マルチショット合成モードにおいて行われる通知の一例を示す。図５に示す例では、プロセッサ４０は、撮像処理中に撮像を中止した場合に、撮像処理を中止した旨と、撮像を中止した理由とをディスプレイ１５に表示している。中止理由は、例えば、撮像処理中における明るさの変化である。例えば、蛍光灯のフリッカーなどに起因する照明の変化により被写体像の明るさに変化が生じた場合には、合成対象の複数の画像間に明るさの差異が生じ、合成処理が行えない可能性がある。その他の撮像処理又は合成処理を中止する要因としては、撮像装置１０に許容できない大きな揺れが加わった場合や、被写体が大きく移動してしまった場合が挙げられる。
　図６は、マルチショット合成モードにおける一連の動作の一例を示すフローチャートである。図６に示すように、プロセッサ４０は、ユーザがレリーズボタン１４を操作することによる撮像指示があったか否かを判定する（ステップＳ１０）。プロセッサ４０は、撮像指示があったと判定した場合には（ステップＳ１０：ＹＥＳ）、上述の時間的表示を開始し（ステップＳ１１）、撮像センサ２０に被写体像の撮像を行わせる（ステップＳ１２）。
　プロセッサ４０は、撮像センサ２０により取得された画像が上述の品質条件を満たすか否かを判定する（ステップＳ１３）。プロセッサ４０は、品質条件を満たす場合には（ステップＳ１３：ＹＥＳ）、撮像センサ２０により予め定められた複数回（ここでは、Ｎ回）の撮像が終了したか否かを判定する（ステップＳ１４）。プロセッサ４０は、Ｎ回の撮像が終了していない場合には（ステップＳ１４：ＮＯ）、処理をステップＳ１２に戻し、撮像センサ２０に再度被写体像の撮像を行わせる。
　プロセッサ４０は、Ｎ回の撮像が終了した場合には（ステップＳ１４：ＹＥＳ）、画像処理部４１に上述の合成処理を行わせ（ステップＳ１５）、画像処理部４１による合成処理が終了した際に、時間的表示を終了させる（ステップＳ１６）。そして、プロセッサ４０は、画像処理部４１により生成された超解像画像を、メモリ４５に保存し、かつディスプレイ１５に表示させる（ステップＳ１７）。
　プロセッサ４０は、ステップＳ１３において品質条件を満たさないと判定した場合には（ステップＳ１３：ＮＯ）、撮像センサ２０による被写体像の撮像を中止させる（ステップＳ１８）。また、プロセッサ４０は、被写体像の撮像を中止させるとともに、時間的表示を中止させる（ステップＳ１９）。そして、プロセッサ４０は、ディスプレイ１５に上述の中止理由を表示させることにより、中止理由をユーザに通知する（ステップＳ２０）。
　なお、ステップＳ１２は、本開示の技術に係る「撮像工程」の一例である。ステップＳ１５は、本開示の技術に係る「合成工程」の一例である。ステップＳ１１は、本開示の技術に係る「表示工程」の一例である。ステップＳ１４は、本開示の技術に係る「変更工程」の一例である。ステップＳ１３は、本開示の技術に係る「判定工程」の一例である。ステップＳ１８は、本開示の技術に係る「第１中止工程」の一例である。ステップＳ１９は、本開示の技術に係る「第２中止工程」の一例である。ステップＳ２０は、本開示の技術に係る「通知工程」の一例である。
　以上のように、本実施形態の撮像装置１０は、マルチショット合成モードにおいて超解像処理の実行中に時間的表示を行う。超解像処理には、撮像処理及び合成処理が含まれることにより処理時間が長いため、ユーザは処理が正常に進行しているか否かについて疑念を持つ可能性がある。本実施形態の撮像装置１０は、時間的表示を行うことにより、処理状況をユーザに認識させることができ、ユーザの疑念が解消する。
　［変形例］
　以下に、上記実施形態の各種変形例について説明する。
　上記実施形態では、マルチショット合成モードは、ユーザの手振れ等により撮像装置１０に加わる揺れを利用することにより、被写体像と撮像センサ２０の相対位置を変更する変更処理を行うモード（以下、「手振れ利用マルチショット合成モード」という。）である。これに代えて、マルチショット合成モードは、機械防振機構４３により撮像センサ２０を能動的に移動させることにより、被写体像と撮像センサ２０の相対位置を複数回変更する変更処理を行うモード（以下、「画素ずらしマルチショット合成モード」）であってもよい。
　画素ずらしマルチショット合成モードでは、プロセッサ４０は、撮像センサ２０を光軸と直交する方向に微細に移動させながら、撮像センサ２０に複数回撮像を行わせる。画像処理部４１は、撮像センサ２０により取得された複数の画像を合成することにより超解像画像を生成する。なお、画素ずらしマルチショット合成モードは、特開２０１６－１７１５１１号公報、特開２０１９－１６１５６４号公報等により公知である。
　画素ずらしマルチショット合成モードでは、ユーザの手振れ等により撮像装置１０に揺れが加わることは好ましくないため、撮像装置１０は、三脚等で固定した状態で使用されることが好ましい。
　図７は、画素ずらしマルチショット合成モードにおける撮像処理の一例を示す。図７に示す例は、撮像センサ２０をＸ方向又はＹ方向に一画素ずつずらしながら、合計４枚の画像Ｐを取得する例である。画素ずらしマルチショット合成モードによれば、被写体像ＳＩを構成する各領域には、Ｒ，Ｇ，Ｂのすべての色情報が含まれるので、４枚の画像Ｐを合成することにより、高画質の超解像画像ＰＳが得られる。なお、取得する画像は、４枚に限られず、９枚等、適宜変更可能である。
　図８は、画素ずらしマルチショット合成モードにおける一連の動作の一例を示すフローチャートである。図８に示すステップＳ３０～Ｓ３７は、図６に示すステップＳ１０～Ｓ１７と同様である。但し、本変形例では、プロセッサ４０は、ステップＳ３２で撮像センサ２０に撮像を行わせるたびに、図７に示したように、撮像センサ２０を１画素分だけ移動させる。また、ステップＳ３４では、プロセッサ４０は、図７に示す４つの位置について撮像が終了したか否かを判定する。
　本変形例では、プロセッサ４０は、ステップＳ３３において品質条件を満たさないと判定した場合には（ステップＳ３３：ＮＯ）、撮像センサ２０に、再度同じ位置で撮像を行わせる（ステップＳ３８）。この再撮像により、当初予定していた撮像回数（４回）よりも撮像回数が多くなり、撮像処理に要する時間が長くなるため、撮像処理に関する時間的表示を更新する（ステップＳ３８）。そして、プロセッサ４０は、ディスプレイ１５に時間的表示を更新した理由を表示させることにより、更新理由をユーザに通知する（ステップＳ４０）。この後、プロセッサ４０は、処理をステップＳ３３に戻し、再撮像により取得された画像が品質条件を満たすか否かを判定する。なお、ステップＳ３８は、本開示の技術に係る「更新工程」の一例である。
　以上のように、本変形例に係る画素ずらしマルチショット合成モードでは、機械防振機構４３を用いて予め定められた位置に撮像センサ２０を移動させることにより、被写体像と撮像センサ２０の相対位置を変更する。プロセッサ４０は、判定処理により判定が否定された場合には、判定が肯定された場合よりも、撮像処理における被写体像の撮像回数を多くする。プロセッサ４０は、被写体像の撮像回数を多くした場合に、表示処理における時間的表示を更新する。そして、撮像処理において撮像回数を多くした理由又は時間的表示を更新した理由をユーザに通知する通知処理を行う。
　図９は、被写体像の撮像回数を多くした場合に時間的表示を更新する例を示す。プロセッサ４０は、再撮像により撮像回数を多くした場合には、撮像処理の残時間が長くなるため、図９に示すように、残時間が長くなったことをユーザが認識可能とするように、パーセント表示を変更する。また、図９に示す例では、プロセッサ４０は、時間的表示を更新した理由として、明るさが変化したことをディスプレイ１５に表示している。
　なお、図９に示す例では、プロセッサ４０は、ステップＳ３３において品質条件を満たさないと判定した場合に、撮像センサ２０に再撮像を行わせているが、再撮像を行わせなくてもよい。この場合、プロセッサ４０は、品質条件を満たした画像のみを用いて画像処理部４１に合成処理を行わせればよい。
　また、手振れ利用マルチショット合成モード（以下、第１モードという。）と画素ずらしマルチショット合成モード（以下、第２モードという。）とを、操作部４２を用いてユーザが選択可能としてもよい。すなわち、プロセッサ４０が第１モード及び第２モードを選択的に実行可能としてもよい。この場合、プロセッサ４０は、判定処理により判定が否定された場合に、表示処理における時間的表示を、第１モードと第２モードで互いに異なる内容に変更する。例えば、プロセッサ４０は、第１モードでは時間的表示を中止し、第２モードでは時間的表示を更新する。
　なお、上記実施形態及び上記各変形例では、撮像センサ２０が被写体像を撮像するたびに、撮像により得られた画像が品質条件を満たすか否かを判定している。これに代えて、撮像センサ２０が複数回の撮像を行い、所定枚数の画像が取得された後、各画像が品質条件を満たすか否かを判定してもよい。
　また、上記実施形態及び上記各変形例では、プロセッサ４０は、ディスプレイ１５に時間的表示及び理由の表示を行っているが、ディスプレイ１５に代えて、又はディスプレイ１５に加えて、ファインダ１７に時間的表示及び理由の表示を行ってもよい。
　また、図１０に示すように、撮像装置１０は、パーソナルコンピュータ５０と有線又は無線で接続された状態で撮像を行うテザー撮像が可能であってもよい。この場合、上述の合成処理は、パーソナルコンピュータ５０内で行われてもよい。また、パーソナルコンピュータ５０が備えるディスプレイ５２に、上述の時間的表示及び理由の表示が行われてもよい。なお、撮像装置１０は、パーソナルコンピュータ５０以外の外部機器に接続可能であってもよい。
　上記実施形態において、プロセッサ４０を一例とする制御部のハードウェア的な構造としては、次に示す各種のプロセッサを用いることができる。上記各種のプロセッサには、ソフトウェア（プログラム）を実行して機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡなどの製造後に回路構成を変更可能なプロセッサが含まれる。ＦＰＧＡには、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　制御部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の制御部は１つのプロセッサで構成してもよい。
　複数の制御部を１つのプロセッサで構成する例は複数考えられる。第１の例に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２の例に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ：ＳＯＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、制御部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成できる。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０　撮像装置
１１　本体
１１Ａ　カメラ側マウント
１１Ｂ　電気接点
１２　撮像レンズ
１２Ａ　レンズ側マウント
１２Ｂ　電気接点
１３　ダイヤル
１４　レリーズボタン
１５　ディスプレイ
１７　ファインダ
１８　ファインダ接眼部
２０　撮像センサ
２０Ａ　受光面
３０　対物レンズ
３１　フォーカスレンズ
３２　後端レンズ
３４　レンズ駆動制御部
４０　プロセッサ
４１　画像処理部
４２　操作部
４３　機械防振機構
４４　ブレ検出センサ
４５　メモリ
４５Ａ　作動プログラム
５０　パーソナルコンピュータ
５２　ディスプレイ
ＡＸ　Ｘ軸
ＡＹ　Ｙ軸
ＡＺ　Ｚ軸
Ｐ　画像
ＰＡ　領域
ＰＳ　超解像画像
ＳＩ　被写体像

Claims (13)

  1. 　被写体像を撮像する撮像素子と、前記被写体像と前記撮像素子の相対位置を変更可能とする移動機構とを備える撮像装置に用いられる撮像方法であって、
    　前記相対位置を複数回変更する変更工程と、
    　複数の前記相対位置で前記撮像素子を用いて前記被写体像を撮像することにより複数の第１画像を取得する撮像工程と、
    　前記複数の第１画像を合成することにより第２画像を生成する合成工程と、
    　前記撮像工程又は前記合成工程に関する時間的表示を行う表示工程と、
    　を含む撮像方法。
  2. 　前記時間的表示は、前記撮像工程又は前記合成工程の実行時間を認識可能な表示である、
    　請求項１に記載の撮像方法。
  3. 　前記複数の第１画像のうち少なくとも１つが第１条件を満たしているかに基づいて、前記合成工程が実行可能であるか否かを判定する判定工程を含み、
    　前記判定工程により前記判定が肯定された場合に前記合成工程を実行し、前記判定が否定された場合に前記撮像工程の処理内容を変更する、
    　請求項１又は請求項２に記載の撮像方法。
  4. 　前記判定工程により前記判定が否定された場合に、前記撮像工程における前記被写体像の撮像を中止する第１中止工程を含む、
    　請求項３に記載の撮像方法。
  5. 　前記被写体像の撮像が中止された場合に、前記表示工程における前記時間的表示を中止する第２中止工程を含む、
    　請求項４に記載の撮像方法。
  6. 　前記被写体像の撮像を中止した理由又は前記時間的表示を中止した理由をユーザに通知する通知工程を含む、
    　請求項５に記載の撮像方法。
  7. 　前記変更工程では、前記撮像装置に加わる揺れを利用して前記相対位置を変更する、
    　請求項１から請求項６のうちいずれか１項に記載の撮像方法。
  8. 　前記判定工程により前記判定が否定された場合に、前記判定が肯定された場合よりも、前記撮像工程における前記被写体像の撮像回数を多くする、
    　請求項３に記載の撮像方法。
  9. 　前記撮像工程における前記被写体像の撮像回数を多くした場合に、前記表示工程における前記時間的表示を更新する更新工程を含む、
    　請求項８に記載の撮像方法。
  10. 　前記撮像工程において前記撮像回数を多くした理由又は前記時間的表示を更新した理由をユーザに通知する通知工程を含む、
    　請求項９に記載の撮像方法。
  11. 　前記変更工程では、前記移動機構を用いて予め定められた位置に前記撮像素子を移動させることにより前記相対位置を変更する、
    　請求項８から請求項１０のうちいずれか１項に記載の撮像方法。
  12. 　被写体像を撮像する撮像素子と、前記被写体像と前記撮像素子の相対位置を変更可能とする移動機構と、プロセッサとを備え、
    　前記プロセッサは、
    　前記相対位置を複数回変更する変更処理と、
    　複数の前記相対位置で前記撮像素子を用いて前記被写体像を撮像することにより複数の第１画像を取得する撮像処理と、
    　前記複数の第１画像を合成することにより第２画像を生成する合成処理と、
    　前記撮像処理又は前記合成処理に関する時間的表示を行う表示処理と、
    　を実行する撮像装置。
  13. 　前記プロセッサは、
    　第１モード及び第２モードを選択的に実行可能であり、
    　前記第１モードでは、前記変更処理において、前記撮像装置に加わる揺れを利用して前記相対位置を変更し、
    　前記第２モードでは、前記変更処理において、前記移動機構を用いて予め定められた位置に前記撮像素子を移動させることにより前記相対位置を変更し、
    　前記複数の第１画像のうち少なくとも１つが第１条件を満たしているかに基づいて、前記合成処理が実行可能であるか否かを判定する判定処理を実行し、
    　前記判定処理により前記判定が否定された場合に、前記表示処理における前記時間的表示を、前記第１モードと前記第２モードで互いに異なる内容に変更する、
    　請求項１２に記載の撮像装置。
PCT/JP2022/018701 2021-06-17 2022-04-25 撮像方法及び撮像装置 WO2022264691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023529655A JPWO2022264691A1 (ja) 2021-06-17 2022-04-25
CN202280041593.9A CN117501707A (zh) 2021-06-17 2022-04-25 摄像方法及摄像装置
US18/516,911 US20240089588A1 (en) 2021-06-17 2023-11-21 Imaging method and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-100823 2021-06-17
JP2021100823 2021-06-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/516,911 Continuation US20240089588A1 (en) 2021-06-17 2023-11-21 Imaging method and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2022264691A1 true WO2022264691A1 (ja) 2022-12-22

Family

ID=84527330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018701 WO2022264691A1 (ja) 2021-06-17 2022-04-25 撮像方法及び撮像装置

Country Status (4)

Country Link
US (1) US20240089588A1 (ja)
JP (1) JPWO2022264691A1 (ja)
CN (1) CN117501707A (ja)
WO (1) WO2022264691A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135133A (ja) * 2005-11-14 2007-05-31 Nikon Corp 撮像装置
WO2010032649A1 (ja) * 2008-09-16 2010-03-25 三洋電機株式会社 画像表示装置及び撮像装置
JP2014123881A (ja) * 2012-12-21 2014-07-03 Canon Inc 情報処理装置、情報処理方法、コンピュータプログラム
WO2016147957A1 (ja) * 2015-03-13 2016-09-22 リコーイメージング株式会社 撮像装置および撮像方法
JP2019191258A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像装置、撮像プログラム、撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135133A (ja) * 2005-11-14 2007-05-31 Nikon Corp 撮像装置
WO2010032649A1 (ja) * 2008-09-16 2010-03-25 三洋電機株式会社 画像表示装置及び撮像装置
JP2014123881A (ja) * 2012-12-21 2014-07-03 Canon Inc 情報処理装置、情報処理方法、コンピュータプログラム
WO2016147957A1 (ja) * 2015-03-13 2016-09-22 リコーイメージング株式会社 撮像装置および撮像方法
JP2019191258A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像装置、撮像プログラム、撮像方法

Also Published As

Publication number Publication date
CN117501707A (zh) 2024-02-02
JPWO2022264691A1 (ja) 2022-12-22
US20240089588A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
JP2008160175A (ja) デジタルカメラ
US8081223B2 (en) Imaging apparatus
KR101599872B1 (ko) 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP5052389B2 (ja) 撮像装置
US9871964B2 (en) Photographing apparatus, photographing controller, photographing control method, and photographing control program
JP2009251491A (ja) 撮像装置および撮像装置の制御方法
CN101373254B (zh) 摄影装置及摄影装置的控制方法
JP3826878B2 (ja) 撮像装置
JP2002290828A (ja) カメラボディ、デジタルカメラおよび露出制御方法
JP5241347B2 (ja) 撮像装置
WO2022264691A1 (ja) 撮像方法及び撮像装置
JP2006343645A (ja) 像ぶれ補正装置、光学機器、カメラおよび撮影レンズ
JPWO2020044881A1 (ja) 撮像装置、撮像方法、及びプログラム
JP5478677B2 (ja) 撮像装置および撮像装置の制御方法
JP2018067883A (ja) 撮影装置
JP2010171769A (ja) 電子カメラ
JPH05145810A (ja) 重畳表示可能なカメラ
JP2012239078A (ja) 撮影装置
JP2003029137A (ja) 自動焦点検出装置
US12022193B2 (en) Imaging apparatus and operation method thereof
WO2022070688A1 (ja) 撮像装置、撮像装置の駆動方法、及びプログラム
JP7210256B2 (ja) 撮像装置及び表示制御方法
JP6656589B2 (ja) 撮像装置及び撮像制御プログラム
JP2010124177A (ja) 撮像装置および撮像装置の制御方法
JP2009229983A (ja) 拡大表示機能付きカメラおよびカメラの制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824686

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023529655

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280041593.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22824686

Country of ref document: EP

Kind code of ref document: A1