WO2022255318A1 - 撮像装置および画像処理装置 - Google Patents

撮像装置および画像処理装置 Download PDF

Info

Publication number
WO2022255318A1
WO2022255318A1 PCT/JP2022/021993 JP2022021993W WO2022255318A1 WO 2022255318 A1 WO2022255318 A1 WO 2022255318A1 JP 2022021993 W JP2022021993 W JP 2022021993W WO 2022255318 A1 WO2022255318 A1 WO 2022255318A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
imaging
imaging device
interval
output
Prior art date
Application number
PCT/JP2022/021993
Other languages
English (en)
French (fr)
Inventor
和宏 佐々木
勇紀 三浦
一惠 皆川
武男 本橋
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN202280050620.9A priority Critical patent/CN117751582A/zh
Priority to JP2023525825A priority patent/JPWO2022255318A1/ja
Publication of WO2022255318A1 publication Critical patent/WO2022255318A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging device and an image processing device.
  • an imaging device and a control method of the imaging device that can shorten the blackout period of the live view image when still images are continuously captured by moving the front curtain and the rear curtain respectively.
  • An imaging device includes an imaging device that outputs a series of first frames at a first interval by first imaging, and outputs a second frame by an instruction to perform a second imaging; The output timing of the second frame based on a thinning processing unit that performs thinning processing from the first frame and outputs it at a second interval, the first interval or the second interval, and the instruction timing of the second imaging. and a control unit for controlling the
  • An imaging device includes an imaging device that outputs a series of first frames at a first interval by first imaging, and outputs a second frame by an instruction for second imaging; a generation unit that generates a third frame by thinning two frames; and an output timing of the third frame generated by the generation unit at a timing at which the first frame is not output at the first interval according to the instruction for the second imaging. and a data processing unit that controls the
  • An image processing apparatus which is one aspect of the technology disclosed in the present application, outputs a series of first frames at a first interval by first imaging, and can be connected to an imaging device that outputs a second frame by an instruction to perform second imaging.
  • An image processing apparatus comprising: a thinning processing unit that performs thinning processing from the series of first frames and outputs at a second interval; the first interval or the second interval; and the instruction timing of the second imaging. and a control unit for controlling the output timing of the second frame based on the above.
  • An image processing apparatus which is another aspect of the technology disclosed in the present application, outputs a series of first frames at a first interval by first imaging, and can be connected to an imaging device that outputs a second frame by an instruction of second imaging.
  • an image processing apparatus comprising: a generation unit that generates a third frame by thinning the second frame; and a data processing unit that controls the output timing of the third frame generated by.
  • FIG. 1 is a block diagram of a configuration example of an imaging apparatus according to a first embodiment
  • FIG. 2 is an explanatory diagram of a blackout-free live view display example 1 of the imaging apparatus according to the first embodiment
  • FIG. 3 is an explanatory diagram of a blackout-free live view display example 2 of the imaging apparatus according to the first embodiment.
  • FIG. 4 is an explanatory diagram of a blackout-free live view display example 3 of the imaging apparatus according to the first embodiment.
  • FIG. 5 is an explanatory diagram of a blackout-free live view display example 1 of the imaging apparatus according to the second embodiment.
  • FIG. 6 is an explanatory diagram of a blackout-free live view display example 2 of the imaging apparatus according to the second embodiment.
  • FIG. 1 is a block diagram of a configuration example of an imaging apparatus according to a first embodiment
  • FIG. 2 is an explanatory diagram of a blackout-free live view display example 1 of the imaging apparatus according to the first embodiment.
  • FIG. 3 is an explan
  • FIG. 7 is an explanatory diagram of a blackout-free live view display example 3 of the imaging apparatus according to the second embodiment.
  • FIG. 8 is a block diagram of a configuration example of an imaging apparatus according to a third embodiment;
  • FIG. 9 is an explanatory diagram of a blackout-free live view display example 1 of the imaging apparatus according to the third embodiment.
  • FIG. 10 is an explanatory diagram of a blackout-free live view display example 2 of the imaging apparatus according to the third embodiment.
  • FIG. 11 is an explanatory diagram of a blackout-free live view display example 3 of the imaging apparatus according to the third embodiment.
  • FIG. 12 is an explanatory diagram of a blackout-free live view display example 4 of the imaging apparatus according to the third embodiment.
  • a blackout is a phenomenon in which a display unit (rear monitor and electronic viewfinder) of an imaging device momentarily becomes a black image when a still image is captured.
  • FIG. 1 is a block diagram of a configuration example of an imaging apparatus according to a first embodiment;
  • the imaging device 100 includes an imaging device 101 , an image processing unit 102 , a display unit 103 , a recording medium 104 and a shooting trigger output control unit 105 .
  • the imaging device 101 has a pixel region 111 and a readout circuit 112 .
  • a pixel region 111 is a pixel group in which a plurality of pixels are arranged in a matrix. Each pixel of the pixel group photoelectrically converts the light from the object.
  • the pixel region 111 outputs the pixel signal of each pixel to the readout circuit 112 as LV (live view) data or still image data.
  • the readout circuit 112 reads LV data or still image data from the pixel area 111 .
  • LV data is image data for repeatedly displaying LV images on the display unit 103 .
  • the still image data is image data obtained by shooting with the release press or the expiration of the time set by the timer as a trigger (hereinafter referred to as shooting trigger).
  • the readout circuit 112 reads out the LV data by thinning out predetermined pixel signals from the pixel group of the pixel region 111 when the imaging trigger is not input, and reads the pixel group of the pixel region 111 when the imaging trigger is input.
  • the pixel signals from are read out as still image data without thinning. Note that the still image data may also be thinned out in the image sensor 101, but in that case, the number of pixels to be thinned out is set to be smaller than that of the LV data.
  • the imaging state in which the imaging trigger is not input and the LV data is repeatedly output is referred to as the LV imaging state
  • the imaging state when the imaging trigger is input is referred to as the still image imaging state.
  • the LV data is output from the reading circuit 112 to the LV data processing unit 121 of the image processing unit 102 , and the still image data is output to the still image data processing unit 122 of the image processing unit 102 .
  • the image processing unit 102 has an LV data processing unit 121 and a still image data processing unit 122.
  • the image processing unit 102 may be realized, for example, by an integrated circuit such as an FPGA (field-programmable gate array). may be implemented.
  • the LV data processing unit 121 performs image processing on a series of LV data repeatedly output from the imaging element 101 and outputs the processed data to the display unit 103 . Specifically, for example, the LV data processing unit 121 generates evaluation values for 3A (AE (automatic exposure control), AWB (automatic white balance), AF (autofocus)), development processing, distortion correction, image resizing, , and thinning processing are executed to shape the LV data into a state that can be displayed on the display unit 103 .
  • 3A AE (automatic exposure control)
  • AWB automatic white balance
  • AF autofocus
  • the still image data processing unit 122 performs image processing on the still image data output from the image sensor 101 and stores the processed image data in the recording medium 104 . Specifically, for example, the still image data processing unit 122 executes 3A evaluation value generation, development processing, distortion correction, and image resizing, and shapes the still image data into a recordable state on the recording medium 104. .
  • the imaging device 100 has a dual pipeline in which the imaging device 101 outputs LV data and still image data in parallel, and the image processing unit 102 performs image processing on the LV data and still image data in parallel. Execute the process. Dual pipeline processing eliminates LV data blackouts.
  • the display unit 103 displays LV data that is repeatedly output.
  • the display unit 103 is, for example, at least one of a monitor provided on the back surface of the imaging device 100 and an electronic viewfinder that can be viewed by the photographer.
  • a recording medium 104 is a memory for recording still image data.
  • the recording medium 104 may be fixed to the imaging device 100 or may be detachable. Still image data recorded on the recording medium 104 can also be displayed on the display unit 103 .
  • the shooting trigger output control unit 105 controls the timing of outputting the shooting trigger to the reading circuit 112 based on the frame rate (FR) information, and outputs the shooting trigger to the reading circuit 112 .
  • the frame rate information is at least one of the frame rate during exposure of the image sensor 101 and the frame rate during thinning processing.
  • the shooting trigger output control unit 105 generates a timing signal 200, which will be described later, and counts ascending order numbers, which will be described later.
  • the frame rate during exposure of the image sensor 101 is 120 [fps]
  • the frame rate during thinning processing for displaying on the display unit 103 is 60 [fps].
  • FIG. 2 is an explanatory diagram showing a blackout-free live view display example 1 of the imaging apparatus 100 according to the first embodiment. That is, this is an example in which the shooting trigger output control unit 105 does not exist or does not operate.
  • the timing signal 200 oscillates at regular intervals that depend on the frame rate of the imaging device 101 during exposure.
  • the time interval indicated by this number is the reciprocal of the frame rate at the time of exposure of the image sensor 101, and is 1/120 [second] in this example.
  • the imaging device 101 repeatedly outputs LV data at 120 [fps] by exposure.
  • frames A to O are used as LV data.
  • the LV data processing unit 121 thins out frames A to O output from the image sensor 101 at 120 [fps] at 60 [fps].
  • non-thinning target frames A, C, E, G, I, K, M, and O are output to the display unit 103 . That is, frames B, D, F, H, J, L, and N are thinned out as thinning target frames.
  • the display unit 103 displays the non-thinning target frames A, C, E, G, I, K, M, and O in this order for 1/60 [second].
  • the imaging device 101 outputs the next frame G of ascending order number 6 to the still image data processing unit 122 as still image data.
  • the still image data processing unit 122 performs still image processing on the frame G and records it on the recording medium 104 .
  • the horizontally elongated figure of the frame G in the still image processing and recording indicates the length of time required for the still image processing and recording.
  • the imaging device 101 outputs the LV data excluding the frame G, that is, the frames A to F and H to O to the LV data processing unit 121.
  • the LV data processing unit 121 thins out the LV data of frames A to F and H to O in which frame G is missing at 60 [fps], and displays frames A, C, E, I, K, M, and O. Output to the unit 103 .
  • the display unit 103 displays the frames A, C, E, I, K, M, and O in order, and the display time of the frames A, C, I, K, M, and O is 1/60 [second].
  • the display time of frame E is 1/30 [second]. This is because the frame G is captured as still image data, so the LV data is lost, and the frame E is displayed by being delayed until the display timing of the frame I.
  • FIG. 3 is an explanatory diagram showing a blackout-free live view display example 2 of the imaging apparatus 100 according to the first embodiment.
  • the shooting trigger output control unit 105 receives the release signal at the timing of ascending number 5 as the shooting trigger.
  • the shooting trigger output control unit 105 delays the output timing (ascending order number 5) of the release signal when the release button is pressed to the timing of ascending order number 6.
  • the reading circuit 112 reads the next frame H having the ascending order number 7 instead of the frame G having the ascending order number 6 as still image data, and outputs the still image data to the still image data processing section 122 .
  • the shooting trigger output control unit 105 controls the timing of the release signal at the ascending order number 2n+1 (n is an integer equal to or greater than 0).
  • the release signal is output to the reading circuit 112 at the timing of the ascending order number 2n+2.
  • the reading circuit 112 reads the still image data from the pixel region 111 at the timing of the ascending order number 2n+3.
  • the still image data processing unit 122 performs still image processing on the frame H and records it on the recording medium 104 .
  • the horizontal length of the figure of frame H in still image processing and recording indicates the length of time required for still image processing and recording.
  • the imaging device 101 outputs the LV data excluding the frame H, that is, the frames A to G and I to the LV data processing unit 121.
  • the LV data processing unit 121 thins the LV data of the frames A to G and I to O in which the frame H thinned out due to the thinning process is omitted at 60 [fps] to obtain the non-thinned frames A, C, E, G, K, M, and O are output to the display section 103 . That is, frames B, D, F, J, L, and N are thinned out as thinning target frames.
  • FIG. 4 is an explanatory diagram showing a blackout-free live view display example 3 of the imaging apparatus 100 according to the first embodiment.
  • the shooting trigger output control unit 105 receives the release signal at the timing of ascending number 6 as the shooting trigger.
  • the shooting trigger output control unit 105 does not delay the release signal output timing (ascending order number 6) when the release button is pressed.
  • the reading circuit 112 reads the frame H of the ascending order number 7 next to the ascending order number 6 instead of the frame I of the ascending order number 8 as still image data, and outputs the still image data to the still image data processing unit 122 .
  • the shooting trigger output control unit 105 receives the release signal at the timing of the ascending order number 2n.
  • a release signal is output to the readout circuit 112 at the timing of 2n.
  • the reading circuit 112 reads the still image data from the pixel region 111 at the timing of the ascending order number 2n+1.
  • the imaging element 101 outputs the LV data excluding the frame H, that is, the frames A to G and I to the LV data processing unit 121, as in FIG. will do. Therefore, similarly to FIG. 2, the display unit 103 can display the non-thinning target frames A, C, E, G, K, M, and O at the same time intervals (1/60 [second]).
  • the imaging apparatus 100 performs the operations shown in FIG. 2 (operations not controlled by the imaging trigger output control unit 105) and the operations shown in FIGS. It may have a first selection unit 500 that allows selection of the operation to be performed by the user. Thereby, the user can use the imaging device 100 by switching between the operation shown in FIG. 2 and the operation shown in FIG. 3 or 4 .
  • Embodiment 2 describes a case in Embodiment 1 in which the frame rate during exposure of the image sensor 101 is set to 120 [fps] and the frame rate during thinning processing for displaying on the display unit 103 is set to 40 [fps]. do. Description of the same contents as in the first embodiment will be omitted.
  • FIG. 5 is an explanatory diagram of a blackout-free live view display example 1 of the imaging apparatus 100 according to the second embodiment.
  • FIG. 5 like FIG. 2, shows an example in which the shooting trigger output control unit 105 does not exist or does not operate.
  • the imaging device 101 repeatedly outputs LV data at 120 [fps] by exposure.
  • the LV data processing unit 121 thins out frames A to O output from the image sensor 101 at 120 [fps] at 40 [fps]. Then, the frames A, D, E, G, J, and N are output to the display section 103 .
  • the display unit 103 displays frames A, D, E, G, J, and N in this order for 1/40 [second].
  • the imaging device 101 outputs the next frame G of ascending order number 6 to the still image data processing unit 122 as still image data.
  • the still image data processing unit 122 performs still image processing on the frame G and records it on the recording medium 104 . Since the frame G is thus still image data, the imaging device 101 outputs the LV data excluding the frame G, that is, the frames A to F and H to O to the LV data processing unit 121 .
  • the LV data processing unit 121 thins out the LV data of the frames A to F and H to O in which the frame G is missing at 40 [fps], and displays the non-thinning target frames A, D, J, and M on the display unit 103. Output. That is, frames B, C, E, F, H, I, K, L, N, and O are thinned out as thinning target frames.
  • the display unit 103 displays the non-thinning target frames A, D, J, and M in order, respectively. becomes 1/20 [second]. This is because the frame G is captured as still image data, so the LV data is lost, and the frame E is displayed by being delayed until the display timing of the frame J.
  • FIG. 6 is an explanatory diagram showing a blackout-free live view display example 2 of the imaging apparatus 100 according to the second embodiment.
  • the shooting trigger output control unit 105 receives the release signal at the timing of ascending order number 5 as the shooting trigger.
  • the shooting trigger output control unit 105 delays the output timing (ascending order number 5) of the release signal when the release button is pressed to the timing of ascending order number 6.
  • the reading circuit 112 reads the next frame H having the ascending order number 7 instead of the frame G having the ascending order number 6 as still image data, and outputs the still image data to the still image data processing section 122 .
  • the shooting trigger output control unit 105 determines that the release signal has an ascending order number ⁇ 2+3(n ⁇ 1) ⁇ (however, n is an integer equal to or greater than 1), the release signal is output to readout circuit 112 at the timing of ascending order number ⁇ 3+3(n ⁇ 1) ⁇ .
  • the reading circuit 112 reads the still image data from the pixel area 111 at the timing of the ascending order number ⁇ 4+3(n ⁇ 1) ⁇ .
  • the still image data processing unit 122 performs still image processing on the frame H and records it on the recording medium 104 .
  • the LV data processing unit 121 performs thinning processing on the LV data of frames A to G and I to O in which frame H to be thinned out due to thinning processing is omitted at 40 [fps] to obtain non-thinning target frames A, D, G, J and M are output to the display unit 103 .
  • frames B, C, E, F, I, K, L, N, and O are thinned out as thinning target frames.
  • the display unit 103 displays the non-thinning target frames A, D, G, J, and M in this order for 1/40 [second]. In this way, by controlling the readout timing of the readout circuit 112 so that the frame H to be thinned out becomes still image data, the display unit 103 displays the frames A, D, G, J, and M at the same time intervals. (1/40 [second]) can be displayed.
  • FIG. 7 is an explanatory diagram showing a blackout-free live view display example 3 of the imaging apparatus 100 according to the second embodiment.
  • the shooting trigger output control unit 105 receives the release signal at the timing of ascending order number 5 as the shooting trigger.
  • the shooting trigger output control unit 105 delays the output timing (ascending order number 5) of the release signal when the release button is pressed to the timing of ascending order number 7.
  • the reading circuit 112 reads the frame I having the ascending order number 8 instead of the frame G having the ascending order number 6 as still image data, and outputs the still image data to the still image data processing section 122 .
  • the shooting trigger output control unit 105 determines that the release signal has an ascending order number ⁇ 2+3(n ⁇ 1) ⁇ (however, n is an integer equal to or greater than 1), the release signal is output to readout circuit 112 at the timing of ascending order number ⁇ 4+3(n ⁇ 1) ⁇ . As a result, the reading circuit 112 reads the still image data from the pixel area 111 at the timing of the ascending order number ⁇ 5+3(n ⁇ 1) ⁇ .
  • the still image data processing unit 122 performs still image processing on the frame I and records it on the recording medium 104 .
  • the LV data processing unit 121 thins the LV data of the frames A to H and J to O, in which the frame I to be thinned out due to the thinning process is missing, at 40 [fps] to obtain the non-thinned frames A, D, G, J and M are output to the display unit 103 .
  • frames B, C, E, F, H, K, L, N, and O are thinned out as thinning target frames.
  • the display unit 103 displays the non-thinning target frames A, D, G, J, and M in this order for 1/40 [second]. In this way, by controlling the readout timing of the readout circuit 112 so that the frame H to be thinned out becomes still image data, the display unit 103 displays the frames A, D, G, J, and M at the same time intervals. (1/40 [second]) can be displayed.
  • the shooting trigger output control unit 105 when the shooting trigger output control unit 105 receives the release signal at the timing of ascending order number 5, it can output at either timing of ascending order number 6 or 7. If the deviation from the readout timing is to be minimized, the shooting trigger output control unit 105 should output the timings to the readout circuit 112 with delays to the timings of ascending numbers 5 to 6 as shown in FIG.
  • the imaging apparatus 100 performs the operation shown in FIG. 5 (the operation not controlled by the shooting trigger output control unit 105) and the operation shown in FIG. It may have a first selection unit 500 that allows selection of the operation to be performed by the user. Thereby, the user can use the imaging device 100 by switching between the operation shown in FIG. 5 and the operation shown in FIG. 6 or 7 .
  • Example 3 will be described.
  • the third embodiment is an example of avoiding the delay of the live view display by a technique different from the first and second embodiments. Description of the same contents as those of the first and second embodiments will be omitted.
  • FIG. 8 is a block diagram illustrating a configuration example of an imaging device 800 according to the third embodiment. Differences from the first embodiment are that the still image data processing unit 122 has the LV data generation unit 801 and does not have the shooting trigger output control unit 105 .
  • the LV data generation unit 801 generates LV data by thinning out the still image data by the same thinning processing as the readout circuit 112 thins out from the pixel region 111 to read out the LV data.
  • the LV data processing unit 121 outputs the LV data generated by the LV data generation unit to the display unit 103 .
  • FIG. 9 is an explanatory diagram of a blackout-free live view display example 1 of the imaging apparatus 800 according to the third embodiment.
  • the frame rate during exposure of the imaging device 101 is 120 [fps]
  • the frame rate when displayed on the display unit 103 is 120 [fps].
  • the LV data generator 801 does not operate.
  • the readout circuit 112 receives the release signal at the timing of ascending order number 5 as the shooting trigger.
  • the reading circuit 112 reads the frame G of the ascending order number 6 next to the received ascending order number 5 as still image data, and outputs it to the still image data processing section 122 .
  • the still image data processing unit 122 performs still image processing on the frame G and records it on the recording medium 104 . Since the frame G is thus still image data, the imaging device 101 outputs the LV data excluding the frame G, that is, the frames A to F and H to O to the LV data processing unit 121 .
  • the LV data processing unit 121 outputs the frames A to F and H to O to the display unit 103 without thinning the LV data of the frames A to F and H to O in which the frame G is missing.
  • the display unit 103 displays frames A to F and H to O in order, respectively. , 1/60 [second]. This is because the frame G is fetched as still image data, the LV data is lost, and the frame F is displayed by being delayed until the display timing of the frame H.
  • FIG. 10 is an explanatory diagram showing a blackout-free live view display example 2 of the imaging device 800 according to the third embodiment.
  • FIG. 10 shows an example of how the LV data generator 801 operates.
  • a difference from FIG. 9 is that the LV data generation unit 801 generates LV data from the still image data of frame G output from the image sensor 101 .
  • the generated LV data is passed to the LV data processing unit 121 .
  • the LV data processing unit 121 sequentially outputs the LV data from frame A to the display unit 103. After outputting the frame F, the LV data processing unit 121 outputs the frame G generated by the LV data generation unit 801, and then outputs the frames H to O. Output. Thereby, the display unit 103 can display the frames A to O at the same time interval (1/120 [second]).
  • FIG. 11 is an explanatory diagram showing a blackout-free live view display example 3 of the imaging device 800 according to the third embodiment.
  • the frame rate for display on the display unit 103 is set to 120 [fps], but in FIG. , the frame rate when displayed on the display unit 103 is 60 [fps].
  • FIG. 11, like FIG. 10, is an example in which the LV data generation unit 801 operates.
  • the LV data processing unit 121 thins out the LV data of the frames A to F and H to O at 60 [fps], and displays the non-thinned frames A, C, E, G, I, K, M, and O on the display unit. 103. That is, frames B, D, F, H, J, L, and N are thinned out as thinning target frames.
  • the LV data processing unit 121 sequentially outputs the LV data from the non-thinning target frame A to the display unit 103. After outputting the non-thinning target frame E, the LV data processing unit 121 outputs the frame G generated by the LV data generation unit 801, and then outputs the frame G generated by the LV data generation unit 801. , non-thinning target frames I, K, M, and O are output. Thereby, the display unit 103 can display the frames A, C, E, G, I, K, M, and O at the same time interval (1/60 [second]).
  • FIG. 12 is an explanatory diagram showing a blackout-free live view display example 4 of the imaging device 800 according to the third embodiment.
  • the frame rate for display on the display unit 103 is set to 120 [fps], but in FIG. , the frame rate when displayed on the display unit 103 is 40 [fps].
  • FIG. 12 is an example of how the LV data generator 801 operates.
  • the LV data processing unit 121 thins out the LV data of frames A to F and H to O at 40 [fps], and outputs frames A, D, J, and N to the display unit 103 .
  • the LV data processing unit 121 sequentially outputs the LV data from the non-thinning target frame A to the display unit 103.
  • the LV data processing unit 121 After outputting the non-thinning target frame D, the LV data processing unit 121 outputs the frame G generated by the LV data generation unit 801, and then outputs the frame G generated by the LV data generation unit 801. , non-thinning target frames J and N are output.
  • the display unit 103 can display the frames A, D, G, J, and N at the same time interval (1/40 [second]).
  • the imaging apparatus 800 performs the operation shown in FIG. 9 (non-execution of the LV data generation unit 801) and the operation shown in FIG. 10, 11 or 12 (execution of the LV data generation unit 801 ) can be selected by user setting. This allows the user to use the imaging device 800 by switching between the operation shown in FIG. 9 and the operation shown in FIG. 10, FIG. 11, or FIG.
  • the imaging device 800 of the third embodiment may be configured to be capable of executing the operations of the first or second embodiment.
  • the imaging apparatus 800 of Example 3 has the imaging trigger output control unit 105 and the first selection unit 500 .
  • the imaging apparatus 800 selects one of the operation modes shown in FIGS. 9 to 12 and the operation modes shown in FIGS. 2 to 7 by the above-described selection unit. This allows the user to switch between the operations of the first to third embodiments.
  • the shooting trigger output control unit 105 controls the output timing of the release signal based on the frame rate during the thinning process and outputs it to the readout circuit 112.
  • the output timing of the release signal may be controlled and output to the readout circuit 112 based on the frame rate during exposure of the image sensor 101 .
  • the shooting trigger output control unit 105 multiplies the frame rate during exposure by 1/K (K is an integer equal to or greater than 1 and can be arbitrarily set by the user) to reduce the frame rate during thinning processing. It has a function to calculate When the frame rate for exposure is set, the shooting trigger output control unit 105 multiplies the frame rate for exposure by 1/K to calculate the frame rate for thinning processing, and outputs the release signal at the calculated frame rate. The timing is controlled and output to the readout circuit 112 .
  • K is an integer equal to or greater than 1 and can be arbitrarily set by the user
  • the imaging devices 100 and 800 in which the imaging device 101 is incorporated are described as examples, but the imaging device 101 is configured to be detachable from the imaging devices 100 and 800. may
  • the rest of the image pickup devices 100 and 800 after removing the image pickup device 101 serves as an image processing device that can be communicatively connected to the image pickup device 101 .
  • the shooting trigger output control unit 105 is provided outside the image sensor 101 in the first and second examples described above, it may be mounted inside the image sensor 101 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と、前記一連の第１フレームから間引き処理を行い第２間隔で出力する間引き処理部と、前記第１間隔または前記第２間隔と、前記第２撮像の指示タイミングと、に基づいて、前記第２フレームの出力タイミングを制御する制御部と、を有する。

Description

撮像装置および画像処理装置 参照による取り込み
　本出願は、令和３年（２０２１年）５月３１日に出願された日本出願である特願２０２１－９０９５６の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、撮像装置および画像処理装置に関する。
　従来、先幕および後幕をそれぞれ移動させて静止画を連続して撮像する場合に、ライブビュー画像のブラックアウト期間を短縮することができる撮像装置および撮像装置の制御方法が知られている。
国際公開第２０１８／１８１１２４号
　本願の開示技術の一側面となる撮像装置は、第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と、前記一連の第１フレームから間引き処理を行い第２間隔で出力する間引き処理部と、前記第１間隔または前記第２間隔と、前記第２撮像の指示タイミングと、に基づいて、前記第２フレームの出力タイミングを制御する制御部と、を有する。
　本願の開示技術の他の側面となる撮像装置は、第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と、前記第２フレームを間引きした第３フレームを生成する生成部と、前記第２撮像の指示により前記第１フレームが前記第１間隔で出力されないタイミングで、前記生成部によって生成された第３フレームの出力タイミングを制御するデータ処理部と、を有する。
　本願の開示技術の一側面となる画像処理装置は、第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と接続可能な画像処理装置であって、前記一連の第１フレームから間引き処理を行い第２間隔で出力する間引き処理部と、前記第１間隔または前記第２間隔と、前記第２撮像の指示タイミングと、に基づいて、前記第２フレームの出力タイミングを制御する制御部と、を有する。
　本願の開示技術の他の側面となる画像処理装置は、第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と接続可能な画像処理装置であって、前記第２フレームを間引きした第３フレームを生成する生成部と、前記第２撮像の指示により前記第１フレームが前記第１間隔で出力されないタイミングで、前記生成部によって生成された第３フレームの出力タイミングを制御するデータ処理部と、を有する。
図１は、実施例１にかかる撮像装置の構成例を示すブロック図である。 図２は、実施例１にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例１を示す説明図である。 図３は、実施例１にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例２を示す説明図である。 図４は、実施例１にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例３を示す説明図である。 図５は、実施例２にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例１を示す説明図である。 図６は、実施例２にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例２を示す説明図である。 図７は、実施例２にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例３を示す説明図である。 図８は、実施例３にかかる撮像装置の構成例を示すブロック図である。 図９は、実施例３にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例１を示す説明図である。 図１０は、実施例３にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例２を示す説明図である。 図１１は、実施例３にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例３を示す説明図である。 図１２は、実施例３にかかる撮像装置のブラックアウトフリー対応のライブビュー表示例４を示す説明図である。
　以下に示す各実施例では、いわゆるデュアルパイプライン処理が可能な撮像素子を用いて、ブラックアウトフリーでかつ違和感のないライブビュー表示を実現する例について説明する。ブラックアウトとは、静止画の撮影時に撮像装置の表示部（背面モニタおよび電子式ビューファインダ）が一瞬全面黒画像になる現象である。
　＜撮像装置の構成例＞
　図１は、実施例１にかかる撮像装置の構成例を示すブロック図である。撮像装置１００は、撮像素子１０１と、画像処理部１０２と、表示部１０３と、記録媒体１０４と、撮影トリガ出力制御部１０５と、を含む。撮像素子１０１は、画素領域１１１と、読出回路１１２と、を有する。画素領域１１１は、複数の画素がマトリクス状に配置された画素群である。画素群の各画素は、被写体からの光を光電変換する。画素領域１１１は、各画素の画素信号をＬＶ（ライブビュー）データまたは静止画データとして読出回路１１２に出力する。
　読出回路１１２は、画素領域１１１からＬＶデータまたは静止画データを読み出す。ＬＶデータは、表示部１０３に繰り返しＬＶ画像を表示するための画像データである。静止画データは、レリーズ押下またはタイマーによる設定時間満了をトリガ（以下、撮影トリガ）として撮影されたことにより得られる画像データである。
　読出回路１１２は、撮影トリガが入力されていない状態では、画素領域１１１の画素群から所定の画素信号を間引くことでＬＶデータを読み出し、撮影トリガが入力された場合に、画素領域１１１の画素群からの画素信号を間引かずに静止画データとして読み出す。なお、静止画データも撮像素子１０１において間引かれてもよいが、その場合、間引かれる画素数は、ＬＶデータよりも少なく設定される。
　実施例１では、撮影トリガが入力されておらずＬＶデータを繰り返し出力する撮影状態をＬＶ撮影状態と称し、撮影トリガが入力されたときの撮影状態を静止画撮影状態と称す。
　ＬＶデータは、読出回路１１２から画像処理部１０２のＬＶデータ処理部１２１に出力され、静止画データは、画像処理部１０２の静止画データ処理部１２２に出力される。
　画像処理部１０２は、ＬＶデータ処理部１２１と、静止画データ処理部１２２と、を有する。画像処理部１０２は、具体的には、たとえば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　ｇａｔｅ　ａｒｒａｙ）のような集積回路で実現されてもよく、また、メモリに記憶された画像処理プログラムをプロセッサが実行することにより実現されてもよい。
　ＬＶデータ処理部１２１は、撮像素子１０１から繰り返し出力されてくる一連のＬＶデータを画像処理して、表示部１０３に出力する。具体的には、たとえば、ＬＶデータ処理部１２１は、３Ａ（ＡＥ（自動露出制御）、ＡＷＢ（オートホワイトバランス）、ＡＦ（オートフォーカス））の評価値の生成、現像処理、歪み補正、画像リサイズ、および間引き処理を実行して、ＬＶデータを表示部１０３に表示可能な状態に整形する。
　静止画データ処理部１２２は、撮像素子１０１から出力されてくる静止画データを画像処理して、記録媒体１０４に格納する。具体的には、たとえば、静止画データ処理部１２２は、３Ａの評価値の生成、現像処理、歪み補正、画像リサイズを実行して、静止画データを記録媒体１０４に記録可能な状態に整形する。
　このように、撮像装置１００は、撮像素子１０１が、ＬＶデータと静止画データとを並列に出力し、画像処理部１０２が、ＬＶデータと静止画データとを並列に画像処理するというデュアルパイプライン処理を実行する。デュアルパイプライン処理により、ＬＶデータのブラックアウトが解消される。
　表示部１０３は、繰り返し出力されてくるＬＶデータを表示する。表示部１０３は、具体的には、たとえば、撮像装置１００の背面に設けられているモニタおよび撮影者が接眼して視認可能な電子ビューファインダの少なくとも一方である。
　記録媒体１０４は、静止画データを記録するメモリである。記録媒体１０４は、撮像装置１００に固定されていてもよく、着脱可能であってもよい。また、記録媒体１０４に記録された静止画データも、表示部１０３に表示可能である。
　撮影トリガ出力制御部１０５は、フレームレート（ＦＲ）情報に基づいて撮影トリガを読出回路１１２に出力するタイミングを制御して、撮影トリガを読出回路１１２に出力する。フレームレート情報とは、撮像素子１０１の露光時のフレームレートと、間引き処理時のフレームレートと、のうち少なくとも一方である。撮影トリガ出力制御部１０５は、後述するタイミング信号２００を生成し、後述する昇順番号をカウントする。
　＜ブラックアウトフリー対応のライブビュー表示例＞
　つぎに、出力タイミングの制御に基づくブラックアウトフリー対応のライブビュー表示例について詳細に説明する。実施例１では、撮像素子１０１の露光時のフレームレートを１２０［ｆｐｓ］とし、表示部１０３に表示させるための間引き処理時のフレームレートを６０［ｆｐｓ］として説明する。
　図２は、実施例１にかかる撮像装置１００のブラックアウトフリー対応のライブビュー表示例１を示す説明図である。すなわち、撮影トリガ出力制御部１０５が存在しない、または、動作しない場合の例である。タイミング信号２００は、撮像素子１０１の露光時のフレームレートに依存する一定間隔で発振する。
　タイミング信号２００のパルス間の数字＃（図２では、＃＝０～１４）は、ＬＶデータの昇順の出力順を示す番号（以下、昇順番号）である。この番号が示す時間間隔は、撮像素子１０１の露光時のフレームレートの逆数であり、本例では、１／１２０［秒］となる。
　撮像素子１０１は、露光により１２０［ｆｐｓ］でＬＶデータを繰り返し出力する。実施例１では、ＬＶデータを、フレームＡ～フレームＯとする。昇順番号０～１４間で一度もレリーズ信号が発行されないＬＶ撮影状態では、ＬＶデータ処理部１２１は、１２０［ｆｐｓ］で撮像素子１０１から出力されたフレームＡ～フレームＯを６０［ｆｐｓ］で間引きして、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｉ、Ｋ、Ｍ、Ｏを表示部１０３に出力することになる。すなわち、フレームＢ、Ｄ、Ｆ、Ｈ、Ｊ、Ｌ、Ｎが間引き対象フレームとして間引かれる。表示部１０３は、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｉ、Ｋ、Ｍ、Ｏの順にそれぞれ、１／６０［秒］表示する。
　ここで、撮影トリガとして、たとえば、昇順番号５のタイミングでレリーズボタンが押下され、読出回路１１２がレリーズ信号を受け付けたとする。この場合、撮像素子１０１は、その次の昇順番号６のフレームＧを静止画データとして静止画データ処理部１２２に出力する。
　静止画データ処理部１２２は、フレームＧを静止画処理して、記録媒体１０４に記録する。静止画処理および記録でのフレームＧの図形が横方向に長尺なのは、静止画処理および記録にかかる時間の長さを示している。
　このように、フレームＧが静止画データとなるため、撮像素子１０１は、フレームＧを除いたＬＶデータ、すなわち、フレームＡ～Ｆ、Ｈ～ＯをＬＶデータ処理部１２１に出力することになる。
　ＬＶデータ処理部１２１は、フレームＧが欠落したフレームＡ～Ｆ、Ｈ～ＯのＬＶデータを６０［ｆｐｓ］で間引き処理して、フレームＡ、Ｃ、Ｅ、Ｉ、Ｋ、Ｍ、Ｏを表示部１０３に出力する。表示部１０３は、フレームＡ、Ｃ、Ｅ、Ｉ、Ｋ、Ｍ、Ｏの順にそれぞれ表示するが、フレームＡ、Ｃ、Ｉ、Ｋ、Ｍ、Ｏの表示時間は１／６０［秒］であるのに対し、フレームＥの表示時間は、１／３０［秒］になる。これは、フレームＧが静止画データとして取り込まれたために、ＬＶデータとして欠落し、フレームＩの表示タイミングまで間延びしてフレームＥが表示されるからである。
　図３は、実施例１にかかる撮像装置１００のブラックアウトフリー対応のライブビュー表示例２を示す説明図である。図３において、撮影トリガとして、撮影トリガ出力制御部１０５が、レリーズ信号を昇順番号５のタイミングで受け付けたとする。この場合、撮影トリガ出力制御部１０５は、レリーズ押下時のレリーズ信号の出力タイミング（昇順番号５）を昇順番号６のタイミングに遅延させる。これにより、読出回路１１２は、昇順番号６のフレームＧではなく、その次の昇順番号７のフレームＨを静止画データとして読み出して、静止画データ処理部１２２に出力する。
　すなわち、間引き処理時のフレームレートが撮像素子１０１の露光時のフレームレートの１／２になる場合、撮影トリガ出力制御部１０５は、レリーズ信号が昇順番号２ｎ＋１（ｎは０以上の整数）のタイミングで入力されると、昇順番号２ｎ＋２のタイミングでレリーズ信号を読出回路１１２に出力する。これにより、読出回路１１２は、昇順番号２ｎ＋３のタイミングで静止画データを画素領域１１１から読み出す。
　静止画データ処理部１２２は、フレームＨを静止画処理して、記録媒体１０４に記録する。静止画処理および記録でのフレームＨの図形が横方向に長尺なのは、静止画処理および記録にかかる時間の長さを示している。
　このように、フレームＨが静止画データとなるため、撮像素子１０１は、フレームＨを除いたＬＶデータ、すなわち、フレームＡ～Ｇ、Ｉ～ＯをＬＶデータ処理部１２１に出力することになる。
　ＬＶデータ処理部１２１は、間引き処理により間引かれるフレームＨが欠落したフレームＡ～Ｇ、Ｉ～ＯのＬＶデータを６０［ｆｐｓ］で間引き処理して、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｋ、Ｍ、Ｏを表示部１０３に出力する。すなわち、フレームＢ、Ｄ、Ｆ、Ｊ、Ｌ、Ｎが間引き対象フレームとして間引かれる。
　表示部１０３は、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｋ、Ｍ、Ｏの順にそれぞれ、１／６０［秒］表示する。このように、間引き処理されるフレームＨが静止画データとなるように、読出回路１１２の読み出しタイミングを制御することにより、表示部１０３は、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｋ、Ｍ、Ｏを同じ時間間隔（１／６０［秒］）で表示することができる。
　図４は、実施例１にかかる撮像装置１００のブラックアウトフリー対応のライブビュー表示例３を示す説明図である。図４において、撮影トリガとして、撮影トリガ出力制御部１０５が、レリーズ信号を昇順番号６のタイミングで受け付けたとする。この場合、撮影トリガ出力制御部１０５は、図３とは異なり、レリーズ押下時のレリーズ信号の出力タイミング（昇順番号６）を遅延させない。これにより、読出回路１１２は、昇順番号８のフレームＩではなく、昇順番号６の次の昇順番号７のフレームＨを静止画データとして読み出して、静止画データ処理部１２２に出力する。
　すなわち、間引き処理時のフレームレートが撮像素子１０１の露光時のフレームレートの１／２になる場合、撮影トリガ出力制御部１０５は、レリーズ信号が昇順番号２ｎのタイミングで入力されると、昇順番号２ｎのタイミングでレリーズ信号を読出回路１１２に出力する。これにより、読出回路１１２は、昇順番号２ｎ＋１のタイミングで静止画データを画素領域１１１から読み出す。
　このように、フレームＨが静止画データとなるため、図３と同様、撮像素子１０１は、フレームＨを除いたＬＶデータ、すなわち、フレームＡ～Ｇ、Ｉ～ＯをＬＶデータ処理部１２１に出力することになる。したがって、図２と同様、表示部１０３は、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｋ、Ｍ、Ｏを同じ時間間隔（１／６０［秒］）で表示することができる。
　なお、実施例１では、撮像装置１００は、図２に示した動作（撮影トリガ出力制御部１０５で制御しない動作）と、図３または図４に示した動作（撮影トリガ出力制御部１０５で制御する動作）とを、ユーザ設定により選択可能な第１選択部５００を有してもよい。これにより、ユーザは、図２に示した動作と、図３または図４に示した動作とを、切り替えて撮像装置１００を使用することができる。
　実施例２は、実施例１において、撮像素子１０１の露光時のフレームレートを１２０［ｆｐｓ］とし、表示部１０３に表示させるための間引き処理時のフレームレートを４０［ｆｐｓ］とする場合について説明する。なお、実施例１と同一内容については説明を省略する。
　＜ブラックアウトフリー対応のライブビュー表示例＞
　図５は、実施例２にかかる撮像装置１００のブラックアウトフリー対応のライブビュー表示例１を示す説明図である。図５は、図２と同様、撮影トリガ出力制御部１０５が存在しない、または、動作しない場合の例である。
　撮像素子１０１は、露光により１２０［ｆｐｓ］でＬＶデータを繰り返し出力する。昇順番号０～１４間で一度もレリーズ信号が発行されないＬＶ撮影状態では、ＬＶデータ処理部１２１は、１２０［ｆｐｓ］で撮像素子１０１から出力されたフレームＡ～フレームＯを４０［ｆｐｓ］で間引きして、フレームＡ、Ｄ、Ｅ、Ｇ、Ｊ、Ｎを表示部１０３に出力することになる。表示部１０３は、フレームＡ、Ｄ、Ｅ、Ｇ、Ｊ、Ｎの順にそれぞれ、１／４０［秒］表示する。
　ここで、撮影トリガとして、たとえば、昇順番号５のタイミングでレリーズボタンが押下され、読出回路１１２がレリーズ信号を受け付けたとする。この場合、撮像素子１０１は、その次の昇順番号６のフレームＧを静止画データとして静止画データ処理部１２２に出力する。
　静止画データ処理部１２２は、フレームＧを静止画処理して、記録媒体１０４に記録する。このように、フレームＧが静止画データとなるため、撮像素子１０１は、フレームＧを除いたＬＶデータ、すなわち、フレームＡ～Ｆ、Ｈ～ＯをＬＶデータ処理部１２１に出力することになる。
　ＬＶデータ処理部１２１は、フレームＧが欠落したフレームＡ～Ｆ、Ｈ～ＯのＬＶデータを４０［ｆｐｓ］で間引き処理して、非間引き対象フレームＡ、Ｄ、Ｊ、Ｍを表示部１０３に出力する。すなわち、フレームＢ、Ｃ、Ｅ、Ｆ、Ｈ、Ｉ、Ｋ、Ｌ、Ｎ、Ｏが間引き対象フレームとして間引かれる。
　表示部１０３は、非間引き対象フレームＡ、Ｄ、Ｊ、Ｍの順にそれぞれ表示するが、フレームＡ、Ｊ、Ｍの表示時間は１／４０［秒］であるのに対し、フレームＤの表示時間は、１／２０［秒］になる。これは、フレームＧが静止画データとして取り込まれたために、ＬＶデータとして欠落し、フレームＪの表示タイミングまで間延びしてフレームＥが表示されるからである。
　図６は、実施例２にかかる撮像装置１００のブラックアウトフリー対応のライブビュー表示例２を示す説明図である。図６において、撮影トリガとして、撮影トリガ出力制御部１０５が、レリーズ信号を昇順番号５のタイミングで受け付けたとする。この場合、撮影トリガ出力制御部１０５は、レリーズ押下時のレリーズ信号の出力タイミング（昇順番号５）を昇順番号６のタイミングに遅延させる。これにより、読出回路１１２は、昇順番号６のフレームＧではなく、その次の昇順番号７のフレームＨを静止画データとして読み出して、静止画データ処理部１２２に出力する。
　すなわち、間引き処理時のフレームレートが撮像素子１０１の露光時のフレームレートの１／３になる場合、撮影トリガ出力制御部１０５は、レリーズ信号が昇順番号｛２＋３（ｎ－１）｝（ただし、ｎは１以上の整数）のタイミングで入力されると、昇順番号｛３＋３（ｎ－１）｝のタイミングでレリーズ信号を読出回路１１２に出力する。これにより、読出回路１１２は、昇順番号｛４＋３（ｎ－１）｝のタイミングで静止画データを画素領域１１１から読み出す。
　静止画データ処理部１２２は、フレームＨを静止画処理して、記録媒体１０４に記録する。ＬＶデータ処理部１２１は、間引き処理により間引かれるフレームＨが欠落したフレームＡ～Ｇ、Ｉ～ＯのＬＶデータを４０［ｆｐｓ］で間引き処理して、非間引き対象フレームＡ、Ｄ、Ｇ、Ｊ、Ｍを表示部１０３に出力する。
　すなわち、フレームＢ、Ｃ、Ｅ、Ｆ、Ｉ、Ｋ、Ｌ、Ｎ、Ｏが間引き対象フレームとして間引かれる。表示部１０３は、非間引き対象フレームＡ、Ｄ、Ｇ、Ｊ、Ｍの順にそれぞれ、１／４０［秒］表示する。このように、間引き処理されるフレームＨが静止画データとなるように、読出回路１１２の読み出しタイミングを制御することにより、表示部１０３は、フレームＡ、Ｄ、Ｇ、Ｊ、Ｍを同じ時間間隔（１／４０［秒］）で表示することができる。
　図７は、実施例２にかかる撮像装置１００のブラックアウトフリー対応のライブビュー表示例３を示す説明図である。図７において、撮影トリガとして、撮影トリガ出力制御部１０５が、レリーズ信号を昇順番号５のタイミングで受け付けたとする。この場合、撮影トリガ出力制御部１０５は、レリーズ押下時のレリーズ信号の出力タイミング（昇順番号５）を昇順番号７のタイミングに遅延させる。これにより、読出回路１１２は、昇順番号６のフレームＧではなく、その次の次の昇順番号８のフレームＩを静止画データとして読み出して、静止画データ処理部１２２に出力する。
　すなわち、間引き処理時のフレームレートが撮像素子１０１の露光時のフレームレートの１／３になる場合、撮影トリガ出力制御部１０５は、レリーズ信号が昇順番号｛２＋３（ｎ－１）｝（ただし、ｎは１以上の整数）のタイミングで入力されると、昇順番号｛４＋３（ｎ－１）｝のタイミングでレリーズ信号を読出回路１１２に出力する。これにより、読出回路１１２は、昇順番号｛５＋３（ｎ－１）｝のタイミングで静止画データを画素領域１１１から読み出す。
　静止画データ処理部１２２は、フレームＩを静止画処理して、記録媒体１０４に記録する。ＬＶデータ処理部１２１は、間引き処理により間引かれるフレームＩが欠落したフレームＡ～Ｈ、Ｊ～ＯのＬＶデータを４０［ｆｐｓ］で間引き処理して、非間引き対象フレームＡ、Ｄ、Ｇ、Ｊ、Ｍを表示部１０３に出力する。
　すなわち、フレームＢ、Ｃ、Ｅ、Ｆ、Ｈ、Ｋ、Ｌ、Ｎ、Ｏが間引き対象フレームとして間引かれる。表示部１０３は、非間引き対象フレームＡ、Ｄ、Ｇ、Ｊ、Ｍの順にそれぞれ、１／４０［秒］表示する。このように、間引き処理されるフレームＨが静止画データとなるように、読出回路１１２の読み出しタイミングを制御することにより、表示部１０３は、フレームＡ、Ｄ、Ｇ、Ｊ、Ｍを同じ時間間隔（１／４０［秒］）で表示することができる。
　上述したように、撮影トリガ出力制御部１０５は、レリーズ信号を昇順番号５のタイミングで受け付けた場合、昇順番号６または７のいずれのタイミングでも出力可能であるが、レリーズのタイミングと静止画データの読み出しタイミングとのずれをできる限り小さくする場合は、撮影トリガ出力制御部１０５は、図６に示したように、昇順番号５から６のタイミングに遅延させて読出回路１１２に出力すればよい。
　また、実施例２では、撮像装置１００は、図５に示した動作（撮影トリガ出力制御部１０５で制御しない動作）と、図６または図７に示した動作（撮影トリガ出力制御部１０５で制御する動作）とを、ユーザ設定により選択可能な第１選択部５００を有してもよい。これにより、ユーザは、図５に示した動作と、図６または図７に示した動作とを、切り替えて撮像装置１００を使用することができる。
　つぎに、実施例３について説明する。実施例３は、実施例１および実施例２とは異なる手法で、ライブビュー表示の間延びを回避する例である。なお、実施例１および実施例２と同一内容については説明を省略する。
　＜撮像装置１００の構成例＞
　図８は、実施例３にかかる撮像装置８００の構成例を示すブロック図である。実施例１との相違点は、静止画データ処理部１２２がＬＶデータ生成部８０１を有する点と、撮影トリガ出力制御部１０５を有しない点である。ＬＶデータ生成部８０１は、読出回路１１２が画素領域１１１から間引きしてＬＶデータを読み出すのと同様の間引き処理により静止画データを間引きして、ＬＶデータを生成する。ＬＶデータ処理部１２１は、ＬＶデータ生成部によって生成されたＬＶデータを表示部１０３に出力する。
　＜ブラックアウトフリー対応のライブビュー表示例＞
　図９は、実施例３にかかる撮像装置８００のブラックアウトフリー対応のライブビュー表示例１を示す説明図である。図９では、撮像素子１０１の露光時のフレームレートを１２０［ｆｐｓ］とし、表示部１０３に表示される場合のフレームレートを１２０［ｆｐｓ］として説明する。図９では、ＬＶデータ生成部８０１は動作しない。
　図９において、撮影トリガとして、読出回路１１２が、レリーズ信号を昇順番号５のタイミングで受け付けたとする。この場合、読出回路１１２は、この受け付けた昇順番号５の次の昇順番号６のフレームＧを静止画データとして読み出して、静止画データ処理部１２２に出力する。
　静止画データ処理部１２２は、フレームＧを静止画処理して、記録媒体１０４に記録する。このように、フレームＧが静止画データとなるため、撮像素子１０１は、フレームＧを除いたＬＶデータ、すなわち、フレームＡ～Ｆ、Ｈ～ＯをＬＶデータ処理部１２１に出力することになる。
　ＬＶデータ処理部１２１は、フレームＧが欠落したフレームＡ～Ｆ、Ｈ～ＯのＬＶデータを間引き処理せずに、フレームＡ～Ｆ、Ｈ～Ｏを表示部１０３に出力する。表示部１０３は、フレームＡ～Ｆ、Ｈ～Ｏの順にそれぞれ表示するが、フレームＡ～Ｅ、Ｈ～Ｏの表示時間は１／１２０［秒］であるのに対し、フレームＦの表示時間は、１／６０［秒］になる。これは、フレームＧが静止画データとして取り込まれたために、ＬＶデータとして欠落し、フレームＨの表示タイミングまで間延びしてフレームＦが表示されるからである。
　図１０は、実施例３にかかる撮像装置８００のブラックアウトフリー対応のライブビュー表示例２を示す説明図である。図１０は、ＬＶデータ生成部８０１が動作する例である。図９との相違点は、ＬＶデータ生成部８０１が、撮像素子１０１から出力されたフレームＧの静止画データからＬＶデータを生成する点である。生成されたＬＶデータは、ＬＶデータ処理部１２１に渡される。
　ＬＶデータ処理部１２１は、フレームＡから順次ＬＶデータを表示部１０３に出力するが、フレームＦの出力後、ＬＶデータ生成部８０１によって生成されたフレームＧを出力し、その後、フレームＨ～Ｏを出力する。これにより、表示部１０３は、同じ時間間隔（１／１２０［秒］）でフレームＡ～Ｏを表示することができる。
　図１１は、実施例３にかかる撮像装置８００のブラックアウトフリー対応のライブビュー表示例３を示す説明図である。図１０では、表示部１０３に表示される場合のフレームレートを１２０［ｆｐｓ］としたが、図１１では、実施例１のように、撮像素子１０１の露光時のフレームレートを１２０［ｆｐｓ］とし、表示部１０３に表示される場合のフレームレートを６０［ｆｐｓ］とする。
　図１１は、図１０と同様、ＬＶデータ生成部８０１が動作する例である。ＬＶデータ処理部１２１は、フレームＡ～Ｆ、Ｈ～ＯのＬＶデータを６０［ｆｐｓ］で間引き処理し、非間引き対象フレームＡ、Ｃ、Ｅ、Ｇ、Ｉ、Ｋ、Ｍ、Ｏを表示部１０３に出力する。すなわち、フレームＢ、Ｄ、Ｆ、Ｈ、Ｊ、Ｌ、Ｎが間引き対象フレームとして間引かれる。
　ＬＶデータ処理部１２１は、非間引き対象フレームＡから順次ＬＶデータを表示部１０３に出力するが、非間引き対象フレームＥの出力後、ＬＶデータ生成部８０１によって生成されたフレームＧを出力し、その後、非間引き対象フレームＩ、Ｋ、Ｍ、Ｏを出力する。これにより、表示部１０３は、フレームＡ、Ｃ、Ｅ、Ｇ、Ｉ、Ｋ、Ｍ、Ｏを同じ時間間隔（１／６０［秒］）で表示することができる。
　図１２は、実施例３にかかる撮像装置８００のブラックアウトフリー対応のライブビュー表示例４を示す説明図である。図１０では、表示部１０３に表示される場合のフレームレートを１２０［ｆｐｓ］としたが、図１２では、実施例１のように、撮像素子１０１の露光時のフレームレートを１２０［ｆｐｓ］とし、表示部１０３に表示される場合のフレームレートを４０［ｆｐｓ］とする。
　図１２は、図１０および図１１と同様、ＬＶデータ生成部８０１が動作する例である。ＬＶデータ処理部１２１は、フレームＡ～Ｆ、Ｈ～ＯのＬＶデータを４０［ｆｐｓ］で間引き処理し、フレームＡ、Ｄ、Ｊ、Ｎを表示部１０３に出力する。ＬＶデータ処理部１２１は、非間引き対象フレームＡから順次ＬＶデータを表示部１０３に出力するが、非間引き対象フレームＤの出力後、ＬＶデータ生成部８０１によって生成されたフレームＧを出力し、その後、非間引き対象フレームＪ、Ｎを出力する。これにより、表示部１０３は、フレームＡ、Ｄ、Ｇ、Ｊ、Ｎを同じ時間間隔（１／４０［秒］）で表示することができる。
　なお、実施例３では、撮像装置８００は、図９に示した動作（ＬＶデータ生成部８０１を非実行）と、図１０、図１１または図１２に示した動作（ＬＶデータ生成部８０１を実行）とを、ユーザ設定により選択可能な第２選択部８０２を有してもよい。これにより、ユーザは、図９に示した動作と、図１０、図１１または図１２に示した動作とを、切り替えて撮像装置８００を使用することができる。
　また、実施例３の撮像装置８００は、実施例１または実施例２の動作を実行可能に構成してもよい。具体的には、たとえば、実施例３の撮像装置８００は、撮影トリガ出力制御部１０５および第１選択部５００を有する。これにより、撮像装置８００は、図９～図１２で示した動作モードと、図２～図７で示した動作モードとのいずれかを、上述した選択部で選択する。これにより、ユーザは、実施例１～実施例３の動作を切り替えて使用することができる。
　このように、上述した実施例１～実施例３によれば、ブラックアウトフリーでかつ同一時間間隔で各ＬＶデータが表示可能なライブビュー表示を実現することができる。これにより、ライブビューにおいて間延びしたコマの被写体がその次のコマであたかも瞬間移動したかのような表示が抑制される。
　なお、上述した実施例１、２の撮像装置１００において、撮影トリガ出力制御部１０５は、間引き処理時のフレームレートに基づいて、レリーズ信号の出力タイミングを制御して読出回路１１２に出力したが、撮像素子１０１の露光時のフレームレートに基づいて、レリーズ信号の出力タイミングを制御して読出回路１１２に出力してもよい。
　具体的には、たとえば、撮影トリガ出力制御部１０５は、露光時のフレームレートを１／Ｋ倍（Ｋは１以上の整数でユーザが任意に設定可能。）して、間引き処理時のフレームレートを算出する機能を有する。撮影トリガ出力制御部１０５は、露光時のフレームレートが設定されると、露光時のフレームレートを１／Ｋ倍して間引き処理時のフレームレートを算出し、算出したフレームレートでレリーズ信号の出力タイミングを制御して読出回路１１２に出力することになる。
　また、上述した実施例１～実施例３では、撮像素子１０１が組み込まれた撮像装置１００，８００を例に挙げて説明したが、撮像素子１０１は、撮像装置１００，８００から着脱可能に構成されてもよい。
　撮像装置１００，８００から撮像素子１０１を外した残余の部分は、撮像素子１０１と通信可能に接続可能な画像処理装置となる。また、上述した実施例１および実施例２において、撮影トリガ出力制御部１０５は、撮像素子１０１の外部に設けたが、撮像素子１０１の内部に実装されてもよい。
　なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
１００，８００　撮像装置、１０１　撮像素子、１０２　画像処理部、１０３　表示部、１０４　記録媒体、１０５　撮影トリガ出力制御部、１１１　画素領域、１１２　読出回路、１２１　ＬＶデータ処理部、１２２　静止画データ処理部、２００　タイミング信号、５００　第１選択部、８０１　ＬＶデータ生成部、８０２　第２選択部 

Claims (19)

  1. 　第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と、
    　前記一連の第１フレームから間引き処理を行い第２間隔で出力する間引き処理部と、
    　前記第１間隔または前記第２間隔と、前記第２撮像の指示タイミングと、に基づいて、前記第２フレームの出力タイミングを制御する制御部と、
    　を有する撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記制御部は、前記第２間隔の間で前記第２フレームを出力するように前記撮像素子を制御する、撮像装置。
  3. 　請求項２に記載の撮像装置であって、
    　前記制御部は、前記第２撮像の指示以降の最初の前記第２間隔の間で前記第２フレームを出力するように、前記撮像素子を制御する、撮像装置。
  4. 　請求項２に記載の撮像装置であって、
    　前記制御部は、前記第２フレームの出力タイミングが前記第２間隔で出力される間引き後の第１フレームの出力タイミングである場合、前記第２間隔の間で前記第２フレームを出力するように前記撮像素子を制御する、撮像装置。
  5. 　請求項２に記載の撮像装置であって、
    　前記制御部は、前記第２フレームの出力タイミングが前記第２間隔で出力される間引き後の第１フレームの出力タイミングでない場合、前記撮像素子を制御しない、撮像装置。
  6. 　請求項２に記載の撮像装置であって、
    　前記間引き処理部は、前記第１間隔が前記第２間隔よりも短い場合、前記一連の第１フレームを間引きする、撮像装置。
  7. 　請求項１に記載の撮像装置であって、
    　前記第２間隔で出力される間引き後の第１フレームを表示する表示部を有する撮像装置。
  8. 　請求項１に記載の撮像装置であって、
    　前記第２撮像は、レリーズボタンの押下による撮像である、撮像装置。
  9. 　請求項１に記載の撮像装置であって、
    　前記第２フレームの出力タイミングを制御する第１設定と、前記第２フレームの出力タイミングを制御しない第２設定と、のいずれか一方の設定を選択可能な選択部を有し、
    　前記制御部は、前記選択部によって選択された設定にしたがって制御する、撮像装置。
  10. 　第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と、
    　前記第２フレームを間引きした第３フレームを生成する生成部と、
    　前記第２撮像の指示により前記第１フレームが前記第１間隔で出力されないタイミングで、前記生成部によって生成された第３フレームの出力タイミングを制御するデータ処理部と、
    　を有する撮像装置。
  11. 　請求項１０に記載の撮像装置であって、
    　前記データ処理部は、前記第２フレームの直前に前記撮像素子から出力される第１フレームより後で、かつ、前記第２フレームの直後に前記撮像素子から出力される第１フレームより前に、前記第３フレームを出力する、撮像装置。
  12. 　請求項１０に記載の撮像装置であって、
    　前記一連の第１フレームから間引き処理を行い第２間隔で出力する間引き処理部を有し、
    　前記データ処理部は、前記間引き処理により前記第１フレームが前記第２間隔で出力されないタイミングで前記第３フレームを出力する、撮像装置。
  13. 　請求項１２に記載の撮像装置であって、
    　前記データ処理部は、前記間引き処理により前記第１フレームが前記第２間隔で出力されるタイミングで前記第３フレームを出力しない、撮像装置。
  14. 　請求項１２に記載の撮像装置であって、
    　前記間引き処理部は、前記第１間隔が前記第２間隔よりも短い場合、前記一連の第１フレームを間引きする、撮像装置。
  15. 　請求項１０に記載の撮像装置であって、
    　前記第１間隔で出力される第１フレームと、前記第２撮像の指示により前記第１フレームが前記第１間隔で出力されないタイミングで出力される前記第３フレームと、を表示する表示部を有する撮像装置。
  16. 　請求項１０に記載の撮像装置であって、
    　前記第２撮像は、レリーズボタンの押下による撮像である、撮像装置。
  17. 　請求項１０に記載の撮像装置であって、
    　前記第３フレームの出力タイミングを制御する第１設定と、前記第３フレームの出力タイミングを制御しない第２設定と、のいずれか一方の設定を選択可能な選択部を有し、
    　前記データ処理部は、前記選択部によって選択された設定にしたがって制御する、撮像装置。
  18. 　第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と接続可能な画像処理装置であって、
    　前記一連の第１フレームから間引き処理を行い第２間隔で出力する間引き処理部と、
    　前記第１間隔または前記第２間隔と、前記第２撮像の指示タイミングと、に基づいて、前記第２フレームの出力タイミングを制御する制御部と、
    　を有する画像処理装置。
  19. 　第１撮像により一連の第１フレームを第１間隔で出力し、第２撮像の指示により、第２フレームを出力する撮像素子と接続可能な画像処理装置であって、
    　前記第２フレームを間引きした第３フレームを生成する生成部と、
    　前記第２撮像の指示により前記第１フレームが前記第１間隔で出力されないタイミングで、前記生成部によって生成された第３フレームの出力タイミングを制御するデータ処理部と、
    　を有する画像処理装置。
PCT/JP2022/021993 2021-05-31 2022-05-30 撮像装置および画像処理装置 WO2022255318A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280050620.9A CN117751582A (zh) 2021-05-31 2022-05-30 摄像装置以及图像处理装置
JP2023525825A JPWO2022255318A1 (ja) 2021-05-31 2022-05-30

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-090956 2021-05-31
JP2021090956 2021-05-31

Publications (1)

Publication Number Publication Date
WO2022255318A1 true WO2022255318A1 (ja) 2022-12-08

Family

ID=84323209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021993 WO2022255318A1 (ja) 2021-05-31 2022-05-30 撮像装置および画像処理装置

Country Status (3)

Country Link
JP (1) JPWO2022255318A1 (ja)
CN (1) CN117751582A (ja)
WO (1) WO2022255318A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141710A (ja) * 2007-12-06 2009-06-25 Keyence Corp 動画像撮像装置、動画像表示方法、動画像表示プログラム及びコンピュータで読取可能な記録媒体
JP2021019313A (ja) * 2019-07-22 2021-02-15 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141710A (ja) * 2007-12-06 2009-06-25 Keyence Corp 動画像撮像装置、動画像表示方法、動画像表示プログラム及びコンピュータで読取可能な記録媒体
JP2021019313A (ja) * 2019-07-22 2021-02-15 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム

Also Published As

Publication number Publication date
CN117751582A (zh) 2024-03-22
JPWO2022255318A1 (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
JP4727457B2 (ja) 撮影装置
JP5432799B2 (ja) 撮像装置、撮像システム、撮像方法
CN101076997B (zh) 照相机和用于照相机的图像处理方法
EP2890111B1 (en) Photography device, and photography device control method
JP2013141195A (ja) 撮像装置
JP5050256B1 (ja) 撮像装置及び撮像方法
JP5310647B2 (ja) 撮影装置
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
JP2010199884A (ja) 撮像装置
JP2013135410A (ja) 撮像装置および評価値生成装置
JP2016226015A (ja) 撮像装置
WO2022255318A1 (ja) 撮像装置および画像処理装置
JP2004274285A (ja) 電子カメラ
JP5530304B2 (ja) 撮像装置および撮影画像表示方法
JP7292961B2 (ja) 撮像装置およびその制御方法
JP7319873B2 (ja) 撮像装置およびその制御方法
JP4331087B2 (ja) 撮影装置及びその制御方法
JP2007166539A (ja) 撮像装置、撮像方法、プログラムおよび記憶媒体
JP2018056652A (ja) 撮像装置及び撮像装置の制御方法
JP5482475B2 (ja) 画像処理装置、表示装置及び撮影装置
JP2019041168A (ja) 撮像装置およびその制御方法
JP2019075640A (ja) 画像処理装置及び画像処理方法
US11202015B2 (en) Control apparatus and control method
JP5631084B2 (ja) 画像記録装置
JP6976808B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22816065

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023525825

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280050620.9

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 22816065

Country of ref document: EP

Kind code of ref document: A1