WO2015004975A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2015004975A1
WO2015004975A1 PCT/JP2014/061944 JP2014061944W WO2015004975A1 WO 2015004975 A1 WO2015004975 A1 WO 2015004975A1 JP 2014061944 W JP2014061944 W JP 2014061944W WO 2015004975 A1 WO2015004975 A1 WO 2015004975A1
Authority
WO
WIPO (PCT)
Prior art keywords
light emission
period
unit
signal
imaging
Prior art date
Application number
PCT/JP2014/061944
Other languages
English (en)
French (fr)
Inventor
秀次 高橋
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2014556294A priority Critical patent/JP5784845B2/ja
Publication of WO2015004975A1 publication Critical patent/WO2015004975A1/ja
Priority to US14/948,793 priority patent/US9962068B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise

Definitions

  • the present invention relates to an imaging system, and more particularly to an imaging system capable of performing strobe photography.
  • Japanese Patent Application Laid-Open No. 2008-229222 discloses that the timing at which strobe light emission is performed by an LED and the timing at which imaging by an imaging unit is performed in an electronic endoscope system is controlled.
  • a configuration for acquiring an image that can be observed in a substantially stationary state of a subject that vibrates in a shorter cycle than the imaging cycle of the imaging unit is disclosed.
  • Japanese Patent Application Laid-Open No. 2008-229222 does not particularly mention a configuration assuming a case where a strobe shooting of a periodically operating subject is performed using a CMOS image sensor.
  • the present invention has been made in view of the above-described circumstances, and suppresses deterioration in image quality caused by a rolling shutter type imaging operation when performing strobe shooting of a periodically operating subject.
  • the object is to provide a possible imaging system.
  • An imaging system performs a rolling shutter imaging operation with a light emitting unit configured to emit light for illuminating an object that operates periodically, and an image corresponding to the imaging operation Based on the exposure state of the imaging unit and the imaging unit configured to include an imaging device that acquires the period of exposure for obtaining the same frame image in each line of the imaging device, A light emission permission period for allowing light emission of the light emitting unit is set, and a period during which exposure for obtaining an image of a different frame in each line of the image sensor is performed is a light emission non-permission that does not allow light emission of the light emitting unit.
  • a light emission period control unit configured to set as a permission period, a basic period detection unit configured to detect a basic period related to the operation of the subject, and Based on this cycle, a light emission signal generation unit configured to generate and output a strobe light emission signal for causing the light emission unit to emit strobe light, and when the strobe light emission signal is input during the light emission permission period In order to prevent the light emitting unit from emitting light when the strobe light emitting signal is input during the light emission non-permission period while performing control for causing the light emitting unit to emit light according to the strobe light emitting signal.
  • a light emission control unit configured to perform the above control.
  • FIG. 3 is a diagram for explaining an example of an operation performed in the imaging system according to the first embodiment.
  • movement performed when the comparison result that the light emission permission period is longer than a basic period is obtained in the imaging system which concerns on a 2nd Example.
  • FIG. 1 is a diagram illustrating a configuration of a main part of the imaging system according to the first embodiment.
  • the imaging system 101 is provided in an imaging apparatus such as an endoscope, and is configured to capture an image of a subject and acquire an image, and a video signal based on the image. It has a signal processing unit 2 configured to generate, and a display unit 3 configured to display an image or the like corresponding to the video signal.
  • the imaging unit 1 performs a rolling shutter type imaging operation (exposure and readout) based on an imaging control signal output from an imaging control unit 4 (described later), acquires an image corresponding to the imaging operation, and performs signal processing.
  • the signal processing unit 2 generates a video signal by performing a predetermined process on the image based on the image and the synchronization signal output from the imaging unit 1, and generates the generated video signal according to the synchronization signal. Output to the display unit 3 at the timing.
  • the imaging system 101 includes an imaging control unit 4, a light emission period control unit 5, a sound detection unit 6, a basic period detection unit 7, a light emission signal generation unit 8, a light emission control unit 9, and a light emission unit 10. ,have.
  • FRA a predetermined frame rate
  • the imaging control unit 4 causes the CMOS sensor 1A to acquire an image at a predetermined frame rate FRA
  • the CMOS sensor 1A is configured so that one emission permission period (described later) is 0.5 / FRA seconds or more.
  • the operation speed related to the imaging operation exposure and readout) is controlled.
  • the imaging control unit 4 sets the CMOS sensor 1A so that a single emission permission period (described later) is 1/120 second or more.
  • the operation speed related to the imaging operation is controlled.
  • the light emission period control unit 5 detects the exposure state of the CMOS sensor 1A based on the synchronization signal output from the imaging unit 1. Further, the light emission period control unit 5 determines a period during which exposure for obtaining an image of the same frame in each line of the CMOS sensor 1A is performed based on the detection result of the exposure state of the CMOS sensor 1A. It is set as a period during which light emission is permitted (hereinafter also referred to as a light emission permission period). A period during which exposure for obtaining images of different frames in each line of the CMOS sensor 1A is set as a period during which light emission of the light emitting unit 10 is not permitted (hereinafter also referred to as a light emission non-permission period). Then, the light emission period control unit 5 generates a light emission period control signal that can identify the light emission permission period and the light emission non-permission period set as described above, and outputs them to the light emission control unit 9.
  • the sound detection unit 6 includes, for example, a sound collecting device such as a microphone or a bone conduction device, and detects sound emitted from a subject that performs a periodic operation such as a vocal cord (periodically vibrates). At the same time, a sound signal having a signal level corresponding to the detected sound intensity is generated and output.
  • a sound collecting device such as a microphone or a bone conduction device
  • the fundamental period detector 7 detects a fundamental period (and fundamental frequency) corresponding to the fundamental wave of the sound signal output from the sound detector 6 and generates a fundamental period signal that can specify the detected fundamental period. To the light emission signal generator 8.
  • the light emission signal generation unit 8 specifies the basic period of the sound signal output from the sound detection unit 6 based on the basic period signal output from the basic period detection unit 7. Then, the light emission signal generation unit 8 generates a strobe light emission signal for causing the light emission unit 10 to emit light in a predetermined light emission period and a predetermined light amount based on the basic period specified as described above, and sends it to the light emission control unit 9. Output.
  • the light emission control unit 9 When the strobe light emission signal from the light emission signal generation unit 8 is input during the light emission permission period indicated by the light emission period control signal output from the light emission period control unit 5, the light emission control unit 9 outputs the strobe light emission signal. Accordingly, control for causing the light emitting unit 10 to emit light is performed. In addition, the light emission control unit 9 receives the strobe light emission signal from the light emission signal generation unit 8 during the light emission non-permission period indicated by the light emission period control signal output from the light emission period control unit 5. Control to prevent 10 from emitting light is performed.
  • the light emitting unit 10 includes, for example, a light source capable of strobe light emission such as an LED, and is configured to emit light for illuminating a subject in accordance with the control of the light emission control unit 9.
  • a light source capable of strobe light emission such as an LED
  • FIG. 2 is a diagram for explaining an example of an operation performed in the imaging system according to the first embodiment.
  • the timing at which exposure on one line of the CMOS sensor 1A is completed, the timing at which charges accumulated in each pixel belonging to the one line are read, and the one line it is assumed that the timing at which the exposure is resumed at substantially the same time.
  • the CMOS sensor 1A includes N lines L1 to LN, and each of the lines L1 to LN includes P pixels.
  • the user arranges the imaging unit 1 and the sound detection unit 6 in the vicinity of the vocal cord in the middle of periodically operating (vibrating), thereby causing the CMOS sensor 1A to image the vocal cord and the vocal cord.
  • the sound detector 6 detects the sound emitted from the sound.
  • the synchronization signal generation unit 1B generates a synchronization signal synchronized with the timing related to the imaging operation of the CMOS sensor 1A (the signal processing unit 2 and the light emission period control unit 5).
  • the fundamental period detector 7 detects a fundamental period corresponding to the fundamental wave of the sound signal output from the sound detector 6, generates a fundamental period signal corresponding to the detected fundamental period, and generates a light emission signal generator. Output to 8.
  • the light emission period control unit 5 detects the exposure state of the CMOS sensor 1A based on the synchronization signal output from the synchronization signal generation unit 1B of the imaging unit 1, and further emits light based on the detected exposure state of the CMOS sensor 1A. A period control signal is generated.
  • the first pixel located at one end of the line L1 is exposed at the timing of time T1, and is positioned in the middle of the line L1.
  • the second to (P-1) th pixels are sequentially exposed within the period after time T1, and the Pth pixel located at the other end of the line L1 is exposed at the timing of time T3. Then, at the timing of time T3, the charge accumulated in each pixel belonging to the line L1 is read, and the exposure (from the first pixel) in the line L1 is resumed.
  • the first pixel located at one end of the line LN is exposed at the timing of time T2 after a predetermined time from time T1.
  • the second to (P ⁇ 1) th pixels located in the middle of the line LN are sequentially exposed within the period after time T2, and the Pth pixel located at the other end of the line LN is exposed to time T3. Is exposed at the timing of time T4 after the predetermined time.
  • the charge accumulated in each pixel belonging to the line LN is read, and the exposure (from the first pixel) on the line LN is resumed.
  • the imaging operation of the rolling shutter system as described above exposure for obtaining images of the same frame is performed in the lines L1 to LN of the CMOS sensor 1A during the period from time T2 to time T3. Can be treated as a period.
  • the rolling shutter type imaging operation as described above the period from time T1 to time T2 and the period from time T3 to time T4 are divided into lines L1 to L1 of the CMOS sensor 1A. It can be handled as a period during which exposure for obtaining images of different frames is performed in the LN.
  • the light emission period control unit 5 performs the exposure state of each of the lines L1 to LN from time T1 to time T4 based on the synchronization signal output from the synchronization signal generation unit 1B when the imaging unit 1 captures the vocal cords. Is detected as the exposure state of the CMOS sensor 1A.
  • the light emission period control unit 5 sets the period from time T2 to time T3 as the light emission permission period, and also sets the period from time T1 to time T2 and the period from time T3 to time T4. Set as the light emission non-permission period. Then, the light emission period control unit 5 generates a light emission period control signal in which the signal level in the light emission permission period and the signal level in the light emission non-permission period are different as illustrated in FIG. Output to 9.
  • the light emission signal generation unit 8 specifies the basic cycle BC1 of the sound signal output from the sound detection unit 6 based on the basic cycle signal output from the basic cycle detection unit 7. Then, the light emission signal generation unit 8 generates a strobe light emission signal for causing the light emission unit 10 to emit strobe light for each basic period BC1 as illustrated in FIG.
  • the light emission control unit 9 receives the strobe light emission signal from the light emission signal generation unit 8 during the period from time T2 to time T3, which is the light emission permission period indicated by the light emission period control signal output from the light emission period control unit 5. In the case where the light is emitted, the light emitting unit 10 is caused to emit light according to the strobe light emission signal.
  • the light emission control unit 9 is a light emission non-permission period indicated by the light emission period control signal output from the light emission period control unit 5, and is a period from time T1 to time T2 and from time T3 to time T4.
  • the light emission unit 10 When a strobe light emission signal is input from the light emission signal generation unit 8 during the previous period, the light emission unit 10 is prevented from emitting light by invalidating the strobe light emission signal (input). And by performing such control in the light emission control part 9, the light emission part 10 light-emits in the light emission state which is illustrated in FIG.
  • the light emitting unit 10 is set during the exposure period for obtaining the same frame image in the lines L1 to LN of the CMOS sensor 1A.
  • the imaging system 101 of the present embodiment for example, when a subject that moves periodically (vibrates periodically) such as a vocal cord is photographed with a stroboscope, the subject is observed as a pseudo still state. , An image in which unevenness in brightness within the same frame is suppressed can be displayed on the display unit 3.
  • the imaging system 101 of the present embodiment it is possible to suppress deterioration in image quality caused by a rolling shutter imaging operation when performing strobe shooting of a periodically operating subject.
  • the imaging system 102 includes an imaging unit 1, a signal processing unit 2, a display unit 3, an imaging control unit 4, a light emission period control unit 5, a sound detection unit 6, and a basic period detection.
  • Unit 7 light emission signal generation unit 8, light emission control unit 9, light emission unit 10, and comparison unit 11.
  • the comparison unit 11 specifies the light emission permission period based on the light emission period control signal output from the light emission period control unit 5, and outputs from the sound detection unit 6 based on the basic period signal output from the basic period detection unit 7.
  • the basic period of the sound signal to be played is specified.
  • the comparison unit 11 obtains a comparison result that the light emission permission period is longer than the basic period by comparing the light emission permission period and the basic period, the light emission of the light emitting unit 10 in one light emission permission period.
  • a light emission restriction signal for restricting the number of times (strobe light emission number) to one time is generated and output to the light emission control unit 9.
  • the comparison unit 11 compares the light emission permission period with the basic period to obtain an image by the CMOS sensor 1A when the comparison result that the basic period is longer than the light emission permission period is obtained.
  • a frame rate limiting signal for reducing the frame rate to half of the predetermined frame rate FRA is generated and output to the imaging control unit 4.
  • FIG. 4 is a diagram for explaining an example of an operation performed when a comparison result that the light emission permission period is longer than the basic period is obtained in the imaging system according to the second embodiment.
  • the user arranges the imaging unit 1 and the sound detection unit 6 in the vicinity of the vocal cord in the middle of periodically operating (vibrating), thereby causing the CMOS sensor 1A to image the vocal cord and the vocal cord.
  • the sound detector 6 detects the sound emitted from the sound.
  • the synchronization signal generation unit 1B generates a synchronization signal synchronized with the timing related to the imaging operation of the CMOS sensor 1A (the signal processing unit 2 and the light emission period control unit 5).
  • the fundamental period detector 7 detects a fundamental period corresponding to the fundamental wave of the sound signal output from the sound detector 6, generates a fundamental period signal corresponding to the detected fundamental period, and generates a light emission signal generator. Output to 8.
  • the first pixel located at one end of the line L1 is exposed at the timing of time T11 and is positioned in the middle of the line L1.
  • the second to (P ⁇ 1) th pixels are sequentially exposed within the period after time T11, and the Pth pixel located at the other end of the line L1 is exposed at the timing of time T13. Then, at the timing of time T13, the charge accumulated in each pixel belonging to the line L1 is read, and the exposure (from the first pixel) on the line L1 is resumed.
  • the first pixel located at one end of the line LN is exposed at a timing T12 that is a predetermined time after the time T11.
  • the second to (P ⁇ 1) th pixels located in the middle of the line LN are sequentially exposed within the period after time T12, and the Pth pixel located at the other end of the line LN is exposed to time T13.
  • the exposure is performed at the timing of time T14 after the predetermined time.
  • the charge accumulated in each pixel belonging to the line LN is read, and the exposure (from the first pixel) on the line LN is resumed.
  • the rolling shutter type imaging operation as described above during the period from time T12 to time T13, exposure is performed to obtain images of the same frame in the lines L1 to LN of the CMOS sensor 1A. Can be treated as a period.
  • the rolling shutter type imaging operation as described above the period from time T11 to time T12 and the period from time T13 to time T14 are divided into lines L1 to L1 of the CMOS sensor 1A. It can be handled as a period during which exposure for obtaining images of different frames is performed in the LN.
  • the light emission period control unit 5 determines the exposure state of each of the lines L1 to LN from time T11 to time T14 based on the synchronization signal output from the synchronization signal generation unit 1B as the vocal cords are captured by the imaging unit 1. Detect as the exposure state of the CMOS sensor 1A). The light emission period control unit 5 sets the period from time T12 to time T13 as the light emission permission period, and also sets the period from time T11 to time T12 and the period from time T13 to time T14. Set as the light emission non-permission period. And the light emission period control part 5 produces
  • the light emission signal generation unit 8 specifies the basic cycle BC2 of the sound signal output from the sound detection unit 6 based on the basic cycle signal output from the basic cycle detection unit 7. Then, the light emission signal generation unit 8 generates a strobe light emission signal for causing the light emission unit 10 to emit strobe light for each basic period BC2 as illustrated in FIG. 4 and outputs the strobe light emission signal to the light emission control unit 9.
  • the light emission control unit 9 Based on the light emission restriction signal output from the comparison unit 11, the light emission control unit 9 causes the light emission unit 10 to emit light in response to the first strobe light emission signal (input) during the period from time T12 to time T13. Thus, the light emitting unit 10 is prevented from emitting light by invalidating the second (and subsequent) strobe light emission signal (input).
  • the light emission control unit 9 receives the strobe light emission signal from the light emission signal generation unit 8 during a period from time T11 to time T12 and before and after time T13 to time T14. By invalidating the strobe light emission signal (input), the light emitting unit 10 is prevented from emitting light. And by performing such control in the light emission control part 9, the light emission part 10 light-emits in the light emission state which is illustrated in FIG.
  • the imaging system 102 when a comparison result is obtained that the light emission permission period is twice or more the basic period, that is, always twice or more within one light emission permission period.
  • the strobe light emission signal is output from the light emission signal generation unit 8
  • the light emission control unit 9 instead of the light emission control unit 9 performing control for limiting the number of times of light emission (strobe light emission) of the light emission unit 10, the light emission unit The light emission control unit 9 may perform control for reducing the light emission amount per one time (strobe light emission amount) of 10 according to the size of the basic period.
  • FIG. 5 is a diagram for explaining an example of an operation performed when a comparison result is obtained that the basic cycle is longer than the light emission permission period in the imaging system according to the second embodiment. .
  • the user arranges the imaging unit 1 and the sound detection unit 6 in the vicinity of the vocal cord in the middle of periodically operating (vibrating), thereby causing the CMOS sensor 1A to image the vocal cord and the vocal cord.
  • the sound detector 6 detects the sound emitted from the sound.
  • the imaging control unit 4 reduces the operation speed related to exposure and reading of the CMOS sensor 1A based on the frame rate limiting signal output from the comparison unit 11, thereby reducing the frame rate (for example, half the predetermined frame rate FRA).
  • An imaging control signal for acquiring an image at 30 fps) is generated and output to the imaging unit 1.
  • the synchronization signal generation unit 1B generates a synchronization signal synchronized with the timing related to the imaging operation of the CMOS sensor 1A (the signal processing unit 2 and the light emission period control unit 5).
  • the fundamental period detector 7 detects a fundamental period corresponding to the fundamental wave of the sound signal output from the sound detector 6, generates a fundamental period signal corresponding to the detected fundamental period, and generates a light emission signal generator. Output to 8.
  • the first pixel located at one end of the line L1 is exposed at the timing of time T21, and is positioned in the middle of the line L1.
  • the second to (P-1) th pixels are sequentially exposed within the period after time T21, and the Pth pixel located at the other end of the line L1 is exposed at the time T23. Then, at the timing of time T23, the charge accumulated in each pixel belonging to the line L1 is read, and the exposure (from the first pixel) on the line L1 is resumed.
  • the first pixel located at one end of the line LN is exposed at the timing of time T22 after a predetermined time from time T21.
  • the second to (P ⁇ 1) th pixels located in the middle of the line LN are sequentially exposed within the period after time T22, and the Pth pixel located at the other end of the line LN is exposed to time T23. Is exposed at the timing of time T24 after the predetermined time. Then, at the timing of time T24, the charge accumulated in each pixel belonging to the line LN is read, and the exposure (from the first pixel) on the line LN is resumed.
  • the rolling shutter type imaging operation as described above exposure for obtaining images of the same frame is performed in the lines L1 to LN of the CMOS sensor 1A during the period from time T22 to time T23. Can be treated as a period.
  • the rolling shutter type imaging operation as described above the period from time T21 to time T22 and the period from time T23 to time T24 are divided into lines L1 to L1 of the CMOS sensor 1A. It can be handled as a period during which exposure for obtaining images of different frames is performed in the LN.
  • the light emission period control unit 5 determines the exposure state of each of the lines L1 to LN from time T21 to time T24 based on the synchronization signal output from the synchronization signal generation unit 1B as the vocal cords are imaged by the imaging unit 1. Detect as the exposure state of the CMOS sensor 1A). In addition, the light emission period control unit 5 sets a period from time T22 to time T23 as a light emission permission period, a period from time T21 to time T22 and a period from time T23 to time T24. Set as the light emission non-permission period. Then, the light emission period control unit 5 generates a light emission period control signal in which the signal level in the light emission permission period and the signal level in the light emission non-permission period are different from each other as illustrated in FIG. Output to 9.
  • the light emission signal generation unit 8 specifies the basic cycle BC3 of the sound signal output from the sound detection unit 6 based on the basic cycle signal output from the basic cycle detection unit 7. Then, the light emission signal generation unit 8 generates a strobe light emission signal for causing the light emission unit 10 to perform strobe light emission at every basic period BC3 as illustrated in FIG.
  • the light emission control unit 9 causes the light emission unit 10 to emit light according to the strobe light emission signal.
  • the light emission control unit 9 receives the strobe light emission signal from the light emission signal generation unit 8 during a period from time T21 to time T22 and before and after time T23 to time T24. By invalidating the strobe light emission signal (input), the light emitting unit 10 is prevented from emitting light. And by performing such control in the light emission control part 9, the light emission part 10 light-emits in the light emission state which is illustrated in FIG.
  • the light emitting unit 10 is set during the exposure period for obtaining the same frame image in the lines L1 to LN of the CMOS sensor 1A.
  • the imaging system 102 of the present embodiment for example, a subject that moves periodically (vibrates periodically) such as a vocal cord is photographed with a stroboscope so that the subject is observed as a pseudo stationary state. In such a case, an image in which unevenness in brightness within the same frame is suppressed can be displayed on the display unit 3.
  • the imaging system 102 of the present embodiment when the comparison result that the light emission permission period is longer than the basic period is obtained by the comparison unit 11, the number of strobe light emission or the light emission amount of the strobe light is limited. As a result, it is possible to prevent an image from being generated in an overexposed state as much as possible. Further, according to the imaging system 102 of the present embodiment, when the comparison unit 11 obtains a comparison result that the basic period is longer than the light emission permission period, the frame rate related to image acquisition is set to a predetermined value. By reducing the frame rate FRA, it is possible to prevent the generation of an image with insufficient exposure as much as possible.
  • a subject that moves periodically (vibrates periodically) such as a vocal cord is photographed with a stroboscope so that the subject is observed as a pseudo stationary state.
  • a stroboscope so that the subject is observed as a pseudo stationary state.
  • an image in which unevenness in brightness between the frames is suppressed can be displayed on the display unit 3.
  • the imaging system 102 of the present embodiment it is possible to suppress deterioration in image quality caused by a rolling shutter type imaging operation when performing strobe shooting of a periodically operating subject.
  • FIG. 6 is a diagram illustrating a configuration of a main part of the imaging system according to the third embodiment.
  • the imaging system 103 includes an imaging unit 1, a signal processing unit 2, a display unit 3, an imaging control unit 4, a light emission period control unit 5, a sound detection unit 6, and a basic period detection.
  • Unit 7 light emission signal generation unit 8, light emission control unit 9, light emission unit 10, user interface unit (hereinafter abbreviated as user I / F unit) 12, and shift period calculation unit 13. ing.
  • the user I / F unit 12 includes an input device such as a touch panel or a keyboard, and displays a pseudo-slow motion state of a subject that periodically operates (periodically vibrates) such as a vocal cord.
  • the slow motion display rate SDR which is a value indicating how many frames per second the movement of the subject displayed in FIG. Specifically, for example, when the movement of the subject displayed on the display unit 3 is shifted by 2 frames per second, the value of the slow motion display rate SDR is set to 2.
  • the user I / F unit 12 outputs the value set as the slow motion display rate SDR to the shift period calculation unit 13.
  • the shift period calculation unit 13 detects that an image is being acquired at a predetermined frame rate FRA based on the imaging control signal output from the imaging control unit 4.
  • the shift period calculation unit 13 multiplies the reciprocal of the predetermined frame rate FRA detected as described above and the reciprocal of the slow motion display rate SDR output from the user I / F unit 12 to thereby obtain a light emitting unit.
  • the shift period ⁇ used when shifting the 10 light emission intervals is calculated, and the calculated value of the shift period ⁇ is output to the light emission signal generation unit 8.
  • the predetermined frame rate FRA is 60 fps and the value of the slow motion display rate SDR is 2
  • the shift period ⁇ is calculated as 1/120 seconds.
  • FIG. 7 is a diagram for explaining an example of an operation performed in the imaging system according to the third embodiment.
  • the user arranges the imaging unit 1 and the sound detection unit 6 in the vicinity of the vocal cord in the middle of periodically operating (vibrating), thereby causing the CMOS sensor 1A to image the vocal cord and the vocal cord.
  • the sound detector 6 detects the sound emitted from the sound.
  • the synchronization signal generation unit 1B generates a synchronization signal synchronized with the timing related to the imaging operation of the CMOS sensor 1A (the signal processing unit 2 and the light emission period control unit 5).
  • the fundamental period detector 7 detects a fundamental period corresponding to the fundamental wave of the sound signal output from the sound detector 6, generates a fundamental period signal corresponding to the detected fundamental period, and generates a light emission signal generator. Output to 8.
  • the first pixel located at one end of the line L1 is exposed at the timing of time T31, and is positioned in the middle of the line L1.
  • the second to (P-1) th pixels are sequentially exposed within the period after time T31, and the Pth pixel located at the other end of the line L1 is exposed at the timing of time T33.
  • the charge accumulated in each pixel belonging to the line L1 is read, and the exposure (from the first pixel) on the line L1 is resumed.
  • the first pixel located at one end of the line LN is exposed at a timing T32 that is a predetermined time after the time T31.
  • the second to (P ⁇ 1) th pixels located in the middle of the line LN are sequentially exposed within a period after time T32, and the Pth pixel located at the other end of the line LN is exposed to time T33.
  • the exposure is performed at the timing T34 after the predetermined time.
  • the charge accumulated in each pixel belonging to the line LN is read, and the exposure (from the first pixel) on the line LN is resumed.
  • the imaging operation of the rolling shutter system as described above exposure for obtaining images of the same frame is performed in the lines L1 to LN of the CMOS sensor 1A during the period from time T32 to time T33. Can be treated as a period.
  • the rolling shutter type imaging operation as described above the period from time T31 to time T32 and the period from time T33 to time T34 are divided into lines L1 to L1 of the CMOS sensor 1A. It can be handled as a period during which exposure for obtaining images of different frames is performed in the LN.
  • the light emission period control unit 5 determines the exposure state of each of the lines L1 to LN from time T31 to time T34 based on the synchronization signal output from the synchronization signal generation unit 1B as the vocal cords are imaged by the imaging unit 1. Detect as the exposure state of the CMOS sensor 1A). In addition, the light emission period control unit 5 sets a period from time T32 to time T33 as a light emission permission period, a period from time T31 to time T32, and a period from time T33 to time T34. Set as the light emission non-permission period.
  • the light emission period control unit 5 generates a light emission signal by generating a light emission period control signal in which the signal level in the light emission permission period is different from the signal level in the light emission non-permission period as illustrated in FIG. To the unit 8 and the light emission control unit 9.
  • the light emission signal generation unit 8 specifies the basic cycle BC4 of the sound signal output from the sound detection unit 6 based on the basic cycle signal output from the basic cycle detection unit 7. Thereafter, the light emission signal generation unit 8 includes the basic period BC4 specified as described above, the shift period ⁇ output from the shift period calculation unit 13, and the light emission period control signal output from the light emission period control unit 5. Based on this, it is determined whether one timing corresponding to immediately after the basic period BC4 and the shift period ⁇ has elapsed belongs to the light emission permission period or the light emission permission period.
  • the light emission signal generation unit 8 When the light emission signal generation unit 8 obtains a determination result that one timing corresponding to the time immediately after the basic period BC4 and the shift period ⁇ has elapsed belongs to the light emission permission period, the light emission signal generation unit 8 performs strobe light emission at the one timing. A signal is generated and output to the light emission control unit 9. In addition, when the light emission signal generation unit 8 obtains a determination result that one timing corresponding to immediately after the basic period BC4 and the shift period ⁇ has elapsed belongs to the light emission non-permission period, the light emission signal generation unit 8 does not use the one timing. A strobe light emission signal is generated at another timing corresponding to immediately after the basic period BC4 has elapsed, and is output to the light emission control unit 9.
  • the light emission control unit 9 causes the light emission unit 10 to emit light according to the strobe light emission signal.
  • the light emission control unit 9 receives the strobe light emission signal from the light emission signal generation unit 8 during a period from time T31 to time T32 and before and after time T33 to time T34. By invalidating the strobe light emission signal (input), the light emitting unit 10 is prevented from emitting light. And by performing such control in the light emission control part 9, the light emission part 10 light-emits in the light emission state which is illustrated in FIG.
  • the light emitting unit 10 is set during the exposure period for obtaining the same frame image in the lines L1 to LN of the CMOS sensor 1A.
  • the imaging system 103 of the present embodiment for example, a subject that moves periodically (vibrates periodically) such as a vocal cord is photographed with a stroboscope to observe the subject as a pseudo slow motion state. In such a case, an image in which unevenness in brightness within the same frame is suppressed can be displayed on the display unit 3.
  • control is performed so that the light emitting unit 10 emits light only when one timing corresponding to immediately after the basic period BC4 and the shift period ⁇ has elapsed is the light emission permission period. Done. Therefore, according to the imaging system 103 of the present embodiment, for example, a subject that moves periodically (vibrates periodically) such as a vocal cord is photographed with a stroboscope to observe the subject as a pseudo slow motion state. In such a case, an image in which continuity between the frames is ensured can be displayed on the display unit 3.
  • the imaging system 103 of the present embodiment it is possible to suppress deterioration in image quality caused by a rolling shutter type imaging operation when performing strobe shooting of a periodically operating subject.

Abstract

　撮像システムは、周期的に動作する被写体を照明するための光を発する発光部と、ローリングシャッタ方式の撮像動作に応じた画像を取得する撮像素子を具備する撮像部と、撮像素子の露光状態に基づき、発光許可期間及び発光不許可期間を設定する発光期間制御部と、被写体の動作に係る基本周期を検出する基本周期検出部と、基本周期に基づき、発光部をストロボ発光させるためのストロボ発光信号を生成して出力する発光信号生成部と、発光許可期間においては、ストロボ発光信号に応じて発光部を発光させる制御を行う一方で、発光不許可期間においては、発光部を発光させないように制御を行う発光制御部と、を有する。

Description

撮像システム
　本発明は、撮像システムに関し、特に、ストロボ撮影を行うことが可能な撮像システムに関するものである。
　声帯等の周期的に動作する（または周期的に振動する）被写体をストロボ撮影することにより、当該被写体の状態を詳細に視認可能な画像を取得するための技術が従来知られている。
　具体的には、例えば、日本国特開２００８－２２９２２２号公報には、電子内視鏡システムにおいて、ＬＥＤによるストロボ発光が行われるタイミングと、撮像部による撮像が行われるタイミングと、を制御することにより、当該撮像部の撮像周期に比べて短い周期で振動する被写体を略静止状態として観察可能な画像を取得するための構成が開示されている。
　ところで、近年のＣＭＯＳイメージセンサの高性能化に伴い、周期的に動作する被写体のストロボ撮影をＣＭＯＳイメージセンサを用いて好適に行うための技術が希求されている。
　しかし、日本国特開２００８－２２９２２２号公報には、周期的に動作する被写体のストロボ撮影をＣＭＯＳイメージセンサを用いて行う場合を想定した構成について、特に言及されていない。
　そのため、日本国特開２００８－２２９２２２号公報に開示された構成によれば、周期的に動作する被写体をＣＭＯＳイメージセンサを用いてストロボ撮影することにより画像を取得した場合において、ローリングシャッタ方式の撮像動作に起因する画質の劣化が発生してしまう、という課題が生じている。
　本発明は、前述した事情に鑑みてなされたものであり、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することが可能な撮像システムを提供することを目的としている。
　本発明の一態様の撮像システムは、周期的に動作する被写体を照明するための光を発するように構成された発光部と、ローリングシャッタ方式の撮像動作を行うとともに、前記撮像動作に応じた画像を取得する撮像素子を具備して構成された撮像部と、前記撮像素子の露光状態に基づき、前記撮像素子の各ラインにおいて同一のフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可する発光許可期間として設定するとともに、前記撮像素子の各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可しない発光不許可期間として設定するように構成された発光期間制御部と、前記被写体の動作に係る基本周期を検出するように構成された基本周期検出部と、前記基本周期に基づき、前記発光部をストロボ発光させるためのストロボ発光信号を生成して出力するように構成された発光信号生成部と、前記発光許可期間に前記ストロボ発光信号が入力された場合には、前記ストロボ発光信号に応じて前記発光部を発光させるための制御を行う一方で、前記ストロボ発光信号が前記発光不許可期間に入力された場合には、前記発光部を発光させないようにするための制御を行うように構成された発光制御部と、を有する。
第１の実施例に係る撮像システムの要部の構成を示す図。 第１の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図。 第２の実施例に係る撮像システムの要部の構成を示す図。 第２の実施例に係る撮像システムにおいて、発光許可期間が基本周期より長いとの比較結果が得られた場合に行われる動作の一例を説明するための図。 第２の実施例に係る撮像システムにおいて、基本周期が発光許可期間以上の長さであるとの比較結果が得られた場合に行われる動作の一例を説明するための図。 第３の実施例に係る撮像システムの要部の構成を示す図。 第３の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図。
　以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
（第１の実施例）
　図１及び図２は、本発明の第１の実施例に係るものである。図１は、第１の実施例に係る撮像システムの要部の構成を示す図である。
　撮像システム１０１は、図１に示すように、内視鏡等の撮像装置に設けられ、被写体を撮像して画像を取得するように構成された撮像部１と、当該画像に基づいて映像信号を生成するように構成された信号処理部２と、当該映像信号に応じた画像等を表示するように構成された表示部３と、を有している。
　撮像部１は、撮像制御部４（後述）から出力される撮像制御信号に基づいてローリングシャッタ方式の撮像動作（露光及び読出）を行うとともに、当該撮像動作に応じた画像を取得して信号処理部２へ出力するＣＭＯＳイメージセンサ（以下、ＣＭＯＳセンサと略記する）１Ａと、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して信号処理部２及び発光期間制御部５へ出力する同期信号生成部１Ｂと、を有して構成されている。
　信号処理部２は、撮像部１から出力される画像及び同期信号に基づき、当該画像に対して所定の処理を施して映像信号を生成するとともに、当該生成した映像信号を当該同期信号に応じたタイミングで表示部３へ出力する。
　一方、撮像システム１０１は、撮像制御部４と、発光期間制御部５と、音検出部６と、基本周期検出部７と、発光信号生成部８と、発光制御部９と、発光部１０と、を有している。
　撮像制御部４は、ＣＭＯＳセンサ１Ａの撮像動作に係る動作速度を制御することにより、所定のフレームレートＦＲＡ（例えばＦＲＡ＝６０ｆｐｓ）で画像を取得させるための撮像制御信号を生成して撮像部１へ出力する。また、撮像制御部４は、ＣＭＯＳセンサ１Ａに所定のフレームレートＦＲＡで画像を取得させる場合において、１回分の発光許可期間（後述）を０．５／ＦＲＡ秒以上とするように、ＣＭＯＳセンサ１Ａの撮像動作（露光及び読出）に係る動作速度を制御する。具体的には、撮像制御部４は、例えば、ＣＭＯＳセンサ１Ａに６０ｆｐｓで画像を取得させる場合において、１回分の発光許可期間（後述）を１／１２０秒以上とするように、ＣＭＯＳセンサ１Ａの撮像動作（露光及び読出）に係る動作速度を制御する。
　発光期間制御部５は、撮像部１から出力される同期信号に基づき、ＣＭＯＳセンサ１Ａの露光状態を検出する。また、発光期間制御部５は、ＣＭＯＳセンサ１Ａの露光状態の検出結果に基づき、ＣＭＯＳセンサ１Ａの各ラインにおいて同一のフレームの画像を得るための露光が行われている期間を、発光部１０の発光を許可する期間（以下、発光許可期間とも称する）として設定する。ＣＭＯＳセンサ１Ａの各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、発光部１０の発光を許可しない期間（以下、発光不許可期間とも称する）として設定する。そして、発光期間制御部５は、前述のように設定した発光許可期間及び発光不許可期間をそれぞれ識別可能な発光期間制御信号を生成して発光制御部９へ出力する。
　音検出部６は、例えば、マイクまたは骨伝導デバイス等の集音装置を具備し、声帯等の周期的な動作を行っている（周期的に振動している）被写体から発せられる音を検出するとともに、当該検出した音の強さに応じた信号レベルを具備する音信号を生成して出力する。
　基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期（及び基本周波数）を検出するとともに、当該検出した基本周期を特定可能な基本周期信号を生成して発光信号生成部８へ出力する。
　発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期を特定する。そして、発光信号生成部８は、前述のように特定した基本周期に基づき、所定の発光期間及び所定の光量により発光部１０をストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。
　発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光許可期間に、発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させるための制御を行う。また、発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光不許可期間に、発光信号生成部８からのストロボ発光信号が入力された場合には、発光部１０を発光させないようにするための制御を行う。
　発光部１０は、例えば、ＬＥＤ等のストロボ発光可能な光源を具備し、発光制御部９の制御に応じて被写体を照明するための光を発するように構成されている。
　続いて、撮像システム１０１において行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図２は、第１の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図である。
　なお、以降においては、簡単のため、ＣＭＯＳセンサ１Ａの一のラインにおける露光が完了するタイミングと、当該一のラインに属する各画素に蓄積された電荷の読出が行われるタイミングと、当該一のラインにおける露光が再開されるタイミングと、が略同時であるとして説明を行う。また、以降においては、ＣＭＯＳセンサ１ＡがラインＬ１～ＬＮのＮ個のラインを具備しているとともに、ラインＬ１～ＬＮがそれぞれＰ個の画素を具備して構成されているものとして説明を行う。
　ユーザーは、周期的に動作している（振動している）最中の声帯の近傍に撮像部１及び音検出部６を配置することにより、当該声帯をＣＭＯＳセンサ１Ａにより撮像させるとともに、当該声帯から発せられる音を音検出部６により検出させる。
　一方、同期信号生成部１Ｂは、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して（信号処理部２及び）発光期間制御部５へ出力する。また、基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期を検出し、当該検出した基本周期に応じた基本周期信号を生成して発光信号生成部８へ出力する。
　発光期間制御部５は、撮像部１の同期信号生成部１Ｂから出力される同期信号に基づいてＣＭＯＳセンサ１Ａの露光状態を検出し、さらに、当該検出したＣＭＯＳセンサ１Ａの露光状態に基づいて発光期間制御信号を生成する。
　ところで、図２に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ１のタイミングで露光され、ラインＬ１の中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ３のタイミングで露光される。そして、時刻Ｔ３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。
　一方、図２に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ１から所定時間だけ後の時刻Ｔ２のタイミングで露光され、ラインＬＮの中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ３から前記所定時間だけ後の時刻Ｔ４のタイミングで露光される。そして、時刻Ｔ４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。
　すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ２から時刻Ｔ３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ１以後から時刻Ｔ２以前までの期間、及び、時刻Ｔ３以後から時刻Ｔ４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。
　そのため、発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ１から時刻Ｔ４までにおけるラインＬ１～ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ２から時刻Ｔ３までの期間を発光許可期間として設定するとともに、時刻Ｔ１以後から時刻Ｔ２以前までの期間、及び、時刻Ｔ３以後から時刻Ｔ４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図２に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光制御部９へ出力する。
　一方、発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ１を特定する。そして、発光信号生成部８は、図２に例示するような、発光部１０を基本周期ＢＣ１毎にストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。
　発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光許可期間である、時刻Ｔ２から時刻Ｔ３までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させる。一方、発光制御部９は、発光期間制御部５から出力される発光期間制御信号により示される発光不許可期間である、時刻Ｔ１以後から時刻Ｔ２以前までの期間、及び、時刻Ｔ３以後から時刻Ｔ４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図２に例示するような発光状態で発光部１０が発光する。
　以上に述べたように、本実施例の撮像システム１０１によれば、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間中に、発光部１０をストロボ発光させるための制御が行われる一方で、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間中には、発光部１０を発光させないようにするための制御が行われる。そのため、本実施例の撮像システム１０１によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的な静止状態として観察する場合において、同一フレーム内の明るさのムラが抑制された画像を表示部３に表示させることができる。
　すなわち、本実施例の撮像システム１０１によれば、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することができる。
（第２の実施例）
　図３から図５は、本発明の第２の実施例に係るものである。図３は、第２の実施例に係る撮像システムの要部の構成を示す図である。
　なお、本実施例においては、第１の実施例と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施例と異なる構成等を有する部分に関して主に説明を行う。
　撮像システム１０２は、図３に示すように、撮像部１と、信号処理部２と、表示部３と、撮像制御部４と、発光期間制御部５と、音検出部６と、基本周期検出部７と、発光信号生成部８と、発光制御部９と、発光部１０と、比較部１１と、を有している。
　比較部１１は、発光期間制御部５から出力される発光期間制御信号に基づいて発光許可期間を特定するとともに、基本周期検出部７から出力される基本周期信号に基づいて音検出部６から出力される音信号の基本周期を特定する。
　そして、比較部１１は、発光許可期間と基本周期とを比較することにより、発光許可期間が基本周期より長いとの比較結果を得た場合に、１回分の発光許可期間における発光部１０の発光回数（ストロボ発光回数）を１回までに制限させるための発光制限信号を生成して発光制御部９へ出力する。また、比較部１１は、発光許可期間と基本周期とを比較することにより、基本周期が発光許可期間以上の長さであるとの比較結果を得た場合に、ＣＭＯＳセンサ１Ａによる画像の取得に係るフレームレートを所定のフレームレートＦＲＡの半分に低下させるためのフレームレート制限信号を生成して撮像制御部４へ出力する。
　次に、撮像システム１０２において、発光許可期間が基本周期より長いとの比較結果が得られた場合に行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図４は、第２の実施例に係る撮像システムにおいて、発光許可期間が基本周期より長いとの比較結果が得られた場合に行われる動作の一例を説明するための図である。
　ユーザーは、周期的に動作している（振動している）最中の声帯の近傍に撮像部１及び音検出部６を配置することにより、当該声帯をＣＭＯＳセンサ１Ａにより撮像させるとともに、当該声帯から発せられる音を音検出部６により検出させる。
　同期信号生成部１Ｂは、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して（信号処理部２及び）発光期間制御部５へ出力する。また、基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期を検出し、当該検出した基本周期に応じた基本周期信号を生成して発光信号生成部８へ出力する。
　ところで、図４に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ１１のタイミングで露光され、ラインＬ１の中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ１１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ１３のタイミングで露光される。そして、時刻Ｔ１３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。
　また、図４に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ１１から所定時間だけ後の時刻Ｔ１２のタイミングで露光され、ラインＬＮの中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ１２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ１３から前記所定時間だけ後の時刻Ｔ１４のタイミングで露光される。そして、時刻Ｔ１４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。
　すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ１２から時刻Ｔ１３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ１１以後から時刻Ｔ１２以前までの期間、及び、時刻Ｔ１３以後から時刻Ｔ１４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。
　発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ１１から時刻Ｔ１４までにおけるラインＬ１～ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ１２から時刻Ｔ１３までの期間を発光許可期間として設定するとともに、時刻Ｔ１１以後から時刻Ｔ１２以前までの期間、及び、時刻Ｔ１３以後から時刻Ｔ１４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図４に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光制御部９へ出力する。
　発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ２を特定する。そして、発光信号生成部８は、図４に例示するような、発光部１０を基本周期ＢＣ２毎にストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。
　発光制御部９は、比較部１１から出力される発光制限信号に基づき、時刻Ｔ１２から時刻Ｔ１３までの期間においては、１回目のストロボ発光信号（の入力）に応じて発光部１０を発光させる一方で、２回目以降のストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。また、発光制御部９は、時刻Ｔ１１以後から時刻Ｔ１２以前までの期間、及び、時刻Ｔ１３以後から時刻Ｔ１４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図４に例示するような発光状態で発光部１０が発光する。
　なお、以上に述べた撮像システム１０２の動作によれば、発光許可期間が基本周期の２倍以上大きいとの比較結果が得られた場合、すなわち、１回分の発光許可期間内に常に２回以上のストロボ発光信号が発光信号生成部８から出力される場合において、発光部１０の発光回数（ストロボ発光回数）を制限するための制御が発光制御部９により行われるようにする代わりに、発光部１０の１回あたりの発光光量（ストロボ発光光量）を基本周期の大きさに応じて低下するための制御が発光制御部９により行われるようにしてもよい。具体的には、例えば、発光許可期間が基本周期の３倍大きいとの比較結果が得られた場合、すなわち、１回分の発光許可期間内に３回のストロボ発光信号が発光信号生成部８から出力されるような場合において、発光部１０の１回あたりのストロボ発光光量を３分の１に低下させるための発光制限信号が比較部１１から発光制御部９へ出力されるようにすればよい。
　続いて、撮像システム１０２において、基本周期が発光許可期間以上の長さであるとの比較結果が得られた場合に行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図５は、第２の実施例に係る撮像システムにおいて、基本周期が発光許可期間以上の長さであるとの比較結果が得られた場合に行われる動作の一例を説明するための図である。
　ユーザーは、周期的に動作している（振動している）最中の声帯の近傍に撮像部１及び音検出部６を配置することにより、当該声帯をＣＭＯＳセンサ１Ａにより撮像させるとともに、当該声帯から発せられる音を音検出部６により検出させる。
　撮像制御部４は、比較部１１から出力されるフレームレート制限信号に基づき、ＣＭＯＳセンサ１Ａの露光及び読出に係る動作速度をそれぞれ低下させることにより、所定のフレームレートＦＲＡの半分のフレームレート（例えば３０ｆｐｓ）で画像を取得させるための撮像制御信号を生成して撮像部１へ出力する。
　同期信号生成部１Ｂは、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して（信号処理部２及び）発光期間制御部５へ出力する。また、基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期を検出し、当該検出した基本周期に応じた基本周期信号を生成して発光信号生成部８へ出力する。
　ところで、図５に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ２１のタイミングで露光され、ラインＬ１の中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ２１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ２３のタイミングで露光される。そして、時刻Ｔ２３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。
　また、図５に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ２１から所定時間だけ後の時刻Ｔ２２のタイミングで露光され、ラインＬＮの中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ２２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ２３から前記所定時間だけ後の時刻Ｔ２４のタイミングで露光される。そして、時刻Ｔ２４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。
　すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ２２から時刻Ｔ２３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ２１以後から時刻Ｔ２２以前までの期間、及び、時刻Ｔ２３以後から時刻Ｔ２４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。
　発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ２１から時刻Ｔ２４までにおけるラインＬ１～ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ２２から時刻Ｔ２３までの期間を発光許可期間として設定するとともに、時刻Ｔ２１以後から時刻Ｔ２２以前までの期間、及び、時刻Ｔ２３以後から時刻Ｔ２４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図５に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光制御部９へ出力する。
　発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ３を特定する。そして、発光信号生成部８は、図５に例示するような、発光部１０を基本周期ＢＣ３毎にストロボ発光させるためのストロボ発光信号を生成して発光制御部９へ出力する。
　発光制御部９は、時刻Ｔ２２から時刻Ｔ２３までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させる。また、発光制御部９は、時刻Ｔ２１以後から時刻Ｔ２２以前までの期間、及び、時刻Ｔ２３以後から時刻Ｔ２４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図５に例示するような発光状態で発光部１０が発光する。
　以上に述べたように、本実施例の撮像システム１０２によれば、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間中に、発光部１０をストロボ発光させるための制御が行われる一方で、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間中には、発光部１０を発光させないようにするための制御が行われる。そのため、本実施例の撮像システム１０２によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的な静止状態として観察するような場合において、同一フレーム内の明るさのムラが抑制された画像を表示部３に表示させることができる。
　一方、本実施例の撮像システム１０２によれば、発光許可期間が基本周期より長いとの比較結果が比較部１１により得られた場合に、発光部１０のストロボ発光回数またはストロボ発光光量を制限することにより、露光過剰な状態で画像が生成されることを極力防止することができる。また、本実施例の撮像システム１０２によれば、基本周期が発光許可期間以上の長さであるとの比較結果が比較部１１により得られた場合に、画像の取得に係るフレームレートを所定のフレームレートＦＲＡから低下させることにより、露光不足な状態で画像が生成されることを極力防止することができる。そのため、本実施例の撮像システム１０２によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的な静止状態として観察するような場合において、各フレーム間の明るさのムラが抑制された画像を表示部３に表示させることができる。
　すなわち、本実施例の撮像システム１０２によれば、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することができる。
（第３の実施例）
　図６及び図７は、本発明の第３の実施例に係るものである。図６は、第３の実施例に係る撮像システムの要部の構成を示す図である。
　なお、本実施例においては、第１及び第２の実施例の少なくともいずれか一方と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１及び第２の実施例のいずれともと異なる構成等を有する部分に関して主に説明を行う。
　撮像システム１０３は、図６に示すように、撮像部１と、信号処理部２と、表示部３と、撮像制御部４と、発光期間制御部５と、音検出部６と、基本周期検出部７と、発光信号生成部８と、発光制御部９と、発光部１０と、ユーザーインターフェース部（以下、ユーザーＩ／Ｆ部と略記する）１２と、シフト期間算出部１３と、を有している。
　ユーザーＩ／Ｆ部１２は、タッチパネルまたはキーボード等の入力装置を具備し、声帯等の周期的に動作する（周期的に振動する）被写体を擬似的なスローモーション状態として観察する際に、表示部３に表示される当該被写体の動きを毎秒何フレームずつ遷移させるかを示す値である、スローモーション表示レートＳＤＲを設定することができるように構成されている。具体的には、例えば、表示部３に表示される被写体の動きを毎秒２フレームずつ遷移させる場合においては、スローモーション表示レートＳＤＲの値が２として設定される。一方、ユーザーＩ／Ｆ部１２は、スローモーション表示レートＳＤＲとして設定された値をシフト期間算出部１３へ出力する。
　シフト期間算出部１３は、撮像制御部４から出力される撮像制御信号に基づき、所定のフレームレートＦＲＡで画像の取得が行われていることを検出する。また、シフト期間算出部１３は、前述のように検出した所定のフレームレートＦＲＡの逆数と、ユーザーＩ／Ｆ部１２から出力されるスローモーション表示レートＳＤＲの逆数と、を乗ずることにより、発光部１０の発光間隔をシフトさせる際に用いられるシフト期間βを算出し、当該算出したシフト期間βの値を発光信号生成部８へ出力する。具体的には、例えば、所定のフレームレートＦＲＡが６０ｆｐｓであるとともに、スローモーション表示レートＳＤＲの値が２である場合には、シフト期間βが１／１２０秒として算出される。
　続いて、撮像システム１０３において行われる動作について、声帯を被写体として撮像する場合を例に挙げつつ説明する。図７は、第３の実施例に係る撮像システムにおいて行われる動作の一例を説明するための図である。
　ユーザーは、周期的に動作している（振動している）最中の声帯の近傍に撮像部１及び音検出部６を配置することにより、当該声帯をＣＭＯＳセンサ１Ａにより撮像させるとともに、当該声帯から発せられる音を音検出部６により検出させる。
　同期信号生成部１Ｂは、ＣＭＯＳセンサ１Ａの撮像動作に係るタイミングに同期する同期信号を生成して（信号処理部２及び）発光期間制御部５へ出力する。また、基本周期検出部７は、音検出部６から出力される音信号の基本波に応じた基本周期を検出し、当該検出した基本周期に応じた基本周期信号を生成して発光信号生成部８へ出力する。
　ところで、図７に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬ１の一端に位置する１個目の画素が時刻Ｔ３１のタイミングで露光され、ラインＬ１の中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ３１以後の期間内で順次露光され、ラインＬ１の他端に位置するＰ個目の画素が時刻Ｔ３３のタイミングで露光される。そして、時刻Ｔ３３のタイミングにおいて、ラインＬ１に属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬ１における（１個目の画素からの）露光が再開される。
　また、図７に模式的に示すように、ローリングシャッタ方式の撮像動作においては、例えば、ラインＬＮの一端に位置する１個目の画素が時刻Ｔ３１から所定時間だけ後の時刻Ｔ３２のタイミングで露光され、ラインＬＮの中途に位置する２個目～（Ｐ－１）個目の画素が時刻Ｔ３２以後の期間内で順次露光され、ラインＬＮの他端に位置するＰ個目の画素が時刻Ｔ３３から前記所定時間だけ後の時刻Ｔ３４のタイミングで露光される。そして、時刻Ｔ３４のタイミングにおいて、ラインＬＮに属する各画素に蓄積された電荷の読出が行われるとともに、ラインＬＮにおける（１個目の画素からの）露光が再開される。
　すなわち、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ３２から時刻Ｔ３３までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間として扱うことができる。一方、以上に述べたようなローリングシャッタ方式の撮像動作によれば、時刻Ｔ３１以後から時刻Ｔ３２以前までの期間、及び、時刻Ｔ３３以後から時刻Ｔ３４以前までの期間を、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間として扱うことができる。
　発光期間制御部５は、撮像部１による声帯の撮像に伴って同期信号生成部１Ｂから出力される同期信号に基づき、時刻Ｔ３１から時刻Ｔ３４までにおけるラインＬ１～ＬＮの各ラインの露光状態を（ＣＭＯＳセンサ１Ａの露光状態として）検出する。また、発光期間制御部５は、時刻Ｔ３２から時刻Ｔ３３までの期間を発光許可期間として設定するとともに、時刻Ｔ３１以後から時刻Ｔ３２以前までの期間、及び、時刻Ｔ３３以後から時刻Ｔ３４以前までの期間を発光不許可期間として設定する。そして、発光期間制御部５は、図７に例示するような、発光許可期間における信号レベルと、発光不許可期間における信号レベルと、をそれぞれ異ならせた発光期間制御信号を生成して発光信号生成部８及び発光制御部９へ出力する。
　発光信号生成部８は、基本周期検出部７から出力される基本周期信号に基づき、音検出部６から出力される音信号の基本周期ＢＣ４を特定する。その後、発光信号生成部８は、前述のように特定した基本周期ＢＣ４と、シフト期間算出部１３から出力されるシフト期間βと、発光期間制御部５から出力される発光期間制御信号と、に基づき、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光許可期間または発光不許可期間のいずれに属するかを判定する。そして、発光信号生成部８は、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光許可期間に属するとの判定結果を得た場合には、当該一のタイミングでストロボ発光信号を生成して発光制御部９へ出力する。また、発光信号生成部８は、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光不許可期間に属するとの判定結果を得た場合には、当該一のタイミングではなく、基本周期ＢＣ４が経過した直後に相当する他のタイミングでストロボ発光信号を生成して発光制御部９へ出力する。
　発光制御部９は、時刻Ｔ３２から時刻Ｔ３３までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号に応じて発光部１０を発光させる。また、発光制御部９は、時刻Ｔ３１以後から時刻Ｔ３２以前までの期間、及び、時刻Ｔ３３以後から時刻Ｔ３４以前までの期間に発光信号生成部８からのストロボ発光信号が入力された場合には、当該ストロボ発光信号（の入力）を無効化することにより発光部１０を発光させないようにする。そして、このような制御が発光制御部９において行われることにより、図７に例示するような発光状態で発光部１０が発光する。
　以上に述べたように、本実施例の撮像システム１０３によれば、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて同一のフレームの画像を得るための露光が行われている期間中に、発光部１０をストロボ発光させるための制御が行われる一方で、ＣＭＯＳセンサ１ＡのラインＬ１～ＬＮにおいて異なるフレームの画像を得るための露光が行われている期間中には、発光部１０を発光させないようにするための制御が行われる。そのため、本実施例の撮像システム１０３によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的なスローモーション状態として観察するような場合において、同一フレーム内の明るさのムラが抑制された画像を表示部３に表示させることができる。
　一方、本実施例の撮像システム１０３によれば、基本周期ＢＣ４及びシフト期間βが経過した直後に相当する一のタイミングが発光許可期間である場合に限って発光部１０を発光させるような制御が行われる。そのため、本実施例の撮像システム１０３によれば、例えば、声帯等の周期的に動作する（周期的に振動する）被写体をストロボ撮影することにより、当該被写体を擬似的なスローモーション状態として観察するような場合において、各フレーム間の連続性が確保された画像を表示部３に表示させることができる。
　すなわち、本実施例の撮像システム１０３によれば、周期的に動作する被写体のストロボ撮影を行う際に、ローリングシャッタ方式の撮像動作に起因して発生する画質の劣化を抑制することができる。
　なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
　本出願は、２０１３年７月９日に日本国に出願された特願２０１３－１４３８０１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (6)

  1. 　周期的に動作する被写体を照明するための光を発するように構成された発光部と、
    　ローリングシャッタ方式の撮像動作を行うとともに、前記撮像動作に応じた画像を取得する撮像素子を具備して構成された撮像部と、
    　前記撮像素子の露光状態に基づき、前記撮像素子の各ラインにおいて同一のフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可する発光許可期間として設定するとともに、前記撮像素子の各ラインにおいて異なるフレームの画像を得るための露光が行われている期間を、前記発光部の発光を許可しない発光不許可期間として設定するように構成された発光期間制御部と、
    　前記被写体の動作に係る基本周期を検出するように構成された基本周期検出部と、
    　前記基本周期に基づき、前記発光部をストロボ発光させるためのストロボ発光信号を生成して出力するように構成された発光信号生成部と、
    　前記発光許可期間に前記ストロボ発光信号が入力された場合には、前記ストロボ発光信号に応じて前記発光部を発光させるための制御を行う一方で、前記ストロボ発光信号が前記発光不許可期間に入力された場合には、前記発光部を発光させないようにするための制御を行うように構成された発光制御部と、
    　を有することを特徴とする撮像システム。
  2. 　前記画像を所定のフレームレートで取得させるための制御を前記撮像部に対して行うことができるように構成された撮像制御部と、
    　前記発光許可期間と前記基本周期とを比較することにより、前記発光許可期間が前記基本周期より長いとの比較結果を得た場合には、１回分の前記発光許可期間における前記発光部の発光回数を制限させるための、または、前記発光部の１回あたりの発光光量を前記基本周期の大きさに応じて低下させるための発光制限信号を生成して前記発光制御部へ出力する一方で、前記基本周期が前記発光許可期間以上の長さであるとの比較結果を得た場合には、前記画像の取得に係るフレームレートを前記所定のフレームレートから低下させるためのフレームレート制限信号を生成して前記撮像制御部へ出力するように構成された比較部と、
    　をさらに有することを特徴とする請求項１に記載の撮像システム。
  3. 　前記比較部は、前記発光許可期間が前記基本周期より長いとの比較結果を得た場合に、１回分の前記発光許可期間における前記発光部の発光回数を１回までに制限させるための前記発光制限信号を生成して前記発光制御部へ出力する
    　ことを特徴とする請求項２に記載の撮像システム。
  4. 　前記比較部は、前記基本周期が前記発光許可期間以上の長さであるとの比較結果を得た場合に、前記画像の取得に係るフレームレートを前記所定のフレームレートから半減させるための前記フレームレート制限信号を生成して前記撮像制御部へ出力する
    　ことを特徴とする請求項２に記載の撮像システム。
  5. 　前記画像を所定のフレームレートで取得させるための制御を前記撮像部に対して行うことができるように構成された撮像制御部と、
    　前記所定のフレームレートに基づき、前記発光部の発光間隔を前記基本周期からシフトさせる際に用いられるシフト期間を算出するシフト期間算出部と、をさらに有し、
    　前記発光信号生成部は、前記基本周期及び前記シフト期間が経過した直後に相当する一のタイミングが前記発光許可期間に属する場合には、当該一のタイミングで前記ストロボ発光信号を生成して出力する一方で、前記一のタイミングが前記発光不許可期間に属する場合には、前記基本周期が経過した直後に相当する他のタイミングで前記ストロボ発光信号を生成して出力する
    　ことを特徴とする請求項１に記載の撮像システム。
  6. 　前記被写体としての声帯から発せられる音を検出するとともに、当該検出した音に応じた音信号を生成して出力するように構成された音検出部をさらに有し、
    　前記基本周期検出部は、前記音検出部から出力される前記音信号の基本波に応じた前記基本周期を検出する
    　ことを特徴とする請求項１に記載の撮像システム。
PCT/JP2014/061944 2013-07-09 2014-04-30 撮像システム WO2015004975A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014556294A JP5784845B2 (ja) 2013-07-09 2014-04-30 撮像システム
US14/948,793 US9962068B2 (en) 2013-07-09 2015-11-23 Image pickup system and control method of image pickup system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-143801 2013-07-09
JP2013143801 2013-07-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/948,793 Continuation US9962068B2 (en) 2013-07-09 2015-11-23 Image pickup system and control method of image pickup system

Publications (1)

Publication Number Publication Date
WO2015004975A1 true WO2015004975A1 (ja) 2015-01-15

Family

ID=52279671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/061944 WO2015004975A1 (ja) 2013-07-09 2014-04-30 撮像システム

Country Status (3)

Country Link
US (1) US9962068B2 (ja)
JP (1) JP5784845B2 (ja)
WO (1) WO2015004975A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015016096A (ja) * 2013-07-10 2015-01-29 Hoya株式会社 電子内視鏡
US10499803B2 (en) 2017-11-16 2019-12-10 Karl Storz Imaging, Inc. Vocal cord stroboscopy
US10835116B2 (en) 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095911B (zh) * 2017-09-15 2021-04-20 富士胶片株式会社 摄像控制装置、摄像装置、摄像控制方法及记录介质
JP6945660B2 (ja) * 2018-02-09 2021-10-06 オリンパス株式会社 撮像システムおよび処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172088A (ja) * 2000-12-07 2002-06-18 Asahi Optical Co Ltd 電子内視鏡光源装置
JP2008229222A (ja) * 2007-03-23 2008-10-02 Hoya Corp 内視鏡用光源装置
JP2009136447A (ja) * 2007-12-05 2009-06-25 Hoya Corp 光源制御システム、シャッタ制御システム。内視鏡プロセッサ、および内視鏡システム
JP2010093729A (ja) * 2008-10-10 2010-04-22 Sony Corp 撮像装置及び撮像方法
JP2012019982A (ja) * 2010-07-15 2012-02-02 Fujifilm Corp 内視鏡システム
JP2012019983A (ja) * 2010-07-15 2012-02-02 Fujifilm Corp 内視鏡光源装置及び内視鏡システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118549B (zh) * 2009-12-31 2013-02-27 敦南科技股份有限公司 影像感测装置检测闪频光的方法及其影像感测装置
JP5541016B2 (ja) * 2010-09-08 2014-07-09 リコーイメージング株式会社 撮像システムおよび画素信号読出し方法
JP2012065690A (ja) * 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
EP2664268B1 (en) * 2011-06-21 2016-04-27 Olympus Corporation Medical instrument

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172088A (ja) * 2000-12-07 2002-06-18 Asahi Optical Co Ltd 電子内視鏡光源装置
JP2008229222A (ja) * 2007-03-23 2008-10-02 Hoya Corp 内視鏡用光源装置
JP2009136447A (ja) * 2007-12-05 2009-06-25 Hoya Corp 光源制御システム、シャッタ制御システム。内視鏡プロセッサ、および内視鏡システム
JP2010093729A (ja) * 2008-10-10 2010-04-22 Sony Corp 撮像装置及び撮像方法
JP2012019982A (ja) * 2010-07-15 2012-02-02 Fujifilm Corp 内視鏡システム
JP2012019983A (ja) * 2010-07-15 2012-02-02 Fujifilm Corp 内視鏡光源装置及び内視鏡システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015016096A (ja) * 2013-07-10 2015-01-29 Hoya株式会社 電子内視鏡
US10499803B2 (en) 2017-11-16 2019-12-10 Karl Storz Imaging, Inc. Vocal cord stroboscopy
US10835116B2 (en) 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy

Also Published As

Publication number Publication date
JPWO2015004975A1 (ja) 2017-03-02
US20160073865A1 (en) 2016-03-17
JP5784845B2 (ja) 2015-09-24
US9962068B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
JP5784845B2 (ja) 撮像システム
JP5111100B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP6300118B2 (ja) 撮像装置、フリッカ検出方法及びプログラム
US10721415B2 (en) Image processing system with LED flicker mitigation
KR101589013B1 (ko) 플래시 발광 제어 방법 및 장치
JPWO2018101077A1 (ja) 撮像素子および撮像方法、並びに電子機器
JP6161445B2 (ja) ストロボスコープおよび喉頭電子内視鏡
JP2010093729A (ja) 撮像装置及び撮像方法
JP5581968B2 (ja) 撮像装置
JP2013070234A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2017069741A (ja) 撮像装置、フリッカ検出方法及びプログラム
JP6517573B2 (ja) 画像処理装置および内視鏡装置
JP6196105B2 (ja) 撮像装置および電子内視鏡装置
JP2011024885A (ja) 内視鏡用光源システム、および内視鏡ユニット
JP2010087790A (ja) 撮影装置および方法
JP6270359B2 (ja) 電子内視鏡
JP2017169027A (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP5383886B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP6231271B2 (ja) 電子内視鏡システム
JP2016005250A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5147652B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2008177963A (ja) 撮像装置及びその制御方法
JP6141129B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP2014197822A (ja) 撮像装置
JP6735586B2 (ja) 電子内視鏡システムおよび電子内視鏡システムの作動方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014556294

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14822188

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14822188

Country of ref document: EP

Kind code of ref document: A1