WO2023112590A1 - 撮像装置、画像処理方法、プログラム - Google Patents

撮像装置、画像処理方法、プログラム Download PDF

Info

Publication number
WO2023112590A1
WO2023112590A1 PCT/JP2022/042700 JP2022042700W WO2023112590A1 WO 2023112590 A1 WO2023112590 A1 WO 2023112590A1 JP 2022042700 W JP2022042700 W JP 2022042700W WO 2023112590 A1 WO2023112590 A1 WO 2023112590A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
imaging
cycle
drive signal
Prior art date
Application number
PCT/JP2022/042700
Other languages
English (en)
French (fr)
Inventor
朗文 山田
弦太郎 田邊
矩尚 松本
恵太 益田
隆幸 船岡
正治 荒巻
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2023112590A1 publication Critical patent/WO2023112590A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Definitions

  • the present invention relates to an imaging device, an image processing method, and a program.
  • Patent Document 1 An imaging device that takes an image through a microscope and transmits the image to the outside is known.
  • the technology of the present disclosure provides a novel imaging device, image processing method, or program.
  • An embodiment of the present invention includes an imaging device capable of performing imaging and outputting a captured image within an imaging region, and a control unit, wherein the control unit is configured to read out the captured image of the imaging device.
  • a scanning signal output process for outputting a drive signal and a horizontal drive signal; a process for setting a region of interest in the imaging region; readout including the region of interest within one cycle of the cycle of the vertical drive signal required for the exposure time or within a cycle obtained by subtracting the number of cycles of the vertical drive signal required for the exposure time
  • the imaging apparatus executes an adjustment process of adjusting the range of the area within the imaging area and a process of reading the image within the readout area from the imaging element.
  • one embodiment of the present invention is a method for performing imaging and executing in a system having an imaging device capable of outputting a captured image within an imaging region, comprising: a scanning signal output process for outputting a drive signal and a horizontal drive signal; a process for setting a region of interest in the imaging region; readout including the region of interest within one cycle of the cycle of the vertical drive signal required for the exposure time or within a cycle obtained by subtracting the number of cycles of the vertical drive signal required for the exposure time
  • the image processing method includes adjustment processing for adjusting the range of the region within the imaging region, and processing for reading out an image within the readout region from the imaging device.
  • a system comprising: an imaging device capable of executing imaging and outputting a captured image within an imaging area; A scanning signal output process for outputting a vertical drive signal and a horizontal drive signal for reading an image captured by the imaging device, a process for setting an attention area in the imaging area, and when reading the image of the attention area,
  • the exposure time of the imaging element is within one cycle of the cycle of the vertical drive signal required for the exposure time or within an integral multiple obtained by subtracting the number of cycles of the vertical drive signal required for the exposure time.
  • one embodiment of the present invention is a method for executing image capturing and reading out the captured image in a system provided with an image capturing device capable of outputting a captured image within an image capturing area, the method comprising: A process of outputting a vertical drive signal and a horizontal drive signal for reading an image, a process of setting an attention area in the imaging area, and an exposure time of the imaging element when reading the image of the attention area,
  • the horizontal drive signal is within one cycle of the cycle of the vertical drive signal required for the exposure time or within a cycle obtained by subtracting the number of cycles of the vertical drive signal required for the exposure time. and adjusting the readout clock cycle of the image processing method.
  • FIG. 1 is an overall configuration diagram of an information processing system according to a first embodiment
  • FIG. 1 is a block diagram of an information processing system according to a first embodiment
  • FIG. 1 is a block diagram showing the functional configuration of an imaging device according to a first embodiment
  • FIG. 4A is a diagram showing the relationship between an imaging area, a readout area, and an ROI
  • FIG. 4B is a diagram showing the relationship between the height of a readout area and a frame rate
  • It is a figure explaining the output method of CIS. It is a figure explaining the relationship between a vertical drive signal and a frame rate.
  • FIG. 4 is a flowchart showing processing according to the first embodiment; 7 is a flowchart showing details of adjustment processing among the processing according to the first embodiment; It is a mathematical expression used in the process according to the first embodiment. It is an example of calculation by the formula of FIG. 9A.
  • 9 is a flowchart showing processing according to the second embodiment; 10 is a flowchart showing details of additional adjustment processing among the processing according to the second embodiment;
  • FIG. 4 is a diagram for explaining the relationship between clock cycle and frame rate; 4 is a graph showing the relationship between ROI height (horizontal axis) and frame rate (vertical axis). A solid line indicates the case where the readout area is not adjusted, and a dotted line indicates the case where the readout area height is adjusted.
  • ⁇ composition ⁇ 1 and 2 show the configuration of an information processing system 1 according to one embodiment of the present invention.
  • the information processing system 1 includes an imaging device 10 , a terminal 20 and a microscope 30 .
  • the terminal 20 and the imaging device 10 are connected via the network 5 so as to be able to transmit and receive data to and from each other.
  • the network 5 is a wireless or wired communication means, such as the Internet, WAN (Wide Area Network), LAN (Local Area Network), public communication network, dedicated line, and the like.
  • WAN Wide Area Network
  • LAN Local Area Network
  • public communication network dedicated line
  • dedicated line and the like.
  • the information processing system 1 according to this embodiment includes one terminal 20, the present invention does not limit the number of these devices.
  • the terminal 20 is a device such as a personal computer, and acquires moving images or images captured by the imaging device 10, and in addition, edits and analyzes the moving images or images.
  • the user can check moving images or images via the terminal 20 and can transmit commands and processing conditions to the imaging device 10 .
  • the user can set a region of interest (ROI) via the terminal 20.
  • ROI region of interest
  • the attention area is an area in which the user wishes to obtain or display an image within the range in which the image capturing apparatus 10 can capture (also referred to as photographing).
  • the imaging device 10 is a CMOS camera that uses a microscope 30 to image a subject (such as a sample in a culture vessel).
  • Microscope 30 may be an electron microscope or an optical microscope.
  • Various optical members constituting the microscope 30 may be motorized.
  • the microscope 30 motorizes the driving of the observation optical system such as the objective lens and the optical filter, and the driving of the stage on which the sample is placed, and moves the stage on which the subject is placed.
  • Various motorized optical members are mounted and the operation of each device of the microscope 30 can be controlled.
  • FIG. 3 is an example of functional blocks used to implement the imaging device 10.
  • the imaging apparatus 10 includes a processor 101, a ROM 102 (Read Only Memory), a RAM 103 (Random Access Memory), a CIS 104 (CMOS image sensor), an adjustment unit 105, an image processing unit 106, and a frame buffer 107. Prepare. These are communicably connected to each other via communication means such as a bus (not shown).
  • the processor 101 is configured using a CPU (Central Processing Unit).
  • the functions of the imaging apparatus 10 are realized by the processor 101 reading and executing the programs stored in the ROM 102 .
  • an MPU Micro Processing Unit
  • an MPU Micro Processing Unit or the like may be used.
  • the processor 101 controls each component and functional unit of the imaging device 10 such as the adjusting unit 105, the image processing unit 106, the frame buffer 107, and the like. Note that the processor 101, the adjustment unit 105, and the image processing unit 106 are examples of a control unit.
  • the ROM 102 and RAM 103 are devices that store programs and data, respectively. Programs are stored in the ROM 102 .
  • RAM 103 is a volatile memory.
  • the CIS 104 is a sensor that captures an image of a subject through the microscope 30 and outputs all or part of the captured image as an electrical signal.
  • the CIS 104 can receive instructions from the outside and change the position and size of the output image corresponding to the readout region (including ROI) Y. (Fig. 4(a)). In other words, the CIS 104 outputs the captured image of the readout area Y within the imaging area.
  • the output from CIS 104 is executed as shown in FIG. Specifically, the captured image of the readout area Y is output by setting a plurality of horizontal scanning lines arranged in the vertical direction on the image and scanning along these scanning lines.
  • the CIS 104 scans horizontally along the scan lines, one at a time, from top to bottom of the image area to be output.
  • a vertical driving signal (VD: Vertical Driving pulse) is transmitted.
  • VD Vertical Driving pulse
  • the output of one image (frame) consists of a bundle of information corresponding to each scanning line, and each time information corresponding to one scanning line is output, a horizontal driving signal (HD: pulse) is sent.
  • the output corresponding to one scan line includes multiple read clocks.
  • VD period and the HD period may be referred to as the VD period and the HD period, respectively.
  • the time taken from one VD to the next VD, that is, the time required to transmit one image may be referred to as a VD period.
  • the VD cycle has parameters set according to the output mode of the CIS 104, as shown in equation 11 in FIG. It is expressed as a function of the HD period.
  • the CIS 104 has three output modes: a mode for outputting one pixel at a time (denoted as 1 ⁇ 1 in the figure), a mode for outputting 2 ⁇ 2 pixels in the horizontal and vertical directions, and a mode for outputting 3 ⁇ 3 pixels at a time. Species are set. That is, the VD cycle is expressed as a function of the readout clock cycle for reading the captured image from the imaging device 10 and the vertical length of the readout area.
  • the adjustment unit 105 sets and changes the image area to be output to the CIS 104, and sets and changes the HD cycle, VD cycle, or read clock. Details will be described later.
  • the image processing unit 106 has a function of reading and outputting an image within the ROI (ROI image) from the image output by the CIS 104 . Although there are various methods of output, the image processing unit 106 transmits an image to the terminal 20 in this embodiment.
  • the frame buffer 107 is an area for storing images, and is used auxiliary for the processing executed by the image processing unit 106 .
  • the frame rate is optimized as described below.
  • the adjustment of the present invention is not performed (that is, when the additional height a+b in FIG. 4A is not adjusted and the readout region Y is set as the ROI) 2
  • the output time for one image by the CIS 104 falls within one VD cycle (Case 1).
  • the ROI height is 684 pixels with the same exposure time and output mode, two VD periods are required to output one image (Case 2).
  • case 2 the number of VD cycles required to output one image is doubled compared to case 1, so the frame rate is halved.
  • the frame rate in Case 1 is 100 FPS (frames per second), while in Case 2 it is 50 FPS. In this way, there are cases where the frame rate suddenly changes with a change of only about 4 pixels.
  • a readout area that has the same horizontal length as the ROI and includes the ROI is set as an area to be read from the CIS 104, that is, to be output.
  • a reduction in the frame rate is prevented. Specifically, as shown in FIGS. 4A and 4B, increasing the readout region height Y lengthens the VD cycle, resulting in an increase in the frame rate.
  • the user inputs processing conditions via the terminal 20 or the like.
  • the processor 101 and the adjustment unit 105 receive processing conditions from the terminal 20 and set them as conditions to be used in subsequent steps (S1).
  • the processing conditions include setting the frame rate, mode, and ROI position and range.
  • the ROI is set within the readout region Y of the CIS 104, as shown in FIG. 4(a).
  • the adjusting unit 105 adjusts the reading area for reading from the CIS 104 (S2).
  • the size of the readout area Y is set so as to optimize the frame rate.
  • the setting of the read area Y is based on the processing conditions set in step S1.
  • the readout area Y set in the adjustment process (S2) is used in the processes after step S3.
  • the processor 101 causes the CIS 104 to pick up an image of the subject and output the picked-up image within the readout area Y that has been set. In this manner, the captured image within the readout region Y is read out from the CIS 104 .
  • step S4 the adjustment unit 105 executes a process of cutting out an ROI image from the captured image output from the CIS 104 (Fig. 4(a)).
  • the clipped ROI image is further transmitted to the terminal 20 by the image processing unit 106 (S5).
  • Adjustment processing details Details of the adjustment processing (S2) will be described below using the flowchart in FIG. 8 and the formulas in FIG. 9A.
  • step S21 of the adjustment process the adjustment unit 105 calculates the number (n) of VD cycles required to output one image of the ROI (equation 21 in FIG. 9A). Equation 21 used for the calculation can be derived by substituting the ROI height for the region height in Equation 11.
  • the ideal height of the readout area Y is calculated. Specifically, when the number n of VD cycles is 1 or less (S22: NO), the ideal height of the readout region Y is matched with the ROI height set in step S21 (S24, equation 22).
  • the ideal height is matched with the value of Equation 23 (S23).
  • the ideal height set in step S23 corresponds to the readout area height obtained by subtracting one from the number n of VD cycles calculated in step S21.
  • the range of the readout region including the region of interest is adjusted within the imaging region so that it is within (n-1) cycles of an integer multiple.
  • an integer of 2 or more may be subtracted from the number n of VD cycles. That is, the range of the readout area may be adjusted so that the exposure time is within (n-2) cycles or within (n-3) cycles.
  • step S25 the ideal height is compared with the height of the imaging region X, that is, the maximum height of the image that the CIS 104 can output. If the ideal height is greater than the maximum height (S25: YES), the height of the readout region Y is set to the height of the ROI (S26, Equation 24). If the ideal height is equal to or less than the maximum height (S25: NO), the read area height is matched with the ideal height (S27, Equation 25).
  • step S28 the area height to be added to set the readout area Y (additional height a+b) is calculated. Specifically, the additional height is obtained as the difference between the readout region height and the ROI height (equation 26).
  • the readout area Y is set by adding the upper area a and the lower area b for the additional height to the ROI.
  • the height distribution of the upper region a and the lower region b that is, how to distribute a and b in Equation 26 and FIG. set.
  • the exposure time of the CIS 104 can be set within one cycle of the VD cycle, or the exposure time of the CIS 104 can be set within an integral multiple of the VD cycle.
  • FIG. 9B shows a calculation example under the same conditions as Case 2 in FIG. 6 (3 ⁇ 3 mode, ROI height of 684 pixels, exposure time of 10 milliseconds).
  • the additional height is calculated to change the number n of VD cycles from two to one.
  • the VD cycle becomes substantially the same as the exposure time, optimizing the frame rate.
  • the VD period is adjusted by adjusting the height of the readout area, but the HD period may be additionally adjusted. As another method, only the HD period may be adjusted without adjusting the VD period as described in the first embodiment.
  • a second embodiment will be described below. (When performing both VD cycle adjustment and HD cycle adjustment)
  • FIGS. 10 and 11 The processing flow in the second embodiment is shown in FIGS. 10 and 11.
  • FIG. First the second embodiment will be described in which the VD cycle is adjusted by adjusting the height of the readout region in the same manner as in the first embodiment, and the HD cycle is further adjusted.
  • step S6 is newly added as additional adjustment processing between steps S2 and S3.
  • the processing executed in steps S1 to S5 is the same as the processing in the first embodiment (FIG. 7), and part of the description will be omitted.
  • the adjusting unit 105 adjusts the reading area to be read from the CIS 104 (S2).
  • the size of the readout area Y is set so that the frame rate is optimized.
  • the HD cycle is adjusted for the portion where the adjustment of the VD cycle is insufficient, as described below.
  • step S6 the reading area height set in step S2 and the ideal height are compared (S61). If the reading area height and the ideal height match (S61: YES), the process proceeds to the next step S3.
  • the adjusting unit 105 adjusts the VD cycle and changes the HD clock cycle in step 2 so as to achieve the desired frame rate. (S62).
  • the HD cycle is changed as shown in FIG. For example, if the clock cycle is doubled, the HD cycle can also be doubled.
  • the adjustment unit 105 can set the exposure time of the CIS 104 within the VD cycle or the exposure time of the CIS 104 within an integral multiple of the VD cycle. (When adjusting only the HD cycle without adjusting the VD cycle)
  • the improved second embodiment it is also possible to adjust only the HD period without adjusting the VD period explained in the first embodiment, that is, without adjusting the range of the readout area Y.
  • the processor 101 omits the processing of step S2 shown in FIG. 10 (that is, adjustment of the VD cycle), and only changes the HD clock cycle as shown in FIGS.
  • the readout region Y in FIG. 4A coincides with the region of the ROI.
  • the adjustment unit 105 Upon receiving the instruction from the processor 101, the adjustment unit 105 changes the HD clock cycle (S62). By changing the setting of the HD clock cycle, the HD cycle is changed as shown in FIG. For example, if the clock cycle is doubled, the HD cycle can also be doubled. By this processing, the adjustment unit 105 can set the exposure time of the CIS 104 within the VD cycle or the exposure time of the CIS 104 within an integral multiple of the VD cycle.
  • the imaging device 10 includes the CIS 104 (an example of an imaging device) that outputs a picked-up image within the imaging region, the processor 101, the adjustment unit 105, and the image processing unit 106 (all of which are examples of the control unit). .
  • the control unit performs processing (S1) for setting an ROI in the imageable range of the CIS 104, and the exposure time of the CIS 104 is within the VD cycle, that is, the cycle of the vertical drive signal, or the required number of VD cycles. and a process (S2) of setting a readout area including the ROI so as to be within a cycle of an integral multiple obtained by subtracting .
  • the processor 101 also executes a process (S4) of reading an image in the readout area from the output of the CIS 104 and an output process (S5) of outputting the image.
  • the control unit changes the clock cycle of the HD so that the exposure time of the CIS 104 is within the cycle of the vertical drive signal, or within an integral multiple cycle obtained by subtracting the number of required VD cycles. do.
  • the imaging device 10 having the above configuration can optimize the frame rate during image transmission by increasing it according to the size of the ROI. Therefore, the quality at the time of transmission is improved.
  • FIG. 13 shows a comparison of the frame rate when the readout area height is adjusted according to the configuration of the embodiment and when the adjustment is not performed. If the readout area height is not adjusted, a phenomenon occurs in which the frame rate decreases even though the ROI height is reduced. On the other hand, it can be seen that when the readout area height is adjusted, the frame rate is optimized and takes the maximum value regardless of the size of the ROI.
  • control unit In the output process (S5), the control unit outputs the image within the ROI among the read images.
  • the imaging device 10 can transmit the image corresponding to the ROI set by the user while maintaining the optimum frame rate.
  • the control unit sets the vertical length of the readout area to be equal to or greater than the vertical length of the ROI (S24, S27). At this time, the horizontal lengths of the ROI and the readout area can be matched.
  • the imaging device 10 can set the optimum VD cycle and optimize the frame rate.
  • the control unit sets the readout area so that the exposure time of the CIS 104 and the VD cycle match (S27, S62).
  • the imaging device 10 can set the optimum VD cycle and maximize the frame rate.
  • the control unit sets the clock cycle of the CIS 104 so that the exposure time of the CIS 104 is within the VD cycle or an integral multiple of the VD cycle (S62).
  • the VD cycle can be extended by changing the clock cycle. Since the range of VD cycles that can be changed can be expanded, it is possible to support ROIs of various sizes and optimize the frame rate. For example, as in step S26, even if the ROI exceeds the limit of the image size that can be captured by the CIS 104, the VD cycle can be changed to optimize the frame rate.
  • the imaging device 10 images the subject of the microscope 30 as an example.
  • imaging device 10 can directly image a subject, or can perform imaging via a device other than a microscope.
  • the CIS 104 is used as an example of the image sensor in the above embodiment, another type of sensor may be used as the image sensor.
  • This case does not limit the number of devices or the number of terminals.
  • only one device may implement the functions described above.
  • the number of terminals 20 may be further increased.
  • each function does not necessarily have to be implemented by the imaging device 10 or the like, and may be implemented by another device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【解決手段】撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子と、制御部と、を備え、前記制御部は、前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する走査信号出力処理と、前記撮像領域において、注目領域を設定する処理と、前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する調整処理と、前記撮像素子から前記読出領域内の画像を読出す処理と、を実行する撮像装置。

Description

撮像装置、画像処理方法、プログラム
　本発明は、撮像装置、画像処理方法、プログラムに関する。
　顕微鏡を介して撮像し、画像を外部へ送信する撮像装置が知られている（特許文献１）。
特開２００８－２５７１３０号公報
　本開示の技術は、新規な撮像装置、画像処理方法、またはプログラムを提供する。
　本発明の一実施態様は、撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子と、制御部と、を備え、前記制御部は、前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する走査信号出力処理と、前記撮像領域において、注目領域を設定する処理と、前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する調整処理と、前記撮像素子から前記読出領域内の画像を読出す処理と、を実行する撮像装置である。
　また、本発明の一実施態様は、撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子を備えたシステムにおいて実行する方法であって、前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する走査信号出力処理と、前記撮像領域において、注目領域を設定する処理と、前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する調整処理と、前記撮像素子から前記読出領域内の画像を読出す処理と、を含む画像処理方法である。
　また、本発明の一実施態様は、撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子と、制御部とを備えたシステムにおいて、前記制御部に対して、前記撮像領域において、前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する走査信号出力処理と、前記撮像領域において、注目領域を設定する処理と、前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する調整処理と、前記撮像素子から前記読出領域内の画像を読出す処理と、を実行させるプログラムである。
　また、本発明の一実施態様は、撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子を備えたシステムにおいて前記撮像画像の読出しを実行する方法であって、前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する処理と、前記撮像領域において、注目領域を設定する処理と、前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記水平駆動信号の読出しクロック周期を調整する処理と、を含む画像処理方法である。
第１実施形態に係る情報処理システムの全体構成図である。 第１実施形態に係る情報処理システムのブロック図である。 第１実施形態に係る撮像装置の機能構成を示すブロック図である。 （ａ）撮像領域、読出領域、及びＲＯＩの関係を示す図と、（ｂ）読出領域高さとフレームレートの関係を示す図である。 ＣＩＳの出力方法を説明する図である。 垂直駆動信号とフレームレートの関係を説明する図である。 第１実施形態に係る処理を示すフローチャートである。 第１実施形態に係る処理のうち、調整処理の詳細を示すフローチャートである。 第１実施形態に係る処理において用いられる数式である。 図９Ａの数式による計算例である。 第２実施形態に係る処理を示すフローチャートである。 第２実施形態に係る処理のうち、追加調整処理の詳細を示すフローチャートである。 クロック周期とフレームレートの関係を説明する図である。 ＲＯＩ高さ（横軸）とフレームレート（縦軸）との関係を示すグラフである。実線が読出領域の調整を行わない場合を示し、点線が読出領域高さの調整を行った場合を示す。
  以下、本発明をその実施形態に即して図面を参照しつつ説明する。
　＜第１実施形態＞
  〔構成〕
  図１及び図２に本発明の一実施形態に係る情報処理システム１の構成を示す。情報処理システム１は、撮像装置１０、端末２０、及び顕微鏡３０を備える。端末２０および撮像装置１０は、ネットワーク５を介して互いにデータの送受信が可能となるように接続されている。
　ネットワーク５は、無線方式または有線方式の通信手段であり、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆通信網、専用線等である。なお、本実施形態による情報処理システム１は１つの端末２０を備えるが、本発明はこれらの装置の数を限定するものではない。
　端末２０は、パーソナルコンピュータなどの装置であり、撮像装置１０で撮影された動画または画像の取得、加えて、動画または画像の編集及び解析の処理を行う。ユーザは端末２０を介して動画または画像を確認したり、撮像装置１０に対する命令や処理条件を送信したりできる。
　ユーザは、端末２０を介して注目領域（ＲＯＩ）を設定できる。注目領域は、図４（ａ）に示すように、撮像装置１０が撮像（撮影ともいう）可能な範囲の内、ユーザが画像の取得または表示を希望する領域である。
　撮像装置１０は、顕微鏡３０を用いて被写体（培養容器内の試料など）を撮像するＣＭＯＳカメラである。顕微鏡３０は電子顕微鏡でもよく、光学顕微鏡であってもよい。
　顕微鏡３０を構成する各種光学部材は電動化されていてもよい。顕微鏡３０を電動化した場合の例として、顕微鏡３０は対物レンズ、光学フィルターなどの観察光学系の駆動や試料を載置するステージの駆動が電動化され、被写体を載置するステージの移動を行う種々の電動光学部材が搭載され、顕微鏡３０の各装置の動作を制御可能である。
　図３は、撮像装置１０の実現に用いる機能ブロックの一例である。同図に示すように、撮像装置１０は、プロセッサ１０１、ＲＯＭ１０２（Read Only Memory）、ＲＡＭ１０３（Random Access Memory）、ＣＩＳ１０４（ＣＭＯＳイメージセンサ）、調整部１０５、画像処理部１０６、及びフレームバッファ１０７を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。
　プロセッサ１０１は、ＣＰＵ（Central Processing Unit）を用いて構成される。プロセッサ１０１が、ＲＯＭ１０２に格納されているプログラムを読み出して実行することにより、撮像装置１０の機能が実現される。プロセッサ１０１としては、ＭＰＵ（Micro Processing Unit）等が用いられてもよい。
　プロセッサ１０１は、調整部１０５、画像処理部１０６、フレームバッファ１０７など、撮像装置１０の各部品及び機能部を制御する。なお、プロセッサ１０１、調整部１０５、及び画像処理部１０６は、制御部の一例である。
　ＲＯＭ１０２及びＲＡＭ１０３は、それぞれ、プログラムやデータを記憶する装置である。ＲＯＭ１０２にはプログラムが保存される。ＲＡＭ１０３は、揮発性メモリである。
　ＣＩＳ１０４は、顕微鏡３０を介して被写体を撮像し、得られた撮像画像の全部または一部を電気信号として出力するセンサである。ＣＩＳ１０４は、外部からの指示を受け、読出領域（ＲＯＩを含む）Ｙに対応する出力する画像の位置と大きさを変えることができるが、出力可能な画像の最大の範囲は撮像領域Ｘとして予め規定されている（図４（ａ））。換言すれば、ＣＩＳ１０４は、撮像領域内において読出領域Ｙの撮像画像を出力する。
　ＣＩＳ１０４からの出力は、図５に示すように実行される。具体的に述べると、読出領域Ｙの撮像画像の出力は、垂直方向に複数本並ぶ水平の走査線を画像上に設定し、これらの走査線に沿って走査することで実行される。ＣＩＳ１０４は、出力する画像領域の最上部から最下部まで１本ずつ、走査線に沿って水平に走査を実行する。
　１つの画像の出力開始時には、図５に示すように、垂直駆動信号（ＶＤ： Vertical Driving pulse）が発信される。さらに詳細にみると、１画像（フレーム）の出力は、各走査線に対応する情報の束で成り立っており、１つの走査線に対応する情報を出力する度に水平駆動信号（ＨＤ： Horizontal Driving pulse）が発信される。１つの走査線に対応する出力には、複数の読出しクロックが含まれる。
　すなわち、ＨＤ周期は読出しクロック周期を変更することで調整可能であり、
ＨＤ周期 = 読出しクロック周期 × １つの走査線の読み出しに必要なクロック数となる。
　なお、以下では、ＶＤの周期及びＨＤの周期を、それぞれＶＤ周期及びＨＤ周期と称する場合がある。また、１つのＶＤから次のＶＤまでにかかる時間、すなわち１画像の送信に必要な時間を、ＶＤ期間と称する場合がある。
　ＶＤ周期は、図６の式１１に示すように、ＣＩＳ１０４の出力モードによってパラメータが設定され、出力する画像領域の垂直長さ（図４（ａ）の読出領域Ｙの垂直方向の高さ）とＨＤ周期との関数として表される。ＣＩＳ１０４の出力モードには、１画素ずつ出力するモード（図中、１×１と記載）、水平垂直方向に２×２画素ずつ出力するモード、及び、３×３画素分ずつ出力するモードの３種が設定される。
すなわち、ＶＤ周期は撮像装置１０から撮像画像を読出すための読出しクロック周期と読み出し領域の垂直長さとの関数で表される。
　調整部１０５は、ＣＩＳ１０４に出力させる画像領域の設定及び変更を行うとともに、ＨＤ周期、ＶＤ周期、または読出しクロックの設定及び変更を行う。詳細は後述する。
　画像処理部１０６は、ＣＩＳ１０４が出力した画像から、ＲＯＩ内の画像（ＲＯＩ画像）を読み出し、出力する機能を有する。出力の方法には種々な形式があるが、本実施形態において画像処理部１０６は、端末２０へ画像を送信する。
　フレームバッファ１０７は、画像を記憶する領域であり、画像処理部１０６で実行される処理のために補助的に使用される。
　＜処理＞
  撮像装置１０で実行される処理について説明する。撮像装置１０がユーザの指示を受け取ると、ＲＯＭ１０２のプログラムがＲＡＭ１０３に転送されてプロセッサ１０１に読み出されることで、プログラムが実行される。プログラムを読み出したプロセッサ１０１がＲＯＭ１０２～フレームバッファ１０７の各部を制御することによって、以下の処理が実行される。
　なお、以下では、プロセッサ１０１が調整部１０５を制御して処理を実行する場合、単に調整部１０５が行う処理として説明する場合がある。他の機能部、部品についても同様である。
　撮像装置１０の処理では、次に述べるようにフレームレートの最適化が行われる。例えば、図６に示すように、本発明の調整を行わない場合（すなわち、図４（ａ）の付加高さａ＋ｂの調整を行わず、読出領域ＹをＲＯＩとする場合）についてケース１とケース２を説明する。撮像時の露光時間１０ｍｓ（ミリ秒）、出力モード３×３、出力するＲＯＩの高さ６８８ピクセルの場合を想定すると、ＣＩＳ１０４による１画像の出力時間は、１つのＶＤ周期に収まる（ケース１）。一方、同じ露光時間及び出力モードで、ＲＯＩの高さを６８４ピクセルとした場合、１画像の出力には２つのＶＤ周期の数が必要である（ケース２）。
　ケース２では、１画像の出力に必要なＶＤ周期の数がケース１に比べて倍増するため、フレームレートは半減してしまう。具体的には、ケース１でのフレームレートは１００ＦＰＳ（frames per second）であるのに対し、ケース２では５０ＦＰＳとなる。このように単に4ピクセル程度の変化でフレームレートが急激に変化するケースも発生する。
　撮像装置１０の処理では、ＲＯＩと同じ水平長さを持つとともにＲＯＩを包含する読出領域が、ＣＩＳ１０４から読出すべき、すなわち、出力させるべき領域として設定される。処理では、この読出領域Ｙの高さを適切な値とすることにより、フレームレートの減少が防止されている。具体的には、図４（ａ）、（ｂ）に示すように、読出領域高さＹを増やすとＶＤ周期が延び、その結果、フレームレートが増加する。
　上記のようにフレームレートを増加させるため、以下のように処理が行われ、適切な読出領域高さＹが設定される。
　（処理フロー）
  まず、処理の全体について、図７のフローチャートを用いて説明する。
　まず、ユーザが端末２０などを介して処理条件を入力する。プロセッサ１０１及び調整部１０５は、端末２０から処理条件を受信し、次のステップ以降に使用する条件として設定する（Ｓ１）。処理条件には、フレームレート、モード、及び、ＲＯＩの位置と範囲の設定が含まれる。ＲＯＩは、図４（ａ）に示すように、ＣＩＳ１０４の読出領域Ｙ内において設定される。
　次に、調整部１０５によって、ＣＩＳ１０４から読み出す読出領域の調整が行われる（Ｓ２）。詳細は後述するが、読出領域Ｙの大きさについて、フレームレートが最適化されるように設定される。読出領域Ｙの設定はステップＳ１で設定された処理条件に基づく。
　調整処理（Ｓ２）で設定された読出領域Ｙは、ステップＳ３以降の処理に利用される。
図４（ａ）に示すように、ステップＳ３では、プロセッサ１０１はＣＩＳ１０４に被写体の撮像を行わせ、設定された読出領域Ｙ内の撮像画像を出力させる。このようにして、読出領域Ｙ内の撮像画像がＣＩＳ１０４から読み出される。
　ステップＳ４では、調整部１０５によって、ＣＩＳ１０４の出力した撮像画像からＲＯＩ画像を切り出す処理が実行される（図４（ａ））。
　切り出されたＲＯＩ画像は、さらに画像処理部１０６によって端末２０へ送信される（Ｓ５）。
　（調整処理詳細）
  調整処理（Ｓ２）の詳細を、図８のフローチャート及び図９Ａの数式を用いて以下に説明する。
　まず、調整処理のステップＳ２１において、調整部１０５は、ＲＯＩの１画像を出力するために必要なＶＤ周期の数（ｎ）を計算する（図９Ａの式２１）。計算に用いられる式２１は、式１１において、領域高さをＲＯＩ高さに置換することによって導出することができる。
　ステップＳ２２では、読出領域Ｙの理想高さが計算される。具体的には、ＶＤ周期の数ｎが１以下の場合（Ｓ２２：ＮＯ）、読出領域Ｙの理想高さをステップＳ２１で設定されたＲＯＩ高さと一致させる（Ｓ２４、式２２）。
　一方、ＶＤ周期の数ｎが１より大きい場合（Ｓ２２：ＹＥＳ）、理想高さを式２３の値に一致させる（Ｓ２３）。式２３に明らかなように、ステップＳ２３で設定される理想高さは、ステップＳ２１で算出されたＶＤ周期の数ｎを１つ減らして得られる読出領域高さに相当する。
　すなわち、調整処理では、注目領域の画像を読み出す際に、撮像装置１０の撮像時の露光時間に必要なＶＤ周期の数ｎが１以内の場合には、露光時間が１周期以内に、またはｎが１を超えた場合には整数倍の（ｎ－１）周期以内となるように、注目領域を包含する読出領域の範囲を撮像領域内において調整する。
　なお、この処理において、ＶＤ周期の数ｎを１減ずるのではなく、ＶＤ周期の数ｎから２以上の整数を減じてもよい。すなわち、露光時間が（ｎ－２）周期以内や（ｎ－３）周期以内となるように、読出領域の範囲を調整してもよい。
　ステップＳ２５では、撮像領域Ｘの高さ、すなわちＣＩＳ１０４が出力できる画像の最大高さに対する理想高さの比較が行われる。理想高さが最大高さよりも大きい場合（Ｓ２５：ＹＥＳ）、読出領域Ｙの高さはＲＯＩの高さに設定される（Ｓ２６、式２４）。理想高さが最大高さ以下の場合（Ｓ２５：ＮＯ）、読出領域高さを理想高さに一致させる（Ｓ２７、式２５）。
　ステップＳ２８では、読出領域Ｙを設定するために付加すべき領域高さ（付加高さａ＋ｂ）が計算される。具体的には、付加高さは、読出領域高さとＲＯＩの高さとの差分として求められる（式２６）。このように、付加高さ分の上方領域ａ及び下方領域ｂをＲＯＩに付加することによって、読出領域Ｙは設定される。なお、上方領域ａ及び下方領域ｂの高さ配分については、すなわち式２６及び図４（ａ）においてａ、ｂをどのように配分するかについては、ＣＩＳ１０４の仕様や撮像条件等に応じて適宜設定される。
　上記のような処理が実行されることにより、ＣＩＳ１０４の露光時間をＶＤ周期の１周期以内に、またはＣＩＳ１０４の露光時間をＶＤ周期の整数倍以内とすることができる。
　上記処理の一例として、図６のケース２と同じ条件（３×３モード、ＲＯＩ高さ６８４ピクセル、露光時間１０ミリ秒）における計算例を図９Ｂに示す。計算例ではＶＤ周期の数ｎを２から１に変更するように付加高さが計算される。その結果、図６のケース１と同様、ＶＤ周期が露光時間とほぼ同じとなり、フレームレートが最適化される。
　＜第２実施形態＞
  第１実施形態においては、読出領域高さの調整を行うことによってＶＤ周期を調整したが、さらに加えてＨＤ周期の調整が行われてもよい。
また、別の方法として、第１実施形態で説明したＶＤ周期の調整をせずに、ＨＤ周期のみ調整してもよい。
第２実施形態として以下に説明する。
（ＶＤ周期の調整とＨＤ周期の調整の両方を実行する場合）
　第２実施形態における処理フローを図１０及び図１１に示す。まず、第１実施形態同様に読出領域高さの調整を行うことによってＶＤ周期を調整し、さらにＨＤ周期の調整を行う第２実施形態を説明する。
　このフローチャートでは、ステップＳ２、Ｓ３との間に新たに追加調整処理としてステップＳ６が加えられる。ステップＳ１～Ｓ５において実行される処理は第１実施形態（図７）での処理と同じであり、説明を一部省略する。
　図１０に示されるように、調整部１０５によって、ＣＩＳ１０４から読み出す読出領域の調整が行われる（Ｓ２）。読出領域Ｙの大きさについて、フレームレートが最適化されるように設定される。
　例えば、所望のフレームレートが設定された場合には、次に説明するようにＶＤ周期の調整で足らない部分についてＨＤ周期の調整が行われる。
　図１１に示すように、ステップＳ６の追加調整処理では、ステップＳ２で設定された読出領域高さと理想高さとを比較する（Ｓ６１）。読出領域高さと理想高さとが一致している場合（Ｓ６１：ＹＥＳ）、次のステップＳ３へ処理が進められる。
　読出領域高さが理想高さと一致していない場合（Ｓ６１：ＮＯ）、調整部１０５は、所望のフレームレートになるように、ステップ２でＶＤ周期の調整に加えてＨＤのクロック周期を変更する（Ｓ６２）。ＨＤのクロック周期の設定が変更されることによって、図１２に示すようにＨＤ周期が変更される。例えば、クロック周期を２倍にすればＨＤ周期も２倍にすることができる。この処理により、調整部１０５は、ＣＩＳ１０４の露光時間をＶＤ周期以内に、またはＣＩＳ１０４の露光時間をＶＤ周期の整数倍以内とすることができる。
（ＶＤ周期の調整を行わずに、ＨＤ周期の調整のみを実行する場合）
　次に、改良された第２実施形態では、第１実施形態で説明したＶＤ周期の調整すなわち、読出領域Ｙの範囲を調整せずに、ＨＤ周期のみ調整することも可能である。
　プロセッサ１０１は、図１０に示すステップＳ２の処理（すなわち、ＶＤ周期の調整）を省略し、図１１および図１２で示すようにＨＤのクロック周期の変更のみを行う。この場合は図４（ａ）の読出領域ＹとＲＯＩの領域とは一致している。
　プロセッサ１０１の指示を受けた調整部１０５は、ＨＤのクロック周期を変更する（Ｓ６２）。ＨＤのクロック周期の設定が変更されることによって、図１２に示すようにＨＤ周期が変更される。例えば、クロック周期を２倍にすればＨＤ周期も２倍にすることができる。この処理により、調整部１０５は、ＣＩＳ１０４の露光時間をＶＤ周期以内に、またはＣＩＳ１０４の露光時間をＶＤ周期の整数倍以内とすることができる。
　＜効果＞
  上記実施形態において、撮像装置１０は、撮像領域内の撮像画像を出力するＣＩＳ１０４（撮像素子の一例）と、プロセッサ１０１、調整部１０５及び画像処理部１０６（いずれも制御部の一例）とを備える。制御部は、ＣＩＳ１０４の撮像可能な範囲に対してＲＯＩを設定する処理（Ｓ１）と、ＣＩＳ１０４の露光時間がＶＤ周期、すなわち垂直駆動信号の周期以内となるように、または必要なＶＤ周期の数を減じて得られる整数倍の周期以内となるように、ＲＯＩを包含する読出領域を設定する処理（Ｓ２）とを実行する。また、プロセッサ１０１は、ＣＩＳ１０４の出力から読出領域内の画像を読み出す処理（Ｓ４）と、画像を出力する出力処理（Ｓ５）と、を実行する。あるいは、制御部は、ＣＩＳ１０４の露光時間が垂直駆動信号の周期以内となるように、または必要なＶＤ周期の数を減じて得られる整数倍の周期以内となるように、ＨＤのクロック周期を変更する。
　上記構成を備える撮像装置１０は、画像送信時のフレームレートを、ＲＯＩのサイズに応じて増加させ、最適化することができる。そのため、送信時の品質が向上する。具体例として、実施形態の構成によって読出領域高さの調整を行った場合と、調整を行わなかった場合とにおけるフレームレートの比較を図１３に示す。読出領域高さの調整を行わない場合、ＲＯＩ高さが小さくなっているにもかかわらずフレームレートが減少するという現象が起こる。一方、読出領域高さを調整した場合、フレームレートは最適化され、ＲＯＩの大きさに関わらず最大値を取ることが分かる。
　制御部は、出力処理（Ｓ５）において、読出画像のうち、ＲＯＩ内の画像を出力する。
　上記のように読出画像からＲＯＩを抽出する処理を実行することにより、撮像装置１０は、最適なフレームレートを維持しつつ、ユーザの設定したＲＯＩに対応した画像を送信することができる。
　制御部は、読出領域の垂直長さをＲＯＩの垂直長さ以上とする（Ｓ２４、Ｓ２７）。このとき、ＲＯＩ及び読出領域の水平長さを一致させることができる。
　上記処理により、撮像装置１０は、最適なＶＤ周期を設定し、フレームレートを最適化することができる。
　制御部は、ＣＩＳ１０４の露光時間とＶＤ周期とが一致するように読出領域を設定する（Ｓ２７、Ｓ６２）。
　上記処理により、撮像装置１０は、最適なＶＤ周期を設定し、フレームレートを最大化することができる。
　制御部は、ＣＩＳ１０４の露光時間がＶＤ周期以内となるように、またはＶＤ周期の整数倍となるようにＣＩＳ１０４のクロック周期を設定する（Ｓ６２）。
　上記処理では、クロック周期を変えることによってＶＤ周期を延ばすことができる。変更できるＶＤ周期の範囲を広げることができるため、様々なサイズのＲＯＩに対応し、フレームレートを最適化することができる。例えば、ステップＳ２６のように、ＣＩＳ１０４の撮像できる画像サイズの限界をＲＯＩが超えている場合でも、ＶＤ周期を変更し、フレームレートを最適化することが可能となる。
　上記実施形態では、撮像装置１０は、一例として顕微鏡３０の被写体を撮像していた。
代わりに、撮像装置１０は直接被写体を撮像したり、顕微鏡以外の装置を介して撮像を行ったりすることもできる。
　上記実施形態では、撮像素子の一例としてＣＩＳ１０４を用いているが、別種のセンサが撮像素子として用いられてもよい。
　本件は装置数や端末数を限定するものではない。例えば、１つの装置のみによって、上記のような機能を実現してもよい。また、端末２０の数をさらに増やしてもよい。また、各機能は、必ずしも撮像装置１０などによって実現される必要はなく、別の装置において実現され得る。また、複数の装置で分担して、機能を実現する態様とすることができる。
すなわち、本発明は制御部または装置の数、装置間での機能の分担を限定するものではない。
　１　情報処理システム
　１０　撮像装置
　２０　端末
　３０　顕微鏡 

Claims (14)

  1. 　撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子と、
    　制御部と、を備え、
    　前記制御部は、
    　前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する走査信号出力処理と、
    　前記撮像領域において、注目領域を設定する処理と、
    　前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する調整処理と、
    　前記撮像素子から前記読出領域内の画像を読出す処理と、
    　を実行する撮像装置。
  2. 　前記制御部は、前記調整処理において、
    前記注目領域の画像を読み出す際に、前記露光時間が、前記撮像素子の露光時間に必要な前記垂直駆動信号の周期の数ｎが１以内の場合には１周期以内、またはｎが１を超えた場合には整数倍の（ｎ－１）周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する、請求項１記載の撮像装置。
  3. 　前記制御部は、前記読出す処理において
    　前記画像のうち、前記注目領域内の画像を出力する処理をさらに実行する、請求項1または２記載の撮像装置。
  4. 　前記垂直駆動信号の周期は前記撮像素子から撮像画像を読出すための読出しクロック周期と前記読出領域の垂直長さとの関数として表され、
    　前記制御部は、前記調整処理において、
    前記読出領域の垂直長さを前記注目領域の垂直長さ以上とする、請求項１乃至３のいずれか一項に記載の撮像装置。
  5. 　前記制御部は、前記調整処理において、
    　前記注目領域及び前記読出領域の水平長さを一致させる、請求項４に記載の撮像装置。
  6. 　前記制御部は、前記調整処理において、
    　前記露光時間が前記周期と一致するように前記読出領域の範囲を設定する、請求項１乃至５のいずれか一項に記載の撮像装置。
  7. 　前記制御部は、前記調整処理において、
    　前記撮像素子の露光時間が前記周期以内または前記周期の整数倍となるように、前記水平駆動信号のクロック周期を設定する処理をさらに実行する、請求項１乃至６のいずれか一項に記載の撮像装置。
  8. 　撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子を備えたシステムにおいて前記撮像画像の読出しを実行する画像処理方法であって、
    　前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する処理と、
    　前記撮像領域において、注目領域を設定する処理と、
    　前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する処理と、
    　前記撮像素子から前記読出領域内の画像を読出す処理と、を含む画像処理方法。
  9. 　前記調整処理において、
    前記注目領域の画像を読み出す際に、前記露光時間が、前記撮像素子の露光時間に必要な前記垂直駆動信号の周期の数ｎが１以内の場合には１周期以内、またはｎが１を超えた場合には整数倍の（ｎ－１）周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する、請求項８記載の画像処理方法。
  10. 　前記読出す処理において
    　前記画像のうち、前記注目領域内の画像を出力する処理をさらに実行する、請求項８または９に記載の画像処理方法。
  11. 　前記調整処理において、
    前記垂直駆動信号の周期は前記撮像素子から撮像画像を読出すための読出しクロック周期と前記読出領域の垂直長さとの関数として表され、
    前記読出領域の垂直長さを前記注目領域の垂直長さ以上とする、請求項８乃至１０のいずれか一項に記載の画像処理方法。
  12. 　前記調整処理において、
    　前記撮像素子の露光時間に必要な前記垂直駆動信号の周期の１周期内または前記周期の整数倍となるように、前記水平駆動信号のクロック周期を設定する処理をさらに実行する、請求項８乃至１１のいずれか１項に記載の画像処理方法。
  13. 　撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子と、制御部とを備えたシステムにおいて、
    　前記制御部に対して、
    前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する処理と
    　前記撮像領域において、注目領域を設定する処理と、
    　前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記注目領域を包含する読出領域の範囲を前記撮像領域内において調整する調整処理と、
    　前記撮像素子から前記読出領域内の画像を読出す処理と、を実行させるプログラム。
  14. 　撮像を実行し、撮像領域内の撮像画像を出力可能な撮像素子を備えたシステムにおいて前記撮像画像の読出しを実行する方法であって、
    　前記撮像素子の撮像画像を読み出すために垂直駆動信号と水平駆動信号とを出力する処理と、
    　前記撮像領域において、注目領域を設定する処理と、
    　前記注目領域の画像を読み出す際に、前記撮像素子の露光時間が、前記露光時間に必要な前記垂直駆動信号の周期の１周期以内または前記露光時間に必要な前記垂直駆動信号の周期の数を減じて得られる整数倍の周期以内となるように、前記水平駆動信号の読出しクロック周期を調整する処理と、
    　を含む画像処理方法。 
PCT/JP2022/042700 2021-12-13 2022-11-17 撮像装置、画像処理方法、プログラム WO2023112590A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-201574 2021-12-13
JP2021201574 2021-12-13

Publications (1)

Publication Number Publication Date
WO2023112590A1 true WO2023112590A1 (ja) 2023-06-22

Family

ID=86774041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042700 WO2023112590A1 (ja) 2021-12-13 2022-11-17 撮像装置、画像処理方法、プログラム

Country Status (1)

Country Link
WO (1) WO2023112590A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294056A (ja) * 1995-04-21 1996-11-05 Sony Corp ビデオカメラおよびこれに用いる固体撮像素子の駆動方法
JP2010283724A (ja) * 2009-06-08 2010-12-16 Olympus Corp 撮像装置及び顕微鏡システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294056A (ja) * 1995-04-21 1996-11-05 Sony Corp ビデオカメラおよびこれに用いる固体撮像素子の駆動方法
JP2010283724A (ja) * 2009-06-08 2010-12-16 Olympus Corp 撮像装置及び顕微鏡システム

Similar Documents

Publication Publication Date Title
JP5715436B2 (ja) 撮像装置、及びその制御方法
JP4424292B2 (ja) 撮像装置、露出制御方法およびプログラム
US7728900B2 (en) Method and apparatus for taking pictures
KR100517391B1 (ko) 보간기능을갖는영상픽업장치
US8379111B2 (en) Image processing device, image processing method recording medium, and program
US20090167928A1 (en) Image processing apparatus and photographing apparatus
US20110085784A1 (en) Imaging device with image blurring reduction function
WO2013039061A1 (ja) 撮像装置、撮像方法及び記録媒体
US10694109B2 (en) Imaging apparatus
US9832382B2 (en) Imaging apparatus and imaging method for outputting image based on motion
US7388607B2 (en) Digital still camera
US8427554B2 (en) Imaging apparatus and control method therefor
US9420223B2 (en) Image recording device that records moving image, method of controlling the same, and storage medium
EP2202960A1 (en) Electronic camera
WO2023112590A1 (ja) 撮像装置、画像処理方法、プログラム
JP2007318292A (ja) 動きベクトル検出装置及びそのプログラム
US8041205B2 (en) Electronic camera
JP2006166108A (ja) 撮像装置および撮像制御方法
JP2006246148A (ja) 撮像装置
JP2007158964A (ja) 画像処理装置および撮像装置
KR20060087661A (ko) 자동 노출 제어 장치 및 방법
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
EP2276232B1 (en) Imaging apparatus and control method thereof
JP2008131475A (ja) 撮像装置
JP2024021486A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907121

Country of ref document: EP

Kind code of ref document: A1