JP4875399B2 - Imaging apparatus, control method therefor, and imaging system - Google Patents

Imaging apparatus, control method therefor, and imaging system Download PDF

Info

Publication number
JP4875399B2
JP4875399B2 JP2006121271A JP2006121271A JP4875399B2 JP 4875399 B2 JP4875399 B2 JP 4875399B2 JP 2006121271 A JP2006121271 A JP 2006121271A JP 2006121271 A JP2006121271 A JP 2006121271A JP 4875399 B2 JP4875399 B2 JP 4875399B2
Authority
JP
Japan
Prior art keywords
mode
imaging
unit
image
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006121271A
Other languages
Japanese (ja)
Other versions
JP2007295300A5 (en
JP2007295300A (en
Inventor
典央 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006121271A priority Critical patent/JP4875399B2/en
Application filed by Canon Inc filed Critical Canon Inc
Priority to US11/722,464 priority patent/US8314850B2/en
Priority to CN2012100965602A priority patent/CN102665043A/en
Priority to KR1020087028631A priority patent/KR101010988B1/en
Priority to EP07742564A priority patent/EP2016775A1/en
Priority to PCT/JP2007/059129 priority patent/WO2007126033A1/en
Priority to CN2007800149245A priority patent/CN101433095B/en
Publication of JP2007295300A publication Critical patent/JP2007295300A/en
Publication of JP2007295300A5 publication Critical patent/JP2007295300A5/ja
Application granted granted Critical
Publication of JP4875399B2 publication Critical patent/JP4875399B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、光電変換素子を有する撮像装置及びその制御方法並びに撮像システムに関し、特にCMOSイメージセンサを用いた撮像装置及びその制御方法並びに撮像システムに関する。   The present invention relates to an imaging apparatus having a photoelectric conversion element, a control method thereof, and an imaging system, and more particularly to an imaging apparatus using a CMOS image sensor, a control method thereof, and an imaging system.

デジタルカメラやデジタルビデオカメラなどの撮像装置における撮像処理では、撮像装置から原色フィルタを通過して出力された信号は、AD変換によってデジタル化され、図7(a)に示すようなブロックに分割される。ただし、各ブロックは、図7(b)に示すように色信号R、G1、G2、Bを1つずつ含む単位で構成される。これらのブロックそれぞれに対して、色評価値、数式1を算出する。   In imaging processing in an imaging device such as a digital camera or digital video camera, a signal output from the imaging device through a primary color filter is digitized by AD conversion and divided into blocks as shown in FIG. The However, each block is configured in units including one color signal R, G1, G2, B as shown in FIG. 7B. For each of these blocks, a color evaluation value, Formula 1, is calculated.

Figure 0004875399
… (数式1)
また、図8に示すように、あらかじめ白色を高色温度下から低色温度下まで撮影して、色評価値Cx、Cyをプロットすることによって、白軸を定めることができる(例えば、特許文献1参照)。実際の光源において白色には若干のばらつきが存在するため幅を持たせてある。これを白検出範囲と呼ぶ。このとき、各ブロックについてCx、Cy軸にプロットして、白検出範囲に入った場合、そのブロックが白色であると仮定する。さらに、白検出範囲に入った色画素の積分値SumR、SumG1、SumG2、SumBを算出して、数式2を用いることによってホワイトバランス係数を算出する。ただし、KWB_R、KWB_G1、KWB_G2、KWB_Bはそれぞれ色信号R、G1、G2、Bのホワイトバランス係数である。(以下、ホワイトバランスを「WB」という。)。
Figure 0004875399
... (Formula 1)
Further, as shown in FIG. 8, the white axis can be determined by photographing white in advance from a high color temperature to a low color temperature and plotting the color evaluation values Cx and Cy (for example, Patent Documents). 1). In an actual light source, white has a width because of slight variations. This is called a white detection range. At this time, when each block is plotted on the Cx and Cy axes and enters the white detection range, it is assumed that the block is white. Further, the integral values SumR, SumG1, SumG2, and SumB of the color pixels that have entered the white detection range are calculated, and the white balance coefficient is calculated by using Equation 2. However, KWB_R, KWB_G1, KWB_G2, and KWB_B are white balance coefficients of the color signals R, G1, G2, and B, respectively. (Hereafter, white balance is referred to as “WB”).

Figure 0004875399
… (数式2)
特開2003−244723号公報
Figure 0004875399
... (Formula 2)
JP 2003-244723 A

しかしながら、上記従来の方法では、画面内の白が少ない場合には、白検出範囲であると判定される色が少なく、白検出範囲内の色の積分値はゼロに近くなるため、正しくWB係数を算出することが困難になる。電子ズームを使用して撮影した時は、電子ズームを使用しない時に比べて白が存在する確率が低く、この場合に光源の色温度を特定することはより困難となる場合がある。例えば、人のアップを電子ズームにより撮影した場合、画面に対して白の割合が減少する。   However, in the above conventional method, when there are few whites in the screen, there are few colors that are determined to be in the white detection range, and the integrated value of the colors in the white detection range is close to zero. Is difficult to calculate. When shooting using the electronic zoom, the probability that white is present is lower than when the electronic zoom is not used, and in this case, it may be more difficult to specify the color temperature of the light source. For example, when a person's up is photographed by electronic zoom, the ratio of white to the screen decreases.

また、人のアップを電子ズームにより撮影した場合は、以下のような問題も生じる。すなわち、高色温度下においては、色評価値は図8の領域A付近に分布する。従って、シーンを高色温度光源であると判定できる。しかし、この光源下において、人の肌をCx、Cy軸にプロットすると、白検出範囲における低色温度側に分布する。従って、画面に白色が少なくかつ人肌がアップのシーンでは、画面の色評価値は図8の領域Bに分布する。つまり、肌色を低色温度下の白色と誤判別するため、人の肌を青白くしてしまうという問題である。従って、撮影者の意図しない画像となる可能性がある。   In addition, when a person's up is photographed by electronic zoom, the following problems also occur. That is, under high color temperature, the color evaluation value is distributed in the vicinity of the region A in FIG. Therefore, it can be determined that the scene is a high color temperature light source. However, when the human skin is plotted on the Cx and Cy axes under this light source, it is distributed on the low color temperature side in the white detection range. Therefore, in a scene where the screen has little white and the human skin is up, the color evaluation values of the screen are distributed in the region B in FIG. In other words, since the skin color is mistakenly determined as white under a low color temperature, the human skin becomes pale. Therefore, there is a possibility that the image is not intended by the photographer.

本発明は、上記のような電子ズーム等のように撮像面の一部分を用いて画像を生成する場合の問題に鑑みてなされたものであり、そのような場合においても適切なWB処理を行うことを目的とする。   The present invention has been made in view of the problem of generating an image using a part of an imaging surface, such as the electronic zoom as described above, and performs appropriate WB processing even in such a case. With the goal.

本発明の第1の側面は、撮像装置に係り、撮像面に複数の光電変換素子が配置され、前記撮像面の第1の領域内に配置された第1の光電変換素子群から画像信号を読み出す第1のモードと、前記撮像面の前記第1の領域よりも小さく前記第1の領域に含まれる第2の領域内に配置された第2の光電変換素子群から画像信号を読み出す第2のモードで駆動可能な撮像部と、前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御する制御部とを備え、前記制御部は、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする。 A first aspect of the present invention relates to an imaging apparatus, wherein a plurality of photoelectric conversion elements are arranged on an imaging surface, and an image signal is received from a first photoelectric conversion element group arranged in a first region of the imaging surface. A first mode for reading, and a second mode for reading an image signal from a second photoelectric conversion element group disposed in a second area smaller than the first area of the imaging surface and included in the first area. An image pickup unit that can be driven in the first mode, a white balance correction value is calculated based on an image signal obtained by driving the image pickup unit in the first mode, and the image pickup is performed using the white balance correction value. A control unit that controls to perform white balance processing of an image signal obtained by driving the unit in the second mode, and the control unit is m every predetermined second (m is an integer of 2 or more). When reading frame image signals , In n (n is an integer greater than or equal to 1 smaller than m) of the m frames, the image pickup unit is driven in the first mode to read an image signal, and in the mn frames of the m frames In the second mode, the image pickup unit is driven to control to read an image signal .

本発明の第2の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。   A second aspect of the present invention relates to an imaging system, and includes an optical system and the imaging device described above.

本発明の第3の側面は、撮像面に複数の光電変換素子が配置され、前記撮像面の第1の領域に配置された第1の光電変換素子群から画像信号を読み出す第1のモードと、前記撮像面の前記第1の領域よりも小さく前記第1の領域に含まれる第2の領域に配置された第2の光電変換素子群から画像信号を読み出す第2のモードで駆動可能な撮像部を備えた撮像装置の制御方法に係り、前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御するとともに、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする。 According to a third aspect of the present invention, there is provided a first mode in which a plurality of photoelectric conversion elements are arranged on the imaging surface, and an image signal is read from the first photoelectric conversion element group arranged in the first region of the imaging surface. Imaging that can be driven in a second mode that reads an image signal from a second photoelectric conversion element group that is arranged in a second region that is smaller than the first region of the imaging surface and included in the first region A white balance correction value based on an image signal obtained by driving the imaging unit in the first mode, and using the white balance correction value. When controlling to perform white balance processing of an image signal obtained by driving the imaging unit in the second mode, and reading out an image signal of m frames (m is an integer of 2 or more) every predetermined second And m In n frames (n is an integer of 1 or more smaller than m), the image pickup unit is driven in the first mode to read an image signal, and in the mn frames of the m frames, the first In the second mode, the image pickup unit is driven to control to read an image signal .

本発明によれば、適切なWB処理を行うことが可能な撮像装置及びその方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can perform suitable WB process, and its method can be provided.

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。本実施形態に係る撮像装置は、撮像面に光電変換素子等が配置された撮像部200と、撮像部200(図2を参照)を制御する制御部509(図5を参照)で構成される。図2は、X−Yアドレス型の走査方法を用いた撮像装置の撮像部200の構成を示す図である。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The imaging apparatus according to the present embodiment includes an imaging unit 200 in which a photoelectric conversion element or the like is disposed on an imaging surface, and a control unit 509 (see FIG. 5) that controls the imaging unit 200 (see FIG. 2). . FIG. 2 is a diagram illustrating a configuration of the imaging unit 200 of the imaging apparatus using the XY address type scanning method.

撮像部200には、単位画素201、光電変換素子202、転送スイッチ203、フローティングデフュージョン(FD)204、増幅用トランジスタ205、選択スイッチ206、リセットスイッチ207が配置される。208は信号線、209は増幅用トランジスタ205の負荷となる定電流源、210は選択スイッチ、211は出力アンプ、212は垂直走査回路、213は読み出し回路、214は水平走査回路である。なお、図2では図の簡略化のために、撮像部200には、単位画素201が4行×4列で配列されているが、これに限定されず、任意の数の単位画素201が配置されうる。   In the imaging unit 200, a unit pixel 201, a photoelectric conversion element 202, a transfer switch 203, a floating diffusion (FD) 204, an amplification transistor 205, a selection switch 206, and a reset switch 207 are arranged. Reference numeral 208 denotes a signal line, 209 denotes a constant current source serving as a load for the amplifying transistor 205, 210 denotes a selection switch, 211 denotes an output amplifier, 212 denotes a vertical scanning circuit, 213 denotes a readout circuit, and 214 denotes a horizontal scanning circuit. In FIG. 2, for simplification of the drawing, unit pixels 201 are arranged in 4 rows × 4 columns in the imaging unit 200, but the present invention is not limited to this, and an arbitrary number of unit pixels 201 are arranged. Can be done.

単位画素201は、光電変換素子としてのフォトダイオード(PD)PD202、転送スイッチ203、FD204、増ソースフォロアとして機能する増幅用トランジスタ205、選択スイッチ206、リセットスイッチ207で構成される。撮像装置に入射した光は、PD202で電荷に変換される。PD202で発生した電荷は、転送パルスφTXに応じて転送スイッチ203により転送され、FD204に一時的に蓄積される。FD204、増幅用トランジスタ205、及び定電流源209でフローティングディフュージョンアンプが構成される。そして、選択パルスφSELに応じて選択スイッチ206で選択された画素の信号電荷は、電圧に変換され、信号出力線208を経て読み出し回路213に出力される。さらに、水平走査回路214によって駆動された選択スイッチ210を選択的に導通して、出力信号が選択され、出力アンプ211を経て撮像装置外部に出力される。FD204に蓄積された電荷の除去は、リセットパルスφRES応じてリセットスイッチ207で行われる。また、垂直走査回路212は、転送スイッチ203、選択スイッチ206、リセットスイッチ207の選択を行う。   The unit pixel 201 includes a photodiode (PD) PD 202 as a photoelectric conversion element, transfer switches 203 and FD 204, an amplification transistor 205 that functions as an increase source follower, a selection switch 206, and a reset switch 207. Light incident on the imaging device is converted into electric charge by the PD 202. The electric charge generated in the PD 202 is transferred by the transfer switch 203 in response to the transfer pulse φTX, and is temporarily stored in the FD 204. The FD 204, the amplification transistor 205, and the constant current source 209 constitute a floating diffusion amplifier. Then, the signal charge of the pixel selected by the selection switch 206 in accordance with the selection pulse φSEL is converted into a voltage and output to the readout circuit 213 through the signal output line 208. Further, the selection switch 210 driven by the horizontal scanning circuit 214 is selectively turned on so that an output signal is selected and output to the outside of the imaging apparatus via the output amplifier 211. The charge accumulated in the FD 204 is removed by the reset switch 207 in response to the reset pulse φRES. Further, the vertical scanning circuit 212 selects the transfer switch 203, the selection switch 206, and the reset switch 207.

なお、パルス信号φTX、φRES、φSELのそれぞれについて、垂直走査回路212で走査選択された、n(nは自然数)番目の走査行に印加するパルス信号を、φTXn、φRESn、φSELnと記述する。   For each of the pulse signals φTX, φRES, and φSEL, the pulse signals applied to the nth (n is a natural number) scanning row selected by the vertical scanning circuit 212 are described as φTXn, φRESn, and φSELn.

図3は、本実施形態に係る撮像装置の動作を示す図である。図3(a)は、第1のモードでの動作を示し、図3(b)は、第2のモードでの動作を示す。   FIG. 3 is a diagram illustrating the operation of the imaging apparatus according to the present embodiment. FIG. 3A shows the operation in the first mode, and FIG. 3B shows the operation in the second mode.

図3(a)に示すように、第1のモードでは、図5の制御部509は、撮像面の第1の領域301内に配置された光電変換素子202群から画像信号を読み出すよう撮像部200を制御する。第1のモードは、読み出された画像信号から、ホワイトバランス処理に用いるための補正値を算出する際に用いられる。   As shown in FIG. 3A, in the first mode, the control unit 509 in FIG. 5 reads the image signal from the group of photoelectric conversion elements 202 arranged in the first region 301 of the imaging surface. 200 is controlled. The first mode is used when calculating a correction value for use in white balance processing from the read image signal.

一方、図3(b)に示すように、第2のモードでは、制御部509は、撮像面の第2の領域302内に配置された光電変換素子202群から画像信号を読み出すよう撮像部200を制御する。第2のモードは、画像を記録又は表示する際に用いられる。   On the other hand, as shown in FIG. 3B, in the second mode, the control unit 509 reads the image signal from the photoelectric conversion element 202 group arranged in the second region 302 of the imaging surface. To control. The second mode is used when an image is recorded or displayed.

第1の領域301は、第2の領域302よりも大きければよいが、第2の領域302を含むことが好ましく、撮像面に配置された全ての光電変換素子を含むことがより好ましい。また、本実施形態に係る撮像装置は、第1のモードにおいて第1の光電変換素子群から読み出した複数の信号のうち一部を加算するための加算部(不図示)を読み出し回路213の内部に備えることが好ましい。この場合、制御部509は、第1のモードと第2のモードのフレームレートが同じになるように(第1のモードと第2のモードとで、撮像部200から読み出される信号数が同じになるように)、この加算部で加算する信号数を設定することが好ましい。第1の光電変換素子群から読み出した複数の信号の一部を加算して出力することによって、水平走査回路214から読み出す信号の数を減らすことができる。   The first region 301 may be larger than the second region 302, but preferably includes the second region 302, and more preferably includes all photoelectric conversion elements arranged on the imaging surface. In addition, the imaging apparatus according to the present embodiment includes an adder (not shown) for adding a part of a plurality of signals read from the first photoelectric conversion element group in the first mode. It is preferable to prepare for. In this case, the control unit 509 ensures that the frame rates of the first mode and the second mode are the same (the number of signals read from the imaging unit 200 is the same in the first mode and the second mode). Therefore, it is preferable to set the number of signals to be added by the adding unit. By adding and outputting a part of the plurality of signals read from the first photoelectric conversion element group, the number of signals read from the horizontal scanning circuit 214 can be reduced.

また、制御部509は、第1のモードにおいて第1の光電変換素子群に対し間引き読み出しを行ってもよい。この場合、制御部509は、第1のモードと第2のモードのフレームレートが同じになるように(第1のモードと第2のモードとで、撮像部200から読み出される信号数が同じになるように)、間引き読み出しの間引き率を設定することが好ましい。   Further, the control unit 509 may perform thinning readout for the first photoelectric conversion element group in the first mode. In this case, the control unit 509 ensures that the frame rates of the first mode and the second mode are the same (the number of signals read from the imaging unit 200 is the same in the first mode and the second mode). Therefore, it is preferable to set a thinning rate for thinning readout.

このような構成により、白の割合が減少する可能性の高い電子ズーム使用時においても、白の存在する可能性の高い第1の領域301の画像から算出したWB係数を用いることができる。そのため、適切なWB処理を行うことが可能である。例えば、ズーム撮影により人物をアップした場合など、白が少なく有彩色の占める割合が高くなる場合でも、白が存在する確率の高い第1の領域301の画像から特定した色温度を用い、適切なWB処理が可能となる。   With such a configuration, it is possible to use the WB coefficient calculated from the image of the first region 301 in which white is likely to exist even when using the electronic zoom in which the white ratio is likely to decrease. Therefore, it is possible to perform appropriate WB processing. For example, even when the number of whites is small and the ratio of chromatic colors is high, such as when a person is increased by zoom shooting, the color temperature specified from the image of the first region 301 having a high probability of white is used, and an appropriate WB processing is possible.

図4は、図2の撮像装置で使用される色フィルタアレイの一部を示す図である。第1の色フィルタを赤(R)、第2の色フィルタを緑(G)、第3の色フィルタを緑(G)、第4の色フィルタを青(B)とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、とくに、ベイヤ配列と呼ばれるもので、高い解像度と優れた色再現性を備えた色フィルタ配列である。   FIG. 4 is a diagram showing a part of a color filter array used in the imaging apparatus of FIG. A case is shown in which the first color filter is red (R), the second color filter is green (G), the third color filter is green (G), and the fourth color filter is blue (B). . This array of color filter arrays is called a Bayer array, among the primary color filter arrays, and is a color filter array having high resolution and excellent color reproducibility.

図5は、図2の撮像装置を用いた撮像システムの概略を示す図である。501は光学系としてのレンズ部(図5では「レンズ」と表記)、502はレンズ駆動部、503はメカニカルシャッタ(メカシャッタと表記)、504はメカニカルシャッタ駆動部(図5では「シャッタ駆動部」と表記)、505はA/D変換器を示す。200は図2に示す構成を有する撮像部を示す。   FIG. 5 is a diagram showing an outline of an imaging system using the imaging apparatus of FIG. Reference numeral 501 denotes a lens portion (referred to as “lens” in FIG. 5) as an optical system, 502 denotes a lens driving portion, 503 denotes a mechanical shutter (noted as mechanical shutter), and 504 denotes a mechanical shutter driving portion (“shutter driving portion” in FIG. 5). 505) denotes an A / D converter. Reference numeral 200 denotes an imaging unit having the configuration shown in FIG.

また、506は撮像信号処理回路、507はタイミング発生部、508はメモリ部、509は制御部、510は記録媒体制御インターフェース部(図5では「記録媒体制御I/F部」と表記)、511は表示部を示す。また、512は記録媒体、513は外部インターフェース部(図5では「外部I/F部」と表記)、514は測光部、515は測距部を示す。   Reference numeral 506 denotes an imaging signal processing circuit, 507 denotes a timing generation unit, 508 denotes a memory unit, 509 denotes a control unit, 510 denotes a recording medium control interface unit (indicated as “recording medium control I / F unit” in FIG. 5), 511. Indicates a display. Reference numeral 512 denotes a recording medium, 513 denotes an external interface unit (indicated as “external I / F unit” in FIG. 5), 514 denotes a photometric unit, and 515 denotes a distance measuring unit.

レンズ部501を通った被写体像は、撮像部200上に結像される。撮像部200に結像した被写体像は、画像信号として取り込まれる。撮像信号処理回路506は、画像信号を増幅し、画像信号をアナログ信号からデジタル信号に変換しA/D変換、A/D変換後にR、G1、G2、Bの信号が得る。さらに、撮像信号処理回路506は、各種の補正、画像データの圧縮等を行う。   The subject image that has passed through the lens unit 501 is formed on the imaging unit 200. The subject image formed on the imaging unit 200 is captured as an image signal. The imaging signal processing circuit 506 amplifies the image signal, converts the image signal from an analog signal to a digital signal, and obtains R, G1, G2, and B signals after A / D conversion and A / D conversion. Further, the imaging signal processing circuit 506 performs various corrections, compression of image data, and the like.

レンズ部501は、レンズ駆動部502によってズーム、フォーカス、絞り等が駆動制御される。メカシャッタ503は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。メカシャッタ503は、シャッタ駆動部504によって駆動制御される。タイミング発生部507は、撮像部200、撮像信号処理回路506に各種タイミング信号を出力する。制御部509は、撮像装置全体の制御と各種演算を行う。メモリ部508は、画像データを一時的に記憶する。記録媒体制御インターフェース部510は、記録媒体512に画像データを記録させたり、記録媒体512から画像データを又は読み出したりする。表示部511は、画像データの表示を行う。記録媒体512は、半導体メモリ等の着脱可能な記憶媒体であり、画像データを記録する。外部インターフェース部513は、外部のコンピュータ等と通信を行うためのインターフェースである。測光部514は被写体の明るさ情報の検出を行い、測距部515は被写体までの距離情報を検出する。   The lens unit 501 is driven and controlled by a lens driving unit 502 such as zoom, focus, and diaphragm. The mechanical shutter 503 is a shutter mechanism having only a curtain corresponding to the rear curtain of a focal plane type shutter used in a single-lens reflex camera. The mechanical shutter 503 is driven and controlled by a shutter driving unit 504. The timing generation unit 507 outputs various timing signals to the imaging unit 200 and the imaging signal processing circuit 506. A control unit 509 controls the entire imaging apparatus and performs various calculations. The memory unit 508 temporarily stores image data. The recording medium control interface unit 510 records image data on the recording medium 512 and reads or reads image data from the recording medium 512. The display unit 511 displays image data. The recording medium 512 is a detachable storage medium such as a semiconductor memory, and records image data. The external interface unit 513 is an interface for communicating with an external computer or the like. The photometry unit 514 detects the brightness information of the subject, and the distance measurement unit 515 detects the distance information to the subject.

図6は、図5の撮像信号処理回路506において、A/D変換器505からの信号R、G1、G2、Bに基づいて処理を行うWB処理回路601と信号処理制御部605のWB回路制御に係わる構成例とを更に詳細に示したブロック図である。   FIG. 6 illustrates a WB processing circuit 601 that performs processing based on signals R, G1, G2, and B from the A / D converter 505 in the imaging signal processing circuit 506 in FIG. 5 and WB circuit control of the signal processing control unit 605. It is the block diagram which showed the example of a structure concerning in detail.

601はWB処理回路(図6では「WB」と表記)、602は色信号作成回路、603は輝度信号作成回路、604は補正部であるAPC(Automatic Power Control)回路、605は信号処理制御部である。606はCPU、607はROM、608はRAMである。ROM607は、WB制御プログラム607a、WB係数算出プログラム607b、白検出範囲テーブル607cを含む。RAM608は、画像データ記憶領域608a、色評価値記憶領域608b、算出WB係数記憶領域608cを含む。   Reference numeral 601 denotes a WB processing circuit (indicated as “WB” in FIG. 6), 602 denotes a color signal generation circuit, 603 denotes a luminance signal generation circuit, 604 denotes an APC (Automatic Power Control) circuit as a correction unit, and 605 denotes a signal processing control unit. It is. Reference numeral 606 denotes a CPU, 607 denotes a ROM, and 608 denotes a RAM. The ROM 607 includes a WB control program 607a, a WB coefficient calculation program 607b, and a white detection range table 607c. The RAM 608 includes an image data storage area 608a, a color evaluation value storage area 608b, and a calculated WB coefficient storage area 608c.

WB処理回路601及び信号処理制御部605には、デジタル画像信号R、G1、G2、Bがブロック単位で入力される。信号処理制御部605からは、入力されたデジタル画像信号R、G1、G2、Bに基づいて決定されたWB係数が、WB処理回路601に提供されて、WB処理回路601でWB処理が実行される。   Digital image signals R, G1, G2, and B are input to the WB processing circuit 601 and the signal processing control unit 605 in units of blocks. The signal processing control unit 605 provides the WB coefficient determined based on the input digital image signals R, G1, G2, and B to the WB processing circuit 601, and the WB processing circuit 601 executes WB processing. The

信号処理制御部605は、演算制御用のCPU606と、固定のプログラム及びデータを記憶するROM607と、一次記憶のRAM608とで成される。本実施形態では、WB処理は予め固定されたものとして、処理プログラムやデーブルなどがROM607に格納されているとする。しかしながら、これらを書き換え可能な不揮発性RAMに記憶して、変更可能にしてもよい。   The signal processing control unit 605 includes an arithmetic control CPU 606, a ROM 607 for storing fixed programs and data, and a RAM 608 for primary storage. In the present embodiment, it is assumed that the WB process is fixed in advance, and a processing program, a table, and the like are stored in the ROM 607. However, these may be stored in a rewritable nonvolatile RAM so as to be changeable.

ROM607には、プログラム記憶領域とデータ記憶領域とがある。本実施形態では、プログラム記憶領域は、WB処理の手順を収めたWB制御プログラム607a、背景技術で示したようなWB係数を求めるWB係数算出プログラム607bを有し、データ記憶領域は、図8に示すような白検出範囲テーブル607cを有する。   The ROM 607 has a program storage area and a data storage area. In the present embodiment, the program storage area has a WB control program 607a containing the procedure of WB processing, a WB coefficient calculation program 607b for obtaining a WB coefficient as shown in the background art, and the data storage area is shown in FIG. A white detection range table 607c as shown in FIG.

RAM608は、入力画像データのうち、WB処理に必要な量のデータを記憶する画像データ記憶領域608a、色評価値を記憶する色評価値記憶領域608b、実時間で算出されたWB係数を記憶する算出WB係数記憶領域608cを有する。   The RAM 608 stores an image data storage area 608a for storing the amount of data necessary for WB processing, input color data, a color evaluation value storage area 608b for storing color evaluation values, and a WB coefficient calculated in real time. It has a calculated WB coefficient storage area 608c.

本実施形態では、ROM607に格納されたプログラムに従って、そのデータを使用する。そして、CPU606で入力されるデジタル画像データR、G1、G2、Bに基づいて、RAM608の領域を使用しながら、WB係数を算出及び選択して決定を行う。決定されたWB係数は、WB処理回路601に送られ、WB処理回路601で適切なWB処理を実行する。   In this embodiment, the data is used according to the program stored in the ROM 607. Then, based on the digital image data R, G1, G2, and B input by the CPU 606, the determination is performed by calculating and selecting the WB coefficient while using the area of the RAM 608. The determined WB coefficient is sent to the WB processing circuit 601, and the WB processing circuit 601 executes appropriate WB processing.

WB処理回路601でWB処理が行われた後、色信号作成回路602において色差信号U、Vを作成する。一方、輝度信号を作成する輝度信号作成回路603、輝度信号の高周波成分を増幅するAPC回路604を経て輝度信号Yが作成される。これらの色差信号U、Vと輝度信号Yからカラー画像が得られる。   After the WB processing is performed by the WB processing circuit 601, the color signal generation circuit 602 generates the color difference signals U and V. On the other hand, a luminance signal Y is generated through a luminance signal generation circuit 603 that generates a luminance signal and an APC circuit 604 that amplifies a high-frequency component of the luminance signal. A color image is obtained from the color difference signals U and V and the luminance signal Y.

なお、作成された色差信号U、Vと輝度信号Yをどのように処理するかは、それぞれの撮像装置の目的・用途で異なるが、これらの各種の処理方法も本実施形態に適用することが可能である。   Note that how the generated color difference signals U and V and the luminance signal Y are processed differs depending on the purpose and application of each imaging apparatus, but these various processing methods can also be applied to this embodiment. Is possible.

図1に本実施形態における動作の概念図を示す。本実施形態として4倍の電子ズームに設定された動画モードで駆動する撮像装置の動作例を示す。   FIG. 1 shows a conceptual diagram of the operation in the present embodiment. An operation example of an imaging apparatus that is driven in a moving image mode that is set to 4 × electronic zoom will be described as this embodiment.

図1は、動画像の出力データを時系列的にフレームM−3〜フレームN+3まで並べた状態を示す図である(ただしN>Mであり、M、Nは整数である。)。毎秒m(mは2以上の整数)フレームで画像信号が読み出される場合、mフレームのうちn(nはmよりも小さい1以上の整数)フレームは第1のモードで読み出され、mフレームのうちm−nフレームは第2のモードで読み出される。フレームM−3は、電子ズームに設定される以前の電子ズームOFFの状態で、第1のモードにおいて駆動され読み出されたフレームである。フレームM−2以降は、電子ズームONの状態に設定された状態を示し、第1のモード又は第2のモードで駆動され読み出されたフレームである。第1のモードでは、撮像部200において、図9に示す有効画素領域901を垂直方向に例えば2ラインおきに読み出すードである。第2のモードでは、撮像部200において、図9に示す領域902を読み出すモードである。有効画素領域901は、図3の第1の領域301に対応し、領域902は、図3の第2の領域302に対応する。領域902は、例えば、有効画素領域901の中心から対角方向に5割までの領域であり、有効画素領域901を読出す場合に比べて、4倍の電子ズームを行った状態となる。なお、撮像部200を第1のモードで駆動させる場合のフレームレートと第2のモードで動作させる場合のフレームレートは、同じになるように設定することが好ましい。   FIG. 1 is a diagram showing a state where moving image output data is arranged in time series from frame M-3 to frame N + 3 (where N> M, and M and N are integers). When an image signal is read out at m (m is an integer of 2 or more) frames per second, out of m frames, n (n is an integer of 1 or more smaller than m) is read out in the first mode. Of these, mn frames are read in the second mode. A frame M-3 is a frame that is driven and read in the first mode in a state in which the electronic zoom is set to OFF before the electronic zoom is set. The frame M-2 and subsequent frames show the state set to the electronic zoom ON state, and are frames that are driven and read in the first mode or the second mode. In the first mode, the effective pixel region 901 shown in FIG. 9 is read in the vertical direction in the imaging unit 200, for example, every two lines. In the second mode, the imaging unit 200 reads out the area 902 shown in FIG. The effective pixel region 901 corresponds to the first region 301 in FIG. 3, and the region 902 corresponds to the second region 302 in FIG. The region 902 is, for example, a region up to 50% diagonally from the center of the effective pixel region 901, and is in a state where electronic zoom is performed four times as compared with the case where the effective pixel region 901 is read. Note that the frame rate when the imaging unit 200 is driven in the first mode and the frame rate when the imaging unit 200 is operated in the second mode are preferably set to be the same.

フレームM−3以前では、撮像部200は第1のモードで駆動され、フレームM−2以降は、撮像部200は第1のモード又は第2のモードで駆動される。フレームMやフレームNに示すように、一定フレーム毎に1フレームの割合で撮像部200を第1のモードで駆動させる。例えば、10秒おきに1フレームとすると、フレームレートが30フレーム/秒である場合には、300フレーム毎に1フレームの割合で第1のモードとなる。)そして、第1のモードで駆動されたときに読み出されたフレームM、Nにおいて、それぞれWB処理用の補正値を算出し、その補正値をそれぞれフレームM+1、N+1以降に反映させる。また、第1のモードで駆動され読み出されたフレームM、Nでは、読み出されたフレームの画角よりも小さい領域を切り出し、その切り出した画像をリサイズすることにより出力画像とする。好ましくは、撮像信号処理回路507において第2のモードで読み出されたフレームと同様の画角となる領域を切り出し、その画像をリサイズすることにより出力画像とする。このように、第1のモードで読み出された画像を出力画像として使用することにより、フレームレートを一定に保つことができる。この場合、第1のモードで読みだした画像のリサイズ画像は、第2のモードで読み出した画像に比べて解像度が落ちるため、補正部であるAPC回路604で、解像度の違いを抑制する補正を行うことが好ましい。具体的には、高周波輝度信号の増幅率を上げるようにAPC処理する。   Before the frame M-3, the imaging unit 200 is driven in the first mode, and after the frame M-2, the imaging unit 200 is driven in the first mode or the second mode. As shown in the frame M and the frame N, the imaging unit 200 is driven in the first mode at a rate of one frame for every fixed frame. For example, if one frame is set every 10 seconds, the first mode is set at a rate of one frame every 300 frames when the frame rate is 30 frames / second. Then, in the frames M and N read when driven in the first mode, the correction values for the WB processing are calculated, and the correction values are reflected in the frames M + 1 and N + 1 and later, respectively. In frames M and N that are driven and read in the first mode, an area smaller than the angle of view of the read frame is cut out, and the cut out image is resized to be an output image. Preferably, the imaging signal processing circuit 507 cuts out a region having the same angle of view as the frame read in the second mode, and resizes the image to obtain an output image. Thus, the frame rate can be kept constant by using the image read in the first mode as the output image. In this case, since the resized image read in the first mode has a lower resolution than the image read in the second mode, the APC circuit 604 serving as a correction unit performs correction for suppressing the difference in resolution. Preferably it is done. Specifically, APC processing is performed so as to increase the amplification factor of the high-frequency luminance signal.

上記の方法を用いることによって、電子ズームを使用して動画撮影を行うときなどのように、白の割合が減少する可能性の高い場合においても、適切なWB処理を行うことが可能となる。また、異なる2つのモードのフレームレートは、同じになるように設定することによって、スムーズな動画を実現することができる。   By using the above method, it is possible to perform appropriate WB processing even when the white ratio is likely to decrease, such as when moving pictures are shot using electronic zoom. In addition, by setting the frame rates of the two different modes to be the same, a smooth moving image can be realized.

上記の方法では、第1のモードで読み出されるフレームを出力画像としている。しかしながら、第1のモードで読み出されるフレームは、第2のモードで読み出される画像と同様の画角にリサイズすると、第2のモードで読み出される画像と比べて情報量が少なく解像度が落ち、画質が劣化する。   In the above method, a frame read in the first mode is used as an output image. However, if the frame read out in the first mode is resized to the same angle of view as the image read out in the second mode, the information amount is less than that of the image read out in the second mode, and the resolution is lowered. to degrade.

そこで、第2のモードで読み出されるフレームのみ一定のフレーム間隔で読み出し、WB処理を行う第1のモードで駆動し読み出されるフレームは第2のモードで駆動し読み出されるフレームの合間で読み出す。出力画像としては第2のモードで読み出されるフレームのみを用いてもよい。この場合、第1のモードで読み出されるフレームの画像データを用いないため、第1のモードで読み出されるフレームを出力画像として用いることによる画質の劣化が発生しない。また、第2のモードにより読み出されるフレームは、一定のフレーム間隔で読み出されるため、スムーズな動画を実現することができる。   Therefore, only the frames read in the second mode are read at a constant frame interval, and the frames that are driven and read in the first mode for performing the WB process are read between the frames that are driven and read in the second mode. As an output image, only a frame read in the second mode may be used. In this case, since the image data of the frame read in the first mode is not used, the image quality is not deteriorated by using the frame read in the first mode as the output image. In addition, since the frames read out in the second mode are read out at a constant frame interval, a smooth moving image can be realized.

図10に本実施形態における他の動作の概念図を示す。本実施形態では4倍の電子ズームに設定した状態で静止画撮影する場合における撮像装置の動作例を示す。   FIG. 10 shows a conceptual diagram of another operation in the present embodiment. In the present embodiment, an example of the operation of the imaging apparatus in the case of taking a still image with the electronic zoom set to 4 times is shown.

図10はSW2直前の数フレームから静止画撮影されるまでに、撮像装置から読み出されるフレームを左から右にかけて時系列に並べた状態を示す図である。フレームP−3からフレームP−1までは第1のモードで駆動しており、SW2により第2のモードに切換りフレームPが読み出される。このとき、第1のモードは撮像部200において図9に示す有効画素領域901を垂直方向に2ラインおきに読み出すモードであり、第2のモードは撮像部200において図9に示す領域902を読み出すモードである。領域902は有効画素領域901における中心から対角方向に5割までの領域であり、有効画素領域901を読出す場合に比べて4倍の電子ズームを行った状態となる。フレームP−3からフレームP−1までの画像データはそれぞれ撮像信号処理回路507においてフレームPと同様の画角となるように所定の領域を切り出しリサイズされた画像となって、表示部512に表示される。また同時に、フレームP−1の画像データから撮像信号処理回路507でWB処理を行い、この結果得られたWB係数とフレームPの画像データを元に静止画を作成する。このときフレームP−3からフレームP−1から得られる画像データはフレームP(ただし、Pは整数)から得られる画像データよりもAPC回路604での高周波輝度信号の増幅率を上げるようにAPC処理することが望ましい。   FIG. 10 is a diagram illustrating a state in which frames read from the imaging device are arranged in time series from left to right until a still image is captured from several frames immediately before SW2. The frames P-3 to P-1 are driven in the first mode, and the second mode is switched by SW2 to read the frame P. At this time, the first mode is a mode in which the imaging unit 200 reads out the effective pixel region 901 shown in FIG. 9 every two lines in the vertical direction, and the second mode is a mode in which the imaging unit 200 reads out the region 902 shown in FIG. Mode. The region 902 is a region up to 50% diagonally from the center in the effective pixel region 901, and is in a state in which electronic zoom is performed four times as compared with the case where the effective pixel region 901 is read. The image data from the frame P-3 to the frame P-1 is displayed on the display unit 512 as a resized image obtained by cutting out a predetermined area so as to have the same angle of view as the frame P in the imaging signal processing circuit 507. Is done. At the same time, the imaging signal processing circuit 507 performs WB processing from the image data of the frame P-1, and creates a still image based on the WB coefficient obtained as a result and the image data of the frame P. At this time, the image data obtained from the frame P-3 to the frame P-1 is APC processed so that the amplification factor of the high-frequency luminance signal in the APC circuit 604 is higher than the image data obtained from the frame P (where P is an integer). It is desirable to do.

以上、上記の方法を用いることにより、電子ズームを使用して静止画撮影を行うときなどのように白の割合が減少する可能性の高い場合においても適切なWB処理を行うことが可能となる。   As described above, by using the above method, it is possible to perform appropriate WB processing even when the white ratio is highly likely to decrease, such as when still image shooting is performed using electronic zoom. .

なお、以上の実施形態についてはデジタルカメラを例に説明をしたが、本発明はデジタルカメラに限定されない。デジタルビデオカメラやデジタルカメラ付き携帯電話、スキャナ等も含まれる。また、カメラとPCを有線或いは無線で接続した状態でPCからレリーズ指示を出すようなリモート操作によって撮像を行うものも含まれる。各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上述の実施形態の機能を実現するためのソフトウェアのプログラムコードを供給したものも本発明の範疇に含まれる。加えそのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。   Although the above embodiment has been described by taking a digital camera as an example, the present invention is not limited to a digital camera. Also included are digital video cameras, mobile phones with digital cameras, and scanners. Also included are those that perform imaging by remote operation in which a release instruction is issued from the PC while the camera and the PC are connected by wire or wirelessly. What supplied the program code of the software for implement | achieving the function of the above-mentioned embodiment with respect to the computer in the apparatus or system connected with various devices is also contained under the category of this invention. In addition, those implemented by operating the various devices in accordance with a program stored in a computer (CPU or MPU) of the system or apparatus are also included in the scope of the present invention.

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。つまりそのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。   In this case, the program code of the software itself realizes the functions of the above-described embodiment. That is, the program code itself and means for supplying the program code to the computer, for example, a recording medium storing the program code constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)も本発明の範疇に含まれる。あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。   Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) in which the program code is operating in the computer falls within the scope of the present invention. included. Alternatively, it goes without saying that the program code is also included in the embodiment of the present invention when the functions of the above-described embodiment are realized in cooperation with other application software.

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPUも含まれる。そしてそれらCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。   Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code Is also included. Needless to say, the present invention also includes a case where the CPU or the like performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

本発明の好適な実施の形態に係る撮像装置の動作の概念図である。It is a conceptual diagram of operation | movement of the imaging device which concerns on suitable embodiment of this invention. 本発明の好適な実施の形態に係る撮像装置の概略図である。1 is a schematic diagram of an imaging apparatus according to a preferred embodiment of the present invention. 本発明の好適な実施の形態に係る撮像装置の概略図である。1 is a schematic diagram of an imaging apparatus according to a preferred embodiment of the present invention. 本発明の好適な実施の形態に係る撮像装置に用いる色フィルタを示す図である。It is a figure which shows the color filter used for the imaging device which concerns on suitable embodiment of this invention. 本発明の好適な実施の形態に係る撮像システムの概略図である。1 is a schematic diagram of an imaging system according to a preferred embodiment of the present invention. 本発明の好適な実施の形態に係るホワイトバランス処理に関する部分の構成例を示すブロック図である。It is a block diagram which shows the structural example of the part regarding the white balance process which concerns on suitable embodiment of this invention. 本発明の好適な実施の形態に係る色温度検出ブロックの例を示す図である。It is a figure which shows the example of the color temperature detection block which concerns on suitable embodiment of this invention. 白検出範囲の例を示す図である。It is a figure which shows the example of a white detection range. 本発明の好適な実施の形態に係る撮像装置の有効画素領域の例を示す図である。It is a figure which shows the example of the effective pixel area | region of the imaging device which concerns on suitable embodiment of this invention. 本発明の好適な実施の形態に係る撮像装置の動作の概念図である。It is a conceptual diagram of operation | movement of the imaging device which concerns on suitable embodiment of this invention.

符号の説明Explanation of symbols

200 撮像部
202 光電変換素子
301 第1の領域
302 第2の領域
200 Image pickup unit 202 Photoelectric conversion element 301 First region 302 Second region

Claims (9)

撮像面に複数の光電変換素子が配置され、前記撮像面の第1の領域内に配置された第1の光電変換素子群から画像信号を読み出す第1のモードと、前記撮像面の前記第1の領域よりも小さく前記第1の領域に含まれる第2の領域内に配置された第2の光電変換素子群から画像信号を読み出す第2のモードで駆動可能な撮像部と、
前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御する制御部とを備え、
前記制御部は、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする撮像装置。
A first mode in which a plurality of photoelectric conversion elements are disposed on the imaging surface, and an image signal is read from a first photoelectric conversion element group disposed in a first region of the imaging surface, and the first of the imaging surface An image pickup unit that can be driven in a second mode for reading out an image signal from a second photoelectric conversion element group disposed in a second region included in the first region smaller than the first region;
A white balance correction value is calculated based on an image signal obtained by driving the imaging unit in the first mode, and the imaging unit is driven in the second mode using the white balance correction value. and a control unit for controlling to perform white balance processing of the image signal obtained by,
When the control unit reads out an image signal of m (m is an integer of 2 or more) frames every predetermined second, the control unit performs the operation in the n (n is an integer of 1 or more smaller than m) of the m frames. Driving the image pickup unit in the first mode to read an image signal, and controlling to drive the image pickup unit in the second mode to read the image signal in the mn frames out of the m frames. An imaging device that is characterized.
前記制御部は、所定フレーム毎に前記第1のモードで前記撮像部を駆動することを特徴とする請求項に記載の撮像装置。 The imaging apparatus according to claim 1 , wherein the control unit drives the imaging unit in the first mode every predetermined frame. 前記撮像部は、前記光電変換素子から読み出した画像信号を加算する加算部を備え、前記制御部は、前記第1のモードと前記第2のモードとでフレームレートが同じになるように、前記加算部で加算する前記画像信号の数を設定することを特徴とする請求項またはに記載の撮像装置。 The imaging unit includes an adding unit that adds image signals read from the photoelectric conversion elements, and the control unit is configured so that the frame rate is the same in the first mode and the second mode. the imaging apparatus according to claim 1 or 2, characterized in that to set the number of the image signal to be added by the addition section. 前記制御部は、前記第1のモードで前記撮像部を駆動する場合に、前記第1の光電変換素子群から画像信号の間引き読み出しを行うように制御することを特徴とする請求項またはに記載の撮像装置。 Wherein, when driving the imaging unit in the first mode, according to claim 1 or 2, characterized in that the control from the first photoelectric conversion element group so as to perform thinning-out reading of the image signals The imaging device described in 1. 前記制御部は、前記第1のモードと前記第2のモードとでフレームレートが同じになるように、前記間引き読み出しの間引き率を設定することを特徴とする請求項に記載の撮像装置。 The imaging apparatus according to claim 4 , wherein the control unit sets the thinning rate of the thinning readout so that a frame rate is the same between the first mode and the second mode. 前記制御部は、前記第1のモードで前記撮像部を駆動して得られる画像から、前記第2のモードで得られる画像と同じ画角の画像を切り出し、切り出した画像をリサイズすることを特徴とする請求項乃至請求項のいずれか1項に記載の撮像装置。 The control unit cuts out an image having the same angle of view as an image obtained in the second mode from an image obtained by driving the imaging unit in the first mode, and resizes the cut-out image. the imaging apparatus according to any one of claims 1 to 5 and. 前記リサイズされた画像と、前記撮像部を前記第2のモードで駆動して得られる画像との解像度の違いを補正する補正部をさらに備えることを特徴とする請求項に記載の撮像装置。 The imaging apparatus according to claim 6 , further comprising a correction unit that corrects a difference in resolution between the resized image and an image obtained by driving the imaging unit in the second mode. 光学系と、請求項1乃至請求項のいずれか1項に記載の撮像装置と、を備える撮像システム。 An imaging system comprising: an optical system; and the imaging apparatus according to any one of claims 1 to 7 . 撮像面に複数の光電変換素子が配置され、前記撮像面の第1の領域に配置された第1の光電変換素子群から画像信号を読み出す第1のモードと、前記撮像面の前記第1の領域よりも小さく前記第1の領域に含まれる第2の領域に配置された第2の光電変換素子群から画像信号を読み出す第2のモードで駆動可能な撮像部を備えた撮像装置の制御方法であって、
前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御するとともに、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする撮像装置の制御方法。
A first mode in which a plurality of photoelectric conversion elements are disposed on the imaging surface, and an image signal is read from a first photoelectric conversion element group disposed in a first region of the imaging surface; and the first mode of the imaging surface Control method for an imaging apparatus including an imaging unit that can be driven in a second mode that reads an image signal from a second photoelectric conversion element group that is arranged in a second area that is smaller than the area and included in the first area Because
A white balance correction value is calculated based on an image signal obtained by driving the imaging unit in the first mode, and the imaging unit is driven in the second mode using the white balance correction value. When the image signal of m (where m is an integer of 2 or more) frames are read out every predetermined second, n (n is m) of the m frames. In the first frame), the image pickup unit is driven to read the image signal in the first mode, and the image pickup unit is operated in the second mode in the mn frame among the m frames. A control method for an imaging apparatus, wherein the control is performed so as to drive and read an image signal .
JP2006121271A 2006-04-25 2006-04-25 Imaging apparatus, control method therefor, and imaging system Expired - Fee Related JP4875399B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006121271A JP4875399B2 (en) 2006-04-25 2006-04-25 Imaging apparatus, control method therefor, and imaging system
CN2012100965602A CN102665043A (en) 2006-04-25 2007-04-20 Imaging apparatus and control method thereof
KR1020087028631A KR101010988B1 (en) 2006-04-25 2007-04-20 Image sensing apparatus and method for controlling the same
EP07742564A EP2016775A1 (en) 2006-04-25 2007-04-20 Image sensing apparatus and method for controlling the same
US11/722,464 US8314850B2 (en) 2006-04-25 2007-04-20 Image sensing apparatus and method for controlling the same
PCT/JP2007/059129 WO2007126033A1 (en) 2006-04-25 2007-04-20 Image sensing apparatus and method for controlling the same
CN2007800149245A CN101433095B (en) 2006-04-25 2007-04-20 Imaging apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006121271A JP4875399B2 (en) 2006-04-25 2006-04-25 Imaging apparatus, control method therefor, and imaging system

Publications (3)

Publication Number Publication Date
JP2007295300A JP2007295300A (en) 2007-11-08
JP2007295300A5 JP2007295300A5 (en) 2009-05-28
JP4875399B2 true JP4875399B2 (en) 2012-02-15

Family

ID=38765472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006121271A Expired - Fee Related JP4875399B2 (en) 2006-04-25 2006-04-25 Imaging apparatus, control method therefor, and imaging system

Country Status (1)

Country Link
JP (1) JP4875399B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218027B2 (en) * 2009-04-09 2012-07-10 Hand Held Products, Inc. Imaging terminal having color correction
WO2013065518A1 (en) 2011-10-31 2013-05-10 富士フイルム株式会社 Imaging apparatus and image processing method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228180B2 (en) * 2001-08-24 2009-02-25 富士フイルム株式会社 Digital camera and printer
JP2004040432A (en) * 2002-07-03 2004-02-05 Hitachi Ltd Imaging apparatus
JP4008778B2 (en) * 2002-07-31 2007-11-14 株式会社リコー Imaging device
JP2007043248A (en) * 2005-07-29 2007-02-15 Eastman Kodak Co Imaging apparatus

Also Published As

Publication number Publication date
JP2007295300A (en) 2007-11-08

Similar Documents

Publication Publication Date Title
KR101010988B1 (en) Image sensing apparatus and method for controlling the same
US7391447B2 (en) Method and apparatus for removing noise from a digital image
US20060087707A1 (en) Image taking apparatus
JP3395770B2 (en) Digital still camera
JP4622790B2 (en) Imaging device and imaging apparatus
US7907193B2 (en) Image capturing apparatus
JP2003032694A (en) Solid-state imaging device and digital camera
JP4253634B2 (en) Digital camera
US7019775B2 (en) Image sensing apparatus and control method thereof
JP3738652B2 (en) Digital camera
JPH11239291A (en) Image pickup controller and image pickup control method
JP2007335985A (en) Electronic imaging apparatus and electronic imaging method
JP2000278595A (en) Digital camera and image pickup method
JP2003319407A (en) Imaging apparatus
JP4993670B2 (en) Imaging apparatus and control method thereof
JP4875399B2 (en) Imaging apparatus, control method therefor, and imaging system
JP2009021985A (en) Imaging apparatus, and driving method of imaging apparatus
KR101612853B1 (en) Photographing apparatus, controlling method of photographing apparatus, and recording medium storing program to implement the controlling method
JP2009055415A (en) Camera
JP2006340100A (en) Photographic device
JP5550333B2 (en) Imaging apparatus, development method, and program
JP5625325B2 (en) Image data recording apparatus and image data recording program
JP2013121005A (en) Imaging device
JP6700728B2 (en) Imaging device and imaging device
JP2006121326A (en) Electronic camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090415

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4875399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees