JP4875399B2 - Imaging apparatus, control method therefor, and imaging system - Google Patents
Imaging apparatus, control method therefor, and imaging system Download PDFInfo
- Publication number
- JP4875399B2 JP4875399B2 JP2006121271A JP2006121271A JP4875399B2 JP 4875399 B2 JP4875399 B2 JP 4875399B2 JP 2006121271 A JP2006121271 A JP 2006121271A JP 2006121271 A JP2006121271 A JP 2006121271A JP 4875399 B2 JP4875399 B2 JP 4875399B2
- Authority
- JP
- Japan
- Prior art keywords
- mode
- imaging
- unit
- image
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、光電変換素子を有する撮像装置及びその制御方法並びに撮像システムに関し、特にCMOSイメージセンサを用いた撮像装置及びその制御方法並びに撮像システムに関する。 The present invention relates to an imaging apparatus having a photoelectric conversion element, a control method thereof, and an imaging system, and more particularly to an imaging apparatus using a CMOS image sensor, a control method thereof, and an imaging system.
デジタルカメラやデジタルビデオカメラなどの撮像装置における撮像処理では、撮像装置から原色フィルタを通過して出力された信号は、AD変換によってデジタル化され、図7(a)に示すようなブロックに分割される。ただし、各ブロックは、図7(b)に示すように色信号R、G1、G2、Bを1つずつ含む単位で構成される。これらのブロックそれぞれに対して、色評価値、数式1を算出する。 In imaging processing in an imaging device such as a digital camera or digital video camera, a signal output from the imaging device through a primary color filter is digitized by AD conversion and divided into blocks as shown in FIG. The However, each block is configured in units including one color signal R, G1, G2, B as shown in FIG. 7B. For each of these blocks, a color evaluation value, Formula 1, is calculated.
また、図8に示すように、あらかじめ白色を高色温度下から低色温度下まで撮影して、色評価値Cx、Cyをプロットすることによって、白軸を定めることができる(例えば、特許文献1参照)。実際の光源において白色には若干のばらつきが存在するため幅を持たせてある。これを白検出範囲と呼ぶ。このとき、各ブロックについてCx、Cy軸にプロットして、白検出範囲に入った場合、そのブロックが白色であると仮定する。さらに、白検出範囲に入った色画素の積分値SumR、SumG1、SumG2、SumBを算出して、数式2を用いることによってホワイトバランス係数を算出する。ただし、KWB_R、KWB_G1、KWB_G2、KWB_Bはそれぞれ色信号R、G1、G2、Bのホワイトバランス係数である。(以下、ホワイトバランスを「WB」という。)。
Further, as shown in FIG. 8, the white axis can be determined by photographing white in advance from a high color temperature to a low color temperature and plotting the color evaluation values Cx and Cy (for example, Patent Documents). 1). In an actual light source, white has a width because of slight variations. This is called a white detection range. At this time, when each block is plotted on the Cx and Cy axes and enters the white detection range, it is assumed that the block is white. Further, the integral values SumR, SumG1, SumG2, and SumB of the color pixels that have entered the white detection range are calculated, and the white balance coefficient is calculated by using
しかしながら、上記従来の方法では、画面内の白が少ない場合には、白検出範囲であると判定される色が少なく、白検出範囲内の色の積分値はゼロに近くなるため、正しくWB係数を算出することが困難になる。電子ズームを使用して撮影した時は、電子ズームを使用しない時に比べて白が存在する確率が低く、この場合に光源の色温度を特定することはより困難となる場合がある。例えば、人のアップを電子ズームにより撮影した場合、画面に対して白の割合が減少する。 However, in the above conventional method, when there are few whites in the screen, there are few colors that are determined to be in the white detection range, and the integrated value of the colors in the white detection range is close to zero. Is difficult to calculate. When shooting using the electronic zoom, the probability that white is present is lower than when the electronic zoom is not used, and in this case, it may be more difficult to specify the color temperature of the light source. For example, when a person's up is photographed by electronic zoom, the ratio of white to the screen decreases.
また、人のアップを電子ズームにより撮影した場合は、以下のような問題も生じる。すなわち、高色温度下においては、色評価値は図8の領域A付近に分布する。従って、シーンを高色温度光源であると判定できる。しかし、この光源下において、人の肌をCx、Cy軸にプロットすると、白検出範囲における低色温度側に分布する。従って、画面に白色が少なくかつ人肌がアップのシーンでは、画面の色評価値は図8の領域Bに分布する。つまり、肌色を低色温度下の白色と誤判別するため、人の肌を青白くしてしまうという問題である。従って、撮影者の意図しない画像となる可能性がある。 In addition, when a person's up is photographed by electronic zoom, the following problems also occur. That is, under high color temperature, the color evaluation value is distributed in the vicinity of the region A in FIG. Therefore, it can be determined that the scene is a high color temperature light source. However, when the human skin is plotted on the Cx and Cy axes under this light source, it is distributed on the low color temperature side in the white detection range. Therefore, in a scene where the screen has little white and the human skin is up, the color evaluation values of the screen are distributed in the region B in FIG. In other words, since the skin color is mistakenly determined as white under a low color temperature, the human skin becomes pale. Therefore, there is a possibility that the image is not intended by the photographer.
本発明は、上記のような電子ズーム等のように撮像面の一部分を用いて画像を生成する場合の問題に鑑みてなされたものであり、そのような場合においても適切なWB処理を行うことを目的とする。 The present invention has been made in view of the problem of generating an image using a part of an imaging surface, such as the electronic zoom as described above, and performs appropriate WB processing even in such a case. With the goal.
本発明の第1の側面は、撮像装置に係り、撮像面に複数の光電変換素子が配置され、前記撮像面の第1の領域内に配置された第1の光電変換素子群から画像信号を読み出す第1のモードと、前記撮像面の前記第1の領域よりも小さく前記第1の領域に含まれる第2の領域内に配置された第2の光電変換素子群から画像信号を読み出す第2のモードで駆動可能な撮像部と、前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御する制御部とを備え、前記制御部は、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする。 A first aspect of the present invention relates to an imaging apparatus, wherein a plurality of photoelectric conversion elements are arranged on an imaging surface, and an image signal is received from a first photoelectric conversion element group arranged in a first region of the imaging surface. A first mode for reading, and a second mode for reading an image signal from a second photoelectric conversion element group disposed in a second area smaller than the first area of the imaging surface and included in the first area. An image pickup unit that can be driven in the first mode, a white balance correction value is calculated based on an image signal obtained by driving the image pickup unit in the first mode, and the image pickup is performed using the white balance correction value. A control unit that controls to perform white balance processing of an image signal obtained by driving the unit in the second mode, and the control unit is m every predetermined second (m is an integer of 2 or more). When reading frame image signals , In n (n is an integer greater than or equal to 1 smaller than m) of the m frames, the image pickup unit is driven in the first mode to read an image signal, and in the mn frames of the m frames In the second mode, the image pickup unit is driven to control to read an image signal .
本発明の第2の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。 A second aspect of the present invention relates to an imaging system, and includes an optical system and the imaging device described above.
本発明の第3の側面は、撮像面に複数の光電変換素子が配置され、前記撮像面の第1の領域に配置された第1の光電変換素子群から画像信号を読み出す第1のモードと、前記撮像面の前記第1の領域よりも小さく前記第1の領域に含まれる第2の領域に配置された第2の光電変換素子群から画像信号を読み出す第2のモードで駆動可能な撮像部を備えた撮像装置の制御方法に係り、前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御するとともに、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする。 According to a third aspect of the present invention, there is provided a first mode in which a plurality of photoelectric conversion elements are arranged on the imaging surface, and an image signal is read from the first photoelectric conversion element group arranged in the first region of the imaging surface. Imaging that can be driven in a second mode that reads an image signal from a second photoelectric conversion element group that is arranged in a second region that is smaller than the first region of the imaging surface and included in the first region A white balance correction value based on an image signal obtained by driving the imaging unit in the first mode, and using the white balance correction value. When controlling to perform white balance processing of an image signal obtained by driving the imaging unit in the second mode, and reading out an image signal of m frames (m is an integer of 2 or more) every predetermined second And m In n frames (n is an integer of 1 or more smaller than m), the image pickup unit is driven in the first mode to read an image signal, and in the mn frames of the m frames, the first In the second mode, the image pickup unit is driven to control to read an image signal .
本発明によれば、適切なWB処理を行うことが可能な撮像装置及びその方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can perform suitable WB process, and its method can be provided.
以下、添付図面を参照して、本発明の実施形態を詳細に説明する。本実施形態に係る撮像装置は、撮像面に光電変換素子等が配置された撮像部200と、撮像部200(図2を参照)を制御する制御部509(図5を参照)で構成される。図2は、X−Yアドレス型の走査方法を用いた撮像装置の撮像部200の構成を示す図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The imaging apparatus according to the present embodiment includes an
撮像部200には、単位画素201、光電変換素子202、転送スイッチ203、フローティングデフュージョン(FD)204、増幅用トランジスタ205、選択スイッチ206、リセットスイッチ207が配置される。208は信号線、209は増幅用トランジスタ205の負荷となる定電流源、210は選択スイッチ、211は出力アンプ、212は垂直走査回路、213は読み出し回路、214は水平走査回路である。なお、図2では図の簡略化のために、撮像部200には、単位画素201が4行×4列で配列されているが、これに限定されず、任意の数の単位画素201が配置されうる。
In the
単位画素201は、光電変換素子としてのフォトダイオード(PD)PD202、転送スイッチ203、FD204、増ソースフォロアとして機能する増幅用トランジスタ205、選択スイッチ206、リセットスイッチ207で構成される。撮像装置に入射した光は、PD202で電荷に変換される。PD202で発生した電荷は、転送パルスφTXに応じて転送スイッチ203により転送され、FD204に一時的に蓄積される。FD204、増幅用トランジスタ205、及び定電流源209でフローティングディフュージョンアンプが構成される。そして、選択パルスφSELに応じて選択スイッチ206で選択された画素の信号電荷は、電圧に変換され、信号出力線208を経て読み出し回路213に出力される。さらに、水平走査回路214によって駆動された選択スイッチ210を選択的に導通して、出力信号が選択され、出力アンプ211を経て撮像装置外部に出力される。FD204に蓄積された電荷の除去は、リセットパルスφRES応じてリセットスイッチ207で行われる。また、垂直走査回路212は、転送スイッチ203、選択スイッチ206、リセットスイッチ207の選択を行う。
The
なお、パルス信号φTX、φRES、φSELのそれぞれについて、垂直走査回路212で走査選択された、n(nは自然数)番目の走査行に印加するパルス信号を、φTXn、φRESn、φSELnと記述する。
For each of the pulse signals φTX, φRES, and φSEL, the pulse signals applied to the nth (n is a natural number) scanning row selected by the
図3は、本実施形態に係る撮像装置の動作を示す図である。図3(a)は、第1のモードでの動作を示し、図3(b)は、第2のモードでの動作を示す。 FIG. 3 is a diagram illustrating the operation of the imaging apparatus according to the present embodiment. FIG. 3A shows the operation in the first mode, and FIG. 3B shows the operation in the second mode.
図3(a)に示すように、第1のモードでは、図5の制御部509は、撮像面の第1の領域301内に配置された光電変換素子202群から画像信号を読み出すよう撮像部200を制御する。第1のモードは、読み出された画像信号から、ホワイトバランス処理に用いるための補正値を算出する際に用いられる。
As shown in FIG. 3A, in the first mode, the
一方、図3(b)に示すように、第2のモードでは、制御部509は、撮像面の第2の領域302内に配置された光電変換素子202群から画像信号を読み出すよう撮像部200を制御する。第2のモードは、画像を記録又は表示する際に用いられる。
On the other hand, as shown in FIG. 3B, in the second mode, the
第1の領域301は、第2の領域302よりも大きければよいが、第2の領域302を含むことが好ましく、撮像面に配置された全ての光電変換素子を含むことがより好ましい。また、本実施形態に係る撮像装置は、第1のモードにおいて第1の光電変換素子群から読み出した複数の信号のうち一部を加算するための加算部(不図示)を読み出し回路213の内部に備えることが好ましい。この場合、制御部509は、第1のモードと第2のモードのフレームレートが同じになるように(第1のモードと第2のモードとで、撮像部200から読み出される信号数が同じになるように)、この加算部で加算する信号数を設定することが好ましい。第1の光電変換素子群から読み出した複数の信号の一部を加算して出力することによって、水平走査回路214から読み出す信号の数を減らすことができる。
The
また、制御部509は、第1のモードにおいて第1の光電変換素子群に対し間引き読み出しを行ってもよい。この場合、制御部509は、第1のモードと第2のモードのフレームレートが同じになるように(第1のモードと第2のモードとで、撮像部200から読み出される信号数が同じになるように)、間引き読み出しの間引き率を設定することが好ましい。
Further, the
このような構成により、白の割合が減少する可能性の高い電子ズーム使用時においても、白の存在する可能性の高い第1の領域301の画像から算出したWB係数を用いることができる。そのため、適切なWB処理を行うことが可能である。例えば、ズーム撮影により人物をアップした場合など、白が少なく有彩色の占める割合が高くなる場合でも、白が存在する確率の高い第1の領域301の画像から特定した色温度を用い、適切なWB処理が可能となる。
With such a configuration, it is possible to use the WB coefficient calculated from the image of the
図4は、図2の撮像装置で使用される色フィルタアレイの一部を示す図である。第1の色フィルタを赤(R)、第2の色フィルタを緑(G)、第3の色フィルタを緑(G)、第4の色フィルタを青(B)とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、とくに、ベイヤ配列と呼ばれるもので、高い解像度と優れた色再現性を備えた色フィルタ配列である。 FIG. 4 is a diagram showing a part of a color filter array used in the imaging apparatus of FIG. A case is shown in which the first color filter is red (R), the second color filter is green (G), the third color filter is green (G), and the fourth color filter is blue (B). . This array of color filter arrays is called a Bayer array, among the primary color filter arrays, and is a color filter array having high resolution and excellent color reproducibility.
図5は、図2の撮像装置を用いた撮像システムの概略を示す図である。501は光学系としてのレンズ部(図5では「レンズ」と表記)、502はレンズ駆動部、503はメカニカルシャッタ(メカシャッタと表記)、504はメカニカルシャッタ駆動部(図5では「シャッタ駆動部」と表記)、505はA/D変換器を示す。200は図2に示す構成を有する撮像部を示す。
FIG. 5 is a diagram showing an outline of an imaging system using the imaging apparatus of FIG.
また、506は撮像信号処理回路、507はタイミング発生部、508はメモリ部、509は制御部、510は記録媒体制御インターフェース部(図5では「記録媒体制御I/F部」と表記)、511は表示部を示す。また、512は記録媒体、513は外部インターフェース部(図5では「外部I/F部」と表記)、514は測光部、515は測距部を示す。
レンズ部501を通った被写体像は、撮像部200上に結像される。撮像部200に結像した被写体像は、画像信号として取り込まれる。撮像信号処理回路506は、画像信号を増幅し、画像信号をアナログ信号からデジタル信号に変換しA/D変換、A/D変換後にR、G1、G2、Bの信号が得る。さらに、撮像信号処理回路506は、各種の補正、画像データの圧縮等を行う。
The subject image that has passed through the
レンズ部501は、レンズ駆動部502によってズーム、フォーカス、絞り等が駆動制御される。メカシャッタ503は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。メカシャッタ503は、シャッタ駆動部504によって駆動制御される。タイミング発生部507は、撮像部200、撮像信号処理回路506に各種タイミング信号を出力する。制御部509は、撮像装置全体の制御と各種演算を行う。メモリ部508は、画像データを一時的に記憶する。記録媒体制御インターフェース部510は、記録媒体512に画像データを記録させたり、記録媒体512から画像データを又は読み出したりする。表示部511は、画像データの表示を行う。記録媒体512は、半導体メモリ等の着脱可能な記憶媒体であり、画像データを記録する。外部インターフェース部513は、外部のコンピュータ等と通信を行うためのインターフェースである。測光部514は被写体の明るさ情報の検出を行い、測距部515は被写体までの距離情報を検出する。
The
図6は、図5の撮像信号処理回路506において、A/D変換器505からの信号R、G1、G2、Bに基づいて処理を行うWB処理回路601と信号処理制御部605のWB回路制御に係わる構成例とを更に詳細に示したブロック図である。
FIG. 6 illustrates a
601はWB処理回路(図6では「WB」と表記)、602は色信号作成回路、603は輝度信号作成回路、604は補正部であるAPC(Automatic Power Control)回路、605は信号処理制御部である。606はCPU、607はROM、608はRAMである。ROM607は、WB制御プログラム607a、WB係数算出プログラム607b、白検出範囲テーブル607cを含む。RAM608は、画像データ記憶領域608a、色評価値記憶領域608b、算出WB係数記憶領域608cを含む。
WB処理回路601及び信号処理制御部605には、デジタル画像信号R、G1、G2、Bがブロック単位で入力される。信号処理制御部605からは、入力されたデジタル画像信号R、G1、G2、Bに基づいて決定されたWB係数が、WB処理回路601に提供されて、WB処理回路601でWB処理が実行される。
Digital image signals R, G1, G2, and B are input to the
信号処理制御部605は、演算制御用のCPU606と、固定のプログラム及びデータを記憶するROM607と、一次記憶のRAM608とで成される。本実施形態では、WB処理は予め固定されたものとして、処理プログラムやデーブルなどがROM607に格納されているとする。しかしながら、これらを書き換え可能な不揮発性RAMに記憶して、変更可能にしてもよい。
The signal
ROM607には、プログラム記憶領域とデータ記憶領域とがある。本実施形態では、プログラム記憶領域は、WB処理の手順を収めたWB制御プログラム607a、背景技術で示したようなWB係数を求めるWB係数算出プログラム607bを有し、データ記憶領域は、図8に示すような白検出範囲テーブル607cを有する。
The
RAM608は、入力画像データのうち、WB処理に必要な量のデータを記憶する画像データ記憶領域608a、色評価値を記憶する色評価値記憶領域608b、実時間で算出されたWB係数を記憶する算出WB係数記憶領域608cを有する。
The
本実施形態では、ROM607に格納されたプログラムに従って、そのデータを使用する。そして、CPU606で入力されるデジタル画像データR、G1、G2、Bに基づいて、RAM608の領域を使用しながら、WB係数を算出及び選択して決定を行う。決定されたWB係数は、WB処理回路601に送られ、WB処理回路601で適切なWB処理を実行する。
In this embodiment, the data is used according to the program stored in the
WB処理回路601でWB処理が行われた後、色信号作成回路602において色差信号U、Vを作成する。一方、輝度信号を作成する輝度信号作成回路603、輝度信号の高周波成分を増幅するAPC回路604を経て輝度信号Yが作成される。これらの色差信号U、Vと輝度信号Yからカラー画像が得られる。
After the WB processing is performed by the
なお、作成された色差信号U、Vと輝度信号Yをどのように処理するかは、それぞれの撮像装置の目的・用途で異なるが、これらの各種の処理方法も本実施形態に適用することが可能である。 Note that how the generated color difference signals U and V and the luminance signal Y are processed differs depending on the purpose and application of each imaging apparatus, but these various processing methods can also be applied to this embodiment. Is possible.
図1に本実施形態における動作の概念図を示す。本実施形態として4倍の電子ズームに設定された動画モードで駆動する撮像装置の動作例を示す。 FIG. 1 shows a conceptual diagram of the operation in the present embodiment. An operation example of an imaging apparatus that is driven in a moving image mode that is set to 4 × electronic zoom will be described as this embodiment.
図1は、動画像の出力データを時系列的にフレームM−3〜フレームN+3まで並べた状態を示す図である(ただしN>Mであり、M、Nは整数である。)。毎秒m(mは2以上の整数)フレームで画像信号が読み出される場合、mフレームのうちn(nはmよりも小さい1以上の整数)フレームは第1のモードで読み出され、mフレームのうちm−nフレームは第2のモードで読み出される。フレームM−3は、電子ズームに設定される以前の電子ズームOFFの状態で、第1のモードにおいて駆動され読み出されたフレームである。フレームM−2以降は、電子ズームONの状態に設定された状態を示し、第1のモード又は第2のモードで駆動され読み出されたフレームである。第1のモードでは、撮像部200において、図9に示す有効画素領域901を垂直方向に例えば2ラインおきに読み出すードである。第2のモードでは、撮像部200において、図9に示す領域902を読み出すモードである。有効画素領域901は、図3の第1の領域301に対応し、領域902は、図3の第2の領域302に対応する。領域902は、例えば、有効画素領域901の中心から対角方向に5割までの領域であり、有効画素領域901を読出す場合に比べて、4倍の電子ズームを行った状態となる。なお、撮像部200を第1のモードで駆動させる場合のフレームレートと第2のモードで動作させる場合のフレームレートは、同じになるように設定することが好ましい。
FIG. 1 is a diagram showing a state where moving image output data is arranged in time series from frame M-3 to frame N + 3 (where N> M, and M and N are integers). When an image signal is read out at m (m is an integer of 2 or more) frames per second, out of m frames, n (n is an integer of 1 or more smaller than m) is read out in the first mode. Of these, mn frames are read in the second mode. A frame M-3 is a frame that is driven and read in the first mode in a state in which the electronic zoom is set to OFF before the electronic zoom is set. The frame M-2 and subsequent frames show the state set to the electronic zoom ON state, and are frames that are driven and read in the first mode or the second mode. In the first mode, the
フレームM−3以前では、撮像部200は第1のモードで駆動され、フレームM−2以降は、撮像部200は第1のモード又は第2のモードで駆動される。フレームMやフレームNに示すように、一定フレーム毎に1フレームの割合で撮像部200を第1のモードで駆動させる。例えば、10秒おきに1フレームとすると、フレームレートが30フレーム/秒である場合には、300フレーム毎に1フレームの割合で第1のモードとなる。)そして、第1のモードで駆動されたときに読み出されたフレームM、Nにおいて、それぞれWB処理用の補正値を算出し、その補正値をそれぞれフレームM+1、N+1以降に反映させる。また、第1のモードで駆動され読み出されたフレームM、Nでは、読み出されたフレームの画角よりも小さい領域を切り出し、その切り出した画像をリサイズすることにより出力画像とする。好ましくは、撮像信号処理回路507において第2のモードで読み出されたフレームと同様の画角となる領域を切り出し、その画像をリサイズすることにより出力画像とする。このように、第1のモードで読み出された画像を出力画像として使用することにより、フレームレートを一定に保つことができる。この場合、第1のモードで読みだした画像のリサイズ画像は、第2のモードで読み出した画像に比べて解像度が落ちるため、補正部であるAPC回路604で、解像度の違いを抑制する補正を行うことが好ましい。具体的には、高周波輝度信号の増幅率を上げるようにAPC処理する。
Before the frame M-3, the
上記の方法を用いることによって、電子ズームを使用して動画撮影を行うときなどのように、白の割合が減少する可能性の高い場合においても、適切なWB処理を行うことが可能となる。また、異なる2つのモードのフレームレートは、同じになるように設定することによって、スムーズな動画を実現することができる。 By using the above method, it is possible to perform appropriate WB processing even when the white ratio is likely to decrease, such as when moving pictures are shot using electronic zoom. In addition, by setting the frame rates of the two different modes to be the same, a smooth moving image can be realized.
上記の方法では、第1のモードで読み出されるフレームを出力画像としている。しかしながら、第1のモードで読み出されるフレームは、第2のモードで読み出される画像と同様の画角にリサイズすると、第2のモードで読み出される画像と比べて情報量が少なく解像度が落ち、画質が劣化する。 In the above method, a frame read in the first mode is used as an output image. However, if the frame read out in the first mode is resized to the same angle of view as the image read out in the second mode, the information amount is less than that of the image read out in the second mode, and the resolution is lowered. to degrade.
そこで、第2のモードで読み出されるフレームのみ一定のフレーム間隔で読み出し、WB処理を行う第1のモードで駆動し読み出されるフレームは第2のモードで駆動し読み出されるフレームの合間で読み出す。出力画像としては第2のモードで読み出されるフレームのみを用いてもよい。この場合、第1のモードで読み出されるフレームの画像データを用いないため、第1のモードで読み出されるフレームを出力画像として用いることによる画質の劣化が発生しない。また、第2のモードにより読み出されるフレームは、一定のフレーム間隔で読み出されるため、スムーズな動画を実現することができる。 Therefore, only the frames read in the second mode are read at a constant frame interval, and the frames that are driven and read in the first mode for performing the WB process are read between the frames that are driven and read in the second mode. As an output image, only a frame read in the second mode may be used. In this case, since the image data of the frame read in the first mode is not used, the image quality is not deteriorated by using the frame read in the first mode as the output image. In addition, since the frames read out in the second mode are read out at a constant frame interval, a smooth moving image can be realized.
図10に本実施形態における他の動作の概念図を示す。本実施形態では4倍の電子ズームに設定した状態で静止画撮影する場合における撮像装置の動作例を示す。 FIG. 10 shows a conceptual diagram of another operation in the present embodiment. In the present embodiment, an example of the operation of the imaging apparatus in the case of taking a still image with the electronic zoom set to 4 times is shown.
図10はSW2直前の数フレームから静止画撮影されるまでに、撮像装置から読み出されるフレームを左から右にかけて時系列に並べた状態を示す図である。フレームP−3からフレームP−1までは第1のモードで駆動しており、SW2により第2のモードに切換りフレームPが読み出される。このとき、第1のモードは撮像部200において図9に示す有効画素領域901を垂直方向に2ラインおきに読み出すモードであり、第2のモードは撮像部200において図9に示す領域902を読み出すモードである。領域902は有効画素領域901における中心から対角方向に5割までの領域であり、有効画素領域901を読出す場合に比べて4倍の電子ズームを行った状態となる。フレームP−3からフレームP−1までの画像データはそれぞれ撮像信号処理回路507においてフレームPと同様の画角となるように所定の領域を切り出しリサイズされた画像となって、表示部512に表示される。また同時に、フレームP−1の画像データから撮像信号処理回路507でWB処理を行い、この結果得られたWB係数とフレームPの画像データを元に静止画を作成する。このときフレームP−3からフレームP−1から得られる画像データはフレームP(ただし、Pは整数)から得られる画像データよりもAPC回路604での高周波輝度信号の増幅率を上げるようにAPC処理することが望ましい。
FIG. 10 is a diagram illustrating a state in which frames read from the imaging device are arranged in time series from left to right until a still image is captured from several frames immediately before SW2. The frames P-3 to P-1 are driven in the first mode, and the second mode is switched by SW2 to read the frame P. At this time, the first mode is a mode in which the
以上、上記の方法を用いることにより、電子ズームを使用して静止画撮影を行うときなどのように白の割合が減少する可能性の高い場合においても適切なWB処理を行うことが可能となる。 As described above, by using the above method, it is possible to perform appropriate WB processing even when the white ratio is highly likely to decrease, such as when still image shooting is performed using electronic zoom. .
なお、以上の実施形態についてはデジタルカメラを例に説明をしたが、本発明はデジタルカメラに限定されない。デジタルビデオカメラやデジタルカメラ付き携帯電話、スキャナ等も含まれる。また、カメラとPCを有線或いは無線で接続した状態でPCからレリーズ指示を出すようなリモート操作によって撮像を行うものも含まれる。各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上述の実施形態の機能を実現するためのソフトウェアのプログラムコードを供給したものも本発明の範疇に含まれる。加えそのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。 Although the above embodiment has been described by taking a digital camera as an example, the present invention is not limited to a digital camera. Also included are digital video cameras, mobile phones with digital cameras, and scanners. Also included are those that perform imaging by remote operation in which a release instruction is issued from the PC while the camera and the PC are connected by wire or wirelessly. What supplied the program code of the software for implement | achieving the function of the above-mentioned embodiment with respect to the computer in the apparatus or system connected with various devices is also contained under the category of this invention. In addition, those implemented by operating the various devices in accordance with a program stored in a computer (CPU or MPU) of the system or apparatus are also included in the scope of the present invention.
また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。つまりそのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。 In this case, the program code of the software itself realizes the functions of the above-described embodiment. That is, the program code itself and means for supplying the program code to the computer, for example, a recording medium storing the program code constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)も本発明の範疇に含まれる。あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。 Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) in which the program code is operating in the computer falls within the scope of the present invention. included. Alternatively, it goes without saying that the program code is also included in the embodiment of the present invention when the functions of the above-described embodiment are realized in cooperation with other application software.
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPUも含まれる。そしてそれらCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。 Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code Is also included. Needless to say, the present invention also includes a case where the CPU or the like performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
200 撮像部
202 光電変換素子
301 第1の領域
302 第2の領域
200
Claims (9)
前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御する制御部とを備え、
前記制御部は、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする撮像装置。 A first mode in which a plurality of photoelectric conversion elements are disposed on the imaging surface, and an image signal is read from a first photoelectric conversion element group disposed in a first region of the imaging surface, and the first of the imaging surface An image pickup unit that can be driven in a second mode for reading out an image signal from a second photoelectric conversion element group disposed in a second region included in the first region smaller than the first region;
A white balance correction value is calculated based on an image signal obtained by driving the imaging unit in the first mode, and the imaging unit is driven in the second mode using the white balance correction value. and a control unit for controlling to perform white balance processing of the image signal obtained by,
When the control unit reads out an image signal of m (m is an integer of 2 or more) frames every predetermined second, the control unit performs the operation in the n (n is an integer of 1 or more smaller than m) of the m frames. Driving the image pickup unit in the first mode to read an image signal, and controlling to drive the image pickup unit in the second mode to read the image signal in the mn frames out of the m frames. An imaging device that is characterized.
前記撮像部を前記第1のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第2のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御するとともに、所定秒毎にm(mは2以上の整数)フレームの画像信号を読み出す場合に、前記mフレームのうちn(nはmよりも小さい1以上の整数)フレームにおいて、前記第1のモードで前記撮像部を駆動して画像信号を読み出し、前記mフレームのうちm‐nフレームにおいて、前記第2のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする撮像装置の制御方法。 A first mode in which a plurality of photoelectric conversion elements are disposed on the imaging surface, and an image signal is read from a first photoelectric conversion element group disposed in a first region of the imaging surface; and the first mode of the imaging surface Control method for an imaging apparatus including an imaging unit that can be driven in a second mode that reads an image signal from a second photoelectric conversion element group that is arranged in a second area that is smaller than the area and included in the first area Because
A white balance correction value is calculated based on an image signal obtained by driving the imaging unit in the first mode, and the imaging unit is driven in the second mode using the white balance correction value. When the image signal of m (where m is an integer of 2 or more) frames are read out every predetermined second, n (n is m) of the m frames. In the first frame), the image pickup unit is driven to read the image signal in the first mode, and the image pickup unit is operated in the second mode in the mn frame among the m frames. A control method for an imaging apparatus, wherein the control is performed so as to drive and read an image signal .
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006121271A JP4875399B2 (en) | 2006-04-25 | 2006-04-25 | Imaging apparatus, control method therefor, and imaging system |
CN2012100965602A CN102665043A (en) | 2006-04-25 | 2007-04-20 | Imaging apparatus and control method thereof |
KR1020087028631A KR101010988B1 (en) | 2006-04-25 | 2007-04-20 | Image sensing apparatus and method for controlling the same |
EP07742564A EP2016775A1 (en) | 2006-04-25 | 2007-04-20 | Image sensing apparatus and method for controlling the same |
US11/722,464 US8314850B2 (en) | 2006-04-25 | 2007-04-20 | Image sensing apparatus and method for controlling the same |
PCT/JP2007/059129 WO2007126033A1 (en) | 2006-04-25 | 2007-04-20 | Image sensing apparatus and method for controlling the same |
CN2007800149245A CN101433095B (en) | 2006-04-25 | 2007-04-20 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006121271A JP4875399B2 (en) | 2006-04-25 | 2006-04-25 | Imaging apparatus, control method therefor, and imaging system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007295300A JP2007295300A (en) | 2007-11-08 |
JP2007295300A5 JP2007295300A5 (en) | 2009-05-28 |
JP4875399B2 true JP4875399B2 (en) | 2012-02-15 |
Family
ID=38765472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006121271A Expired - Fee Related JP4875399B2 (en) | 2006-04-25 | 2006-04-25 | Imaging apparatus, control method therefor, and imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4875399B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8218027B2 (en) * | 2009-04-09 | 2012-07-10 | Hand Held Products, Inc. | Imaging terminal having color correction |
WO2013065518A1 (en) | 2011-10-31 | 2013-05-10 | 富士フイルム株式会社 | Imaging apparatus and image processing method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4228180B2 (en) * | 2001-08-24 | 2009-02-25 | 富士フイルム株式会社 | Digital camera and printer |
JP2004040432A (en) * | 2002-07-03 | 2004-02-05 | Hitachi Ltd | Imaging apparatus |
JP4008778B2 (en) * | 2002-07-31 | 2007-11-14 | 株式会社リコー | Imaging device |
JP2007043248A (en) * | 2005-07-29 | 2007-02-15 | Eastman Kodak Co | Imaging apparatus |
-
2006
- 2006-04-25 JP JP2006121271A patent/JP4875399B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007295300A (en) | 2007-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101010988B1 (en) | Image sensing apparatus and method for controlling the same | |
US7391447B2 (en) | Method and apparatus for removing noise from a digital image | |
US20060087707A1 (en) | Image taking apparatus | |
JP3395770B2 (en) | Digital still camera | |
JP4622790B2 (en) | Imaging device and imaging apparatus | |
US7907193B2 (en) | Image capturing apparatus | |
JP2003032694A (en) | Solid-state imaging device and digital camera | |
JP4253634B2 (en) | Digital camera | |
US7019775B2 (en) | Image sensing apparatus and control method thereof | |
JP3738652B2 (en) | Digital camera | |
JPH11239291A (en) | Image pickup controller and image pickup control method | |
JP2007335985A (en) | Electronic imaging apparatus and electronic imaging method | |
JP2000278595A (en) | Digital camera and image pickup method | |
JP2003319407A (en) | Imaging apparatus | |
JP4993670B2 (en) | Imaging apparatus and control method thereof | |
JP4875399B2 (en) | Imaging apparatus, control method therefor, and imaging system | |
JP2009021985A (en) | Imaging apparatus, and driving method of imaging apparatus | |
KR101612853B1 (en) | Photographing apparatus, controlling method of photographing apparatus, and recording medium storing program to implement the controlling method | |
JP2009055415A (en) | Camera | |
JP2006340100A (en) | Photographic device | |
JP5550333B2 (en) | Imaging apparatus, development method, and program | |
JP5625325B2 (en) | Image data recording apparatus and image data recording program | |
JP2013121005A (en) | Imaging device | |
JP6700728B2 (en) | Imaging device and imaging device | |
JP2006121326A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4875399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |