JP5157699B2 - Imaging apparatus and imaging method - Google Patents
Imaging apparatus and imaging method Download PDFInfo
- Publication number
- JP5157699B2 JP5157699B2 JP2008181800A JP2008181800A JP5157699B2 JP 5157699 B2 JP5157699 B2 JP 5157699B2 JP 2008181800 A JP2008181800 A JP 2008181800A JP 2008181800 A JP2008181800 A JP 2008181800A JP 5157699 B2 JP5157699 B2 JP 5157699B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- value
- function
- imaging
- spectral distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は、ホワイトバランス調整を自動的に行う撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method that automatically perform white balance adjustment.
ビデオカメラ等の撮像装置では、被写体を照らす光源に拘わらず白く表現すべき色を自動的に調整するオートホワイトバランスが実現されている。オートホワイトバランスは、被写体は平均的に無彩色であり画面内の赤色信号、緑色信号、青色信号の3原色信号の平均値は等しくなる、という仮定に基づいて行われる。通常の撮影環境においては3原色信号がランダムに混入し結果的に上記の仮定が成立するが、有彩色が画面の大部分を占めている等、被写体によっては画像全体の平均値が無彩色とならない場合がある。画面が有彩色と判断されるこのような状況下において画面内の3原色信号のホワイトバランスを調整してしまうと、その有彩色を反映した白レベルが生成され、カラーフェイリア(color failure)が生じてしまう。 In an imaging apparatus such as a video camera, an auto white balance that automatically adjusts a color to be expressed in white regardless of a light source that illuminates a subject is realized. The auto white balance is performed based on the assumption that the subject is an achromatic color on average and the average values of the three primary color signals of the red signal, the green signal, and the blue signal in the screen are equal. In the normal shooting environment, the three primary color signals are mixed at random, and as a result, the above assumption is established. However, depending on the subject, the average value of the entire image may be achromatic, such as chromatic color occupying most of the screen. It may not be possible. In such a situation where the screen is determined to be chromatic, if the white balance of the three primary color signals in the screen is adjusted, a white level reflecting the chromatic color is generated, and a color failure (color failure) is generated. It will occur.
このようなカラーフェイリアを軽減するオートホワイトバランス装置として、特許文献1に示される技術が知られている。かかる技術では、画面(画像)を複数のブロックに分割し、各ブロックの赤色信号、緑色信号、青色信号(以下、単にR、G、Bと略す。)比の平均値を計算して、その平均値が予め定めた無彩色であると判定される領域(無彩色領域)に属しているブロックのみをオートホワイトバランス対象として抽出する。そして、抽出したブロック群のR、G、Bの平均値から3原色信号それぞれの増幅率を導出している。 As an auto white balance device that reduces such color failure, a technique disclosed in Patent Document 1 is known. In such a technique, the screen (image) is divided into a plurality of blocks, and an average value of the ratio of the red signal, the green signal, and the blue signal (hereinafter simply referred to as R, G, and B) of each block is calculated. Only blocks belonging to a region (achromatic region) where the average value is determined to be a predetermined achromatic color are extracted as auto white balance targets. Then, the amplification factors of the three primary color signals are derived from the average values of R, G, and B of the extracted block group.
また、カラーベクトル座標の原点を通過する黒体放射軌跡を、その原点を境とした2つの直線で近似し、その2つの近似直線に基づく2つの無彩色領域を用いてオートホワイトバランスを行う技術も開示されている(例えば、特許文献2)。
上述した従来技術はいずれも無彩色領域に含まれるブロックをオートホワイトバランスの対象とするものである。従って、その無彩色領域の設定によってホワイトバランスの結果が異なることとなる。例えば、上述した特許文献1においては、黒体放射軌跡が(B/G)×(R/G)=1であることを前提に以下の条件を全て満たすように無彩色領域(図8)が定義される。
θ1≦B/G≦θ2
θ3≦R/G≦θ4
θ5≦(B/G)×(R/G)≦θ6
ただし、θ1、θ2、θ3、θ4、θ5、θ6は任意の定数。
All of the above-described conventional techniques target blocks included in the achromatic region for auto white balance. Therefore, the result of white balance varies depending on the setting of the achromatic region. For example, in Patent Document 1 described above, the achromatic region (FIG. 8) is set so as to satisfy all of the following conditions on the assumption that the black body radiation locus is (B / G) × (R / G) = 1. Defined.
θ 1 ≦ B / G ≦ θ 2
θ 3 ≦ R / G ≦ θ 4
θ 5 ≦ (B / G) × (R / G) ≦ θ 6
However, θ 1 , θ 2 , θ 3 , θ 4 , θ 5 , and θ 6 are arbitrary constants.
上述した従来技術では、黒体放射の分光分布特性のみを踏まえて一意に無彩色領域を設定している。しかし、撮像装置内の3原色信号の増幅段まで、黒体(照明光)は、撮像レンズ、IRカットフィルタ、CCD(撮像回路)を経由する。つまり、ホワイトバランスの増幅率を算出する段階における映像信号(R、G、B)は、黒体の分光分布、撮像装置の撮像レンズの分光分布、IRカットフィルタの分光分布、CCDの分光感度の積分値となり、黒体の分光分布のみでは黒体放射軌跡を正確に表すことができない。 In the prior art described above, the achromatic region is uniquely set based only on the spectral distribution characteristics of blackbody radiation. However, the black body (illumination light) passes through the imaging lens, the IR cut filter, and the CCD (imaging circuit) up to the amplification stage of the three primary color signals in the imaging device. In other words, the video signals (R, G, B) at the stage of calculating the white balance gain are the black body spectral distribution, the spectral distribution of the imaging lens of the imaging device, the spectral distribution of the IR cut filter, and the spectral sensitivity of the CCD. It becomes an integral value, and the black body radiation locus cannot be accurately represented only by the spectral distribution of the black body.
このため、撮像装置に入力された段階での黒体放射軌跡が、(B/G)×(R/G)が一定となる反比例関数で近似できたとしても、撮像装置自体の分光分布特性により、ホワイトバランスの増幅率を算出する段階での黒体放射軌跡が反比例関数で近似できるとは限らない。 For this reason, even if the black body radiation locus at the stage of input to the imaging device can be approximated by an inverse proportional function in which (B / G) × (R / G) is constant, it depends on the spectral distribution characteristics of the imaging device itself. The black body radiation locus at the stage of calculating the white balance amplification factor cannot always be approximated by an inverse proportional function.
例えば、ホワイトバランスの増幅率を算出する段階において、図9に示すように黒体放射軌跡10を直線(一次関数)で表すことができるとき、無彩色領域12は図9中斜線で示す領域分だけ設定されれば十分である。しかし、従来技術では、無彩色領域を任意に定めることはできず、上述した反比例関数による無彩色領域14への当て嵌めが行われるため、図9中実線で示されたように上記斜線で示す領域を包含する広い領域で無彩色領域14を設定せざるを得なかった。 For example, when the black body radiation locus 10 can be represented by a straight line (linear function) as shown in FIG. 9 in the stage of calculating the white balance amplification factor, the achromatic region 12 corresponds to the region indicated by the diagonal lines in FIG. It is enough to set only. However, in the prior art, the achromatic color region cannot be arbitrarily determined, and is applied to the achromatic color region 14 by the above-described inverse proportional function. Therefore, as shown by the solid line in FIG. The achromatic region 14 has to be set in a wide region including the region.
従って、無彩色領域が不適切に広がり、本来有彩色であると判断すべきブロックを無彩色と誤判断し、カラーフェイリアが増加する現象を招いていた。かかる現象は、ホワイトバランスの増幅率を算出する段階での黒体放射軌跡が反比例関数の形状と非類似であればあるほど顕著となっていた。 Therefore, the achromatic color region is inappropriately widened, and a block that should be determined to be originally a chromatic color is erroneously determined as an achromatic color, resulting in an increase in color failure. Such a phenomenon becomes more prominent as the black body radiation locus at the stage of calculating the white balance gain becomes dissimilar to the shape of the inverse proportional function.
本発明は、このような課題に鑑み、撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことが可能な撮像装置および撮像方法を提供することを目的としている。 In view of such a problem, the present invention provides a highly accurate white based on an achromatic region in which the spectral distribution characteristics of the imaging apparatus are appropriately reflected and the presence check in the region can be executed quickly and reliably. An object of the present invention is to provide an imaging apparatus and an imaging method capable of performing balance adjustment.
上記課題を解決するために、本発明は、撮像レンズ(104及び142)、IRカットフィルタ(140)、及び、撮像素子(144)を有し、画像データを生成する撮像部(120)と、前記撮像レンズ(104及び142)の分光分布、前記IRカットフィルタ(140)の分光分布、及び、前記撮像素子(144)の分光分布の少なくとも何れか、並びに、予め定められた黒体の分光分布における所定の周波数毎の離散値の積算値から、赤色の信号値、緑色の信号値、及び、青色の信号値を算出する算出部(168)と、
前記赤色の信号値、緑色の信号値、及び、青色の信号値に基づき、青色信号/緑色信号−赤色信号/緑色信号平面、又は、緑色信号/青色信号−緑色信号/赤色信号平面における黒体放射軌跡を導出する導出部(168)と、前記画像データに係る画面を複数のブロックに分割し、各ブロックの映像信号の代表値を算出する代表値算出部(164)と、前記黒体放射軌跡に対する近似誤差が最小となる近似関数を導出し、その近似関数を一次関数に軸変換するとともに、前記代表値をその一次関数と同じ平面内の値となるよう軸変換する軸変換部(166)と、前記軸変換された代表値が、前記平面内で前記一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定する無彩色判定部(168)と、前記無彩色領域内に存在すると判断された前記軸変換された代表値に対応する1または複数のブロックを用いて3原色信号の増幅率を導出する増幅率導出部(170)と、を備えることを特徴とする撮像装置を提供する。
In order to solve the above problems, the present invention includes an imaging unit (120) that includes an imaging lens (104 and 142), an IR cut filter (140), and an imaging device (144), and generates image data. At least one of a spectral distribution of the imaging lenses (104 and 142), a spectral distribution of the IR cut filter (140), and a spectral distribution of the imaging element (144), and a predetermined spectral distribution of a black body A calculation unit (168) for calculating a red signal value, a green signal value, and a blue signal value from an integrated value of discrete values for each predetermined frequency in
A black body in the blue signal / green signal-red signal / green signal plane or the green signal / blue signal-green signal / red signal plane based on the red signal value, the green signal value, and the blue signal value. A deriving unit (168) for deriving a radiation locus, a representative value calculating unit (164) for dividing a screen related to the image data into a plurality of blocks, and calculating a representative value of a video signal of each block, and the black body radiation An axis conversion unit (166) that derives an approximation function that minimizes an approximation error with respect to the locus, converts the approximation function into a linear function, and converts the representative value into a value in the same plane as the linear function. ) and the axis transformed representative value, achromatic color determination unit determines whether there achromatic region formed in a strip shape obtained by adding or subtracting a predetermined number to said linear function in the plane (168) And the achromatic region Characterized in that it comprises a amplification factor deriving unit (170) to derive the amplification factor of the three primary color signals using one or more blocks corresponding to to said axis conversion representative value determined to exist among An imaging device is provided.
上述したように撮像装置の分光分布特性の影響を考慮すると黒体放射軌跡やそれに対応した無彩色領域は、単に反比例関数で近似できるとは限らない。本発明では、撮像装置の分光分布特性が適切に反映された、即ち、撮像装置の撮像レンズ、IRカットフィルタ、撮像回路等を経由した無彩色領域を設定することで、適切なホワイトバランス調整を行い、カラーフェイリアを回避すると共に、その無彩色領域を適切な軸変換を経た単純関数領域(一次関数に所定値を加減算した帯状の領域)で表すことで、代表値が無彩色領域内に含まれるか否かを迅速かつ確実に判定することができる。 As described above, in consideration of the influence of the spectral distribution characteristics of the imaging device, the black body radiation locus and the achromatic region corresponding thereto cannot always be approximated by an inversely proportional function. In the present invention, the spectral distribution characteristics of the imaging device are appropriately reflected, that is, by setting an achromatic region via the imaging lens, IR cut filter, imaging circuit, etc. of the imaging device, appropriate white balance adjustment is performed. And avoiding color failure, and representing the achromatic area in a simple function area that has undergone appropriate axis transformation (a band-like area obtained by adding or subtracting a predetermined value to a linear function), the representative value is within the achromatic area. Whether it is included or not can be determined quickly and reliably.
無彩色判定部で用いられる無彩色領域は、撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に軸変換して生成される。従って、代表値も無彩色領域同様に軸変換することで、代表値が単純関数領域(無彩色領域)内に含まれているかどうかを容易に判定することができ、その無彩色領域包含判定に費やす負荷の軽減および処理能力の向上を図ることが可能となる。 The achromatic region used in the achromatic color determination unit is generated by converting the approximate function that minimizes the difference with respect to the blackbody radiation locus reflecting the spectral distribution characteristics of the imaging device into a linear function. Therefore, it is possible to easily determine whether or not the representative value is included in the simple function area (achromatic area) by converting the axis of the representative value in the same manner as the achromatic area. It is possible to reduce the spent load and improve the processing capacity.
本発明では、上述した青色信号/緑色信号−赤色信号/緑色信号平面では近似関数を当て嵌め困難な場合または当て嵌めに適さない場合に、基準面を緑色信号/青色信号−緑色信号/赤色信号平面として近似関数を求めている。かかる構成により、上述した発明同様、代表値を軸変換した値が、その単純関数領域内に含まれているかどうかを判定するだけで代表値の無彩色領域包含判定を容易に遂行することができ、負荷の軽減および処理能力の向上を図ることができる。 In the present invention, when the approximation function is difficult to fit in the above-described blue signal / green signal-red signal / green signal plane, or when the approximate function is not suitable for the fit, the green signal / blue signal-green signal / red signal is used as the reference plane. The approximate function is obtained as a plane. With this configuration, as in the above-described invention, it is possible to easily perform the achromatic color region inclusion determination of the representative value only by determining whether or not the value obtained by axial conversion of the representative value is included in the simple function region. , It is possible to reduce the load and improve the processing capability.
近似関数は、一次関数、反比例関数、累乗関数、指数関数、対数関数から選択された関数であってもよい。 The approximate function may be a function selected from a linear function, an inverse proportional function, a power function, an exponential function, and a logarithmic function.
かかる関数群は、青色信号/緑色信号軸または赤色信号/緑色信号軸のいずれかの軸を恒等変換または対数変換することによって一次関数となる関数群である。従って、本発明の目的である単純関数領域を形成するために上記のような多数の近似関数を適用することができるので、軌跡の配置の如何に拘わらず適切に黒体放射軌跡を近似することが可能となる。 Such a function group is a function group that becomes a linear function by performing identity conversion or logarithmic conversion on either the blue signal / green signal axis or the red signal / green signal axis. Therefore, since a number of approximation functions as described above can be applied to form the simple function region that is the object of the present invention, the black body radiation locus can be appropriately approximated regardless of the arrangement of the locus. Is possible.
上記増幅率導出部は、前記一次関数の直線方向の端部に向かって赤色信号または青色信号の重み付けをして前記増幅率を導出するようにしてもよい。The amplification factor deriving unit may derive the amplification factor by weighting a red signal or a blue signal toward an end portion of the linear function in a linear direction.
本発明では、無彩色領域における一次関数の直線方向の端部も無彩色と判定されるものの、その点に存在する被写体は、実際、人の目を通じて赤味がかっていたり、青味がかっていたりする。従って、このような端部に近い領域に赤色信号または青色信号の重み付けを行うことで、人の目に近いホワイトバランスを実現することが可能となる。 In the present invention, although the end of the linear function of the linear function in the achromatic region is also determined to be achromatic, the subject present at that point is actually reddish or bluish through human eyes. To do. Therefore, it is possible to realize white balance close to human eyes by weighting the red signal or blue signal to such an area close to the end.
また上記課題を解決するために、本発明は、撮像レンズの分光分布、IRカットフィルタの分光分布、及び、撮像素子の分光分布の少なくとも何れか、並びに、予め定められた黒体の分光分布における所定の周波数毎の離散値の積算値から、赤色の信号値、緑色の信号値、及び、青色の信号値を算出し、前記赤色の信号値、緑色の信号値、及び、青色の信号値に基づき、青色信号/緑色信号−赤色信号/緑色信号平面、又は、緑色信号/青色信号−緑色信号/赤色信号平面における黒体放射軌跡を導出し、前記撮像素子が生成した画像データに係る画面を複数のブロックに分割し、各ブロックの映像信号の代表値を算出し、前記黒体放射軌跡に対する近似誤差が最小となる近似関数を導出し、その近似関数を一次関数に軸変換するとともに、前記代表値をその一次関数と同じ平面内の値となるよう軸変換し、前記軸変換された代表値が、前記平面内で前記一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定し、前記無彩色領域内に存在すると判断された前記軸変換された代表値に対応する1または複数のブロックを用いて3原色信号の増幅率を導出することを特徴とする撮像方法を提供する。 In order to solve the above-described problems, the present invention provides at least one of a spectral distribution of an imaging lens, a spectral distribution of an IR cut filter, and a spectral distribution of an imaging element, and a predetermined blackbody spectral distribution. A red signal value, a green signal value, and a blue signal value are calculated from an integrated value of discrete values for each predetermined frequency, and the red signal value, the green signal value, and the blue signal value are calculated. Based on this, a black body radiation locus in the blue signal / green signal-red signal / green signal plane or the green signal / blue signal-green signal / red signal plane is derived, and the screen related to the image data generated by the image sensor is displayed . together into a plurality of blocks, calculating a representative value of the image signal of each block to derive an approximate function approximation error with respect to the black body radiation locus is minimized, axially converts the approximation function to a linear function, The serial representative value and values become as axis conversion in the same plane as its primary function, the achromatic said axis converted representative value, which is formed in a strip shape obtained by adding or subtracting a predetermined number to said linear function in the plane It determines whether present within the area, to derive the amplification factor of the three primary color signals using one or more blocks corresponding to the representative value converted the determined to exist shaft to the achromatic region An imaging method is provided.
上述した撮像装置における技術的思想に対応する構成要素やその説明は、上記撮像方法にも適用可能である。 The components corresponding to the technical idea of the imaging apparatus described above and the description thereof can also be applied to the imaging method.
以上説明したように、本発明によれば、撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことが可能となる。 As described above, according to the present invention, the spectral distribution characteristics of the imaging device are appropriately reflected, and high accuracy can be achieved based on the achromatic color region in which the existence check in the region can be executed quickly and reliably. White balance adjustment can be performed.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiment are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
既存の撮像装置では、黒体放射軌跡が、例えば(青色信号B/緑色信号G)×(赤色信号R/緑色信号G)といったように定められており、無彩色領域も反比例関数とその周囲で固定されていた。さらに、撮像装置の分光分布特性の影響が考慮されていないので、設定された無彩色領域は本来の無彩色領域と相異し、カラーフェイリアの問題を生じていた。 In the existing imaging device, the black body radiation locus is determined as, for example, (blue signal B / green signal G) × (red signal R / green signal G), and the achromatic region also has an inversely proportional function and its surroundings. It was fixed. Further, since the influence of the spectral distribution characteristics of the image pickup apparatus is not taken into consideration, the set achromatic region is different from the original achromatic region, which causes a problem of color failure.
本実施形態では、撮像装置の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことを目的としている。以下、本実施形態の撮像装置および撮像方法としてのオートホワイトバランス方法を述べる。 In the present embodiment, it is possible to perform high-accuracy white balance adjustment based on an achromatic color region in which the spectral distribution characteristics of the imaging device are appropriately reflected and the presence check in the region can be executed quickly and reliably. It is aimed. Hereinafter, we describe the automatic white balance method as IMAGING apparatus and an imaging method of the present embodiment.
(撮像装置100)
図1は、本実施形態における撮像装置100の一例を示した外観図である。撮像装置100は、携帯性を有し、本体102と、撮像レンズ104と、操作キー106と、ビューファインダ108とを含んで構成される。
(Imaging device 100)
FIG. 1 is an external view illustrating an example of an imaging apparatus 100 according to the present embodiment. The imaging apparatus 100 has portability and includes a main body 102, an imaging lens 104, operation keys 106, and a viewfinder 108.
本体102は、撮像レンズ104を通じて撮像された画像データを再視聴可能に記録すると共に、操作キー106へのユーザ入力に応じてその記録タイミングや画角が調整される。また、画像データにおける画面内の所望する被写体の焦点および露光が所望する値になるよう自動調節される。ビューファインダ108は、液晶ディスプレイ、有機EL(Electro Luminescence)等で構成され、実録される画像データを視認することができる。撮影者は、そのビューファインダ108に表示された画像を参照しながら被写体を所望する位置および大きさで捉えることが可能となる。 The main body 102 records the image data captured through the imaging lens 104 so that it can be viewed again, and the recording timing and angle of view are adjusted in accordance with user input to the operation keys 106. In addition, the focus and exposure of a desired subject in the screen in the image data are automatically adjusted to a desired value. The viewfinder 108 is composed of a liquid crystal display, an organic EL (Electro Luminescence), etc., and can visually recognize image data that is actually recorded. The photographer can capture the subject at a desired position and size while referring to the image displayed on the viewfinder 108.
かかる撮像装置100において、撮像レンズ104から入射される黒体(照明光)は、3原色信号を増幅する段階までに、撮像レンズ、IRカットフィルタ、CCD(撮像回路)を経由する。つまり、ホワイトバランスの増幅率を算出する段階における映像信号R、G、Bは、数式1に示すように、黒体の分光分布E(λ)、撮像装置の撮像レンズの分光分布L(λ)、IRカットフィルタの分光分布f(λ)、撮像回路の分光感度S(λ)の積分値となる。
R = ∫E(λ)×L(λ)×f(λ)×SR(λ)dλ
G = ∫E(λ)×L(λ)×f(λ)×SG(λ)dλ …(数式1)
B = ∫E(λ)×L(λ)×f(λ)×SB(λ)dλ
ただし、撮像回路の分光感度をR、G、Bそれぞれに関してSR、SG、SBとする。
In the imaging apparatus 100, the black body (illumination light) incident from the imaging lens 104 passes through the imaging lens, the IR cut filter, and the CCD (imaging circuit) before amplifying the three primary color signals. In other words, the video signals R, G, and B at the stage of calculating the white balance gain are black body spectral distribution E (λ) and imaging lens spectral distribution L (λ) of the imaging device as shown in Equation 1. , The integral value of the spectral distribution f (λ) of the IR cut filter and the spectral sensitivity S (λ) of the imaging circuit.
R = ∫E (λ) × L (λ) × f (λ) × S R (λ) dλ
G = ∫E (λ) × L (λ) × f (λ) × S G (λ) dλ (Formula 1)
B = ∫E (λ) × L (λ) × f (λ) × S B (λ) dλ
However, the spectral sensitivities of the imaging circuits are S R , S G , and S B for R, G, and B, respectively.
従って、撮像装置100自体の分光分布特性により、ホワイトバランスの増幅率を算出する段階での黒体放射軌跡を単に反比例関数で近似すべきではない。 Therefore, the black body radiation locus at the stage of calculating the white balance amplification factor should not be simply approximated by an inverse proportional function based on the spectral distribution characteristics of the imaging apparatus 100 itself.
図2は、本実施形態における撮像装置100の構成を示すブロック図である。撮像装置100は、撮像部120と、中央制御部122と、信号出力部124と、記録部126とを含んで構成される。 FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus 100 according to the present embodiment. The imaging apparatus 100 includes an imaging unit 120, a central control unit 122, a signal output unit 124, and a recording unit 126.
撮像部120は、撮像レンズ104を通じて被写体を撮像し画像データを生成する。撮像部120は、具体的に、近赤外光を遮るIRカットフィルタ140、焦点調整に用いられるフォーカスレンズ142、露光調整に用いられる絞り144、撮像レンズ104を通じて入射する光を電気信号に変換するCCD等で構成される撮像回路(撮像素子)146、撮像回路146からの画像信号を増幅する増幅器148、増幅された画像信号をデジタルの画像データに変換するA/D変換器150、フォーカスレンズ142および絞り144を駆動させる駆動回路152とを含んで構成される。かかる撮像部120によって生成された画像データは、中央制御部122に転送される。 The imaging unit 120 captures a subject through the imaging lens 104 and generates image data. Specifically, the imaging unit 120 converts light incident through the IR cut filter 140 that blocks near-infrared light, the focus lens 142 used for focus adjustment, the aperture 144 used for exposure adjustment, and the imaging lens 104 into an electrical signal. An imaging circuit (imaging device) 146 composed of a CCD or the like, an amplifier 148 that amplifies an image signal from the imaging circuit 146, an A / D converter 150 that converts the amplified image signal into digital image data, and a focus lens 142 And a drive circuit 152 that drives the diaphragm 144. The image data generated by the imaging unit 120 is transferred to the central control unit 122.
中央制御部122は、中央処理装置(CPU)や信号処理装置(DSP:Digital Signal Processor)を含む半導体集積回路により撮像装置100全体を管理および制御し、撮像部120で撮像された画像データに基づいて画面全体の動きベクトル、移動体の抽出等を実行する。また、中央制御部122は、駆動回路152に対して制御信号を送信し、焦点調整や露光調整も行う。当該中央制御部122の詳細な構成は後ほど説明する。 The central control unit 122 manages and controls the entire imaging device 100 by a semiconductor integrated circuit including a central processing unit (CPU) and a signal processing device (DSP: Digital Signal Processor), and is based on image data captured by the imaging unit 120. The motion vector of the entire screen, extraction of the moving object, etc. are executed. The central control unit 122 also transmits a control signal to the drive circuit 152 to perform focus adjustment and exposure adjustment. The detailed configuration of the central control unit 122 will be described later.
信号出力部124は、D/A変換器154を備え、画像データを視聴可能な画像信号に加工してビューファインダ108に出力する。撮影者は、かかるビューファインダ108の映像を視認しながら撮像対象を特定することができる。ここでは、画像信号の出力先をビューファインダ108としたが、別体のモニタ等様々な画像表示装置に接続することも可能である。 The signal output unit 124 includes a D / A converter 154, processes the image data into a viewable image signal, and outputs the image signal to the viewfinder 108. The photographer can specify the imaging target while visually recognizing the video of the viewfinder 108. Here, the output destination of the image signal is the viewfinder 108, but it can be connected to various image display devices such as a separate monitor.
記録部126は、符号化処理を通じて符号化された記録信号(データストリーム)を生成し、画像データを任意の記録媒体156に記録する。任意の記録媒体156としては、DVDやBDといった電源不要な媒体や、RAM、EEPROM、不揮発性RAM、フラッシュメモリ、HDD等の電源を要する媒体を適用することができる。また、外部から接続可能な別体の記録媒体を用いることもできる。 The recording unit 126 generates a recording signal (data stream) encoded through the encoding process, and records the image data in an arbitrary recording medium 156. As the arbitrary recording medium 156, a medium that does not require a power source such as a DVD or a BD, or a medium that requires a power source such as a RAM, an EEPROM, a nonvolatile RAM, a flash memory, or an HDD can be applied. Also, a separate recording medium that can be connected from the outside can be used.
また、上述した中央制御部122は、原色分離部160と、増幅部162と、代表値算出部164と、軸変換部166と、無彩色判定部168と、増幅率導出部170と、γ補正部172と、マトリクス部174としても機能する。 The central control unit 122 described above includes a primary color separation unit 160, an amplification unit 162, a representative value calculation unit 164, an axis conversion unit 166, an achromatic color determination unit 168, an amplification factor derivation unit 170, and a γ correction. It also functions as the unit 172 and the matrix unit 174.
原色分離部160は、後段の画像処理のため、デジタル化された画像信号を赤色信号R、緑色信号G、青色信号Bに分離する。 The primary color separation unit 160 separates the digitized image signal into a red signal R, a green signal G, and a blue signal B for subsequent image processing.
増幅部162は、R、G、Bそれぞれの信号を増幅率GR、GG、GBで独立して増幅する。かかる増幅率GR、GG、GBは本実施形態によるオートホワイトバランスによって調整される。 The amplifying unit 162 amplifies each of the R, G, and B signals independently at the amplification factors GR, GG, and GB. Such amplification factors GR, GG, and GB are adjusted by the auto white balance according to the present embodiment.
代表値算出部164は、画像データの一画面を、例えば、水平方向に8つ、垂直方向に6つといった複数(8×6)のブロックに分割し、各ブロックの映像信号の代表値を算出する。かかるブロックの代表値は、各ブロックに含まれる画素のR信号成分、G信号成分、B信号成分の積算値と、各色信号成分の分散値とからなる。分散値は、輝度信号の大きさの2乗に比例して大きくなるため、算出するにあたっては各色信号成分の正規化が必要となる。また、R信号成分、G信号成分、B信号成分の平均値であってもよい。 The representative value calculation unit 164 divides one screen of image data into a plurality of (8 × 6) blocks, for example, eight in the horizontal direction and six in the vertical direction, and calculates the representative value of the video signal of each block. To do. The representative value of such a block includes an integrated value of the R signal component, G signal component, and B signal component of the pixels included in each block, and a variance value of each color signal component. Since the variance value increases in proportion to the square of the magnitude of the luminance signal, normalization of each color signal component is required for calculation. Moreover, the average value of R signal component, G signal component, and B signal component may be sufficient.
軸変換部166は、代表値算出部164で算出された代表値を軸変換し、所定の平面(B/G−R/G平面をさらに軸変換した平面)に配する。かかる軸変換は、B/G−R/G平面における、黒体放射の分光分布特性および対象となる撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分(例えば平均二乗誤差)が最小となる近似関数を一次関数に置換する変換である。また、B/G−R/G平面では近似関数を当て嵌め困難な場合または当て嵌めに適さない場合に、基準面をG/B−G/R平面として軸変換を実現してもよい。 The axis conversion unit 166 converts the representative value calculated by the representative value calculation unit 164, and places it on a predetermined plane (a plane obtained by further converting the B / G-R / G plane). Such an axis conversion has a minimum difference (for example, mean square error) with respect to the black body radiation locus reflecting the spectral distribution characteristics of the black body radiation and the spectral distribution characteristics of the target imaging device in the B / GR / G plane. Is a transformation that replaces the approximate function with a linear function. Further, when the approximation function is difficult to fit on the B / G-R / G plane, or when it is not suitable for fitting, axis conversion may be realized with the reference plane as the G / B-G / R plane.
後述する無彩色判定部168で用いられる無彩色領域は、撮像装置100の分光分布特性を反映した黒体放射軌跡に対する差分が最小となる近似関数を一次関数に軸変換して生成される。従って、代表値算出部164で算出された代表値も無彩色領域同様に軸変換することで、代表値が単純関数領域(無彩色領域)内に含まれているかどうかを容易に判定することができ、その無彩色領域包含判定に費やす負荷の軽減および処理能力の向上を図ることが可能となる。 The achromatic region used in the achromatic color determination unit 168 described later is generated by converting the approximate function that minimizes the difference with respect to the black body radiation locus reflecting the spectral distribution characteristics of the imaging device 100 into a linear function. Therefore, it is possible to easily determine whether or not the representative value is included in the simple function area (achromatic area) by converting the axis of the representative value calculated by the representative value calculation unit 164 in the same manner as the achromatic area. It is possible to reduce the load spent on the achromatic color region inclusion determination and improve the processing capability.
無彩色判定部168は、軸変換部166によって軸変換された代表値が、予め設定されている所定の平面内の無彩色領域内に存在するか否かを判定する。また、無彩色判定部16は、算出部や導出部としても機能する。 The achromatic color determination unit 168 determines whether or not the representative value subjected to the axis conversion by the axis conversion unit 166 exists in an achromatic color region within a predetermined plane set in advance. Further, the achromatic color determination unit 16 also functions as a calculation unit and a derivation unit.
図3は、無彩色領域を説明するための説明図である。かかる無彩色領域200は、B/G−R/G平面における、黒体放射の分光分布特性と対象となる撮像装置100の分光分布特性とを反映した黒体放射軌跡202に対する差分が最小となる近似関数204、例えばy=axb+cとその周囲からなる仮の無彩色領域206をさらに軸変換した領域であり、撮像装置100の製造工程段階で予め設定される。ここでa、b、cは定数(係数)を示す。 FIG. 3 is an explanatory diagram for explaining an achromatic color region. The achromatic region 200 has a minimum difference with respect to the black body radiation locus 202 reflecting the spectral distribution characteristics of the black body radiation and the spectral distribution characteristics of the target imaging device 100 in the B / GR / G plane. The approximate function 204, for example, y = ax b + c, and a temporary achromatic region 206 composed of the approximate function 204 and its surroundings are further axially converted, and are set in advance in the manufacturing process of the imaging apparatus 100. Here, a, b, and c are constants (coefficients).
撮像装置100の分光分布特性も考慮した黒体放射軌跡202から無彩色領域200を設定する構成により、無彩色領域包含判定を適切な範囲で実行でき、さらに、そのような近似関数204に基づく軸変換(例えば両軸共対数変換)を行うことで無彩色領域200を単純関数領域(一次関数に所定値を加減算した帯状の領域)で表すことができ、迅速かつ確実に無彩色領域包含判定を行うことができる。 With the configuration in which the achromatic region 200 is set from the black body radiation locus 202 that also considers the spectral distribution characteristics of the imaging device 100, the achromatic region inclusion determination can be performed within an appropriate range, and an axis based on such an approximate function 204 By performing conversion (for example, biaxial logarithmic conversion), the achromatic region 200 can be represented by a simple function region (a band-shaped region obtained by adding / subtracting a predetermined value to / from a linear function), and achromatic region inclusion determination can be performed quickly and reliably. It can be carried out.
ここで、帯状とは、黒体放射軌跡の周囲、特に黒体放射軌跡が一次関数で示される場合その一次関数に平行する一次関数に囲まれた領域を含む表現であり、光源に応じて決まる、無彩色と判定することができる許容範囲を示す。また、加減算は、加算もしくは減算のいずれかまたは両方を示す。 Here, the band shape is an expression including a region surrounded by a linear function parallel to the linear function around the black body radiation locus, particularly when the black body radiation locus is represented by a linear function, and is determined according to the light source. The allowable range that can be determined as an achromatic color is shown. Addition / subtraction indicates either or both of addition and subtraction.
増幅率導出部170は、無彩色領域200内に存在すると判断された1または複数のブロックの3原色信号のみを用いてホワイトバランスの増幅率を導出する。かかるR、G、Bそれぞれの信号の増幅率GR、GG、GBは、以下の式で表される。
GR=(Rave+Gave+Bave)/3Rave
GG=(Rave+Gave+Bave)/3Gave
GB=(Rave+Gave+Bave)/3Bave
ここで、Rave、Bave 、及びGaveは、対応する色信号成分の積算値を、抽出したブロック数で除算して得られる平均値である。
The amplification factor deriving unit 170 derives the white balance amplification factor using only the three primary color signals of one or more blocks determined to be present in the achromatic color region 200. The amplification factors GR, GG, and GB of the R, G, and B signals are expressed by the following equations.
GR = (Rave + Gave + Bave) / 3Rave
GG = (Rave + Gave + Bave) / 3Gave
GB = (Rave + Gave + Bave) / 3Bave
Here, Rave, Bave, and Gave are average values obtained by dividing the integrated value of the corresponding color signal component by the number of extracted blocks.
γ補正部172は、増幅部162を通じた赤色信号R、緑色信号G、青色信号Bに対してγ補正を行う。 The γ correction unit 172 performs γ correction on the red signal R, the green signal G, and the blue signal B that have passed through the amplification unit 162.
マトリクス部174は、γ補正後の3原色信号のマトリクス演算を行い、輝度信号と、色差信号とを生成する。 The matrix unit 174 performs matrix calculation of the three primary color signals after γ correction, and generates a luminance signal and a color difference signal.
以上説明したように、撮像装置100の分光分布特性の影響を考慮すると黒体放射軌跡やそれに対応した無彩色領域は、単に反比例関数で近似できるとは限らない。本実施形態では、撮像装置100の分光分布特性が適切に反映された、即ち、撮像装置100の撮像レンズ104、IRカットフィルタ140、撮像回路146等を経由した無彩色領域200を設定することで、適切なホワイトバランス調整を行い、カラーフェイリアを回避すると共に、その無彩色領域200を適切な軸変換を経た単純関数領域(一次関数に所定値を加減算した帯状の領域)で表すことで、代表値が無彩色領域200内に含まれるか否かを迅速かつ確実に判定することができる。 As described above, when the influence of the spectral distribution characteristics of the imaging apparatus 100 is taken into consideration, the black body radiation locus and the achromatic region corresponding thereto are not always approximated by an inversely proportional function. In the present embodiment, the spectral distribution characteristics of the imaging apparatus 100 are appropriately reflected, that is, by setting the achromatic region 200 via the imaging lens 104, the IR cut filter 140, the imaging circuit 146, and the like of the imaging apparatus 100. By performing appropriate white balance adjustment and avoiding color failure, the achromatic region 200 is represented by a simple function region (a band-shaped region obtained by adding / subtracting a predetermined value to / from a linear function) through appropriate axis transformation, Whether or not the representative value is included in the achromatic color region 200 can be quickly and reliably determined.
以下、本実施形態において特徴的な、無彩色判定部168で用いられる無彩色領域の詳細な導出手順を説明する。 Hereinafter, a detailed procedure for deriving the achromatic color region used in the achromatic color determination unit 168, which is characteristic in the present embodiment, will be described.
ここでは、まず、黒体の分光分布と撮像装置100の分光分布より、3原色信号それぞれの増幅率を算出する段階での黒体放射軌跡を求め、この黒体放射軌跡を様々な関数(直線および曲線)で近似し、最も近似誤差の小さい関数を用いて無彩色領域を求める。 Here, first, a black body radiation locus at the stage of calculating the amplification factor of each of the three primary color signals is obtained from the spectral distribution of the black body and the spectral distribution of the imaging device 100, and the black body radiation locus is obtained by various functions (straight lines). And an achromatic region using a function having the smallest approximation error.
黒体と撮像装置100の分光特性より、黒体に対する色信号R、G、Bを、数式2を用いて算出する。かかる色信号R、G、Bは撮像装置100特有の値となる。
R=ΣE(λ)×L(λ)×f(λ)×SR(λ)
G=ΣE(λ)×L(λ)×f(λ)×SG(λ) …(数式2)
B=ΣE(λ)×L(λ)×f(λ)×SB(λ)
ただし、黒体の分光特性はプランクの放射則により算出するものとし、色温度は室内と室外の照明光として予想される例えば約2700K〜7500Kとする。
Based on the spectral characteristics of the black body and the imaging apparatus 100, color signals R, G, and B for the black body are calculated using Equation 2. The color signals R, G, and B are values specific to the imaging apparatus 100.
R = ΣE (λ) × L (λ) × f (λ) × S R (λ)
G = ΣE (λ) × L (λ) × f (λ) × S G (λ) (Formula 2)
B = ΣE (λ) × L (λ) × f (λ) × S B (λ)
However, the spectral characteristic of the black body is calculated according to Planck's radiation law, and the color temperature is assumed to be about 2700K to 7500K, for example, which is expected as indoor and outdoor illumination light.
ここで、上述した数式1と相異する式(数式2)を用いているのは、数式1が波長λに対する連続値の式であるのに対して、数式2は、例えば5nmのサンプリング周波数を有する離散値の積算値の式であり、デジタル処理に適しているからである。ここで、波長λは可視光である例えば380nm〜780nmの範囲とする。
Here, the expression (expression 2) different from the expression 1 described above is used, whereas the expression 1 is a continuous value expression with respect to the wavelength λ, whereas the expression 2 has a sampling frequency of 5 nm, for example. This is because it is an equation for the integrated value of discrete values and is suitable for digital processing. Here, the wavelength λ is visible light, for example, in the range of 380 nm to 780 nm.
次に、算出した色温度毎の色信号値を正規化する。かかる正規化は、例えば、B、R信号値をG信号値で除算し、B/G、R/Gを求めることで実現する。このB/G、R/Gの値は、B/G−R/G平面上における撮像装置100の分光分布特性を考慮した黒体放射軌跡202となる。 Next, the color signal value for each calculated color temperature is normalized. Such normalization is realized by, for example, dividing B and R signal values by G signal values to obtain B / G and R / G. The values of B / G and R / G become a black body radiation locus 202 in consideration of the spectral distribution characteristics of the imaging device 100 on the B / G-R / G plane.
このとき、黒体放射軌跡202は、所定の関数上にプロットできるはずであるが、黒体以外の各種照明光が含まれると、その所定の関数の近くに分布することとなる。しかし、JIS規格で光色毎に黒体軌跡からの分布の許容範囲が規定されているためこのような黒体以外照明光であっても所定の関数から大幅にずれることはない。 At this time, the black body radiation locus 202 should be able to be plotted on a predetermined function. However, when various illumination lights other than the black body are included, the black body radiation locus 202 is distributed near the predetermined function. However, since the JIS standard defines the allowable range of distribution from the black body locus for each light color, even illumination light other than such a black body does not deviate significantly from a predetermined function.
黒体放射軌跡202が求まると、続いてその黒体放射軌跡202を関数(近似関数)で近似する。かかる近似関数は、一次関数y=ax+b、反比例関数y=a/x+b、累乗関数y=axb+c、指数関数y=aex+c、対数関数y=a×ln(x)+bから選択された関数であってもよい。ここで、いずれのa、b、cも定数(係数)を示す。 When the black body radiation locus 202 is obtained, the black body radiation locus 202 is subsequently approximated by a function (approximation function). The approximate function was selected from a linear function y = ax + b, an inversely proportional function y = a / x + b, a power function y = ax b + c, an exponential function y = ae x + c, and a logarithmic function y = a × ln (x) + b. It may be a function. Here, each of a, b, and c represents a constant (coefficient).
また、上述した近似関数において、対数は底を自然対数の底eに限らず、「10」や「2」といった数値で表すこともできる。さらに、B/G、R/Gの逆数、即ちG/B、G/Rによる平面G/B−G/Rを通じて近似関数を導出してもよい。このようにして導出された黒体放射軌跡の近似関数のうち、近似誤差が最小のものを選択する。近似誤差は、近似関数をfとすると、平均二乗誤差Σ(f(x)−y)2によって求められる。 In the approximate function described above, the logarithm is not limited to the base e of the natural logarithm, and can be represented by a numerical value such as “10” or “2”. Further, the approximation function may be derived through the reciprocal of B / G and R / G, that is, the plane G / B-G / R based on G / B and G / R. Of the approximate functions of the black body radiation locus thus derived, the one with the smallest approximation error is selected. The approximation error is obtained by the mean square error Σ (f (x) −y) 2 where f is an approximation function.
上述した近似関数の関数群は、B/G軸またはR/G軸のいずれかの軸を恒等変換または対数変換することによって一次関数となる関数群である。従って、本実施形態の目的である単純関数領域を形成するために上記のような多数の近似関数を適用することができるので、軌跡の配置の如何に拘わらず適切に黒体放射軌跡202を近似することが可能となる。 The function group of the approximate function described above is a function group that becomes a linear function by performing identity transformation or logarithmic transformation on either the B / G axis or the R / G axis. Therefore, since a large number of approximation functions as described above can be applied to form the simple function region that is the object of the present embodiment, the black body radiation locus 202 is appropriately approximated regardless of the arrangement of the locus. It becomes possible to do.
図4は、撮像装置100によって特性が異なる黒体放射軌跡202に対して様々な近似関数204で近似する例を示した説明図である。例えば図4(a)は一次関数y=ax+b、図4(b)は反比例関数y=a/x+b、図4(c)は累乗関数y=axb+c、図4(d)は指数関数y=aex+c、図4(e)は対数関数y=a×ln(x)+bが近似関数として選択されている。 FIG. 4 is an explanatory diagram showing an example of approximating the black body radiation locus 202 having different characteristics depending on the imaging device 100 with various approximation functions 204. For example, FIG. 4A shows a linear function y = ax + b, FIG. 4B shows an inverse proportional function y = a / x + b, FIG. 4C shows a power function y = ax b + c, and FIG. 4D shows an exponential function y. = Ae x + c, in FIG. 4E, the logarithmic function y = a × ln (x) + b is selected as an approximation function.
続いて、選択された近似関数に基づいて、本実施形態の目的である無彩色領域への軸変換を決定する。本実施形態では、無彩色領域を単純関数領域で表し、無彩色領域包含判定に費やす負荷を軽減することを目的としている。従って、近似関数が選択されると、それを一次関数に変換する軸変換が一意に決まることとなる。例えば、近似関数が一次関数である場合は両軸とも恒等変換を行い、反比例関数、累乗関数である場合は両軸とも対数変換を行い、また、指数関数である場合は両軸を自然対数に変換することで直線になる。 Subsequently, based on the selected approximate function, the axis conversion to the achromatic region, which is the object of the present embodiment, is determined. In the present embodiment, the achromatic color area is represented by a simple function area, and an object is to reduce the load spent on the achromatic color area inclusion determination. Therefore, when an approximate function is selected, the axis conversion for converting it into a linear function is uniquely determined. For example, if the approximate function is a linear function, identity transformation is performed on both axes, if it is an inverse proportional function or a power function, both axes are logarithmically transformed, and if it is an exponential function, both axes are natural logarithms. It becomes a straight line by converting to.
例えば、既に説明した図3の例では、近似関数が累乗関数y=axb+cとなるので、両辺の対数をとることでlog(y)=b×log(x)+log(a)となり、横軸をlog(x)、縦軸をlog(y)と軸変換することで、近似関数が曲線から直線となる。このように、処理負荷の少ない単純関数領域(一次関数に所定値を加減算した帯状の領域)によって代表値が無彩色領域内に含まれるか否かを迅速かつ確実に判定することができる。 For example, in the example of FIG. 3 that has already been described, the approximate function is the power function y = ax b + c. Therefore, log (y) = b × log (x) + log (a) is obtained by taking the logarithm of both sides. By converting the axis to log (x) and the vertical axis to log (y), the approximate function becomes a straight line from the curve. In this way, it is possible to quickly and surely determine whether or not the representative value is included in the achromatic region by using a simple function region with a small processing load (a band-like region obtained by adding / subtracting a predetermined value to / from a linear function).
次に、軸変換によって単純関数領域で示すことが可能となる無彩色領域を決定する。 Next, an achromatic region that can be indicated by a simple function region by axis conversion is determined.
図5は、無彩色領域200を説明するための説明図である。例えば、無彩色領域200は、図5(a)に示すように、近似関数204を軸変換したy=ax+bで示される一次関数210と平行な2本の直線(y=ax+c、y=ax+d)212と、これに垂直な2本の直線(y=−x/a+f、y=−x/a+g)214とで囲まれる領域としている。ただし、a、b、c、d、f、gは定数(係数)を示す。 FIG. 5 is an explanatory diagram for explaining the achromatic color region 200. For example, as shown in FIG. 5A, the achromatic color region 200 includes two straight lines (y = ax + c, y = ax + d) parallel to the linear function 210 represented by y = ax + b obtained by axial conversion of the approximate function 204. A region surrounded by 212 and two straight lines (y = −x / a + f, y = −x / a + g) 214 perpendicular thereto. However, a, b, c, d, f, and g are constants (coefficients).
また、図5(b)に示すように、無彩色領域200を、一次関数210と平行な2本の直線212と、1つの円216で囲まれる領域としてもよい。ただし、円の中心は端点の逆数色温度の中間とする。即ち、端点が2700Kと7500Kの場合は逆数色温度がそれぞれ約370Mと約130Mであるから、中心は250Mに対応する色温度の黒体の座標となる。 Further, as shown in FIG. 5B, the achromatic region 200 may be a region surrounded by two straight lines 212 parallel to the linear function 210 and one circle 216. However, the center of the circle is the middle of the reciprocal color temperature of the end point. That is, when the end points are 2700K and 7500K, the reciprocal color temperatures are about 370M and about 130M, respectively, so the center is the coordinates of a black body with a color temperature corresponding to 250M.
また、各種蛍光灯の分光分布と撮像装置100の分光分布とにより、各蛍光灯に対応した色信号を求めた後、本平面に則した座標変換を行い、図5(c)に示すように、これらを全て含むような直線で囲んでもよい。 Further, after obtaining a color signal corresponding to each fluorescent lamp from the spectral distribution of various fluorescent lamps and the spectral distribution of the imaging apparatus 100, coordinate conversion is performed in accordance with this plane, as shown in FIG. , It may be surrounded by a straight line including all of them.
このような軸変換において、対数(log)変換もまた負荷がかかるので、ホワイトバランス制御のプログラムを実施する際には、対数変換をLUT(Look Up Table)を用いて実行する。また、log(B/G)のような計算に関しては、log(B/G)=logB−logGであることを利用して除算を減算にすることで処理時間を短縮することができる。 Since logarithmic (log) conversion is also burdened in such axis conversion, logarithmic conversion is executed using a LUT (Look Up Table) when executing a white balance control program. Further, regarding the calculation such as log (B / G), the processing time can be shortened by subtracting the division using the fact that log (B / G) = logB−logG.
以上のようにして求められた無彩色領域200を用いて、本実施形態のホワイトバランス制御の無彩色領域包含判定を実行する。具体的には、図5(a)に対応した以下の式を用いる。
a×Fx(ブロックのB/G)+c≦Fy(ブロックのR/G)≦a×Fx(ブロックのB/G)+d
かつ
(−1/a)×Fx(ブロックのB/G)+f≦Fy(ブロックのR/G)≦(−1/a)×Fx(ブロックのB/G)+g
ただし、Fx、Fyは横軸と縦軸方向の軸変換を表し、上記、累乗関数の例では、ともに対数変換することに相当する。
Using the achromatic color region 200 obtained as described above, the achromatic color region inclusion determination of the white balance control of the present embodiment is executed. Specifically, the following equation corresponding to FIG.
a × F x (block B / G) + c ≦ F y (block R / G) ≦ a × F x (block B / G) + d
And (−1 / a) × F x (Block B / G) + f ≦ F y (Block R / G) ≦ (−1 / a) × F x (Block B / G) + g
However, F x and F y represent axis transformations in the horizontal axis and vertical axis directions, and both correspond to logarithmic transformation in the example of the power function.
また、図5(a)のように形成される無彩色領域200中の代表値は、一次関数の直線方向の端部に向かって赤色信号または青色信号の重み付けがなされる。 Further, the representative value in the achromatic region 200 formed as shown in FIG. 5A is weighted with a red signal or a blue signal toward the end of the linear function in the linear direction.
図6は、赤色信号または青色信号の重み付けを説明するための説明図である。本実施形態では、無彩色領域における一次関数の直線方向の端部も無彩色と判定されるものの、その点に存在する被写体は、実際、人の目を通じて赤味がかっていたり、青味がかっていたりする。例えば、本実施形態を単純に適用してしまうと赤味の強い照明光や青味のある日陰まで全て同色の白色となってしまう。かかる現象は、室内と室外の想定色温度を狭めることでも回避可能であるが、以下のような構成をとることにより容易に回避することができる。 FIG. 6 is an explanatory diagram for describing weighting of a red signal or a blue signal. In this embodiment, although the end of the linear function of the linear function in the achromatic region is also determined to be achromatic, the subject present at that point is actually reddish or bluish through the human eye. I'll be there. For example, if this embodiment is simply applied, all of the white color will be the same color up to strong reddish illumination light and bluish shade. Such a phenomenon can be avoided by narrowing the assumed color temperature indoors and outdoors, but can be easily avoided by adopting the following configuration.
まず、ホワイトバランスの増幅率が算出された後、図6(a)のような軸変換を行なった平面上でその逆数色温度を概算する。そして逆数色温度の値に応じて、この値が小さいときは青味を、大きいときは赤味を増加するよう補正する。具体的には、軸変換を行なった平面上で、ホワイトバランスの増幅率の座標を求め、その座標を通り一次関数210に平行な直線を考え、この直線に沿って、図6(b)に示すように、ホワイトバランスの増幅率に赤色信号または青色信号の重み付けを行う。 First, after calculating the amplification factor of white balance, the reciprocal color temperature is approximated on a plane subjected to axial conversion as shown in FIG. Then, according to the value of the reciprocal color temperature, correction is made so that blue is increased when the value is small and red is increased when the value is large. Specifically, the coordinate of the white balance gain is obtained on the plane on which the axis conversion has been performed, and a straight line passing through the coordinate and parallel to the linear function 210 is considered, and along this straight line, FIG. As shown, the white balance gain is weighted with a red or blue signal.
このような端部に近い領域に赤色信号または青色信号の重み付けを行うことで、人の目に近いホワイトバランスを実現することが可能となる。 By weighting the red signal or the blue signal in such an area close to the end, it is possible to realize white balance close to human eyes.
(オートホワイトバランス方法)
また、上述した撮像装置100を用いて、ホワイトバランス調整を自動的に行うオートホワイトバランス方法も提供される。
(Auto white balance method)
Further, by using the imaging device 100 described above, it is also provided automatic white balance method for automatically performing white balance adjustment.
図7は、オートホワイトバランス方法の具体的な処理を示したフローチャートである。ここで、撮像装置100の代表値算出部164は、画像信号の画面を複数のブロックに分割し(S300)、各ブロックの赤色信号、緑色信号、および青色信号からなる3原色信号の代表値を算出する(S302)。 FIG. 7 is a flowchart showing specific processing of the auto white balance method. Here, the representative value calculation unit 164 of the imaging apparatus 100 divides the screen of the image signal into a plurality of blocks (S300), and represents the representative values of the three primary color signals including the red signal, the green signal, and the blue signal of each block. Calculate (S302).
そして、軸変換部166は、代表値それぞれに、予め設定されている軸変換を施し(S304)、無彩色判定部168は、軸変換された代表値が、一次関数に所定数を加減算し帯状に形成された無彩色領域内に存在するか否かを判定する(S306)。 Then, the axis conversion unit 166 performs preset axis conversion on each representative value (S304), and the achromatic color determination unit 168 adds and subtracts a predetermined number of the axis-converted representative value to the linear function to form a band shape. It is determined whether or not it exists in the achromatic region formed in step S306.
最後に、増幅率導出部170は、無彩色領域200内に存在すると判断された1または複数のブロックを用いて3原色信号の増幅率を導出する(S308)。 Finally, the amplification factor deriving unit 170 derives the amplification factors of the three primary color signals using one or a plurality of blocks determined to be present in the achromatic color region 200 (S308).
かかるオートホワイトバランス方法によっても、撮像装置100の分光分布特性が適切に反映され、かつ、その領域内の存在確認を迅速かつ確実に実行可能な無彩色領域に基づいて、高精度なホワイトバランス調整を行うことが可能となる。 Even with such an auto white balance method, the spectral distribution characteristics of the imaging apparatus 100 are appropriately reflected, and high-accuracy white balance adjustment is performed based on an achromatic region where the presence check in the region can be performed quickly and reliably. Can be performed.
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.
例えば、上述した実施形態においては、撮像装置としてビデオカメラを例に挙げたが、かかる場合に限られず、デジタルカメラ等動画および静止画を撮像できる様々な光学的撮像装置に本実施形態を適用することができる。 For example, in the above embodiment, applied is mentioned video camera as an example, not limited to the case such, the present embodiment to various optical imaging device capable of imaging a digital camera or the like moving and still images as the imaging device can do.
なお、本明細書のオートホワイトバランス方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 Note that each step in the auto white balance method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include processing in parallel or by a subroutine.
本発明は、ホワイトバランス調整を自動的に行う撮像装置および撮像方法に利用することができる。
The present invention can be used in an imaging apparatus and an imaging method that automatically perform white balance adjustment.
100 …撮像装置
104 …撮像レンズ
140 …IRカットフィルタ
146 …撮像回路
164 …代表値算出部
166 …軸変換部
168 …無彩色判定部
170 …増幅率導出部
200 …無彩色領域
202 …黒体放射軌跡
204 …近似関数
DESCRIPTION OF SYMBOLS 100 ... Imaging device 104 ... Imaging lens 140 ... IR cut filter 146 ... Imaging circuit 164 ... Representative value calculation part 166 ... Axis conversion part 168 ... Achromatic color determination part 170 ... Amplification rate derivation part 200 ... Achromatic color area 202 ... Black body radiation Locus 204 ... approximate function
Claims (3)
前記撮像レンズの分光分布、前記IRカットフィルタの分光分布、及び、前記撮像素子の分光分布の少なくとも何れか、並びに、予め定められた黒体の分光分布における所定の波長毎の離散値の積算値から、赤色の信号値、緑色の信号値、及び、青色の信号値を算出する算出部と、
前記赤色の信号値、緑色の信号値、及び、青色の信号値に基づき、青色信号/緑色信号−赤色信号/緑色信号平面、又は、緑色信号/青色信号−緑色信号/赤色信号平面における黒体放射軌跡を導出する導出部と、
前記画像データに係る画面を複数のブロックに分割し、各ブロックの映像信号の代表値を算出する代表値算出部と、
前記黒体放射軌跡に対する近似誤差が最小となる近似関数を導出し、その近似関数を一次関数に軸変換するとともに、前記代表値をその一次関数と同じ平面内の値となるよう軸変換する軸変換部と、
前記軸変換された代表値が、前記平面内で前記一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定する無彩色判定部と、
前記無彩色領域内に存在すると判断された前記軸変換された代表値に対応する1または複数のブロックを用いて3原色信号の増幅率を導出する増幅率導出部と、
を備えることを特徴とする撮像装置。 An imaging unit having an imaging lens, an IR cut filter, and an imaging device, and generating image data;
At least one of a spectral distribution of the imaging lens, a spectral distribution of the IR cut filter, and a spectral distribution of the imaging device, and an integrated value of discrete values for each predetermined wavelength in a predetermined blackbody spectral distribution A calculation unit for calculating a red signal value, a green signal value, and a blue signal value;
A black body in the blue signal / green signal-red signal / green signal plane or the green signal / blue signal-green signal / red signal plane based on the red signal value, the green signal value, and the blue signal value. A deriving unit for deriving a radiation locus;
A representative value calculating unit that divides the screen related to the image data into a plurality of blocks and calculates a representative value of the video signal of each block;
An axis that derives an approximation function that minimizes the approximation error with respect to the black body radiation locus, converts the approximation function into a linear function, and converts the axis of the representative value to a value in the same plane as the linear function. A conversion unit;
An achromatic color determining unit that determines whether or not the axis-converted representative value exists in an achromatic region formed in a band shape obtained by adding and subtracting a predetermined number to the linear function in the plane;
An amplification factor deriving unit that derives the amplification factors of the three primary color signals using one or a plurality of blocks corresponding to the axis-converted representative values determined to be present in the achromatic color region;
An imaging apparatus comprising:
前記赤色の信号値、緑色の信号値、及び、青色の信号値に基づき、青色信号/緑色信号−赤色信号/緑色信号平面、又は、緑色信号/青色信号−緑色信号/赤色信号平面における黒体放射軌跡を導出し、
前記撮像素子が生成した画像データに係る画面を複数のブロックに分割し、各ブロックの映像信号の代表値を算出し、
前記黒体放射軌跡に対する近似誤差が最小となる近似関数を導出し、その近似関数を一次関数に軸変換するとともに、前記代表値をその一次関数と同じ平面内の値となるよう軸変換し、
前記軸変換された代表値が、前記平面内で前記一次関数に所定数を加減算した帯状に形成される無彩色領域内に存在するか否かを判定し、
前記無彩色領域内に存在すると判断された前記軸変換された代表値に対応する1または複数のブロックを用いて3原色信号の増幅率を導出する
ことを特徴とする撮像方法。 From at least one of the spectral distribution of the imaging lens, the spectral distribution of the IR cut filter, and the spectral distribution of the imaging element, and the integrated value of discrete values for each predetermined wavelength in the spectral distribution of a predetermined black body, red , Green signal value, and blue signal value are calculated,
A black body in the blue signal / green signal-red signal / green signal plane or the green signal / blue signal-green signal / red signal plane based on the red signal value, the green signal value, and the blue signal value. Deriving the radiation trajectory,
Dividing the screen related to the image data generated by the image sensor into a plurality of blocks, calculating a representative value of the video signal of each block,
Deriving an approximate function that minimizes the approximation error for the black body radiation locus, converting the approximate function into a linear function, and converting the representative value into a value in the same plane as the linear function,
Determining whether or not the axis-converted representative value exists in an achromatic region formed in a band shape obtained by adding and subtracting a predetermined number to the linear function in the plane;
An imaging method, comprising: deriving amplification factors of three primary color signals by using one or a plurality of blocks corresponding to the axis-converted representative values determined to be present in the achromatic color region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008181800A JP5157699B2 (en) | 2008-07-11 | 2008-07-11 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008181800A JP5157699B2 (en) | 2008-07-11 | 2008-07-11 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010021883A JP2010021883A (en) | 2010-01-28 |
JP5157699B2 true JP5157699B2 (en) | 2013-03-06 |
Family
ID=41706330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008181800A Active JP5157699B2 (en) | 2008-07-11 | 2008-07-11 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5157699B2 (en) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2611850B2 (en) * | 1990-03-06 | 1997-05-21 | シャープ株式会社 | Color imaging device |
JP3009207B2 (en) * | 1990-11-05 | 2000-02-14 | 株式会社日立製作所 | Digital white balance device |
JPH05191687A (en) * | 1992-01-08 | 1993-07-30 | Sony Corp | Image pickup device |
JPH05292533A (en) * | 1992-04-10 | 1993-11-05 | Matsushita Electric Ind Co Ltd | Automatic white balance device |
JP3889867B2 (en) * | 1997-10-03 | 2007-03-07 | オリンパス株式会社 | Imaging device |
JP2000078605A (en) * | 1998-08-28 | 2000-03-14 | Matsushita Electric Ind Co Ltd | White balance controller |
JP4057392B2 (en) * | 2002-10-21 | 2008-03-05 | シャープ株式会社 | Imaging apparatus, white balance processing method, program for causing a computer to execute white balance control, and computer-readable recording medium storing a program for causing a computer to execute white balance control |
JP2005236651A (en) * | 2004-02-19 | 2005-09-02 | Fuji Photo Film Co Ltd | Method, device and program for processing image |
JP2006042152A (en) * | 2004-07-29 | 2006-02-09 | Canon Inc | White balancer, imaging device, method for processing white balance and program |
JP2007074299A (en) * | 2005-09-06 | 2007-03-22 | Sony Corp | Method, device, and program for image processing, as well as imaging apparatus, imaging method, and imaging program |
-
2008
- 2008-07-11 JP JP2008181800A patent/JP5157699B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010021883A (en) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4977707B2 (en) | Image processing apparatus with auto white balance | |
US9402063B2 (en) | Image pickup apparatus that performs white balance control and method of controlling the same | |
US7623160B2 (en) | Image processing method, image processing program, image processing apparatus, imaging apparatus, imaging method, and imaging program | |
JP4635828B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
US9467672B2 (en) | Image processing device that performs white balance control, method of controlling the same, and image pickup apparatus | |
US8466983B2 (en) | Image processing apparatus performing white balance control | |
US8629919B2 (en) | Image capture with identification of illuminant | |
JP4956581B2 (en) | Imaging apparatus, white balance processing method of imaging apparatus, program, and recording medium | |
US9813634B2 (en) | Image processing apparatus and method | |
WO2011118071A1 (en) | Image processing method and device, image processing program, and medium having said program recorded thereon | |
JP2006222672A (en) | Method and device for controlling white balance and imaging device | |
US20140009683A1 (en) | Apparatus, method and program for image processing | |
EP2362662B1 (en) | Imaging device, imaging method and computer readable recording medium storing program for performing the imaging method | |
JP2005136997A (en) | System and method for compensating captured images | |
JP2007201582A (en) | White balance adjustment circuit, its adjustment method and camera device | |
JP4544308B2 (en) | Image processing apparatus, imaging apparatus, method, and program | |
JP3848274B2 (en) | White balance adjustment method, imaging apparatus, program, and storage medium | |
JP5157699B2 (en) | Imaging apparatus and imaging method | |
JP4332413B2 (en) | Imaging device, white balance processing method of imaging device, white balance processing method of imaging system, program, and storage medium | |
JP2011040975A (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
KR101589493B1 (en) | White ballance control method and apparatus using a flash and digital photographing apparatus using thereof | |
JP4396225B2 (en) | White balance control device and electronic device | |
US20100259606A1 (en) | Imaging device and method for controlling imaging device | |
US11100610B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2015192179A (en) | White balance control device, imaging apparatus, and white balance control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100916 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120904 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5157699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |