JP6703805B2

JP6703805B2 - Imaging device

Info

Publication number: JP6703805B2
Application number: JP2014205173A
Authority: JP
Inventors: 高田　仁夫; 仁夫高田; 昭夫黒澤
Original assignee: Kurashiki Spinning Co Ltd
Current assignee: Kurashiki Spinning Co Ltd
Priority date: 2014-10-03
Filing date: 2014-10-03
Publication date: 2020-06-03
Anticipated expiration: 2034-10-03
Also published as: JP2016076793A

Description

本発明は、校正手段を有する撮像装置に関し、特に、シェーディング補正手段を有する撮像装置に関する。 The present invention relates to an image pickup apparatus having a calibration unit, and particularly to an image pickup apparatus having a shading correction unit.

近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いた撮像装置によって得られる画像データの明るさのムラを補正する技術が検討されている。例えば、撮像素子の感度や照明のばらつき、レンズ等に起因する明るさムラを補正する技術として、シェーディング補正が知られている（例えば、特許文献１参照。）。このシェーディング補正は、ラインセンサ各画素の感度特性のばらつきを補正する技術であって、白基準データと黒基準データに基づいて、画像データを規格化することによって各画素の感度ばらつきを補正している。このため、シェーディング補正では、各ラインセンサ（Ｒ、Ｇ、Ｂ）の各画素毎にそれぞれ白基準データと黒基準データをもつ。 In recent years, a technique for correcting uneven brightness of image data obtained by an image pickup apparatus using an image pickup element such as CCD or CMOS has been studied. For example, shading correction is known as a technique for correcting unevenness in brightness due to variations in sensitivity of an image sensor, illumination, and a lens (see, for example, Patent Document 1). This shading correction is a technique for correcting the variation in the sensitivity characteristics of each pixel of the line sensor. There is. Therefore, in shading correction, each pixel of each line sensor (R, G, B) has white reference data and black reference data.

また、カラーラインセンサ用にＲＧＢ各色について設けられた３つのシェーディング補正回路をもつデータ処理回路がある（例えば、特許文献２参照。）。 Further, there is a data processing circuit having three shading correction circuits provided for each color of RGB for a color line sensor (for example, refer to Patent Document 2).

特開平８−３０７６７２号公報JP-A-8-307672 特開２００９−９４９２８号公報JP, 2009-94928, A

上記のシェーディング補正技術では、ＲＧＢの３つの撮像素子に対して、ＲＧＢそれぞれの撮像素子についての補正データは持つものの、これらの補正データは、特定の照明条件における補正データであって、複数の照明条件毎の補正データは有していない。 In the above shading correction technology, although the RGB image pickup elements have the correction data for the respective RGB image pickup elements, these correction data are the correction data under the specific illumination condition, and the plurality of illumination elements are used. It does not have correction data for each condition.

しかし、撮像時の照明条件が異なればシェーディング補正のためのデータも変化する。そのため、複数の照明を切り替えて撮像する場合等のように複数の撮像条件を切り替えて撮像する場合には、１つの撮像条件における補正データだけでは正確なシェーディング補正は困難である。 However, if the illumination condition at the time of image pickup is different, the data for shading correction also changes. Therefore, when a plurality of image capturing conditions are switched to capture an image, such as a case where a plurality of illuminations are switched to capture an image, accurate shading correction is difficult only with the correction data under one image capturing condition.

本発明は、複数の撮像条件に対応した校正を行うことができる撮像装置を提供することを目的とする。 It is an object of the present invention to provide an image pickup device capable of performing calibration corresponding to a plurality of image pickup conditions.

本発明に係る撮像装置は、被撮像物の画像データを得る撮像手段と、
前記撮像手段と前記画像データとの少なくとも一方を校正するための複数の校正データを記憶する記憶手段と、
前記複数の校正データを切り替えて前記撮像手段と前記画像データとの少なくとも一方の校正を行う校正手段と、
を備えることを特徴とする。 An image pickup apparatus according to the present invention includes an image pickup unit that obtains image data of an object to be imaged,
Storage means for storing a plurality of calibration data for calibrating at least one of the imaging means and the image data,
Calibration means for calibrating at least one of the imaging means and the image data by switching the plurality of calibration data,
It is characterized by including.

本発明に係る撮像装置によれば、撮像条件に対応する校正データによって撮像手段と画像データとの少なくとも一方を校正できるので、撮像条件に対応した適切な校正を行うことができる。また、撮像装置の内部に、校正データを有する記憶手段と、校正手段とを備えるので、外部に出力して処理する場合と比べて、外部出力の際の画像信号の低階調化処理の影響を受けることなく、撮像装置の内部で高精度の画像データ（高階調画像信号）のままで校正することができ、高精度の校正済みの画像データを得ることができる。 According to the image pickup apparatus of the present invention, at least one of the image pickup unit and the image data can be calibrated by the calibration data corresponding to the image pickup condition, so that the appropriate calibration corresponding to the image pickup condition can be performed. Further, since the image pickup device is provided with the storage unit having the calibration data and the calibration unit, the influence of the gradation reduction processing of the image signal at the time of external output is greater than that in the case of externally outputting and processing. It is possible to calibrate the high-accuracy image data (high-gradation image signal) as it is inside the image pickup apparatus without receiving the high-accuracy image data, and to obtain highly accurate calibrated image data.

実施の形態１に係る撮像装置の構成を示すブロック図である。FIG. 3 is a block diagram showing the configuration of the imaging device according to the first embodiment. 実施の形態２に係る撮像装置を含む照明付き撮像システムの構成を示すブロック図である。FIG. 6 is a block diagram showing a configuration of an illuminated imaging system including the imaging device according to the second embodiment. 図２の撮像装置のシェーディング補正手段の動作を示す概略図である。FIG. 3 is a schematic diagram showing an operation of shading correction means of the image pickup apparatus of FIG. 2. シェーディング補正データを構成する各画素の白基準と黒基準と、補正前の画像信号と、補正後の画像信号と、を示すグラフである。6 is a graph showing a white reference and a black reference of each pixel forming the shading correction data, an image signal before correction, and an image signal after correction. ｍ_ｍａｘ個の照明を順次切り替えて撮像を行うスイッチング撮像において、校正を行って校正後の画像データを得る撮像方法のフローチャートである。It is a flowchart of the imaging method which calibrates and acquires the image data after calibration in the switching imaging which switches imaging of m _max pieces of illumination one by one, and images.

第１の態様に係る撮像装置は、被撮像物の画像データを得る撮像手段と、
前記撮像手段と前記画像データとの少なくとも一方を校正するための複数の校正データを記憶する記憶手段と、
前記複数の校正データを切り替えて前記撮像手段と前記画像データとの少なくとも一方の校正を行う校正手段と、
を備えることを特徴とする。 An imaging device according to a first aspect includes an imaging unit that acquires image data of an object to be imaged,
Storage means for storing a plurality of calibration data for calibrating at least one of the imaging means and the image data,
Calibration means for calibrating at least one of the imaging means and the image data by switching the plurality of calibration data,
It is characterized by including.

第２の態様に係る撮像装置は、上記第１の態様において、前記校正データは、前記画像データをシェーディング補正するためのシェーディング補正データであってもよい。
この場合に、前記校正手段は、前記シェーディング補正データを用いてシェーディング補正を行うシェーディング補正手段であってもよい。 In the imaging device according to the second aspect, in the first aspect, the calibration data may be shading correction data for performing shading correction on the image data.
In this case, the calibration means may be shading correction means for performing shading correction using the shading correction data.

第３の態様に係る撮像装置は、上記第１の態様において、前記校正データは、前記撮像手段における撮像素子の蓄積時間に関する校正データであってもよい。
この場合に、前記校正手段は、前記蓄積時間に関する校正データを用いて前記撮像手段における撮像素子の蓄積時間を調整する手段であってもよい。 In the image pickup apparatus according to a third aspect, in the first aspect, the calibration data may be calibration data regarding an accumulation time of the image pickup device in the image pickup means.
In this case, the calibration means may be means for adjusting the storage time of the image sensor in the imaging means using the calibration data regarding the storage time.

第４の態様に係る撮像装置は、上記第１の態様において、前記校正データは、前記撮像手段におけるゲインに関する校正データであってもよい。
この場合に、前記校正手段は、前記ゲインに関する校正データを用いて前記撮像手段におけるゲインを調整する手段であってもよい。 In the imaging device according to a fourth aspect, in the first aspect, the calibration data may be calibration data regarding a gain in the imaging means.
In this case, the calibration means may be means for adjusting the gain in the imaging means using the calibration data regarding the gain.

第５の態様に係る撮像装置は、上記第１から第４のいずれかの態様において、前記校正データは、撮像時の照明条件に対応して校正を行うための校正データであってもよい。
この場合に、前記校正手段は、撮像時の前記照明条件の切り替えに対応して、前記複数の校正データから撮像時の前記照明条件に対応する校正データに切り替えて校正を行ってもよい。 In the imaging device according to the fifth aspect, in any one of the first to fourth aspects, the calibration data may be calibration data for performing a calibration corresponding to an illumination condition at the time of imaging.
In this case, the calibration means may perform calibration by switching from the plurality of calibration data to calibration data corresponding to the illumination condition at the time of image capturing, in response to the switching of the illumination condition at the time of image capturing.

上記構成によって、照明条件毎に対応する校正データを用いた校正ができる。また、撮像装置内部で校正を行うことで、外部出力時の低階調化の影響を受けることなく高階調画像信号による高精度な補正処理ができる。 With the above configuration, calibration using calibration data corresponding to each illumination condition can be performed. Further, by performing the calibration inside the image pickup apparatus, it is possible to perform highly accurate correction processing by the high gradation image signal without being affected by the gradation reduction at the time of external output.

第６の態様に係る撮像装置は、上記第５の態様において、前記校正手段は、撮像時の前記照明条件の切り替えと同期して撮像時の前記照明条件に対応する校正データに切り替えてもよい。 In the imaging device according to a sixth aspect, in the fifth aspect, the calibration unit may switch to calibration data corresponding to the illumination condition at the time of image capturing in synchronization with the switching of the illumination condition at the time of image capturing. ..

上記構成によって、照明条件の切り替えと同期して校正データを切り替えることで、各照明条件ごとに対応する校正を順次実行できる。 With the above configuration, by switching the calibration data in synchronization with the switching of the illumination conditions, it is possible to sequentially perform the calibration corresponding to each illumination condition.

第７の態様に係る撮像装置は、上記第１の態様において、前記校正手段は、前記撮像手段における撮像と同期して前記校正データを切り替えてもよい。 In the image pickup apparatus according to a seventh aspect, in the first aspect, the calibration unit may switch the calibration data in synchronization with the image pickup by the image pickup unit.

第８の態様に係る撮像装置は、上記第１の態様において、校正後の画像データの画像信号を低階調化して外部に出力する出力手段を備えてもよい。 An image pickup apparatus according to an eighth aspect may be provided with the output means according to the first aspect, which outputs the image signal of the calibrated image data to the outside with reduced gradation.

第９の態様に係る検査装置は、上記第１から第８のいずれかの態様における前記撮像装置を含む。 An inspection apparatus according to a ninth aspect includes the image pickup apparatus according to any one of the first to eighth aspects.

以下、本発明の実施の形態に係る撮像装置について、添付図面を参照しながら説明する。なお、図面において実質的に同一の部材については同一の符号を付している。 Hereinafter, an image pickup apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings. In the drawings, substantially the same members are designated by the same reference numerals.

（実施の形態１）
＜撮像装置＞
図１は、実施の形態１に係る撮像装置１０の構成を示すブロック図である。この撮像装置１０は、被撮像物５の画像データを得る撮像手段１と、撮像手段１と画像データとの少なくとも一方を校正するための校正データ２ａ、２ｂ、２ｃ、２ｄを記憶する記憶手段２と、校正データを用いて撮像手段１と画像データとの少なくとも一方を校正する校正手段３と、を備える。また、校正後の画像データの画像信号を外部に出力する出力手段４を備えてもよい。
この撮像装置では、撮像条件に対応する校正データによって撮像手段１と画像データとの少なくとも一方を校正できるので、撮像条件に対応した適切な校正を行うことができる。また、撮像装置１０の内部において、校正データ２ａ、２ｂ、２ｃ、２ｄを有する記憶手段２と、校正手段３とを備えるので、外部に出力して処理する場合と比べて、外部出力の際の低階調化処理の影響を受けることなく、撮像装置１０の内部で高精度の画像データ（高階調画像信号）のままで校正することができ、高精度の校正済みの画像データを得ることができる。 (Embodiment 1)
<Imaging device>
FIG. 1 is a block diagram showing the configuration of the imaging device 10 according to the first embodiment. The image pickup apparatus 10 includes an image pickup unit 1 that obtains image data of an object 5 and a storage unit 2 that stores calibration data 2a, 2b, 2c, and 2d for calibrating at least one of the image pickup unit 1 and the image data. And calibration means 3 for calibrating at least one of the image pickup means 1 and the image data using the calibration data. Further, an output means 4 for outputting the image signal of the calibrated image data to the outside may be provided.
In this image pickup apparatus, at least one of the image pickup means 1 and the image data can be calibrated by the calibration data corresponding to the image pickup condition, so that the appropriate calibration corresponding to the image pickup condition can be performed. Further, since the storage unit 2 having the calibration data 2a, 2b, 2c, and 2d and the calibration unit 3 are provided inside the image pickup apparatus 10, the external output during the external output is different from the external output for processing. The high-accuracy image data (high-gradation image signal) can be calibrated in the imaging device 10 without being affected by the gradation lowering processing, and high-accuracy calibrated image data can be obtained. it can.

以下に、この撮像装置１０を構成する各構成要素について説明する。 Below, each component which comprises this imaging device 10 is demonstrated.

＜撮像手段＞
撮像手段１は、ＣＣＤ、ＣＭＯＳ等の撮像素子１ａと、撮像素子１ａを制御する撮像制御手段１ｂとを含んでもよい。また、撮像手段１は、ラインセンサあるいはエリアセンサのいずれであってもよい。例えば、被撮像物５が搬送されている場合には、搬送方向に沿って高速に走査するために、ラインセンサを用いてもよい。ラインセンサは単一のモノクロラインセンサであってもよい。 <Imaging means>
The image pickup unit 1 may include an image pickup device 1a such as a CCD or a CMOS, and an image pickup control unit 1b that controls the image pickup device 1a. Further, the image pickup means 1 may be either a line sensor or an area sensor. For example, when the object 5 is being conveyed, a line sensor may be used to scan at high speed in the conveying direction. The line sensor may be a single monochrome line sensor.

＜記憶手段＞
記憶手段２は、複数の校正データ２ａ、２ｂ、２ｃ、２ｄを有している。校正データ２ａ、２ｂ、２ｃ、２ｄは、撮像手段１と画像データとの少なくとも一方を校正するためのものである。校正データ２ａ、２ｂ、２ｃ、２ｄとしては、例えば、シェーディング補正データであってもよい。あるいは、校正データは、画像全体の明るさを調整するための校正データ、例えば、撮像手段１における撮像素子１ａの蓄積時間に関する校正データであってもよい。また、校正データは、撮像手段１におけるゲインに関する校正データであってもよい。なお、校正データがシェーディング補正データである場合については実施の形態２において詳述する。 <Memory means>
The storage unit 2 has a plurality of calibration data 2a, 2b, 2c, 2d. The calibration data 2a, 2b, 2c, 2d are for calibrating at least one of the image pickup means 1 and the image data. The calibration data 2a, 2b, 2c, 2d may be shading correction data, for example. Alternatively, the calibration data may be calibration data for adjusting the brightness of the entire image, for example, calibration data relating to the accumulation time of the image sensor 1a in the image capturing means 1. Further, the calibration data may be calibration data regarding the gain in the image pickup means 1. The case where the calibration data is the shading correction data will be described in detail in the second embodiment.

＜校正手段＞
校正手段３によって、校正データを用いて撮像手段１と画像データとの少なくとも一方を校正する。校正手段３は、例えば、電気回路によって物理的な構成として実現してもよい。あるいは、コンピュータ上で動作するコンピュータソフトウエアによって実現してもよい。コンピュータは、通常の構成要素であるＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、入出力インタフェース等のうち上記校正動作を実行できる必要最小限の機能を有していればよい。 <Calibration means>
The calibration means 3 calibrates at least one of the image pickup means 1 and the image data using the calibration data. The calibrating means 3 may be realized as a physical configuration by an electric circuit, for example. Alternatively, it may be realized by computer software running on a computer. The computer only needs to have the minimum necessary functions capable of executing the above-mentioned calibration operation among the CPU, ROM, RAM, hard disk, input/output interface, etc. which are the usual constituent elements.

また、校正データが撮像手段１における撮像素子の蓄積時間に関する校正データの場合には、校正手段３によって撮像手段１の撮像素子の蓄積時間を校正データに基づいて変更し、露光、撮像を行って画像データを得ることができる。実際には、校正手段３は、記憶手段２から蓄積時間に関する設定値の校正データ２ａ、２ｂ、２ｃ、２ｄのいずれかを読み出し、その値を撮像手段１にセットすることで撮像素子１ａの蓄積時間を変更する。
校正データが撮像手段１におけるゲインに関する校正データの場合には、校正手段３によって撮像手段１のゲイン（アナログゲイン又はデジタルゲイン）を校正データに基づいて変更し、露光、撮像を行って画像データを得る。実際には、校正手段３は、記憶手段２からゲインに関する設定値の校正データ２ａ、２ｂ、２ｃ、２ｄのいずれかを読み出し、その値を撮像手段１にセットすることでゲインを変更する。
なお、校正手段３は、撮像手段１における撮像と同期して校正データを切り替えてもよい。 Further, when the calibration data is the calibration data relating to the storage time of the image sensor in the image capturing means 1, the calibration means 3 changes the storage time of the image capturing element of the image capturing means 1 based on the calibration data to perform exposure and image capturing. Image data can be obtained. In practice, the calibration means 3 reads out one of the calibration data 2a, 2b, 2c, 2d of the set value relating to the storage time from the storage means 2 and sets the value in the imaging means 1 to store the data in the imaging element 1a. Change the time.
When the calibration data is the calibration data relating to the gain in the image pickup means 1, the calibration means 3 changes the gain (analog gain or digital gain) of the image pickup means 1 based on the calibration data, and exposure and image pickup are performed to obtain image data. obtain. In practice, the calibration means 3 reads the calibration data 2a, 2b, 2c, 2d of the set value relating to the gain from the storage means 2 and sets the value in the imaging means 1 to change the gain.
The calibration unit 3 may switch the calibration data in synchronization with the image capturing by the image capturing unit 1.

＜出力手段＞
出力手段４によって校正後の画像データの画像信号を外部に出力する。
なお、出力手段４は、外部出力時に伝送レートが制限される場合があり、画像信号を低階調化処理して外部出力する場合がある。この場合には、高精度の画像信号の精度を低下させて出力する。
この撮像装置１０では、上述のように、外部出力の際の低階調化処理の影響を受けることなく、撮像装置１０の内部で高精度の画像データ（高階調画像信号）のままで校正することができ、高精度の校正済みの画像データを得ることができる。なお、その後の外部出力で校正済み画像データは低階調化処理を受けるが、低階調化処理後に校正を行った場合に比べて低階調化の影響、例えば大幅な桁落ちなど、を受けないため、精度低下の影響を抑制できる。 <Output means>
The output unit 4 outputs the image signal of the calibrated image data to the outside.
The output unit 4 may limit the transmission rate during external output, and may output the image signal after gradation reduction processing. In this case, the precision of the high precision image signal is reduced and output.
As described above, the image pickup apparatus 10 is calibrated in the image pickup apparatus 10 as it is with high-accuracy image data (high-grayscale image signal) without being affected by the gradation lowering process at the time of external output. Therefore, highly accurate calibrated image data can be obtained. After that, the calibrated image data is subjected to the gradation lowering processing by the external output, but the influence of the gradation lowering, for example, a significant digit loss is compared to the case where the calibration is performed after the gradation lowering processing. Since it is not affected, it is possible to suppress the influence of deterioration in accuracy.

＜バッファメモリ＞
この撮像装置１０では、撮像手段１と校正手段３との間にバッファメモリを設けてもよい。バッファメモリは、撮像手段１からの画像信号を一時的に保持しておくことができる。これによって、撮像のタイミングと校正のタイミングとを同期させない場合にも、校正前の画像データを所定期間にわたって保持できる。 <Buffer memory>
In this image pickup apparatus 10, a buffer memory may be provided between the image pickup means 1 and the calibration means 3. The buffer memory can temporarily hold the image signal from the image pickup means 1. As a result, even when the image capturing timing and the calibration timing are not synchronized, the image data before calibration can be held for a predetermined period.

（実施の形態２）
＜撮像装置＞
図２は、実施の形態２に係る撮像装置２０を含む照明付き撮像システム３０の構成を示すブロック図である。この撮像装置２０は、被撮像物５の画像データを得る撮像手段１１と、画像データをシェーディング補正するためのシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを記憶する記憶手段１２と、シェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを用いて画像データをシェーディング補正するシェーディング補正手段１３と、を備える。また、補正後の画像データの画像信号を外部に出力する出力手段１４を備えてもよい。 (Embodiment 2)
<Imaging device>
FIG. 2 is a block diagram showing the configuration of an illuminated imaging system 30 including the imaging device 20 according to the second embodiment. The image pickup device 20 includes an image pickup unit 11 for obtaining image data of the object 5, a storage unit 12 for storing shading correction data 12a, 12b, 12c, 12d for shading correction of the image data, and a shading correction data 12a. , 12b, 12c, 12d for shading correction of the image data. Further, an output unit 14 for outputting the image signal of the corrected image data to the outside may be provided.

この撮像装置２０では、撮像時の照明条件に対応するシェーディング補正データによって画像データをシェーディング補正できるので、撮像条件に対応した適切な補正を行うことができる。また、この撮像装置２０は、その内部において、シェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを有する記憶手段１２と、シェーディング補正手段１３とを備える。そこで、外部に出力して処理する場合と比べて、外部出力の際の低階調化処理の影響を受けることなく、撮像装置の内部で高精度の画像データ（高階調画像信号）のままでシェーディング補正を行うことができ、高精度の補正済みの画像データを得ることができる。 In this imaging device 20, since the image data can be shading-corrected by the shading correction data corresponding to the illumination condition at the time of imaging, it is possible to perform the appropriate correction corresponding to the imaging condition. Further, the image pickup apparatus 20 internally includes a storage unit 12 having shading correction data 12a, 12b, 12c, 12d, and a shading correction unit 13. Therefore, compared to the case of outputting the image to the outside for processing, the high-accuracy image data (high-gradation image signal) remains as it is inside the imaging device without being affected by the gradation reduction process at the time of external output. Shading correction can be performed, and highly accurate corrected image data can be obtained.

以下に、この撮像装置２０を構成する各構成要素について説明する。 Below, each component which comprises this imaging device 20 is demonstrated.

＜撮像手段＞
撮像手段１１は、実施の形態１における撮像手段１と実質的に同様のものを用いることができる。そこで、詳細の説明を省略する。
なお、図２では、レンズ１５を撮像手段１１とは分離して示しているが、これは、単に略真上から撮像している撮像状態を示すために便宜的にレンズ１５を撮像手段１１から分離して示しているにすぎない。なお、レンズ１５は、撮像手段１１に含まれてもよい。また、図２では撮像装置を一体のものとして示しているが、例えば、ヘッド分離型の構成（撮像手段１１とレンズ１５がヘッド部、それより後段の処理部がコントローラ部として分離した構造）であってもよい。 <Imaging means>
The image pickup means 11 may be substantially the same as the image pickup means 1 in the first embodiment. Therefore, detailed description is omitted.
Note that, in FIG. 2, the lens 15 is shown separately from the image pickup means 11, but this is for convenience sake only to show the image pickup state in which an image is picked up from directly above. It is only shown separately. The lens 15 may be included in the image pickup unit 11. In addition, although the image pickup device is shown as an integrated unit in FIG. 2, for example, a head separation type configuration (a structure in which the image pickup means 11 and the lens 15 are separated as a head part and a processing part in the subsequent stage is separated as a controller part) is used. It may be.

＜記憶手段＞
記憶手段１２は、複数のシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを有している。各シェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄは、各照明条件について、撮像手段１１の撮像素子１１ａの各画素の白基準と黒基準とからなる。例えば、図４は、シェーディング補正データを構成する各画素の白基準Ｗと黒基準Ｂとを示すグラフである。図４の横軸は、画素位置を表し、縦軸は、輝度を表している。
また、第１シェーディング補正データ１２ａ、第２シェーディング補正データ１２ｂ、第３シェーディング補正データ１２ｃ、第４シェーディング補正データ１２ｄは、それぞれ照明Ｌ１（１８ａ）、照明Ｌ２（１８ｂ）、照明Ｌ３（１８ｃ）、照明Ｌ４（１８ｄ）による照明条件に対応している。なお、照明の数とシェーディング補正データの数とは一致している必要はなく、様々な照明条件の組み合わせに対応した複数のシェーディング補正データを必要な数だけ記憶しておき、照明条件の切り替えに対応して適切なシェーディング補正データを用いればよい。
シェーディング補正データを構成する各画素の白基準Ｗは、各照明毎に白の校正板を用いて撮像して得ることができる。あるいは、各照明から撮像手段１１の撮像素子１１ａに直接照射して撮像して白基準Ｗを得る場合もある。黒基準Ｂは、撮像手段１１の撮像素子１１ａに全く光が入らない状態、例えば、レンズ１５にフタをした状態で撮像して得ることができる。あるいは、白基準Ｗと同様に、各照明毎に黒の校正板を用いて撮像して黒基準Ｂを得るようにしてもよい。なお、黒基準Ｂは、すべての照明１８ａ、１８ｂ、１８ｃ、１８ｄについて共通のデータとしてもよい。 <Memory means>
The storage unit 12 has a plurality of shading correction data 12a, 12b, 12c, 12d. Each shading correction data 12a, 12b, 12c, 12d is composed of a white reference and a black reference of each pixel of the image pickup device 11a of the image pickup means 11 for each illumination condition. For example, FIG. 4 is a graph showing the white reference W and the black reference B of each pixel forming the shading correction data. The horizontal axis of FIG. 4 represents the pixel position, and the vertical axis represents the luminance.
Further, the first shading correction data 12a, the second shading correction data 12b, the third shading correction data 12c, and the fourth shading correction data 12d are respectively illumination L1 (18a), illumination L2 (18b), illumination L3 (18c), This corresponds to the illumination condition of the illumination L4 (18d). Note that the number of lights and the number of shading correction data do not have to match, and a plurality of shading correction data corresponding to various combinations of lighting conditions are stored in a required number to switch the lighting conditions. Correspondingly appropriate shading correction data may be used.
The white reference W of each pixel forming the shading correction data can be obtained by imaging using a white calibration plate for each illumination. Alternatively, the white reference W may be obtained by directly irradiating the image pickup device 11a of the image pickup means 11 from each illumination to pick up an image. The black reference B can be obtained by capturing an image with no light entering the image sensor 11a of the image capturing unit 11, for example, with the lens 15 covered. Alternatively, as with the white reference W, the black reference B may be obtained by imaging using a black calibration plate for each illumination. The black reference B may be common data for all the illuminations 18a, 18b, 18c, 18d.

＜シェーディング補正手段＞
シェーディング補正手段１３は、シェーディング補正データを用いて画像データをシェーディング補正する。シェーディング補正手段１３は、例えば、電気回路によって物理的な構成として実現してもよい。あるいは、コンピュータ上で動作するコンピュータソフトウエアによって実現してもよい。コンピュータは、通常の構成要素であるＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、入出力インタフェース等のうち上記補正動作を実行できる必要最小限の機能を有していればよい。
なお、シェーディング補正手段１３を電気回路として構成した場合には、照明条件毎に設けた複数のシェーディング補正回路を、撮像および照明の点灯と同期して切り替えることで、照明切り替えの度に記憶手段１２からシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄを読み出す時間が不要になり、より高速な補正処理ができる。 <Shading correction means>
The shading correction unit 13 performs shading correction on the image data using the shading correction data. The shading correction means 13 may be realized as a physical configuration by an electric circuit, for example. Alternatively, it may be realized by computer software running on a computer. The computer only needs to have the minimum necessary function capable of executing the above-described correction operation among the CPU, ROM, RAM, hard disk, input/output interface, etc., which are the usual constituent elements.
When the shading correction means 13 is configured as an electric circuit, a plurality of shading correction circuits provided for each lighting condition are switched in synchronization with the image pickup and the lighting of the lighting so that the storage means 12 is switched every time the lighting is switched. Since the time for reading the shading correction data 12a, 12b, 12c, 12d from is unnecessary, higher-speed correction processing can be performed.

図３は、図２の撮像装置２０のシェーディング補正手段１３の動作を示す概略図である。図４は、１つのシェーディング補正データを構成する各画素ｉの白基準Ｗｉと黒基準Ｂｉを全画素にわたってそれぞれ要素として含む白基準Ｗと黒基準Ｂと、各画素ｉの補正前の画像信号Ｓｉを全画素にわたって要素として含む補正前の画像信号Ｓと、各画素ｉの補正後の画像信号Ｓ’ｉを全画素にわたって要素として含む補正後の画像信号Ｓ’、の一例を示すグラフである。
シェーディング補正手段１３によるシェーディング補正について以下に説明する。
（ａ）シェーディング補正手段１３は、画像信号Ｓと、撮像条件である照明条件に対応するシェーディング補正データを構成する白基準Ｗ及び黒基準Ｂと、をそれぞれラインメモリ２２ａ、２２ｂ、２２ｃに記憶する。
（ｂ）次いで、各画素ｉごとに白基準Ｗｉと黒基準Ｂｉとの差（Ｗｉ−Ｂｉ）と、画像信号Ｓｉと黒基準Ｂｉとの差（Ｓｉ−Ｂｉ）をそれぞれ算出する。
（ｃ）その後、各画素ｉごとに画像信号Ｓｉと黒基準Ｂｉとの差（Ｓｉ−Ｂｉ）を白基準Ｗｉと黒基準Ｂｉとの差（Ｗｉ−Ｂｉ）で除して規格化した値（Ｓｉ−Ｂｉ）／（Ｗｉ−Ｂｉ）を得る。
（ｄ）この規格化値にｎビットの画像信号Ｓｉの最大値２^ｎ−１を乗じた値（Ｓｉ−Ｂｉ）／（Ｗｉ−Ｂｉ）＊（２^ｎ−１）を補正後の画像信号Ｓ’ｉとして出力する。
以上によって、照明条件に対応したシェーディング補正を行うことができる。 FIG. 3 is a schematic diagram showing the operation of the shading correction means 13 of the image pickup apparatus 20 of FIG. FIG. 4 shows a white reference W and a black reference B each of which includes a white reference Wi and a black reference Bi of each pixel i constituting one shading correction data as elements over all pixels, and an image signal Si before correction of each pixel i. 3 is a graph showing an example of an uncorrected image signal S including all pixels as an element and an image signal S′ after correction including corrected image signal S′i of each pixel i as an element over all pixels.
The shading correction by the shading correction means 13 will be described below.
(A) The shading correction means 13 stores the image signal S and the white reference W and the black reference B, which form the shading correction data corresponding to the illumination condition which is the imaging condition, in the line memories 22a, 22b and 22c, respectively. ..
(B) Next, the difference between the white reference Wi and the black reference Bi (Wi-Bi) and the difference between the image signal Si and the black reference Bi (Si-Bi) are calculated for each pixel i.
(C) Thereafter, for each pixel i, the difference (Si-Bi) between the image signal Si and the black reference Bi is divided by the difference (Wi-Bi) between the white reference Wi and the black reference Bi to standardize the value ( Si-Bi)/(Wi-Bi) is obtained.
(D) A value (Si-Bi)/(Wi-Bi)*( ^2n- 1) obtained by multiplying the normalized value by the maximum value ^2n- 1 of the n-bit image signal Si is the corrected image signal S. Output as'i.
As described above, the shading correction corresponding to the illumination condition can be performed.

＜出力手段＞
出力手段１４は、実施の形態１における出力手段４と実質的に同様のものを使用できる。そこで、詳細の説明を省略する。 <Output means>
The output means 14 may be substantially the same as the output means 4 in the first embodiment. Therefore, detailed description is omitted.

＜バッファメモリ＞
バッファメモリは、実施の形態１におけるバッファメモリと実質的に同様のものを使用できる。そこで、詳細の説明を省略する。 <Buffer memory>
The buffer memory may be substantially the same as the buffer memory in the first embodiment. Therefore, detailed description is omitted.

＜照明付き撮像システム＞
照明付き撮像システム３０は、実施の形態２に係る撮像装置２０と、同期信号発生手段１６と、照明制御手段１７と、照明１８ａ、１８ｂ、１８ｃ、１８ｄと、を備える。この照明付き撮像システム３０は、特開２０１２−４２２９７号公報に記載のように、撮像手段１１の撮像タイミングに同期して複数の照明１８ａ、１８ｂ、１８ｃ、１８ｄを切り替えながら撮像する、いわゆるスイッチング撮像方式で駆動させることができる。
なお、この照明付き撮像システム３０は、撮像手段１１の撮像タイミングと複数の照明１８ａ、１８ｂ、１８ｃ、１８ｄの切り替えとを同期させることなく駆動してもよく、撮像タイミングと照明の切り替えとの同期は、必須の構成ではない。 <Illuminated imaging system>
The illuminated imaging system 30 includes the imaging device 20 according to the second embodiment, a synchronization signal generation unit 16, an illumination control unit 17, and illuminations 18a, 18b, 18c, and 18d. As described in Japanese Unexamined Patent Application Publication No. 2012-42297, the illuminated imaging system 30 performs so-called switching imaging in which imaging is performed while switching among the plurality of illuminations 18a, 18b, 18c, 18d in synchronization with the imaging timing of the imaging unit 11. It can be driven by a method.
Note that the illuminated imaging system 30 may be driven without synchronizing the imaging timing of the imaging means 11 and the switching of the plurality of lights 18a, 18b, 18c, 18d, and the synchronization of the imaging timing and the switching of the illumination. Is not a mandatory configuration.

以下に、この照明付き撮像システム３０を構成する各構成要素について説明する。 Below, each component which comprises this imaging system 30 with illumination is demonstrated.

＜撮像装置＞
撮像装置２０は、上記撮像装置２０を利用できるので、説明を省略する。 <Imaging device>
Since the image pickup apparatus 20 can use the image pickup apparatus 20, the description thereof will be omitted.

＜照明＞
この照明付き撮像システム３０では、拡散反射光となる照明Ｌ１（１８ａ）、照明Ｌ２（１８ｂ）、照明Ｌ３（１８ｃ）と、正反射光となる照明Ｌ４（１８ｄ）とを有している。また、照明Ｌ１（１８ａ）、照明Ｌ２（１８ｂ）、照明Ｌ３（１８ｃ）は、それぞれＲ、Ｇ、Ｂに対応する赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）を照射し、照明Ｌ４（１８ｄ）は、白色光を照射する。
なお、照明１８ａ、１８ｂ、１８ｃ、１８ｄの数は４つに限られるものではない。例えば、照明の数は１つ、２つ、３つ、あるいは５つ以上であってもよい。また上記の例では、３つの拡散反射光と、１つの正反射光との組合せで構成しているが、これに限られず、例えば、さらに透過光を組み合わせてもよい。 <Lighting>
The illuminated imaging system 30 includes an illumination L1 (18a), an illumination L2 (18b), and an illumination L3 (18c) that are diffuse reflection light, and an illumination L4 (18d) that is specular reflection light. The illumination L1 (18a), the illumination L2 (18b), and the illumination L3 (18c) emit red light (R), green light (G), and blue light (B) corresponding to R, G, and B, respectively. The illumination L4 (18d) emits white light.
The number of the illuminations 18a, 18b, 18c, 18d is not limited to four. For example, the number of lights may be one, two, three, or five or more. Further, in the above example, the three diffuse reflection lights and one specular reflection light are combined, but the present invention is not limited to this, and, for example, transmitted light may be further combined.

＜同期信号発生手段＞
同期信号発生手段１６は、撮像手段１１と、シェーディング補正手段１３と、照明制御手段１７と、に同期信号を送り、照明１８ａ、１８ｂ、１８ｃ、１８ｄの切り替えと、撮像のタイミングと、を同期させる。また、撮像の終了後、次の照明への切り替えと、１つ前の照明によって撮像された画像信号についてのシェーディング補正とを、同期させる。したがって、照明１８ａ、１８ｂ、１８ｃ、１８ｄの切り替えと、１つ前の照明に対応するシェーディング補正データ１２ａ、１２ｂ、１２ｃ、１２ｄの読み込みとを同期させることとなる。
なお、同期信号発生手段１６は、撮像装置２０、照明制御手段１７のいずれに設けられていてもよい。あるいは、別体として設けられていてもよい。 <Synchronizing signal generating means>
The synchronization signal generation unit 16 sends a synchronization signal to the image pickup unit 11, the shading correction unit 13, and the illumination control unit 17, and synchronizes the switching of the lights 18a, 18b, 18c, and 18d with the image pickup timing. .. Further, after the image capturing is completed, the switching to the next illumination is synchronized with the shading correction for the image signal captured by the previous illumination. Therefore, the switching of the illuminations 18a, 18b, 18c, 18d and the reading of the shading correction data 12a, 12b, 12c, 12d corresponding to the immediately preceding illumination are synchronized.
The synchronization signal generation means 16 may be provided in either the image pickup device 20 or the illumination control means 17. Alternatively, it may be provided as a separate body.

＜照明制御手段＞
照明制御手段１７によって照明１８ａ、１８ｂ、１８ｃ、１８ｄを制御する。照明制御手段１７は、上記同期信号に基づいて照明１８ａ、１８ｂ、１８ｃ、１８ｄを順次切り替える。なお、スイッチング撮像における照明の制御は、複数の照明を順次切り替えることだけに限られず、例えば、２つ以上の照明を組み合わせて同時に照射してもよく、また、１つの照明を、波長や明るさを切り替えながら複数回照射してもよい。 <Lighting control means>
The illumination control means 17 controls the illuminations 18a, 18b, 18c and 18d. The illumination control means 17 sequentially switches the illuminations 18a, 18b, 18c, 18d based on the synchronization signal. It should be noted that the control of illumination in switching imaging is not limited to sequentially switching a plurality of illuminations, and for example, two or more illuminations may be combined and irradiated at the same time. You may irradiate several times, switching.

＜搬送手段＞
搬送手段１９は、例えば、被撮像物５を一方向に搬送するものであってもよい。搬送手段１９としては、例えば、ベルトコンベアであってもよい。 <Conveying means>
The transport means 19 may transport the object 5 in one direction, for example. The conveying means 19 may be, for example, a belt conveyor.

＜撮像方法＞
図５は、ｍ_ｍａｘ個の照明を順次切り替えて撮像を行うスイッチング撮像において、校正を行って校正後の画像データを得る撮像方法のフローチャートである。
（１）予め、各照明毎のシェーディング補正データ・蓄積時間・ゲインを記憶手段に記憶する（Ｓ０１）。なお、各照明に対応するシェーディング補正データの取得は、上述のように各照明ごとの白基準及び黒基準を得ることに対応する。蓄積時間・ゲインについても各照明ごとの輝度と蓄積時間・ゲインとの関係を得ることによって、校正データが得られる。
（２）初期設定として、ｎ＝１、ｍ＝１に設定する（Ｓ０２）。
（３）ｎライン目の撮像を開始する（Ｓ０３）。
（４）ｍ番目の校正データで蓄積時間・ゲインを設定する（Ｓ０４）。例えば、照明が正反射光等のために明るすぎる場合には撮像手段１１の撮像素子１１ａの蓄積時間を減らすか又はゲインを低下させ、逆に透過光等のために暗すぎる場合には撮像素子１１ａの蓄積時間を増やすか又はゲインを増大させてもよい。
（５）ｍ番目の照明を点灯する（Ｓ０５）。
（６）露光して撮像し、画像信号を得る（Ｓ０６）。
（７）ｍ番目の照明を消灯する（Ｓ０７）。
（８）ｍ番目の校正データ（シェーディング補正データ）で画像信号をシェーディング補正して出力する（Ｓ０８）。
（９）照明の番号ｍがｍ_ｍａｘか否か判断（Ｓ０９）し、ｍ_ｍａｘである場合には照明の番号ｍを１にリセット（Ｓ１０）し、ｍ_ｍａｘでない場合にはｍをインクリメント（ｍ＝ｍ＋１）（Ｓ１１）し、ステップＳ０４に戻る。なお、照明の番号ｍのリセット（Ｓ１０）は、この段階で行う場合に限られない。例えば、ｎライン目の撮像を開始する（Ｓ０３）際に同時に照明の番号ｍをリセットしてもよい。
（１０）照明の番号ｍを１にリセットした後、ラインの番号ｎがｎ_ｍａｘであるか判断（Ｓ１２）し、ｎ_ｍａｘである場合には撮像を終了する。ラインの番号ｎがｎ_ｍａｘでない場合、ｎをインクリメント（ｎ＝ｎ＋１）（Ｓ１３）し、ステップＳ０３に戻る。
以上によって、ｍ_ｍａｘ個の照明を順次切り替えて撮像を行うスイッチング撮像において、各照明条件に対応する校正データ（シェーディング補正データ、蓄積時間、ゲイン）を用いて撮像手段と画像データとの少なくとも一方を校正して、校正後の画像データを得ることができる。 <Imaging method>
FIG. 5 is a flowchart of an imaging method for performing calibration and obtaining image data after calibration in switching imaging in which m _max illuminations are sequentially switched to perform imaging.
(1) The shading correction data/accumulation time/gain for each illumination is stored in the storage unit in advance (S01). The acquisition of shading correction data corresponding to each illumination corresponds to obtaining the white reference and the black reference for each illumination as described above. With respect to the storage time/gain, the calibration data can be obtained by obtaining the relationship between the brightness of each illumination and the storage time/gain.
(2) As initial settings, n=1 and m=1 are set (S02).
(3) Imaging of the nth line is started (S03).
(4) The accumulation time and gain are set with the m-th calibration data (S04). For example, when the illumination is too bright due to specular reflection light or the like, the accumulation time of the image pickup device 11a of the image pickup unit 11 is reduced or the gain is lowered, and conversely, when the light is too dark due to transmitted light or the like, the image pickup device is detected. The accumulation time of 11a may be increased or the gain may be increased.
(5) The mth illumination is turned on (S05).
(6) An image signal is obtained by exposing and picking up an image (S06).
(7) The mth illumination is turned off (S07).
(8) The image signal is subjected to shading correction with the m-th calibration data (shading correction data) and output (S08).
(9) It is determined whether or not the illumination number m is m _max (S09), and if it is m _max , the illumination number m is reset to 1 (S10), and if it is not m _max , m is incremented (m =m+1) (S11), and returns to step S04. The resetting of the illumination number m (S10) is not limited to this case. For example, the illumination number m may be reset at the same time when the imaging of the nth line is started (S03).
(10) After the illumination number m is reset to 1, it is determined whether the line number n is n _max (S12), and if it is n _max , the imaging is ended. If the line number n is not n _max , n is incremented (n=n+1) (S13) and the process returns to step S03.
As described above, in switching imaging in which m _max pieces of illumination are sequentially switched and imaging is performed, at least one of the imaging unit and the image data is corrected using calibration data (shading correction data, accumulation time, gain) corresponding to each illumination condition. It is possible to calibrate and obtain the calibrated image data.

上記撮像方法によれば、ラインセンサ等の撮像手段１１の画素ごとの感度ムラと、照明条件の差異に起因する照明ムラとを、撮像装置２０の内部で同時に補正することができる。 According to the above-described image pickup method, the sensitivity unevenness of each pixel of the image pickup means 11 such as the line sensor and the illumination unevenness caused by the difference in the illumination conditions can be simultaneously corrected inside the image pickup apparatus 20.

なお、上記撮像方法では、シェーディング補正、蓄積時間、ゲインの全てを校正する場合について説明したが、これら全てを校正する必要はない。シェーディング補正、蓄積時間、ゲインのいずれか１つ又はこれらの組合せについて校正を行ってもよい。 In the above-mentioned imaging method, the case where all of shading correction, accumulation time, and gain are calibrated has been described, but it is not necessary to calibrate all of them. Calibration may be performed for any one of shading correction, accumulation time, gain, or a combination thereof.

なお、本開示においては、前述した様々な実施の形態のうちの任意の実施の形態を適宜組み合わせることを含むものであり、それぞれの実施の形態が有する効果を奏することができる。 It should be noted that the present disclosure includes appropriately combining the arbitrary embodiments of the various embodiments described above, and the effects possessed by the respective embodiments can be exhibited.

本発明に係る撮像装置によれば、撮像条件に対応する校正データによって撮像手段と画像データとの少なくとも一方を校正できるので、撮像条件に対応した適切な校正を行うことができる。 According to the image pickup apparatus of the present invention, at least one of the image pickup unit and the image data can be calibrated by the calibration data corresponding to the image pickup condition, so that the appropriate calibration corresponding to the image pickup condition can be performed.

１、１１撮像手段
１ａ、１１ａ撮像素子
１ｂ、１１ｂ撮像制御手段
２、１２記憶手段
２ａ第１校正データ
２ｂ第２校正データ
２ｃ第３校正データ
２ｄ第４校正データ
３校正手段
４、１４出力手段
１０、２０撮像装置
１２ａ第１シェーディング補正データ
１２ｂ第２シェーディング補正データ
１２ｃ第３シェーディング補正データ
１２ｄ第４シェーディング補正データ
１３シェーディング補正手段
１５レンズ
１６同期信号発生手段
１７照明制御手段
１８ａ、１８ｂ、１８ｃ、１８ｄ照明
１９搬送手段
２２ａ、２２ｂ、２２ｃラインメモリ
３０照明付き撮像システム
５被撮像物 1, 11 Image pickup means 1a, 11a Image pickup elements 1b, 11b Image pickup control means 2, 12 Storage means 2a First calibration data 2b Second calibration data 2c Third calibration data 2d Fourth calibration data 3 Calibration means 4, 14 Output means 10 , 20 imaging device 12a first shading correction data 12b second shading correction data 12c third shading correction data 12d fourth shading correction data 13 shading correction means 15 lens 16 synchronization signal generating means 17 illumination control means 18a, 18b, 18c, 18d. Illumination 19 Conveying means 22a, 22b, 22c Line memory 30 Imaging system 5 with illumination Object to be imaged

Claims

An imaging device,
Imaging means for obtaining image data of the object to be imaged,
Storage means having in advance a plurality of calibration data for calibrating the image data,
Calibration means for calibrating the image data by switching the plurality of calibration data,
An output unit that outputs the image signal of the calibrated image data to the outside of the imaging device by lowering the gradation according to the transmission rate at the time of external output and reducing the accuracy.
Is provided inside the imaging device,
The image pickup apparatus, wherein the calibrating unit calibrates the image data in a state in which the image data is not affected by the gradation reduction processing by the output unit.

The calibration data is shading correction data for shading correction of the image data,
The imaging apparatus according to claim 1, wherein the calibration unit is a shading correction unit that performs shading correction using the shading correction data.

An imaging device,
Imaging means for obtaining image data of the object to be imaged,
A storage unit having in advance a plurality of calibration data relating to the storage time of the image sensor in the image capturing unit for calibrating the image capturing unit ;
Calibration means for calibrating the imaging means by switching the plurality of calibration data,
An output unit that outputs the image signal of the image data obtained by the image pickup unit after calibration to the outside of the image pickup unit by lowering the gradation according to the transmission rate at the time of external output and lowering the accuracy.
An image pickup apparatus having the inside of the image pickup apparatus.

An imaging device,
Imaging means for obtaining image data of the object to be imaged,
A storage unit having in advance a plurality of calibration data regarding gains in the image capturing unit for calibrating the image capturing unit ;
Calibration means for calibrating the imaging means by switching the plurality of calibration data,
An output unit that outputs the image signal of the image data obtained by the image pickup unit after calibration to the outside of the image pickup unit by lowering the gradation according to the transmission rate at the time of external output and lowering the accuracy.
An image pickup apparatus having the inside of the image pickup apparatus.

The calibration data is calibration data for performing calibration corresponding to the illumination condition at the time of image capturing,
5. The calibration unit switches calibration data from the plurality of calibration data to calibration data corresponding to the illumination condition at the time of image capturing in response to the switching of the illumination condition at the image capturing, and performs calibration. The imaging device according to one item.

The imaging apparatus according to claim 5, wherein the calibration unit switches to calibration data corresponding to the illumination condition at the time of image capturing in synchronization with switching of the illumination condition at the time of image capturing.

The image pickup apparatus according to claim 1, wherein the calibration unit switches the calibration data in synchronization with the image pickup by the image pickup unit.