JP5092434B2 - IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM - Google Patents

IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM Download PDF

Info

Publication number
JP5092434B2
JP5092434B2 JP2007027134A JP2007027134A JP5092434B2 JP 5092434 B2 JP5092434 B2 JP 5092434B2 JP 2007027134 A JP2007027134 A JP 2007027134A JP 2007027134 A JP2007027134 A JP 2007027134A JP 5092434 B2 JP5092434 B2 JP 5092434B2
Authority
JP
Japan
Prior art keywords
image
subject
change
unit
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007027134A
Other languages
Japanese (ja)
Other versions
JP2008193514A (en
JP2008193514A5 (en
Inventor
真大 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007027134A priority Critical patent/JP5092434B2/en
Publication of JP2008193514A publication Critical patent/JP2008193514A/en
Publication of JP2008193514A5 publication Critical patent/JP2008193514A5/ja
Application granted granted Critical
Publication of JP5092434B2 publication Critical patent/JP5092434B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、その被写体追従方法及びプログラムに関するものである。   The present invention relates to an imaging apparatus, a subject tracking method thereof, and a program.

被写体を追尾して合焦（ピント合わせ）などの特定の処理を行うオートフォーカス装置を備えた撮像装置がある（例えば、特許文献１、２参照）。   There is an imaging device including an autofocus device that performs a specific process such as focusing (focusing) by tracking a subject (see, for example, Patent Documents 1 and 2).

特許文献１記載の撮像装置は、合焦対象の被写体の画像を基準パターンとして記憶し、パターンマッチングにより、撮影画像の中からその基準パターンに対応する画像を検出することにより、被写体の位置の変化を検出し、被写体を追尾するようにしている。   The imaging apparatus described in Patent Document 1 stores an image of a subject to be focused as a reference pattern, and detects an image corresponding to the reference pattern from captured images by pattern matching, thereby changing the position of the subject. Is detected and the subject is tracked.

特許文献２記載の撮像装置は、フォーカスエリアを複数の領域に分割し、各領域毎に画像が有するエントロピーを計算することにより、エントロピーの変化を検出することにより被写体の位置の変化を検出し、注目領域を移動する被写体を追尾するようにしている。
特開２００６−５８４３１号公報（第４頁、図１） 特開平５−８０２４８号公報（第３頁、図１） The imaging apparatus described in Patent Literature 2 detects a change in the position of the subject by detecting a change in entropy by dividing the focus area into a plurality of areas and calculating the entropy of the image for each area. The subject moving in the attention area is tracked.
JP 2006-58431 A (page 4, FIG. 1) Japanese Patent Laid-Open No. 5-80248 (page 3, FIG. 1)

しかし、被写体を追尾する場合、被写体の向きが変わって形状が変化したり、被写体の前を、他の物体が変化したりして、様々な状況が予想される。   However, when the subject is tracked, various situations can be expected as the orientation of the subject changes and the shape changes, or another object changes in front of the subject.

特許文献１記載の撮像装置では、被写体の向きが変わって形状が変化すると、被写体と基準パターンとのパターンマッチングを行えなくなり、被写体を追尾できなくなってしまう。   In the imaging apparatus described in Patent Document 1, when the orientation of the subject changes and the shape changes, pattern matching between the subject and the reference pattern cannot be performed, and the subject cannot be tracked.

また、特許文献１記載の撮像装置では、被写体の位置が撮像装置に対して前後に変化した場合、基準パターンの形状も位置も変化せず、被写体の位置の変化を検出することができない。   Further, in the imaging apparatus described in Patent Document 1, when the position of the subject changes back and forth with respect to the imaging apparatus, neither the shape nor the position of the reference pattern changes, and the change in the position of the subject cannot be detected.

また、特許文献２記載の撮像装置では、被写体の前後を、被写体と同じエントロピーを有する物体が横切ると、この物体を追跡してしまい、被写体の追尾を行えなくなる場合がある。   Further, in the imaging apparatus described in Patent Document 2, when an object having the same entropy as that of the subject crosses the front and rear of the subject, the object is tracked, and the subject may not be tracked.

本発明は、このような従来の問題点に鑑みてなされたもので、より精度良く被写体に追従させることが可能な撮像装置、その被写体追従方法及びプログラムを提供することを目的とする。   The present invention has been made in view of such a conventional problem, and an object thereof is to provide an imaging apparatus capable of following a subject with higher accuracy, a subject tracking method, and a program thereof.

この目的を達成するため、本第１の発明の第１の観点に係る撮像装置は、
被写体を繰り返し撮像するとともに前記被写体に照射されたパルス光が反射した光を受光する撮像素子と、
前記撮像素子が受光した反射光から画素毎に前記被写体までの距離情報を演算する距離情報演算部と、
前記撮像素子により取り込まれた前記被写体の画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する第１の画像取得部と、
前記距離情報演算部により演算された距離情報から、当該撮像素子から前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する第２の画像取得部と、
前記撮像素子が撮像を行う毎に、前記第１の画像取得部が取得した前記第１の画像と、前記距離情報演算部が距離情報を演算する毎に、前記第２の画像取得部が取得した第２の画像とを記憶する記憶部と、
前記記憶部に記憶された前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第１の位置変化検出部と、
前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第２の位置変化検出部と、
前記第１の位置変化検出部により推定された検出精度と前記第２の位置変化検出部により推定された検出精度を比較した比較結果に基づいて前記第１の位置変化検出部により検出された位置の変化と前記第２の位置変化検出部により検出された位置の変化のいずれか一方を前記被写体の位置の変化として決定する位置変化決定部と、
前記位置変化決定部が前記被写体の位置の変化を決定したとき、前記被写体を追尾して、特定の制御を行うための追従領域を移動させる追従領域移動部と、
を備えることを特徴とする。 To this end, an imaging apparatus according to the first aspect of the present first invention,
An image sensor that repeatedly captures an image of a subject and receives light reflected by pulsed light applied to the subject ; and
A distance information calculation unit that calculates distance information from the reflected light received by the image sensor to the subject for each pixel;
A first image acquisition unit for acquiring a first image representing the shape of the subject including visual information of the subject obtained visually from the image of the subject captured by the imaging device;
A second image acquisition unit that acquires, from the distance information calculated by the distance information calculation unit, a second image that represents the shape of the subject, including distance information from the imaging element to the subject;
The second image acquisition unit acquires the first image acquired by the first image acquisition unit and the distance information calculation unit every time the distance information calculation unit calculates distance information each time the imaging element performs imaging. A storage unit for storing the second image,
The first image stored in the storage unit and the first image newly acquired by the first image acquisition unit are compared to detect and store a change in position, which is already stored. A first position change detector that estimates detection accuracy based on a change in position detected so far;
The second image stored in the storage unit and the second image newly acquired by the second image acquisition unit are compared to detect and store a change in position, which is already stored. A second position change detection unit that estimates detection accuracy based on a change in the position detected so far;
Position detected by the first position change detecting section based on the comparison result of comparing the detection accuracy was estimated to be the detection accuracy estimated by the first position change detecting section by the second position change detecting section A position change determining unit that determines any one of a change in position and a change in position detected by the second position change detecting unit as a change in position of the subject;
When the position change determination unit has determined a change in position of the object, and tracking the object, and tracking area movement section for moving the tracking area for specific control,
And wherein the obtaining Bei a.

前記第１の位置変化検出部は、前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像との比較結果に基づいて位置の変化を検出する際の解析方法を選択し、
前記第２の位置変化検出部は、前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像との比較結果に基づいて位置の変化を検出する際の解析方法を選択するようにしてもよい。
また、前記距離情報演算部は、前記被写体へ照射し反射したパルス光を受光するまでの光の飛行時間に基づいて前記距離情報を演算するようにしてもよい。 The first position change detection unit is an analysis method for detecting a position change based on a comparison result between the first image and the first image newly acquired by the first image acquisition unit. Select
The second position change detection unit is an analysis method for detecting a change in position based on a comparison result between the second image and the second image newly acquired by the second image acquisition unit. May be selected .
Further, the distance information calculation unit may calculate the distance information based on a flight time of light until the pulsed light irradiated and reflected on the subject is received.

前記撮像素子は、前記被写体で反射した光を受光して、前記第１の画像を取得するための第１の画素部と、前記被写体に照射されたパルス光が反射した光を受光して、前記第２の画像を取得するための第２の画素部とを１画素ユニットとして、複数の画素ユニットをｉ行×ｊ列（ｉ，ｊ；自然数）に行列配置して構成されたものであり、
前記第１の画像を取得するように複数の前記第１の画素部を駆動する第１の素子駆動部と、
前記第２の画像を取得するように複数の前記第２の画素部を駆動する第２の素子駆動部と、を備えてもよい。 The imaging element receives light reflected from the subject, receives first light from the first pixel unit for acquiring the first image, and light reflected from the pulse light applied to the subject, The second pixel unit for acquiring the second image is a pixel unit, and a plurality of pixel units are arranged in a matrix of i rows × j columns (i, j; natural numbers). ,
A first element driving unit that drives the plurality of first pixel units so as to acquire the first image;
A second element driving unit that drives the plurality of second pixel units so as to acquire the second image.

前記各第１の画素部は、それぞれ、前記被写体で反射した光を色成分毎に受光して信号電荷を発生させ、前記色成分毎に発生した前記信号電荷を出力する複数の受光部からなり、
前記第１の素子駆動部は、前記色成分毎に前記複数の受光部を駆動するものであってもよい。 Each of the first pixel units includes a plurality of light receiving units that receive the light reflected by the subject for each color component to generate a signal charge, and output the signal charge generated for each color component. ,
The first element driving unit may drive the plurality of light receiving units for each of the color components.

本第１の発明の第２の観点に係る撮像装置の被写体追従方法は、
撮像素子に被写体を繰り返し撮像させるとともに前記被写体に照射されたパルス光が反射した光を受光させるステップと、
前記撮像素子が受光した反射光から画素毎に前記被写体までの距離情報を演算するステップと、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するステップと、
前記距離情報を演算するステップにより取得された距離情報から、当該撮像素子から前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得するステップと、
前記撮像素子が撮像を行う毎に、前記第１の画像を取得するステップで取得した前記第１の画像と、前記距離情報を演算するステップで距離情報を演算する毎に、前記第２の画像を取得するステップで取得した第２の画像とを記憶部に記憶するステップと、
前記記憶するステップで記憶された前記第１の画像と前記第１の画像を取得するステップで新たに取得した前記第１の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第１の位置の変化を検出するステップと、
前記記憶するステップで記憶された前記第２の画像と前記第２の画像を取得するステップで新たに取得した前記第２の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第２の位置の変化を検出するステップと、
前記第１の位置の変化を検出するステップにより推定された検出精度と前記第２の位置の変化を検出するステップにより推定された検出精度を比較した比較結果に基づいて前記第１の位置の変化を検出するステップにより検出された位置の変化と前記第２の位置の変化を検出するステップにより検出された位置の変化のいずれか一方を前記被写体の位置の変化として決定するステップと、
前記被写体の位置の変化を決定したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させるステップと、
を有することを特徴とする。 The subject tracking method of the imaging apparatus according to the second aspect of the first invention is
Causing the imaging device to repeatedly image the subject and receiving light reflected by the pulsed light irradiated to the subject ;
Calculating distance information from the reflected light received by the image sensor to the subject for each pixel;
Obtaining a first image representing the shape of the subject including visual information of the subject obtained visually from an image captured each time the image sensor performs imaging;
Obtaining a second image representing the shape of the subject including distance information from the imaging element to the subject, from the distance information obtained by calculating the distance information;
Each time the image sensor captures an image, the first image acquired in the step of acquiring the first image and the second image each time the distance information is calculated in the step of calculating the distance information. Storing the second image acquired in the step of acquiring in a storage unit;
The first image stored in the storing step and the first image newly acquired in the step of acquiring the first image are compared to detect and store a change in position, and already stored Detecting a first position change for estimating detection accuracy based on a position change detected so far;
The second image stored in the storing step is compared with the second image newly acquired in the step of acquiring the second image to detect and store a change in position, and already stored Detecting a second position change for estimating detection accuracy based on the position change detected so far;
The change in the first position based on a comparison result obtained by comparing the detection accuracy estimated in the step of detecting the change in the first position with the detection accuracy estimated in the step of detecting the change in the second position. Determining one of a change in position detected by the step of detecting a change in position detected by the step of detecting a change in the second position and a change in position of the subject,
Moving a follow-up area for performing specific control, which is set to track the subject when determining a change in the position of the subject;
And wherein and Turkey, which have a.

本第１の発明の第３の観点に係るプログラムは、
コンピュータに、
撮像素子に被写体を繰り返し撮像させるとともに前記被写体に照射されたパルス光が反射した光を受光させる手順、
前記撮像素子が受光した反射光から画素毎に前記被写体までの距離情報を演算する手順、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する手順、
前記距離情報を演算する手順により取得された距離情報から、当該撮像素子から前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する手順、
前記撮像素子が撮像を行う毎に、前記第１の画像を取得する手順で取得した前記第１の画像と、前記距離情報を演算する手順で距離情報を演算する毎に、前記第２の画像を取得する手順で取得した前記第２の画像とを記憶部に記憶する手順、
前記記憶する手順で記憶された前記第１の画像と前記第１の画像を取得する手順で新たに取得した前記第１の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第１の位置の変化を検出する手順、
前記記憶する手順で記憶された前記第２の画像と前記第２の画像を取得する手順で新たに取得した前記第２の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第２の位置の変化を検出する手順、
前記第１の位置の変化を検出する手順により推定された検出精度と前記第２の位置の変化を検出する手順により推定された検出精度を比較した比較結果に基づいて前記第１の位置の変化を検出する手順により検出された位置の変化と前記第２の位置の変化を検出する手順により検出された位置の変化のいずれか一方を前記被写体の位置の変化として決定する手順、
前記被写体の位置の変化を決定したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させる手順、
を実行させることを特徴とする。 The program according to the third aspect of the first invention is:
On the computer,
A procedure for causing the imaging device to repeatedly image the subject and receiving the light reflected by the pulsed light applied to the subject;
A procedure for calculating distance information from the reflected light received by the image sensor to the subject for each pixel;
A procedure for acquiring a first image representing the shape of the subject including visual information of the subject obtained visually from an image captured each time the image sensor performs imaging,
A procedure for obtaining a second image representing the shape of the subject including distance information from the imaging element to the subject from the distance information obtained by the procedure for calculating the distance information;
Each time the imaging device captures an image, the second image is calculated each time the first image acquired in the procedure for acquiring the first image and the distance information is calculated in the procedure for calculating the distance information. A procedure for storing the second image acquired in the procedure for acquiring in a storage unit;
The first image stored in the storing procedure is compared with the first image newly acquired in the procedure for acquiring the first image to detect and store a change in position, and already stored A procedure for detecting a first position change for estimating detection accuracy based on a position change detected so far;
A change in position is detected by comparing the second image stored in the storing procedure with the second image newly acquired in the procedure of acquiring the second image, and is already stored. A procedure for detecting a second position change for estimating a detection accuracy based on a position change detected so far;
The change in the first position based on the comparison result obtained by comparing the detection accuracy estimated by the procedure for detecting the change in the first position and the detection accuracy estimated by the procedure for detecting the change in the second position. Determining a change in position of the subject as one of a change in position detected by the procedure for detecting a change in position detected by the procedure for detecting a change in the second position and a change in position detected by the procedure for detecting the second position;
A procedure for moving a tracking area for performing specific control, which is set to track the subject when the change in the position of the subject is determined;
Is executed .

本発明によれば、精度良く被写体の追従を行うことができる。   According to the present invention, it is possible to accurately follow a subject.

以下、本発明の実施形態に係る装置を図面を参照して説明する。
本実施形態に係る撮像装置の構成を図１に示す。
本実施形態に係る撮像装置１は、センサ部１１と、フラッシュ１２，１３と、フラッシュ制御部１４と、撮像制御部１５と、撮像レンズ１６と、レンズ駆動部１７と、フレームメモリ１８と、メモリコントローラ１９と、データ処理部２０と、ＲＯＭ２１と、ＲＡＭ２２と、不揮発性メモリ２３と、ＣＰＵ２４と、を備える。 Hereinafter, an apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of the imaging apparatus according to this embodiment.
The imaging device 1 according to the present embodiment includes a sensor unit 11, flashes 12 and 13, a flash control unit 14, an imaging control unit 15, an imaging lens 16, a lens driving unit 17, a frame memory 18, and a memory. A controller 19, a data processing unit 20, a ROM 21, a RAM 22, a nonvolatile memory 23, and a CPU 24 are provided.

この撮像装置１は、被写体２に、フラッシュ１２、１３で、それぞれ、可視光、近赤外光を照射し、センサ部１１の撮像エリア３内において、被写体２で反射した反射光を受光する。   The imaging device 1 irradiates the subject 2 with visible light and near infrared light with the flashes 12 and 13, respectively, and receives the reflected light reflected by the subject 2 within the imaging area 3 of the sensor unit 11.

この被写体２が、図２に示すように、それぞれ、文字が描かれるとともに位置が異なる３つの被写体２Ａ，２Ｂ，２Ｃである場合、この撮像装置１は、図３（ａ）に示すように、撮像エリア３内において、それぞれ、カラー画像２Ａｉ，２Ｂｉ，２Ｃｉを取得する。   As shown in FIG. 2, when the subject 2 is three subjects 2A, 2B, and 2C in which characters are drawn and positions are different as shown in FIG. In the imaging area 3, color images 2Ai, 2Bi, and 2Ci are acquired, respectively.

カラー画像２Ａｉ，２Ｂｉ，２Ｃｉは、それぞれ、視覚で得られる視覚情報、例えば、被写体２Ａ，２Ｂ，２ＣのＲＧＢ成分、輝度の情報を含めて被写体２Ａ，２Ｂ，２Ｃの形状を表した画像である。   The color images 2Ai, 2Bi, and 2Ci are images that represent the shapes of the subjects 2A, 2B, and 2C, including visual information obtained visually, for example, RGB components and luminance information of the subjects 2A, 2B, and 2C. .

また、この撮像装置１は、図３（ｂ）に示すように、撮像エリア３内において、距離画像２Ａｉ，２Ｂｉ，２Ｃｉを取得する。距離画像２Ａｄ，２Ｂｄ，２Ｃｄは、それぞれ、撮像装置１から被写体２Ａ，２Ｂ，２Ｃまでの距離情報を含めて被写体２Ａ，２Ｂ，２Ｃの形状を表した画像である。   In addition, the imaging apparatus 1 acquires distance images 2Ai, 2Bi, and 2Ci within the imaging area 3, as shown in FIG. The distance images 2Ad, 2Bd, and 2Cd are images representing the shapes of the subjects 2A, 2B, and 2C including distance information from the imaging device 1 to the subjects 2A, 2B, and 2C, respectively.

撮像装置１と被写体２Ａ，２Ｂ、２Ｃとの距離を、２Ａ＜２Ｂ＜２Ｃとすると、撮像装置１は、図３（ｂ）に示すように、距離画像２Ａｄ，２Ｂｄ，２Ｃｄの輝度を、２Ａｄ＞２Ｂｄ＞２Ｃｄとなるように設定する。   Assuming that the distance between the imaging device 1 and the subjects 2A, 2B, and 2C is 2A <2B <2C, the imaging device 1 sets the brightness of the distance images 2Ad, 2Bd, and 2Cd to 2Ad as shown in FIG. It is set so that> 2Bd> 2Cd.

本実施形態の撮像装置１は、このカラー画像２Ａｉ，２Ｂｉ，２Ｃｉと、距離画像２Ａｄ，２Ｂｄ，２Ｃｄと、を同時に取得するように構成されている。   The imaging device 1 of the present embodiment is configured to acquire the color images 2Ai, 2Bi, 2Ci and the distance images 2Ad, 2Bd, 2Cd at the same time.

また、この撮像装置１は、被写体２に合焦するように、被写体２を追尾してＡＦ処理を行う機能を有している。   The imaging apparatus 1 also has a function of tracking the subject 2 and performing AF processing so that the subject 2 is focused.

図１に戻り、センサ部１１は、撮像素子１０１と、素子駆動部１０２，１０３と、を備える。   Returning to FIG. 1, the sensor unit 11 includes an imaging element 101 and element driving units 102 and 103.

撮像素子１０１は、カラー画像と距離画像とを取得するものであり、図４に示すように、画素回路１０１Ｇと、画素回路１０１Ｒと、画素回路１０１Ｂと、画素回路１０１Ｌと、によって構成される。   The image sensor 101 acquires a color image and a distance image, and includes a pixel circuit 101G, a pixel circuit 101R, a pixel circuit 101B, and a pixel circuit 101L as shown in FIG.

画素回路１０１Ｇ，１０１Ｒ，１０１Ｂは、それぞれ、被写体２のＧ（Green）成分、Ｒ（Red）成分、Ｂ（Blue）成分を取得するためのものである。画素回路１０１Ｌは、距離画像を取得するためのものである。   The pixel circuits 101G, 101R, and 101B are for acquiring the G (Green) component, R (Red) component, and B (Blue) component of the subject 2, respectively. The pixel circuit 101L is for acquiring a distance image.

撮像素子１０１は、１つの画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌを１つの画素ユニットとして、複数の画素ユニットによって構成される。本実施形態では、画素ユニットが、ｎ行×ｎ列（ｎは０を除く自然数）に行列配置されるものとする。   The image sensor 101 is composed of a plurality of pixel units, with one pixel circuit 101G, 101R, 101B, 101L as one pixel unit. In the present embodiment, it is assumed that the pixel units are arranged in a matrix of n rows × n columns (n is a natural number excluding 0).

このｎ×ｎの画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌによって、それぞれ、Ｇ，Ｒ，Ｂ成分のカラー画像取得用の画素アレイが構成され、ｎ×ｎの画素回路１０１Ｌによって、距離画像取得用の画素アレイが構成される。   The n × n pixel circuits 101G, 101R, 101B, and 101L constitute G, R, and B component color image acquisition pixel arrays, respectively, and the n × n pixel circuit 101L acquires distance images. A pixel array is constructed.

尚、画素アレイの行列配置された各画素回路１０１Ｇ、１０１Ｒ、１０１Ｂ、１０１Ｌを、ぞれぞれ、画素回路１０１Ｇ（ｉ，ｊ）、１０１Ｒ（ｉ，ｊ）、１０１Ｂ（ｉ，ｊ）、１０１Ｌ（ｉ，ｊ）と表すものとする（ｉ，ｊ；整数、１≦ｉ≦ｎ，１≦ｊ≦ｎ）。   The pixel circuits 101G, 101R, 101B, and 101L arranged in a matrix of the pixel array are respectively connected to the pixel circuits 101G (i, j), 101R (i, j), 101B (i, j), and 101L. It is expressed as (i, j) (i, j; integer, 1 ≦ i ≦ n, 1 ≦ j ≦ n).

この撮像装置１は、このような画素アレイを含んで構成されたカラー画像取得部と距離画像取得部とを備える。カラー画像取得部は、図３（ａ）に示すようなカラー画像２Ａｉ，２Ｂｉ、２Ｃｉを取得するためのものであり、距離画像取得部は、図３（ｂ）に示すような距離画像２Ａｄ，２Ｂｄ，２Ｃｄを取得するためのものである。   The imaging device 1 includes a color image acquisition unit and a distance image acquisition unit configured to include such a pixel array. The color image acquisition unit is for acquiring color images 2Ai, 2Bi, 2Ci as shown in FIG. 3A, and the distance image acquisition unit is a distance image 2Ad, as shown in FIG. This is for acquiring 2Bd and 2Cd.

図５は、Ｇ成分のカラー画像取得用の画素アレイを含んで構成されたカラー画像取得部２００の構成を示す図である。カラー画像取得部２００は、フラッシュ１２と、フラッシュ制御部１４と、画素アレイ２０１と、垂直走査部２０２と、水平走査部２０３と、トランジスタＱ１−１〜Ｑ１−ｎと、増幅器２０４と、Ａ／Ｄ変換器２０５と、によって構成される。   FIG. 5 is a diagram illustrating a configuration of a color image acquisition unit 200 configured to include a pixel array for acquiring a G component color image. The color image acquisition unit 200 includes a flash 12, a flash control unit 14, a pixel array 201, a vertical scanning unit 202, a horizontal scanning unit 203, transistors Q1-1 to Q1-n, an amplifier 204, an A / A And a D converter 205.

撮像装置１は、このような構成を有するＧ成分用のカラー画像取得部２００とともに、Ｒ成分用、Ｂ用のカラー画像取得部２００も備えている。本実施形態では、Ｇ成分用のカラー画像取得部２００についてのみ説明する。   The imaging apparatus 1 includes the R component and B color image acquisition units 200 in addition to the G component color image acquisition unit 200 having the above-described configuration. In the present embodiment, only the color image acquisition unit 200 for the G component will be described.

尚、図１に示す素子駆動部１０２は、Ｇ，Ｒ，Ｂ成分用の垂直走査部２０２と、水平走査部２０３と、トランジスタＱ１１−１〜Ｑ１１−ｎと、増幅器２０４とが、Ａ／Ｄ変換器２０５と、によって構成される。   1 includes a vertical scanning unit 202 for G, R, and B components, a horizontal scanning unit 203, transistors Q11-1 to Q11-n, and an amplifier 204. And a converter 205.

フラッシュ１２は、被写体２に向けて可視光を発するものである。フラッシュ制御部１４は、ＣＰＵ２４からタイミング信号Ｓｔが供給されて、フラッシュ１２を発光させるものである。   The flash 12 emits visible light toward the subject 2. The flash controller 14 is supplied with a timing signal St from the CPU 24 and causes the flash 12 to emit light.

画素アレイ２０１は、被写体２で反射した可視光を受光するものであり、前述のようにｎ×ｎの画素回路１０１Ｇ（ｉ，ｊ）によって構成される。各画素回路１０１Ｇ（ｉ，ｊ）は、図６に示すように、フォトダイオードＰＤ１１と、トランジスタＱ１１〜Ｑ１３と、によって構成される。   The pixel array 201 receives visible light reflected by the subject 2 and is configured by the n × n pixel circuits 101G (i, j) as described above. As shown in FIG. 6, each pixel circuit 101G (i, j) includes a photodiode PD11 and transistors Q11 to Q13.

フォトダイオードＰＤ１１は、被写体２で反射したＧ成分の光を受光して受光した光の量に対応する量の信号電荷を発生させて、出力するものであり、アノードは接地される。   The photodiode PD11 receives the G component light reflected by the subject 2 and generates and outputs a signal charge corresponding to the amount of received light, and the anode is grounded.

トランジスタＱ１１は、ゲート（端子）にリセット信号Ｒ１１が供給されてフォトダイオードＰＤ１１をリセットするトランジスタである。   The transistor Q11 is a transistor that resets the photodiode PD11 when the reset signal R11 is supplied to the gate (terminal).

トランジスタＱ１１のゲートは、リセット線Ｌ１１に接続され、ソースは、フォトダイオードＰＤ１１のカソードに接続され、ドレインには、正電圧が印加される。   The gate of the transistor Q11 is connected to the reset line L11, the source is connected to the cathode of the photodiode PD11, and a positive voltage is applied to the drain.

トランジスタＱ１２は、フォトダイオードＰＤ１１が生成した信号電荷による電流を増幅するためのものであり、そのゲートは、フォトダイオードＰＤ１１のカソードに接続され、ドレインには、正電圧が印加される。   The transistor Q12 is for amplifying the current due to the signal charge generated by the photodiode PD11, its gate is connected to the cathode of the photodiode PD11, and a positive voltage is applied to its drain.

トランジスタＱ１３は、行選択用のトランジスタであり、そのゲートは、行選択線Ｌ１２に接続され、ドレインは、トランジスタＱ１２のソースに接続され、ソースは、垂直信号線Ｌ１３に接続される。   The transistor Q13 is a row selection transistor, the gate is connected to the row selection line L12, the drain is connected to the source of the transistor Q12, and the source is connected to the vertical signal line L13.

垂直走査部２０２は、ＣＰＵ２４からタイミング信号Ｓｔが供給されて、行を選択し、その行の画素回路１０１Ｇをリセットするとともに、信号出力を制御するためのものである。垂直走査部２０２は、選択した行のリセット線Ｌ１１を介して画素回路１０１ＧのトランジスタＱ１１のゲートに、リセット信号Ｒ１１を出力することにより、選択した行の画素回路１０１Ｇをリセットする。   The vertical scanning unit 202 is supplied with a timing signal St from the CPU 24, selects a row, resets the pixel circuit 101G in the row, and controls signal output. The vertical scanning unit 202 resets the pixel circuit 101G of the selected row by outputting a reset signal R11 to the gate of the transistor Q11 of the pixel circuit 101G via the reset line L11 of the selected row.

また、垂直走査部２０２は、選択した行の行選択線Ｌ１２を介して各画素回路１０１ＧのトランジスタＱ１３のゲートに、行選択信号Ｓ１１を出力することにより、信号出力を制御する。   The vertical scanning unit 202 controls the signal output by outputting the row selection signal S11 to the gate of the transistor Q13 of each pixel circuit 101G via the row selection line L12 of the selected row.

トランジスタＱ１−１〜Ｑ１−ｎは、行選択線Ｌ１２に接続された画素回路１０１Ｇ（ｉ，ｊ）からの信号Ｓｉの出力を制御するためのものであり、各ドレインは、各垂直信号線Ｌ１３に接続され、各ソースは、増幅器２０４の入力端に接続される。   The transistors Q1-1 to Q1-n are for controlling the output of the signal Si from the pixel circuit 101G (i, j) connected to the row selection line L12, and each drain is connected to each vertical signal line L13. And each source is connected to the input of an amplifier 204.

水平走査部２０３は、ＣＰＵ２４からタイミング信号Ｓｔが供給されて、トランジスタＱ１−１〜Ｑ１−ｎを制御し、信号Ｓｉを選択して出力するためのものである。   The horizontal scanning unit 203 is supplied with a timing signal St from the CPU 24, controls the transistors Q1-1 to Q1-n, and selects and outputs the signal Si.

水平走査部２０３は、第１列目のトランジスタＱ１−１のゲートに、ハイレベルの列選択信号Ｓ１２を出力してトランジスタＱ１−１をオンする。トランジスタＱ１−１が信号Ｓｉを出力すると、列選択信号Ｓ１２の信号レベルをローレベルに設定して、トランジスタＱ１−１をオフする。   The horizontal scanning unit 203 outputs a high-level column selection signal S12 to the gate of the transistor Q1-1 in the first column to turn on the transistor Q1-1. When the transistor Q1-1 outputs the signal Si, the signal level of the column selection signal S12 is set to a low level, and the transistor Q1-1 is turned off.

水平走査部２０３は、第２列目のトランジスタＱ１−２、・・・第ｎ列目のトランジスタＱ１−ｎについても、順次、列選択信号Ｓ１２を出力して、このような処理を行う。   The horizontal scanning unit 203 sequentially outputs the column selection signal S12 to the second column transistor Q1-2,..., The nth column transistor Q1-n, and performs such processing.

増幅器２０４は、各トランジスタＱ１−１〜Ｑ１−ｎから出力された信号Ｓｉの信号電圧を増幅するものである。   The amplifier 204 amplifies the signal voltage of the signal Si output from each transistor Q1-1 to Q1-n.

Ａ／Ｄ変換器２０５は、増幅器２０４が信号電圧を増幅したアナログの信号Ｓｉを、カラー画像データとして、ディジタルデータに変換するものである。素子駆動部１０２は、このＡ／Ｄ変換器２０５が変換したカラー画像データを出力する。   The A / D converter 205 converts the analog signal Si obtained by amplifying the signal voltage by the amplifier 204 into digital data as color image data. The element driving unit 102 outputs the color image data converted by the A / D converter 205.

次に、距離画像取得用の画素アレイを含んで構成された距離画像取得部３００の構成について説明する。この距離画像取得部３００には、例えば、特開２００４−２９４４２０号公報に記載されたものが用いられる。   Next, the configuration of the distance image acquisition unit 300 configured to include a pixel array for acquiring a distance image will be described. As the distance image acquisition unit 300, for example, one described in Japanese Patent Application Laid-Open No. 2004-294420 is used.

この距離画像取得部３００は、被写体２にパルス光を照射し、このパルス光が被写体２で反射して受光するまでの光の飛行時間に基づいて距離画像を取得するものである。   The distance image acquisition unit 300 irradiates the subject 2 with pulsed light, and acquires a distance image based on the flight time of light until the pulsed light is reflected by the subject 2 and received.

この距離画像取得部３００は、図７に示すように、フラッシュ１３と、撮像制御部１５と、画素アレイ３０１と、受光レンズ３０２と、タイミング制御部３０３と、垂直シフトレジスタ３０４と、サンプルホールド部３０５−１〜３０５−ｎと、スイッチ部３０６−１〜３０６−ｎと、水平シフトレジスタ３０７と、出力バッファ３０８−１，３０８−２と、演算部３０９と、Ａ／Ｄ変換器３１０と、によって構成される。   As shown in FIG. 7, the distance image acquisition unit 300 includes a flash 13, an imaging control unit 15, a pixel array 301, a light receiving lens 302, a timing control unit 303, a vertical shift register 304, and a sample hold unit. 305-1 to 305-n, switch units 306-1 to 306-n, a horizontal shift register 307, output buffers 308-1 and 308-2, a calculation unit 309, an A / D converter 310, Consists of.

尚、図１に示すセンサ部１１の素子駆動部１０３は、タイミング制御部３０３と、垂直シフトレジスタ３０４と、サンプルホールド部３０５−１〜３０５−ｎと、スイッチ部３０６−１〜３０６−ｎと、水平シフトレジスタ３０７と、出力バッファ３０８−１，３０８−２と、演算部３０９と、Ａ／Ｄ変換器３１０と、によって、構成される。   1 includes a timing control unit 303, a vertical shift register 304, sample hold units 305-1 to 305-n, and switch units 306-1 to 306-n. , A horizontal shift register 307, output buffers 308-1 and 308-2, an arithmetic unit 309, and an A / D converter 310.

フラッシュ１３は、被写体２に向けて近赤外光を照射するものである。撮像制御部１５は、距離画像を取得するために、ＣＰＵ２４によって指示されて、フラッシュ１３とセンサ部１１とを制御するものである。   The flash 13 irradiates near-infrared light toward the subject 2. The imaging controller 15 is instructed by the CPU 24 to acquire the distance image and controls the flash 13 and the sensor unit 11.

撮像制御部１５は、図８（ａ）に示すようなクロック信号ＣＬＫを生成するクロック信号生成部（図示せず）と、このクロック信号ＣＬＫのクロック数をカウントするカウンタと、を備える。   The imaging control unit 15 includes a clock signal generation unit (not shown) that generates the clock signal CLK as shown in FIG. 8A and a counter that counts the number of clocks of the clock signal CLK.

撮像制御部１５は、時刻ｔ０から、クロック信号生成部が生成したクロック信号ＣＬＫのレベルが反転する毎にフラッシュ１３を点滅することにより、近赤外光のパルス変調を行う。   From time t0, the imaging control unit 15 performs pulse modulation of near-infrared light by blinking the flash 13 every time the level of the clock signal CLK generated by the clock signal generation unit is inverted.

尚、期間Ｔｐは、クロック信号ＣＬＫの信号レベルがハイレベルとなる期間を示し、期間Ｔｑは、クロック信号ＣＬＫの信号レベルがローレベルとなる期間を示し、期間Ｔｐと期間Ｔｑとは、等しいものとする。   Note that the period Tp indicates a period in which the signal level of the clock signal CLK is high, the period Tq indicates the period in which the signal level of the clock signal CLK is low, and the period Tp and the period Tq are equal. And

撮像制御部１５は、画素回路１０１Ｌ内のフォトダイオードＰＤ１１の暗電流を検出するため、カウント数がＮ（Ｎは１以上の自然数）になる時刻ｔ１において、フラッシュ１３を消灯する。図８に示す期間Ｔａ（時刻ｔ０〜ｔ１）は、フラッシュ１３を点滅させてパルス変調を行う期間を示す。   In order to detect the dark current of the photodiode PD11 in the pixel circuit 101L, the imaging control unit 15 turns off the flash 13 at time t1 when the count number is N (N is a natural number equal to or greater than 1). A period Ta (time t0 to t1) illustrated in FIG. 8 indicates a period in which the flash 13 is blinked to perform pulse modulation.

そして、カウンタは、カウント数をリセットして、再び、時刻ｔ１から、クロック信号ＣＬＫのクロック数をカウントし、撮像制御部１５は、クロック数がＮになる時刻ｔ２まで、フラッシュ１３を消灯する。図８に示す期間Ｔｂ（時刻ｔ１〜ｔ２）は、このフラッシュ１３を消灯する期間を示す。   Then, the counter resets the count number and again counts the clock number of the clock signal CLK from time t1, and the imaging control unit 15 turns off the flash 13 until time t2 when the clock number becomes N. A period Tb (time t1 to t2) shown in FIG. 8 indicates a period during which the flash 13 is turned off.

撮像制御部１５は、このクロック信号生成部が生成したクロック信号ＣＬＫをタイミング制御部３０３、垂直シフトレジスタ３０４に供給する。   The imaging control unit 15 supplies the clock signal CLK generated by the clock signal generation unit to the timing control unit 303 and the vertical shift register 304.

画素アレイ３０１は、フラッシュ１３が照射した近赤外光が被写体２で反射したフラッシュ光を受光するものであり、前述のように、ｎ×ｎの画素回路１０１Ｌ（ｉ，ｊ）によって構成される。   The pixel array 301 receives the flash light reflected from the subject 2 by the near-infrared light irradiated by the flash 13, and is configured by the n × n pixel circuit 101L (i, j) as described above. .

本実施形態に係る距離画像取得部３００は、ＣＭＯＳ型の構成を有している。図９（ａ）は、本実施形態に係る各画素回路１０１Ｌ（ｉ，ｊ）の構成を示す図であり、図９（ｂ）は、この各画素回路１０１Ｌ（ｉ，ｊ）の等価回路の構成を示す図である。   The distance image acquisition unit 300 according to the present embodiment has a CMOS type configuration. FIG. 9A is a diagram showing a configuration of each pixel circuit 101L (i, j) according to the present embodiment, and FIG. 9B is an equivalent circuit of each pixel circuit 101L (i, j). It is a figure which shows a structure.

本実施形態に係る各画素回路１０１Ｌ（ｉ，ｊ）は、図９（ａ）に示すように、ｎ層３１１ａ、ｐ+層３１１ｂ、ｎ+層３１１ｃ、３１１ｄ、シリコン酸化膜３１１ｅ、制御電極３１１ｆ、３１１ｇが形成されたｐ型シリコン基板３１１と、遮光膜３１２と、トランジスタＱ２１，Ｑ２２と、増幅器３１３と、によって構成される。 As shown in FIG. 9A, each pixel circuit 101L (i, j) according to this embodiment includes an n layer 311a, a p + layer 311b, an n + layer 311c, 311d, a silicon oxide film 311e, and a control electrode 311f. 311g, a light shielding film 312, transistors Q21 and Q22, and an amplifier 313.

図９（ｂ）に示すフォトダイオードＰＤ１２は、被写体２で反射した光を受光して受光した光の量に対応する量の信号電荷を発生させて、出力するものであり、図９（ａ）に示すｎ層３１１ａとｐ+層３１１ｂとによって構成される。 The photodiode PD12 shown in FIG. 9B receives the light reflected by the subject 2 and generates and outputs a signal charge corresponding to the amount of the received light. N layer 311a and p + layer 311b shown in FIG.

図９（ｂ）に示すトランジスタＱ２１は、図９（ａ）に示すｐ型シリコン基板３１１とｎ層３１１ａと制御電極３１１ｆとｎ+層３１１ｃとによって構成される。この場合、ｎ層３１１ａ、ｎ+層３１１ｃ、制御電極３１１ｆが、それぞれ、トランジスタＱ２１のドレイン、ソース、ゲートになる。 The transistor Q21 shown in FIG. 9B includes the p-type silicon substrate 311, the n layer 311a, the control electrode 311f, and the n + layer 311c shown in FIG. 9A. In this case, the n layer 311a, the n + layer 311c, and the control electrode 311f serve as the drain, source, and gate of the transistor Q21, respectively.

図９（ｂ）に示すトランジスタＱ２２は、図９（ａ）に示すｐ型シリコン基板３１１とｎ層３１１ａと制御電極３１１ｇとｎ+層３１１ｄとによって構成される。この場合、ｎ層３１１ａ、ｎ+層３１１ｄ、制御電極３１１ｇが、それぞれ、トランジスタＱ２２のドレイン、ソース、ゲートになる。 The transistor Q22 shown in FIG. 9B includes the p-type silicon substrate 311, the n layer 311a, the control electrode 311g, and the n + layer 311d shown in FIG. 9A. In this case, the n layer 311a, the n + layer 311d, and the control electrode 311g serve as the drain, source, and gate of the transistor Q22, respectively.

シリコン酸化膜３１１ｅは、ｐ型シリコン基板３１１及びｐ型シリコン基板３１１に形成された各層を絶縁するためのものであり、被写体２から反射した近赤外光を透過する。   The silicon oxide film 311 e is for insulating the p-type silicon substrate 311 and the layers formed on the p-type silicon substrate 311, and transmits near-infrared light reflected from the subject 2.

遮光膜３１２は、フォトダイオードＰＤ１２に相当するｎ層３１１ａ、ｐ+層３１１ｂの上部のみ開口し、この領域を除くｐ型シリコン基板３１１を遮光する。これにより、フォトダイオードＰＤ１２のみが被写体２から反射した近赤外光を受光する。 The light shielding film 312 opens only above the n layer 311a and the p + layer 311b corresponding to the photodiode PD12, and shields the p-type silicon substrate 311 excluding this region. Thereby, only the photodiode PD12 receives near-infrared light reflected from the subject 2.

制御電極３１１ｆ，３１１ｇは、それぞれ、制御信号ＴＸ１，ＴＸ２が印加される電極である。制御電極３１１ｆに、ハイレベルの制御信号ＴＸ１が印加されると、制御電極３１１ｆ下にチャンネルが形成されて、図９（ｂ）に示すトランジスタＱ２１はオンする。   The control electrodes 311f and 311g are electrodes to which control signals TX1 and TX2 are applied, respectively. When a high-level control signal TX1 is applied to the control electrode 311f, a channel is formed under the control electrode 311f, and the transistor Q21 shown in FIG. 9B is turned on.

また、制御電極３１１ｇも同様に、ハイレベルの制御信号ＴＸ２が印加されると、制御電極３１１ｇ下にチャンネルが形成されて、図９（ｂ）に示すトランジスタＱ２２はオンする。   Similarly, when a high level control signal TX2 is applied to the control electrode 311g, a channel is formed under the control electrode 311g, and the transistor Q22 shown in FIG. 9B is turned on.

従って、ハイレベルの制御信号ＴＸ１，ＴＸ２が、それぞれ、制御電極３１１ｆ，３１１ｇに、交互に印加され、トランジスタＱ２１がオンすると、フォトダイオードＰＤ１２に蓄積された信号電荷による電流はトランジスタＱ２１のドレイン−ソースを経由して垂直信号線Ｌ２１へと流れる。   Therefore, when the high level control signals TX1 and TX2 are alternately applied to the control electrodes 311f and 311g, respectively, and the transistor Q21 is turned on, the current due to the signal charge accumulated in the photodiode PD12 is the drain-source of the transistor Q21. To the vertical signal line L21.

一方、トランジスタＱ２２がオンすると、フォトダイオードＰＤ１２に蓄積された信号電荷による電流はトランジスタＱ２２のドレイン−ソースを経由して垂直信号線Ｌ２２へと流れる。   On the other hand, when the transistor Q22 is turned on, a current due to the signal charge accumulated in the photodiode PD12 flows to the vertical signal line L22 via the drain-source of the transistor Q22.

このように、各画素回路１０１Ｌは、ハイレベルの制御信号ＴＸ１，ＴＸ２が交互に供給されることにより、フラッシュ１３が点灯している期間Ｔｐに受光した反射光により発生した第１の信号電荷と、フラッシュ１３が消灯している期間Ｔｑに受光した反射光により発生した第２の信号電荷とに分けて出力する。   In this manner, each pixel circuit 101L is supplied with the high-level control signals TX1 and TX2 alternately, and thereby the first signal charge generated by the reflected light received during the period Tp during which the flash 13 is on and The second signal charge generated by the reflected light received during the period Tq during which the flash 13 is turned off is output separately.

図９（ａ），（ｂ）に示すトランジスタＱ２３，Ｑ２４は、フォトダイオードＰＤ１２をリセットするためのものである。   Transistors Q23 and Q24 shown in FIGS. 9A and 9B are for resetting the photodiode PD12.

トランジスタＱ２３，Ｑ２４のソースは、それぞれ、図９（ａ）に示すｎ+層３１１ｃ、３２１ｄに接続され、それぞれのドレインには、電圧＋Ｖの電源ラインから電流が供給される。   The sources of the transistors Q23 and Q24 are respectively connected to the n + layers 311c and 321d shown in FIG. 9A, and currents are supplied to the respective drains from the power supply line of voltage + V.

増幅器３１３は、図９（ｂ）に示すトランジスタＱ２１，Ｑ２２の出力電流を増幅するためのものであり、トランジスタＱ２５〜Ｑ２７を備える。トランジスタＱ２５のドレインには、電圧＋Ｖの電源ラインから電流が供給される。   The amplifier 313 is for amplifying the output currents of the transistors Q21 and Q22 shown in FIG. 9B, and includes transistors Q25 to Q27. A current is supplied to the drain of the transistor Q25 from the power supply line of the voltage + V.

トランジスタＱ２６，Ｑ２７のドレインは、トランジスタＱ２５のソースに接続され、ソースは、それぞれ、垂直信号線Ｌ２１，Ｌ２２に接続される。トランジスタＱ２６，Ｑ２７のゲートは、それぞれ、トランジスタＱ２１，Ｑ２２のソースに接続される。   The drains of the transistors Q26 and Q27 are connected to the source of the transistor Q25, and the sources are connected to the vertical signal lines L21 and L22, respectively. The gates of transistors Q26 and Q27 are connected to the sources of transistors Q21 and Q22, respectively.

そして、トランジスタＱ２５は、ゲートにハイレベルの行選択信号Ｓ２１が供給されるとオンして、トランジスタＱ２６，Ｑ２７に電流を供給する。トランジスタＱ２１がトランジスタＱ２６のゲートに電流を供給すると、ゲート電圧はハイレベルとなって、トランジスタＱ２６はオンする。   The transistor Q25 is turned on when a high-level row selection signal S21 is supplied to the gate, and supplies current to the transistors Q26 and Q27. When the transistor Q21 supplies current to the gate of the transistor Q26, the gate voltage becomes high level and the transistor Q26 is turned on.

トランジスタＱ２６は、オンして、トランジスタＱ２１の出力電流を増幅し、電流増幅した信号を信号Ｓｄ１として、この信号Ｓｄ１の信号電流を垂直信号線Ｌ２１に出力する。   The transistor Q26 is turned on, amplifies the output current of the transistor Q21, outputs the signal Ad as a signal Sd1, and outputs the signal current of the signal Sd1 to the vertical signal line L21.

また、トランジスタＱ２２がトランジスタＱ２７のゲートに電流を供給すると、トランジスタＱ２７のゲート電圧はハイレベルとなって、トランジスタＱ２７は、オンする。   When the transistor Q22 supplies current to the gate of the transistor Q27, the gate voltage of the transistor Q27 becomes high level and the transistor Q27 is turned on.

トランジスタＱ２７は、オンして、トランジスタＱ２２の出力電流を増幅し、電流増幅した信号を信号Ｓｄ２として、この信号Ｓｄ２の信号電流を垂直信号線Ｌ２２に出力する。   The transistor Q27 turns on, amplifies the output current of the transistor Q22, outputs the signal current of the signal Sd2 to the vertical signal line L22 as the signal Sd2.

図７に示す受光レンズ３０２は、各画素回路１０１Ｌ（ｉ，ｊ）のフォトダイオードＰＤ１２に光を集光するためのレンズである。   The light receiving lens 302 shown in FIG. 7 is a lens for condensing light on the photodiode PD12 of each pixel circuit 101L (i, j).

タイミング制御部３０３は、撮像制御部１５から供給されたクロック信号ＣＬＫのクロックタイミングに同期して、各画素回路１０１Ｌ（ｉ，ｊ）から信号Ｓｄ１，Ｓｄ２の信号電流を出力する出力タイミングを制御するためのものである。   The timing control unit 303 controls the output timing of outputting the signal currents of the signals Sd1 and Sd2 from each pixel circuit 101L (i, j) in synchronization with the clock timing of the clock signal CLK supplied from the imaging control unit 15. Is for.

タイミング制御部３０３は、各制御線Ｌ２３を介して各画素回路１０１Ｌ（ｉ，ｊ）に、行毎に制御信号ＴＸ１を供給する。タイミング制御部３０３は、制御信号ＴＸ１の信号レベルを、図８（ｄ）に示すように、期間Ｔｐでは、ハイレベルに設定し、期間Ｔｑでは、ローレベルに設定する。   The timing control unit 303 supplies the control signal TX1 for each row to each pixel circuit 101L (i, j) via each control line L23. As shown in FIG. 8D, the timing control unit 303 sets the signal level of the control signal TX1 to a high level in the period Tp and to a low level in the period Tq.

また、タイミング制御部３０３は、各制御線Ｌ２４を介して各画素回路１０１Ｌ（ｉ，ｊ）に、行毎に制御信号ＴＸ２を供給する。タイミング制御部３０３は、制御信号ＴＸ２の信号レベルを、図８（ｅ）に示すように、期間Ｔｐでは、ローレベルに設定し、期間Ｔｑでは、ハイレベルに設定する。   In addition, the timing control unit 303 supplies the control signal TX2 for each row to each pixel circuit 101L (i, j) via each control line L24. As shown in FIG. 8E, the timing control unit 303 sets the signal level of the control signal TX2 to a low level in the period Tp and to a high level in the period Tq.

垂直シフトレジスタ３０４は、行を選択して、選択した行の画素回路１０１Ｌ（ｉ，１）をリセットして、信号Ｓｄ１，Ｓｄ２の信号電流を出力する行の画素回路１０１Ｌを選択するためのものである。   The vertical shift register 304 is for selecting a row, resetting the pixel circuit 101L (i, 1) in the selected row, and selecting the pixel circuit 101L in the row that outputs the signal currents of the signals Sd1 and Sd2. It is.

垂直シフトレジスタ３０４は、第ｊ行目の画素回路１０１Ｌ（１，ｊ）〜１０１Ｌ（ｎ，ｊ）を選択する場合、図８（ｆ）に示すように、期間Ｔａ、期間Ｔｂの始めのクロック信号ＣＬＫの１周期において、それぞれ、図７に示すリセット線Ｌ１５を介して、ハイレベルのリセット信号Ｒ２１を画素回路１０１Ｌ（ｉ，１）に供給する。   When the vertical shift register 304 selects the pixel circuits 101L (1, j) to 101L (n, j) in the j-th row, as shown in FIG. 8F, the clocks at the beginning of the period Ta and the period Tb are displayed. In one cycle of the signal CLK, a high-level reset signal R21 is supplied to the pixel circuit 101L (i, 1) via the reset line L15 shown in FIG.

また、垂直シフトレジスタ３０４は、期間Ｔａ、期間Ｔｂのそれぞれのクロック信号ＣＬＫの１周期が終了すると、リセット信号Ｒ２１をローレベルに設定してリセットを終了させる。   Further, the vertical shift register 304 sets the reset signal R21 to the low level and ends the reset when one cycle of the clock signal CLK in each of the periods Ta and Tb ends.

そして、垂直シフトレジスタ３０４は、図８（ｇ）に示すように、それぞれ、期間Ｔａ，Ｔｂが終了するまで、画素回路１０１Ｌ（１，ｊ）〜１０１Ｌ（ｎ，ｊ）にハイレベルの行選択信号Ｓ２１を供給する。   Then, as shown in FIG. 8G, the vertical shift register 304 selects the high-level row in the pixel circuits 101L (1, j) to 101L (n, j) until the periods Ta and Tb are completed. A signal S21 is supplied.

サンプルホールド部３０５−１〜３０５−ｎは、列毎に、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２１を介して出力された信号Ｓｄ１の信号電流、垂直信号線Ｌ２２に出力された信号Ｓｄ２の信号電流を個別に蓄積して、それぞれの信号電圧をサンプルホールドするためのものである。サンプルホールド部３０５−１〜３０５−ｎは、それぞれ、サンプルホールド回路３２１，３２２を備える。   The sample hold units 305-1 to 305-n output the signal current of the signal Sd1 output from each pixel circuit 101L (i, j) via the vertical signal line L21 to the vertical signal line L22 for each column. The signal current of the signal Sd2 is individually stored, and each signal voltage is sampled and held. The sample hold units 305-1 to 305-n include sample hold circuits 321 and 322, respectively.

サンプルホールド回路３２１は、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２１を介して出力された信号Ｓｄ１の信号電流を蓄積し、蓄積した信号電流による信号電圧をサンプルホールドするものである。   The sample hold circuit 321 accumulates the signal current of the signal Sd1 output from each pixel circuit 101L (i, j) via the vertical signal line L21, and samples and holds the signal voltage based on the accumulated signal current.

サンプルホールド回路３２２は、各画素回路１０１Ｌ（ｉ，ｊ）から垂直信号線Ｌ２２を介して出力された信号Ｓｄ２の信号電流を蓄積し、蓄積した信号電流による信号電圧をサンプルホールドするものである。   The sample hold circuit 322 accumulates the signal current of the signal Sd2 output from each pixel circuit 101L (i, j) via the vertical signal line L22, and samples and holds the signal voltage based on the accumulated signal current.

スイッチ部３０６−１〜３０６−ｎは、各サンプルホールド部３０５−１〜３０５−ｎのサンプルホールド回路３２１，３２２がそれぞれサンプルホールドした信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧の出力を制御するためのものである。   The switch units 306-1 to 306-n control the output of the signal voltage of the signal Sd1 and the signal voltage of the signal Sd2 sampled and held by the sample hold circuits 321 and 322 of the sample hold units 305-1 to 305-n, respectively. Is for.

水平シフトレジスタ３０７は、スイッチ部３０６−１〜３０６−ｎから、いずれか１つのスイッチ部３０６−ｊを選択して、選択したスイッチ部３０６−ｉをオンするものである。   The horizontal shift register 307 selects any one switch unit 306-j from the switch units 306-1 to 306-n and turns on the selected switch unit 306-i.

水平シフトレジスタ３０７は、図８（ｈ）に示すように、選択したスイッチ部３０６−ｉに、ハイレベルの列選択信号Ｓ２２を出力することにより、スイッチ部３０６−ｉをオンする。   As shown in FIG. 8H, the horizontal shift register 307 turns on the switch unit 306-i by outputting a high-level column selection signal S22 to the selected switch unit 306-i.

出力バッファ３０８−１，３０８−２は、それぞれ、各サンプルホールド部３０５−１〜３０５−ｎから出力された信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧を個別に一時記憶するためのものである。   The output buffers 308-1 and 308-2 are for temporarily storing individually the signal voltage of the signal Sd1 and the signal voltage of the signal Sd2 output from the sample hold units 305-1 to 305-n, respectively. .

演算部３０９は、出力バッファ３０８−１，３０８−２がそれぞれ一時記憶している信号Ｓｄ１の信号電圧，信号Ｓｄ２の信号電圧に基づいて、被写体２までの距離を演算し、距離画像データを取得するものである。   The calculation unit 309 calculates the distance to the subject 2 based on the signal voltage of the signal Sd1 and the signal voltage of the signal Sd2 temporarily stored in the output buffers 308-1 and 308-2, and acquires distance image data. To do.

演算部３０９は、出力バッファ３０８−１が一時記憶した信号電圧を記憶するメモリを備える。そして、演算部３０９は、サンプルホールド部のサンプルホールド回路３２１，３２２が期間Ｔａにおいて、それぞれ、サンプルホールドした信号Ｓｄ１の信号電圧Ｖ１、信号Ｓｄ２の信号電圧Ｖ２を、それぞれ、出力バッファ３０８−１，３０８−２から取得して、内蔵するメモリに記憶する。   The arithmetic unit 309 includes a memory that stores the signal voltage temporarily stored in the output buffer 308-1. Then, the calculation unit 309 outputs the signal voltage V1 of the signal Sd1 and the signal voltage V2 of the signal Sd2 sampled and held by the sample hold circuits 321 and 322 of the sample hold unit, respectively, in the output buffer 308-1. Acquired from 308-2 and stored in the built-in memory.

また、演算部３０９は、サンプルホールド回路３２１，３２２が期間Ｔｂにおいて、それぞれ、サンプルホールドした信号Ｓｄ１の信号電圧Ｖ１’、信号Ｓｄ２の信号電圧Ｖ２’を、それぞれ、出力バッファ３０８−１から取得して、内蔵するメモリに記憶する。演算部３０９は、内蔵するメモリに記憶した信号電圧Ｖ１，Ｖ１’，Ｖ２，Ｖ２’に基づいて、被写体２までの距離を演算し、距離画像データを取得する。   In addition, the calculation unit 309 acquires the signal voltage V1 ′ of the signal Sd1 and the signal voltage V2 ′ of the signal Sd2 sampled and held by the sample hold circuits 321 and 322 from the output buffer 308-1, respectively, during the period Tb. Stored in the built-in memory. The calculation unit 309 calculates the distance to the subject 2 based on the signal voltages V1, V1 ', V2, and V2' stored in the built-in memory, and acquires distance image data.

この演算部３０９の距離画像データを取得する処理について説明する。
フォトダイオードＰＤ１２は、図８（ｂ），（ｃ）に示すように、期間Ｔａにおいて、フラッシュ１３が点灯してから、遅れ時間Ｔｄだけ遅れて、このフラッシュ光を受光する。この遅れ時間Ｔｄは、撮像装置１と被写体２と間を往復する光の飛行時間に相当するものであり、撮像装置１と被写体２と間の距離に比例する。 A process of acquiring distance image data of the calculation unit 309 will be described.
As shown in FIGS. 8B and 8C, the photodiode PD12 receives the flash light in the period Ta with a delay time Td after the flash 13 is turned on. The delay time Td corresponds to the flight time of light traveling back and forth between the imaging device 1 and the subject 2, and is proportional to the distance between the imaging device 1 and the subject 2.

画素回路１０１Ｌ（ｉ，ｊ）のフォトダイオードＰＤ１２は、フラッシュ光を受光している間、信号電荷を生成する。受光した光の強度を一定として、受光した光によってフォトダイオードＰＤ１２に蓄積される信号電荷の量は、受光した時間に比例する。   The photodiode PD12 of the pixel circuit 101L (i, j) generates signal charges while receiving flash light. With the received light intensity constant, the amount of signal charge accumulated in the photodiode PD12 by the received light is proportional to the received time.

信号電圧Ｖ１は、次の式（１）によって表される。
Ｖ１＝Ｇｃ・Ｎ・（Ｉｄ１・（Ｔｐ−Ｔｄ）
＋Ｉｄ１・２Ｔｐ＋Ｉｂ・Ｔｐ）
・・・・・・（１）
但し、Ｇｃ：利得
Ｎ：クロック信号ＣＬＫのパルス数
Ｉｐ：フォトダイオードＰＤ１２
が生成した信号電荷による電流（量）
Ｉｄ１：フォトダイオードＰＤ１２から
トランジスタＱ２１に流れる暗電流（の量） The signal voltage V1 is expressed by the following equation (1).
V1 = Gc · N · (Id1 · (Tp−Td)
+ Id1 · 2Tp + Ib · Tp)
(1)
Where Gc: Gain
N: Number of pulses of the clock signal CLK
Ip: Photodiode PD12
Current (quantity) due to signal charge generated by
Id1: From photodiode PD12
Dark current flowing through transistor Q21

信号電圧Ｖ２は、次の式（２）によって表される。
Ｖ２＝Ｇｃ・Ｎ・（Ｉｄ１・Ｔｄ＋Ｉｄ２・２Ｔｑ＋Ｉｂ・Ｔｑ）
・・・・・・（２）
但し、Ｉｄ１：フォトダイオードＰＤ１２から
トランジスタＱ２２に流れる暗電流暗電流（の量） The signal voltage V2 is expressed by the following equation (2).
V2 = Gc · N · (Id1 · Td + Id2 · 2Tq + Ib · Tq)
(2)
However, from Id1: photodiode PD12
Dark current (current amount) flowing through transistor Q22

信号電圧Ｖ１’は、次の式（３）によって表される。
Ｖ１’＝Ｇｃ・Ｎ・（Ｉｄ１・２Ｔｐ＋Ｉｂ・Ｔｐ） ・・・（３） The signal voltage V1 ′ is expressed by the following equation (3).
V1 ′ = Gc · N · (Id1 · 2Tp + Ib · Tp) (3)

信号電圧Ｖ２’は、次の式（４）によって表される。
Ｖ２’＝Ｇｃ・Ｎ・（Ｉｄ２・２Ｔｑ＋Ｉｂ・Ｔｑ） ・・・（４） The signal voltage V2 ′ is expressed by the following equation (4).
V2 ′ = Gc · N · (Id2 · 2Tq + Ib · Tq) (4)

Ｔｐ＝Ｔｑであり、式（１）〜（４）より、遅れ時間Ｔｄは、次の式（５）によって表される。

Figure 0005092434

但し、
Ｖ１１＝Ｖ１＋Ｖ２
Ｖ１２＝Ｖ１’＋Ｖ２’
Ｖ１３＝Ｖ１−Ｖ１’
Ｖ１４＝Ｖ２−Ｖ２’
・・・・・・（５） Tp = Tq, and the delay time Td is expressed by the following equation (5) from the equations (1) to (4).
Figure 0005092434
However,
V11 = V1 + V2
V12 = V1 '+ V2'
V13 = V1-V1 '
V14 = V2-V2 '
(5)

演算部３０９は、この式（５）に従い、信号Ｓｄ１の信号電圧Ｖ１，Ｖ１’、信号Ｓｄ２の信号電圧Ｖ２，Ｖ２’に基づいて遅れ時間Ｔｄを演算する。   The computing unit 309 computes the delay time Td based on the signal voltages V1 and V1 'of the signal Sd1 and the signal voltages V2 and V2' of the signal Sd2 according to the equation (5).

この遅れ時間Ｔｄは、被写体２までの光の飛行時間に比例し、光の飛行時間は、被写体２までの距離に比例する。このため、演算部３０９は、遅れ時間Ｔｄに基づいて、被写体２までの距離を演算する。   The delay time Td is proportional to the flight time of light to the subject 2, and the flight time of light is proportional to the distance to the subject 2. Therefore, the calculation unit 309 calculates the distance to the subject 2 based on the delay time Td.

演算部３０９は、このような演算を、各画素回路１０１Ｌ（ｉ，ｊ）に対して、各行、各列毎に行い、演算した距離値をアナログで出力する。   The calculation unit 309 performs such calculation for each pixel circuit 101L (i, j) for each row and each column, and outputs the calculated distance value in analog form.

このように、演算部３０９は、各画素回路１０１Ｌが出力した２つの信号電荷の量に基づいて、フラッシュ１３が点灯してからフォトダイオードＰＤ１２が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、被写体２までの距離情報を取得するように構成されている。   As described above, the arithmetic unit 309 measures the delay time from when the flash 13 is turned on until the photodiode PD12 receives the reflected light, based on the amount of the two signal charges output from each pixel circuit 101L. Based on the measured delay time, distance information to the subject 2 is acquired.

Ａ／Ｄ変換器３１０は、演算部３０９が出力したアナログの距離値を距離画像データとして、ディジタルデータに変換するものである。素子駆動部１０３は、このＡ／Ｄ変換器３１０が変換した距離画像データを出力する。   The A / D converter 310 converts the analog distance value output from the arithmetic unit 309 into digital data as distance image data. The element driving unit 103 outputs the distance image data converted by the A / D converter 310.

このように、各画素回路１０１Ｌは、フラッシュ１３が点灯している期間Ｔｐに受光した反射光により発生した第１の信号電荷と、フラッシュ１３が消灯している期間Ｔｑに受光した反射光により発生した第２の信号電荷とに分けて出力する。   As described above, each pixel circuit 101L is generated by the first signal charge generated by the reflected light received during the period Tp when the flash 13 is turned on and the reflected light received during the period Tq when the flash 13 is turned off. The second signal charge is output separately.

そして、各画素回路１０１Ｌは、第１の信号電荷の量と前記第２の信号電荷の量とに基づいて、フラッシュ１３が点灯してからフォトダイオードＰＤ１２が反射光を受光するまでの遅れ時間を計測し、計測した遅れ時間に基づいて、被写体２までの距離情報を取得するように構成されている。   Then, each pixel circuit 101L determines a delay time from when the flash 13 is turned on until the photodiode PD12 receives the reflected light based on the first signal charge amount and the second signal charge amount. Measurement is made, and distance information to the subject 2 is acquired based on the measured delay time.

図１に戻り、撮像レンズ１６は、被写体２の画像を撮像素子１０１上に結像させるためのものである。レンズ駆動部１７は、ＣＰＵ２４から、コントロール信号Ｓｃ１が供給されて、被写体２への合焦が行われるように、撮像レンズ１６を駆動するためのものである。   Returning to FIG. 1, the imaging lens 16 is used to form an image of the subject 2 on the imaging element 101. The lens driving unit 17 is for driving the imaging lens 16 so that the control signal Sc1 is supplied from the CPU 24 and the subject 2 is focused.

フレームメモリ１８は、センサ部１１の素子駆動部１０２（Ａ／Ｄ変換器２０４）、素子駆動部１０３（Ａ／Ｄ変換器３０９）からそれぞれ出力されたカラー画像データ、距離画像データを記憶するためのものであり、カラー画像領域１８ａと距離画像領域１８ｂとを有する。   The frame memory 18 stores color image data and distance image data output from the element driving unit 102 (A / D converter 204) and the element driving unit 103 (A / D converter 309) of the sensor unit 11, respectively. And has a color image area 18a and a distance image area 18b.

カラー画像領域１８ａは、センサ部１１の素子駆動部１０２（増幅器２０４）から出力されたカラー画像データを格納するための領域であり、距離画像領域１８ｂは、センサ部１１の素子駆動部１０３（演算部３０９）から出力された距離画像データを格納するための領域である。   The color image area 18a is an area for storing color image data output from the element driving unit 102 (amplifier 204) of the sensor unit 11, and the distance image area 18b is an element driving unit 103 (calculation) of the sensor unit 11. This is an area for storing the distance image data output from the unit 309).

メモリコントローラ１９は、フレームメモリ１８への記憶処理を行うものであり、センサ部１１から出力されたカラー画像データ、距離画像データを、それぞれ、カラー画像領域１８ａ、距離画像領域１８ｂに格納する。   The memory controller 19 performs storage processing in the frame memory 18, and stores the color image data and the distance image data output from the sensor unit 11 in the color image area 18a and the distance image area 18b, respectively.

メモリコントローラ１９は、各画素回路１０１Ｇ（ｉ，ｊ），１０１Ｒ（ｉ，ｊ），１０１Ｂ（ｉ，ｊ）毎に、センサ部１１の素子駆動部１０２（Ａ／Ｄ変換器２０４）から出力されたカラー画像データをカラー画像領域１８ａに格納する。   The memory controller 19 is output from the element driving unit 102 (A / D converter 204) of the sensor unit 11 for each pixel circuit 101G (i, j), 101R (i, j), 101B (i, j). The obtained color image data is stored in the color image area 18a.

また、メモリコントローラ１９は、画素回路１０１Ｌ（ｉ，ｊ）毎に、センサ部１１の素子駆動部１０３（（Ａ／Ｄ変換器３１０）から出力された距離画像データを距離画像領域１８ｂに格納する。   Further, the memory controller 19 stores the distance image data output from the element driving unit 103 ((A / D converter 310) of the sensor unit 11 in the distance image region 18b for each pixel circuit 101L (i, j). .

データ処理部２０は、フレームメモリ１８に記憶されたカラー画像データ、距離画像データに対して、データ処理を施すものである。データ処理部２０は、フレームメモリ１８のカラー画像領域１８ａに記憶されているカラー画像データに基づいて、画素毎に、Ｇ，Ｒ，Ｂ成分のカラー画像を取得する。   The data processing unit 20 performs data processing on the color image data and distance image data stored in the frame memory 18. The data processing unit 20 acquires G, R, and B component color images for each pixel based on the color image data stored in the color image area 18 a of the frame memory 18.

また、データ処理部２０は、フレームメモリ１８の距離画像領域１８ｂに記憶されている距離画像データに基づいて、画素毎に、色、明度を設定して、距離画像を取得する。   Further, the data processing unit 20 sets the color and brightness for each pixel based on the distance image data stored in the distance image area 18b of the frame memory 18, and acquires a distance image.

ＲＯＭ２１は、ＣＰＵ２４が実行するプログラム等を記憶するためのメモリである。ＲＡＭ２２は、ＣＰＵ２４が処理を実行するために必要なデータを供給するためのものである。不揮発性メモリ２３は、データ処理部２０が取得したカラー画像、距離画像のデータを記憶するものである。   The ROM 21 is a memory for storing a program executed by the CPU 24. The RAM 22 is for supplying data necessary for the CPU 24 to execute processing. The nonvolatile memory 23 stores color image and distance image data acquired by the data processing unit 20.

ＣＰＵ２４は、ＲＯＭ２１に記憶されたプログラムに従って、撮像装置１全体を制御するものである。   The CPU 24 controls the entire image pickup apparatus 1 according to a program stored in the ROM 21.

具体的に、例えば、撮像装置１がデジタルカメラに備えられた場合、ハーフシャッターが押下されると、ＣＰＵ２４は、ＲＯＭ２１からＡＦ処理のプログラムを読み出してＡＦ処理を実行する。ＣＰＵ２４は、この処理として、まず、図１０に示すように、撮像エリア３内に追従領域（フォーカスエリア）ＦＡを設定する。   Specifically, for example, when the imaging apparatus 1 is provided in a digital camera, when the half shutter is pressed, the CPU 24 reads the AF processing program from the ROM 21 and executes the AF processing. As this process, the CPU 24 first sets a tracking area (focus area) FA in the imaging area 3 as shown in FIG.

ＣＰＵ２４は、予め設定された周期で制御信号Ｓｃ１を繰り返しレンズ駆動部１７に供給し、撮像レンズ１６の焦点位置を調整して、この追従領域ＦＡに合わせ込まれた被写体２の合焦を行う。   The CPU 24 repeatedly supplies the control signal Sc1 to the lens driving unit 17 at a preset period, adjusts the focal position of the imaging lens 16, and focuses the subject 2 adjusted to the tracking area FA.

ＣＰＵ２４は、例えば、山登りサーボ方式により、被写体２の合焦を行う。この山登りサーボ方式は、撮像素子１０１から得られる信号から特定の高周波成分を取得し、この高周波成分の振幅が最大となるように撮像レンズ１６の位置を前後に移動させる方式である。   The CPU 24 focuses the subject 2 by, for example, a hill climbing servo system. This hill-climbing servo method is a method of acquiring a specific high-frequency component from a signal obtained from the image sensor 101 and moving the position of the imaging lens 16 back and forth so that the amplitude of this high-frequency component is maximized.

ＣＰＵ２４は、予め設定された周期でタイミング信号Ｓｔを繰り返しフラッシュ制御部１４、撮像制御部１５、センサ部１１の素子駆動部１０２，１０３に供給して、各部を動作させる。   The CPU 24 repeatedly supplies the timing signal St to the flash control unit 14, the imaging control unit 15, and the element driving units 102 and 103 of the sensor unit 11 in a preset cycle to operate each unit.

次に、ＣＰＵ２４は、データ処理部２０が生成したカラー画像、距離画像に基づいて、被写体２の位置の変化の検出処理を行い、さらに、被写体２の移動後の位置データを取得する。   Next, the CPU 24 performs a process for detecting a change in the position of the subject 2 based on the color image and the distance image generated by the data processing unit 20, and further acquires position data after the movement of the subject 2.

即ち、データ処理部２０がカラー画像を生成すると、ＣＰＵ２４は、新たなカラー画像をデータ処理部２０から取得し、不揮発性メモリ２３から、既に取得したカラー画像、距離画像を取得する。   That is, when the data processing unit 20 generates a color image, the CPU 24 acquires a new color image from the data processing unit 20 and acquires the already acquired color image and distance image from the nonvolatile memory 23.

また、データ処理部２０が距離画像を生成すると、ＣＰＵ２４は、新たな距離画像をデータ処理部２０から取得し、不揮発性メモリ２３から、既に取得した距離画像を取得する。   When the data processing unit 20 generates a distance image, the CPU 24 acquires a new distance image from the data processing unit 20 and acquires the already acquired distance image from the nonvolatile memory 23.

そして、ＣＰＵ２４は、２つのカラー画像を比較して、被写体２の位置の変化を検出するための解析方法を選択する。また、ＣＰＵ２４は、２つの距離画像を比較して、被写体２の位置の変化を検出するための解析方法を選択する。   Then, the CPU 24 compares the two color images and selects an analysis method for detecting a change in the position of the subject 2. Further, the CPU 24 compares two distance images and selects an analysis method for detecting a change in the position of the subject 2.

解析方法としては、以下の３つの方法が考えられる。まず、解析方法１は、パターンマッチング方法により、被写体２の位置を検出する方法である。   The following three methods can be considered as analysis methods. First, analysis method 1 is a method of detecting the position of subject 2 by a pattern matching method.

解析方法２は、撮像エリア３を小領域に区分し、区分した各小領域のエントロピーの変化を検出することにより、被写体２の位置を検出する方法である。エントロピーは、画面内のある画素における事象の生起確率である。   The analysis method 2 is a method of detecting the position of the subject 2 by dividing the imaging area 3 into small areas and detecting a change in entropy of each divided small area. Entropy is the occurrence probability of an event at a certain pixel in the screen.

解析方法３は、撮像エリア３を小領域に区分し、区分した各小領域の色差信号の変化を検出することにより、被写体２の位置を検出する方法である。   The analysis method 3 is a method of detecting the position of the subject 2 by dividing the imaging area 3 into small areas and detecting changes in the color difference signals of the divided small areas.

カラー画像の場合、ＣＰＵ２４は、解析方法１〜３のいずれかの方法を用いて被写体２の動きを判別する。   In the case of a color image, the CPU 24 determines the movement of the subject 2 using any one of analysis methods 1 to 3.

距離画像の場合、距離画像に色差成分が含まれないため、ＣＰＵ２４は、解析方法３を用いることができず、解析方法１又は２を用いて被写体２の位置を解析する。   In the case of a distance image, since the color difference component is not included in the distance image, the CPU 24 cannot use the analysis method 3 and analyzes the position of the subject 2 using the analysis method 1 or 2.

そして、ＣＰＵ２４は、カラー画像の場合は、上記解析方法１〜３から選択し、２つのカラー画像を比較して、選択した解析方法に従い、被写体２の位置の変化を検出する。   And in the case of a color image, CPU24 selects from the said analysis methods 1-3, compares two color images, and detects the change of the position of the to-be-photographed object 2 according to the selected analysis method.

また、ＣＰＵ２４は、距離画像の場合は、上記解析方法１又は２を選択し、２つの距離画像を比較して、選択した解析方法に従い、被写体２の位置の変化を検出する。   In the case of a distance image, the CPU 24 selects the analysis method 1 or 2, compares the two distance images, and detects a change in the position of the subject 2 according to the selected analysis method.

ＣＰＵ２４は、２つのカラー画像を比較して被写体２の位置が変化したか否かを判定し、位置が変化したと判定した場合は、被写体２の移動後の位置を取得する。   The CPU 24 compares the two color images to determine whether or not the position of the subject 2 has changed. If the CPU 24 determines that the position has changed, the CPU 24 acquires the position after the movement of the subject 2.

そして、ＣＰＵ２４は、新たに取得したカラー画像のデータと被写体２の移動後の位置データとをＲＡＭに記憶する。   Then, the CPU 24 stores the newly acquired color image data and the position data after the movement of the subject 2 in the RAM.

距離画像についても同様に、ＣＰＵ２４は、２つの距離画像を比較して被写体２の位置が変化したか否かを判定し、位置が変化したと判定した場合は、被写体２の移動後の位置を取得する。   Similarly for the distance image, the CPU 24 compares the two distance images to determine whether or not the position of the subject 2 has changed, and if it determines that the position has changed, the CPU 24 determines the position after the movement of the subject 2. get.

そして、ＣＰＵ２４は、新たに取得した距離画像のデータと被写体２の移動後の位置データとをＲＡＭに記憶する。   Then, the CPU 24 stores the newly acquired distance image data and the position data after the movement of the subject 2 in the RAM.

ＣＰＵ２４は、ＲＡＭに記憶した２つの位置データが正当なものであるか否かを判定し、正当な位置データであると判定した場合、ＲＡＭに記憶した新たな位置データを不揮発性メモリ２３に記憶する。   The CPU 24 determines whether or not the two position data stored in the RAM are valid. If the CPU 24 determines that the two position data are valid, the CPU 24 stores the new position data stored in the RAM in the nonvolatile memory 23. To do.

即ち、被写体２がどのように移動してきたか、その移動の履歴に基づいて、２つの位置データが正当なものか否かを判別する。   That is, it is determined whether or not the two position data are valid based on how the subject 2 has moved and the movement history.

被写体２が今までと全く異なる位置に出現する可能性は低く、被写体２が突然進行方向を変える可能性も低い。   The possibility that the subject 2 appears at a completely different position from the past is low, and the possibility that the subject 2 suddenly changes its traveling direction is also low.

このため、ＣＰＵ２４は、不揮発性メモリ２３に記憶した位置データに基づいて、被写体２の移動方向に範囲を設定し、この範囲内の位置データを正当と判定する。   Therefore, the CPU 24 sets a range in the moving direction of the subject 2 based on the position data stored in the nonvolatile memory 23 and determines that the position data within this range is valid.

ＣＰＵ２４は、このように正当と判定した位置データを不揮発性メモリ２３に記憶する。尚、ＣＰＵ２４は、不揮発性メモリ２３に記憶するデータ数に対して、予め制限数を設定し、記憶するデータの数がこの制限数を越えた場合、古いデータを消去する。   The CPU 24 stores the position data determined as valid in this manner in the nonvolatile memory 23. Note that the CPU 24 sets a limit number in advance for the number of data stored in the nonvolatile memory 23, and deletes old data when the number of stored data exceeds this limit number.

次に、ＣＰＵ２４は、２つのカラー画像を比較した結果、取得した位置データと、２つの距離画像を比較した結果、取得した位置データとのいずれか一方を選択する。   Next, the CPU 24 selects one of the acquired position data as a result of comparing the two color images and the acquired position data as a result of comparing the two distance images.

２つのカラー画像を比較した結果、取得した位置データと、２つの距離画像を比較した結果、取得した位置データと、が重なっている場合、ＣＰＵ２４は、この重なっている位置データを被写体２の移動先の位置のデータとして採用する。   If the acquired position data overlaps with the acquired position data as a result of comparing the two color images, and the acquired position data as a result of comparing the two distance images, the CPU 24 moves the overlapping position data of the subject 2. Adopt as the data of the previous position.

ＣＰＵ２４は、このように、被写体２の移動後の位置データを取得すると、被写体２の移動後の位置に追従領域ＦＡを移動させ、レンズ駆動部１７に制御信号Ｓｃ１を供給してレンズ駆動部１７を制御し、新たな追従領域ＦＡで被写体２の合焦を行う。   When the CPU 24 acquires the position data after the movement of the subject 2 as described above, the CPU 24 moves the tracking area FA to the position after the movement of the subject 2, supplies the control signal Sc1 to the lens driving unit 17, and supplies the lens driving unit 17 to the lens driving unit 17. And the subject 2 is focused in the new tracking area FA.

次に実施形態１に係る撮像装置１の動作を説明する。
例えば、撮像装置１がデジタルカメラに備えられた場合、ハーフシャッターが押下されると、ＣＰＵ２４は、ＲＯＭ２１からＡＦ処理のプログラムデータを読み出す。ＣＰＵ２４は、図１１，１２に示すフローチャートに従って、ハーフシャッタが押下されている間、予め設定された周期で繰り返しこのＡＦ処理を実行する。 Next, the operation of the imaging apparatus 1 according to the first embodiment will be described.
For example, when the imaging apparatus 1 is provided in a digital camera, when the half shutter is pressed, the CPU 24 reads program data for AF processing from the ROM 21. The CPU 24 repeatedly executes this AF process at a preset cycle while the half shutter is pressed according to the flowcharts shown in FIGS.

ＣＰＵ２４は、タイミング信号Ｓｔをフラッシュ制御部１４、撮像制御部１５、センサ部１１に供給する（ステップＳ１１）。   The CPU 24 supplies the timing signal St to the flash control unit 14, the imaging control unit 15, and the sensor unit 11 (step S11).

フラッシュ制御部１４は、フラッシュ１２を発光させて、可視光を被写体２に向けて投射し、撮像制御部１５は、フラッシュ１３を発光させて、パルス変調した近赤外光を被写体２に向けて投射する。   The flash control unit 14 emits the flash 12 and projects visible light toward the subject 2, and the imaging control unit 15 emits the flash 13 and directs the pulse-modulated near infrared light toward the subject 2. Project.

センサ部１１は、ＣＰＵ２４からタイミング信号Ｓｔが供給されると、カラー画像データ、距離画像データを生成し、メモリコントローラ１９は、カラー画像データ、距離画像データを、それぞれ、フレームメモリ１８のカラー画像領域１８ａ、距離画像領域１８ｂに記憶する。   When the timing signal St is supplied from the CPU 24, the sensor unit 11 generates color image data and distance image data, and the memory controller 19 converts the color image data and distance image data into color image areas of the frame memory 18, respectively. 18a and the distance image area 18b.

データ処理部２０は、フレームメモリ１８のカラー画像領域１８ａ、距離画像領域１８ｂに記憶されたデータに基づいて、カラー画像、距離画像を生成する。   The data processing unit 20 generates a color image and a distance image based on the data stored in the color image area 18a and the distance image area 18b of the frame memory 18.

ＣＰＵ２４は、データ処理部２０が生成した新たなカラー画像を取得する（ステップＳ１２）。   The CPU 24 acquires a new color image generated by the data processing unit 20 (step S12).

ＣＰＵ２４は、不揮発性メモリ２３から、カラー画像を取得する（ステップＳ１３）。   The CPU 24 acquires a color image from the nonvolatile memory 23 (step S13).

ＣＰＵ２４は、新たに取得したカラー画像と不揮発性メモリ２３から取得したカラー画像を比較する（ステップＳ１４）。
ＣＰＵ２４は、比較結果に基づいて、解析方法を選択する（ステップＳ１５）。 The CPU 24 compares the newly acquired color image with the color image acquired from the nonvolatile memory 23 (step S14).
The CPU 24 selects an analysis method based on the comparison result (step S15).

ＣＰＵ２４は、選択した解析方法を用いて、被写体２の位置の変化を解析する（ステップＳ１６）。   The CPU 24 analyzes the change in the position of the subject 2 using the selected analysis method (step S16).

ＣＰＵ２４は、解析の結果、被写体２の位置が変化したか否かを判定する（ステップＳ１７）。   The CPU 24 determines whether or not the position of the subject 2 has changed as a result of the analysis (step S17).

被写体２の位置が変化していないと判定した場合（ステップＳ１７においてＮｏ）、ＣＰＵ２４は、ステップＳ２０の処理を実行する。   When it is determined that the position of the subject 2 has not changed (No in step S17), the CPU 24 executes the process of step S20.

一方、被写体２の位置が変化したと判定した場合（ステップＳ１７においてＹｅｓ）、ＣＰＵ２４は、被写体２の移動後の位置を取得する（ステップＳ１８）。   On the other hand, when it is determined that the position of the subject 2 has changed (Yes in step S17), the CPU 24 acquires the position after the movement of the subject 2 (step S18).

ＣＰＵ２４は、新たに取得したカラー画像、移動後の被写体２の位置をＲＡＭに記憶する（ステップＳ１９）。   The CPU 24 stores the newly acquired color image and the position of the subject 2 after movement in the RAM (step S19).

ＣＰＵ２４は、データ処理部２０が生成した新たな距離画像を取得する（ステップＳ２０）。   The CPU 24 acquires a new distance image generated by the data processing unit 20 (step S20).

ＣＰＵ２４は、不揮発性メモリ２３から、距離画像を取得する（ステップＳ２１）。   The CPU 24 acquires a distance image from the nonvolatile memory 23 (step S21).

ＣＰＵ２４は、新たに取得したカラー画像と不揮発性メモリ２３から取得したカラー画像を比較する（ステップＳ２２）。
ＣＰＵ２４は、比較結果に基づいて、解析方法を選択する（ステップＳ２３）。 The CPU 24 compares the newly acquired color image with the color image acquired from the nonvolatile memory 23 (step S22).
The CPU 24 selects an analysis method based on the comparison result (step S23).

ＣＰＵ２４は、選択した解析方法を用いて、被写体２の位置の変化を解析する（ステップＳ２４）。   The CPU 24 analyzes the change in the position of the subject 2 using the selected analysis method (step S24).

ＣＰＵ２４は、解析の結果、被写体２の位置が変化したか否かを判定する（ステップＳ２５）。   The CPU 24 determines whether or not the position of the subject 2 has changed as a result of the analysis (step S25).

被写体２の位置が変化していないと判定した場合（ステップＳ２５においてＮｏ）、ＣＰＵ２４は、このＡＦ処理を終了させる。   If it is determined that the position of the subject 2 has not changed (No in step S25), the CPU 24 ends the AF process.

一方、被写体２の位置が変化したと判定した場合（ステップＳ２５においてＹｅｓ）、ＣＰＵ２４は、被写体２の移動後の位置を取得する（ステップＳ２６）。   On the other hand, when it is determined that the position of the subject 2 has changed (Yes in step S25), the CPU 24 acquires the position after the movement of the subject 2 (step S26).

ＣＰＵ２４は、新たに取得した距離画像、移動後の被写体２の位置をＲＡＭに記憶する（ステップＳ２７）。   The CPU 24 stores the newly acquired distance image and the position of the subject 2 after movement in the RAM (step S27).

ＣＰＵ２４は、不揮発性メモリ２３に記憶した被写体２がいままで移動した位置データに基づいて、被写体２の移動方向を設定する（ステップＳ２８）。   The CPU 24 sets the moving direction of the subject 2 based on the position data that the subject 2 has moved so far stored in the nonvolatile memory 23 (step S28).

ＣＰＵ２４は、ＲＡＭに記憶した被写体２の移動後の位置が設定した移動方向の範囲内か否かを判定する（ステップＳ２９）。   The CPU 24 determines whether or not the moved position of the subject 2 stored in the RAM is within the set moving direction range (step S29).

ＲＡＭに記憶した被写体２の移動後の位置が設定した移動方向の範囲内ではないと判定した場合（ステップＳ２９においてＮｏ）、ＣＰＵ２４は、このＡＦ処理を終了させる。   If it is determined that the moved position of the subject 2 stored in the RAM is not within the set moving direction range (No in step S29), the CPU 24 ends the AF process.

一方、ＲＡＭに記憶した被写体２の移動後の位置が設定した移動方向の範囲内であると判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ２４は、ＲＡＭに記憶したカラー画像のデータ、カラー画像に基づいて取得した位置データ、距離画像、距離画像に基づいて取得した位置データを、不揮発性メモリ２３に記憶する（ステップＳ３０）。   On the other hand, when it is determined that the position after movement of the subject 2 stored in the RAM is within the set moving direction range (Yes in step S29), the CPU 24 is based on the color image data and color image stored in the RAM. The position data, the distance image, and the position data acquired based on the distance image are stored in the nonvolatile memory 23 (step S30).

ＣＰＵ２４は、カラー画像に基づいて取得した位置データ及び距離画像に基づいて取得した位置データのうちのいずれかを選択する（ステップＳ３１）。   The CPU 24 selects one of position data acquired based on the color image and position data acquired based on the distance image (step S31).

ＣＰＵ２４は、選択した位置データに基づいて、追従領域ＦＡを移動させる（ステップＳ３２）。   The CPU 24 moves the tracking area FA based on the selected position data (step S32).

ＣＰＵ２４は、レンズ駆動部１７に制御信号Ｓｃ１を供給して、被写体２に合焦するように、レンズ駆動部１７を制御する（ステップＳ３３）。   The CPU 24 supplies the control signal Sc1 to the lens driving unit 17 and controls the lens driving unit 17 so as to focus on the subject 2 (step S33).

ＣＰＵ２４は、被写体２に合焦したか否かを判定する（ステップＳ３４）。
合焦していないと判定した場合（ステップＳ３４においてＮｏ）、ＣＰＵ２４は、再び、レンズ駆動部１７に制御信号Ｓｃ１を供給して、被写体２に合焦するように、レンズ駆動部１７を制御する（ステップＳ３３）。 The CPU 24 determines whether or not the subject 2 is in focus (step S34).
If it is determined that the subject is not in focus (No in step S34), the CPU 24 supplies the control signal Sc1 to the lens driver 17 again to control the lens driver 17 so that the subject 2 is in focus. (Step S33).

合焦したと判定した場合（ステップＳ３４においてＹｅｓ）、ＣＰＵ２４は、このＡＦ処理を終了させる。   If it is determined that the subject is in focus (Yes in step S34), the CPU 24 ends the AF process.

次に、この撮像装置１の動作を具体的に説明する。
ＣＰＵ２４が、タイミング信号Ｓｔをフラッシュ制御部１４、撮像制御部１５、センサ部１１に供給する（ステップＳ１１の処理）。 Next, the operation of the imaging apparatus 1 will be specifically described.
The CPU 24 supplies the timing signal St to the flash control unit 14, the imaging control unit 15, and the sensor unit 11 (processing in step S11).

図１３（ａ）に示すカラー画像２Ｄｉ０を不揮発性メモリ２３に記憶されたカラー画像として、図１３（ｂ）に示すカラー画像２Ｄｉ１をデータ処理部２０が新たに取得したカラー画像とする。   The color image 2Di0 shown in FIG. 13A is a color image stored in the nonvolatile memory 23, and the color image 2Di1 shown in FIG. 13B is a color image newly acquired by the data processing unit 20.

ＣＰＵ２４は、図１３（ｂ）に示すカラー画像２Ｄｉ１を、データ処理部２０から取得する（ステップＳ１２の処理）。また、ＣＰＵ２４は、図１３（ａ）に示すカラー画像２Ｄｉ０を不揮発性メモリ２３から取得する（ステップＳ１３の処理）。   The CPU 24 acquires the color image 2Di1 shown in FIG. 13B from the data processing unit 20 (processing in step S12). Further, the CPU 24 acquires the color image 2Di0 shown in FIG. 13A from the nonvolatile memory 23 (processing in step S13).

ＣＰＵ２４は、この２つのカラー画像２Ｄｉ０，２Ｄｉ１を比較して、解析方法を選択する（ステップＳ１４，Ｓ１５の処理）。   The CPU 24 compares the two color images 2Di0 and 2Di1 and selects an analysis method (steps S14 and S15).

この場合、解析方法１〜３のいずれでも選択することができる。例えば、解析方法２を選択した場合、ＣＰＵ２４は、解析方法２に従って被写体２の位置の変化を解析する（ステップＳ１６の処理）。   In this case, any of analysis methods 1 to 3 can be selected. For example, when the analysis method 2 is selected, the CPU 24 analyzes the change in the position of the subject 2 according to the analysis method 2 (processing in step S16).

まず、ＣＰＵ２４は、図１３（ａ），（ｂ）に示すように、撮像エリア３内に領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡを設定する。   First, the CPU 24 sets areas UL, UR, LL, LR, and FA in the imaging area 3, as shown in FIGS. 13 (a) and 13 (b).

そして、ＣＰＵ２４は、図１３（ａ），（ｂ）に示す各領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡのエントロピーＰｉを演算し、被写体２の位置の変化を解析する。   Then, the CPU 24 calculates the entropy Pi of each region UL, UR, LL, LR, FA shown in FIGS. 13A and 13B and analyzes the change in the position of the subject 2.

エントロピーをＨｉとして、各領域内のある画素における事象“ｉ”の生起確率をＰｉとすると、エントロピーＨｉは、次の式（６）によって表される。
Ｈｉ＝−ＰｉlogＰｉ ・・・・・・（６） Assuming that entropy is Hi and the occurrence probability of event “i” in a pixel in each region is Pi, entropy Hi is expressed by the following equation (6).
Hi = -PilogPi (6)

ＣＰＵ２４は、この式（６）に従い、図１３（ａ），（ｂ）にそれぞれ示す各領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡのエントロピーＨｉを演算する。   The CPU 24 calculates the entropy Hi of each region UL, UR, LL, LR, FA shown in FIGS. 13A and 13B according to the equation (6).

図１３（ａ），（ｂ）に示すように、領域ＦＡ，ＵＲのエントロピーＨｉは、変化する。このため、ＣＰＵ２４は、被写体２の位置が変化したと判定する（ステップＳ１７においてＹｅｓ）。   As shown in FIGS. 13A and 13B, the entropy Hi of the areas FA and UR changes. For this reason, the CPU 24 determines that the position of the subject 2 has changed (Yes in step S17).

ＣＰＵ２４は、図１３（ｃ）に示すように、動きベクトルＶｉ１を取得して、被写体２の移動後の位置を取得する（ステップＳ１８の処理）。   As shown in FIG. 13C, the CPU 24 acquires the motion vector Vi1, and acquires the position after the movement of the subject 2 (processing in step S18).

ＣＰＵ２４は、新たに取得したカラー画像２Ｄｉ１とこの動きベクトルＶｉ１とをＲＡＭに記憶する（ステップＳ１９の処理）。   The CPU 24 stores the newly acquired color image 2Di1 and the motion vector Vi1 in the RAM (step S19).

ＣＰＵ２４は、距離画像についても同様の処理を行う。
図１４（ａ）に示す距離画像２Ｄｄ０は不揮発性メモリ２３に記憶された距離画像であり、図１４（ｂ）に示す距離画像２Ｄｄ１は、データ処理部２０が新たに取得した距離画像とする。 The CPU 24 performs the same process on the distance image.
The distance image 2Dd0 illustrated in FIG. 14A is a distance image stored in the nonvolatile memory 23, and the distance image 2Dd1 illustrated in FIG. 14B is a distance image newly acquired by the data processing unit 20.

ＣＰＵ２４は、図１４（ｂ）に示す距離画像２Ｄｄ１を、データ処理部２０から取得し（ステップＳ２０の処理）、図１４（ａ）に示す距離画像２Ｄｄ０を不揮発性メモリ２３から取得する（ステップＳ２１の処理）。   The CPU 24 acquires the distance image 2Dd1 shown in FIG. 14B from the data processing unit 20 (the process of step S20), and acquires the distance image 2Dd0 shown in FIG. 14A from the nonvolatile memory 23 (step S21). Processing).

ＣＰＵ２４は、この２つの距離画像２Ｄｄ０，２Ｄｄ１を比較して、解析方法を選択する（ステップＳ２２，Ｓ２３の処理）。   The CPU 24 compares the two distance images 2Dd0 and 2Dd1 and selects an analysis method (processing in steps S22 and S23).

この場合も、解析方法１〜３のいずれかを選択することができるため、ＣＰＵ２４は、解析方法２を選択するものとする。ＣＰＵ２４は、解析方法２に従って被写体２の位置の変化を解析する（ステップＳ２４の処理）。   Also in this case, since any of the analysis methods 1 to 3 can be selected, the CPU 24 selects the analysis method 2. The CPU 24 analyzes the change in the position of the subject 2 according to the analysis method 2 (processing in step S24).

ＣＰＵ２４は、同様に、図１４（ａ），（ｂ）に示すように、撮像エリア３内に領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡを設定し、図１４（ａ），（ｂ）に示す各領域ＵＬ，ＵＲ，ＬＬ，ＬＲ，ＦＡのエントロピーＰｉを演算し、被写体２の位置の変化を解析する。   Similarly, as shown in FIGS. 14A and 14B, the CPU 24 sets areas UL, UR, LL, LR, and FA in the imaging area 3, as shown in FIGS. 14A and 14B. The entropy Pi of each region UL, UR, LL, LR, FA is calculated, and the change in the position of the subject 2 is analyzed.

図１４（ａ），（ｂ）に示すように、領域ＦＡ，ＵＲのエントロピーＨｉは、変化するため、ＣＰＵ２４は、被写体２の位置が変化したと判定する（ステップＳ２５においてＹｅｓ）。   As shown in FIGS. 14A and 14B, since the entropy Hi of the areas FA and UR changes, the CPU 24 determines that the position of the subject 2 has changed (Yes in step S25).

ＣＰＵ２４は、図１４（ｃ）に示すように、動きベクトルＶｄ１を取得して、被写体２の移動後の位置を取得する（ステップＳ２６の処理）。   As shown in FIG. 14C, the CPU 24 acquires the motion vector Vd1 and acquires the position after movement of the subject 2 (processing in step S26).

ＣＰＵ２４は、新たに取得したカラー画像２Ｄｄ１とこの動きベクトルＶｄ１とをＲＡＭに記憶する（ステップＳ２７の処理）。   The CPU 24 stores the newly acquired color image 2Dd1 and the motion vector Vd1 in the RAM (step S27).

図１５（ａ）に示すように、動きベクトルＶｉ１，Ｖｄ１により得られた被写体２の移動後の位置が設定した移動方向の範囲内と判定した場合（ステップＳ２９においてＹｅｓ）、ＣＰＵ２４は、ＲＡＭに記憶したデータを不揮発性メモリ２３に記憶する（ステップＳ３０の処理）。   As shown in FIG. 15A, when it is determined that the position after movement of the subject 2 obtained by the motion vectors Vi1 and Vd1 is within the set movement direction range (Yes in step S29), the CPU 24 stores data in the RAM. The stored data is stored in the nonvolatile memory 23 (step S30).

この場合、動きベクトルＶｉ１，Ｖｄ１により得られた被写体２の移動後の位置がいずれも設定した移動方向の範囲内であるため、例えば、ＣＰＵ２４は、動きベクトルＶｉ１により得られた被写体２の移動後の位置データを選択するものとする（ステップＳ３１の処理）。   In this case, since the post-movement position of the subject 2 obtained by the motion vectors Vi1 and Vd1 is within the set moving direction range, for example, the CPU 24 moves the subject 2 after the movement obtained by the motion vector Vi1. Is selected (processing in step S31).

位置データを選択する方法としては、検出精度の高いと推定される方の動きベクトルを採用する。具体的には、ＣＰＵ２４は、動きベクトルを記憶し、今までに取得した動きベクトルに基づいて検出精度を推定する。   As a method for selecting position data, a motion vector that is estimated to have high detection accuracy is employed. Specifically, the CPU 24 stores the motion vector and estimates the detection accuracy based on the motion vector acquired so far.

例えば、カラー画像、距離画像が全く異なる位置に出現する可能性は低く、被写体２が突然、進行方向を変える可能性も低い。ＣＰＵ２４は、このような場合、検出精度が低いと判定し、この位置データを採用しない。   For example, the possibility that the color image and the distance image appear at completely different positions is low, and the possibility that the subject 2 suddenly changes the traveling direction is also low. In such a case, the CPU 24 determines that the detection accuracy is low and does not employ this position data.

そして、ＣＰＵ２４は、図１５（ｂ）に示すように、選択した位置データに基づいて追従領域ＦＡを移動させる（ステップＳ３２の処理）。   Then, as shown in FIG. 15B, the CPU 24 moves the tracking area FA based on the selected position data (step S32).

ＣＰＵ２４は、レンズ駆動部１７に制御信号Ｓｃ１を供給し（ステップＳ３３の処理）、合焦した場合（ステップＳ３４においてＹｅｓ）、このＡＦ処理を終了させる。   The CPU 24 supplies the control signal Sc1 to the lens driving unit 17 (the process of step S33), and when in focus (Yes in step S34), the AF process is terminated.

以上説明したように、本実施形態１によれば、ＣＰＵ２４は、カラー画像に基づいて取得した被写体２の位置データと距離画像に基づいて取得した位置データとを比較して、比較結果に基づいて、被写体２の位置の変化を取得するようにした。
従って、精度良く被写体２の合焦を行うことができ、被写体２の画像を撮像素子１０１に結像させることができる。 As described above, according to the first embodiment, the CPU 24 compares the position data of the subject 2 acquired based on the color image with the position data acquired based on the distance image, and based on the comparison result. The change in the position of the subject 2 is acquired.
Therefore, the subject 2 can be focused with high accuracy, and the image of the subject 2 can be formed on the image sensor 101.

また、カラー画像については、解析方法１〜３を選択することができ、距離画像については、解析方法１又は２を選択して、被写体２の位置の変化するので、被写体２のどのような状況でも、その状況に応じて、被写体２を確実に追尾することができる。   In addition, the analysis methods 1 to 3 can be selected for the color image, and the analysis method 1 or 2 is selected for the distance image, and the position of the subject 2 changes. However, the subject 2 can be reliably tracked according to the situation.

例えば、図１８に示すように、被写体２が（ａ）→（ｂ）→（ｃ）→（ｄ）に示すように、形状が変化した場合、ＣＰＵ２４は、不揮発性メモリ２３に記憶された距離画像とデータ処理部が生成した距離画像とを比較して、解析方法２を選択する。ＣＰＵ２４がこの解析方法２を選択して、被写体２の位置の変化を解析することにより、精度良く被写体２の位置の変化を検出することができる。そして、精度良く撮像素子上に被写体２の画像を結像させることができる。   For example, as shown in FIG. 18, when the shape of the subject 2 changes as shown in (a) → (b) → (c) → (d), the CPU 24 stores the distance stored in the nonvolatile memory 23. The analysis method 2 is selected by comparing the image with the distance image generated by the data processing unit. When the CPU 24 selects the analysis method 2 and analyzes the change in the position of the subject 2, the change in the position of the subject 2 can be detected with high accuracy. Then, the image of the subject 2 can be formed on the image sensor with high accuracy.

また、図１９に示すように、被写体２ｐの前を、被写体２ｐと同じエントロピーを有する物体２ｑが横切った場合、ＣＰＵ２４は、不揮発性メモリ２３に記憶されたカラー画像とデータ処理部が生成したカラー画像とを比較して、解析方法３を選択する。   As shown in FIG. 19, when the object 2q having the same entropy as the subject 2p crosses in front of the subject 2p, the CPU 24 uses the color image stored in the nonvolatile memory 23 and the color generated by the data processing unit. The analysis method 3 is selected by comparing with the image.

そして、ＣＰＵ２４は、各小領域の色差信号の変化により、被写体２の位置の変化を検出する。   Then, the CPU 24 detects a change in the position of the subject 2 based on a change in the color difference signal of each small area.

このように、被写体２ｐの前を、被写体２ｐと同じエントロピーを有する物体２ｑが横切ったとしても、ＣＰＵ２４は、解析方法３を選択することにより、精度良く被写体２を追尾することができ、精度良く撮像素子上に被写体２の画像を結像させることができる。   Thus, even if the object 2q having the same entropy as the subject 2p crosses in front of the subject 2p, the CPU 24 can track the subject 2 with high accuracy by selecting the analysis method 3, and with high accuracy. An image of the subject 2 can be formed on the image sensor.

また、図２０に示すように、被写体２が撮像装置１から遠ざかる場合、ＣＰＵ２４は、不揮発性メモリ２３に記憶された距離画像とデータ処理部が生成した距離画像とを比較して、解析方法２を選択する。ＣＰＵ２４がこの解析方法２を選択して、被写体２の位置の変化を解析することにより、精度良く被写体２の位置の変化を検出することができる。   As shown in FIG. 20, when the subject 2 moves away from the imaging device 1, the CPU 24 compares the distance image stored in the non-volatile memory 23 with the distance image generated by the data processing unit, and the analysis method 2 Select. When the CPU 24 selects the analysis method 2 and analyzes the change in the position of the subject 2, the change in the position of the subject 2 can be detected with high accuracy.

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、被写体２が撮像エリア３から外れた場合、撮像装置１の向きを変えるようにしてもよい。 In carrying out the present invention, various forms are conceivable and the present invention is not limited to the above embodiment.
For example, when the subject 2 is out of the imaging area 3, the orientation of the imaging device 1 may be changed.

この場合、撮像装置１は、図１６に示すように、撮像部１ａと、制御部１ｂと、姿勢制御部１ｃと、によって構成される。撮像部１ａは、図１７に示すように構成され、図１に示すＲＯＭ２１、ＲＡＭ２２、不揮発性メモリ２３、ＣＰＵ２４が撮像部１ａから除かれる。そして、制御部１ｂは、ＲＯＭ２１、ＲＡＭ２２、不揮発性メモリ２３、ＣＰＵ２４を備える。   In this case, as shown in FIG. 16, the imaging device 1 includes an imaging unit 1a, a control unit 1b, and an attitude control unit 1c. The imaging unit 1a is configured as shown in FIG. 17, and the ROM 21, RAM 22, nonvolatile memory 23, and CPU 24 shown in FIG. 1 are excluded from the imaging unit 1a. And the control part 1b is provided with ROM21, RAM22, the non-volatile memory 23, and CPU24.

姿勢制御部１ｃは、撮像部１ａの姿勢を制御して向きを変えるためのものである。   The posture control unit 1c is for controlling the posture of the imaging unit 1a to change the orientation.

制御部１ｂのＣＰＵ２４は、撮像部１ａにタイミング信号を出力し、撮像部１ａのメモリコントローラ１９に制御信号Ｓｃ２を供給して、メモリコントローラ１９を制御する。   The CPU 24 of the control unit 1b outputs a timing signal to the imaging unit 1a, supplies a control signal Sc2 to the memory controller 19 of the imaging unit 1a, and controls the memory controller 19.

また、ＣＰＵ２４は、図１５，１６に示すように、撮像部１ａのデータ処理部２０から、カラー画像、距離画像のデータＤoutを取得する。   Further, as shown in FIGS. 15 and 16, the CPU 24 acquires color image and distance image data Dout from the data processing unit 20 of the imaging unit 1 a.

ＣＰＵ２４は、被写体２が撮像エリア３から外れた場合、姿勢制御部１ｃに制御信号Ｓｃ３が供給して、撮像部１ａが被写体２を追尾するように、姿勢制御部１ｃを制御する。   When the subject 2 is out of the imaging area 3, the CPU 24 supplies the control signal Sc3 to the posture control unit 1c and controls the posture control unit 1c so that the imaging unit 1a tracks the subject 2.

撮像装置１がこのように構成されることにより、被写体２が撮像エリア３から外れた場合でも、制御部１ｂ、姿勢制御部１ｃが、撮像部１ａの向きを調整して、被写体２を追尾することができ、精度良く被写体２を追従領域ＦＡ内に捉えることができる。   By configuring the imaging device 1 in this way, even when the subject 2 is out of the imaging area 3, the control unit 1b and the posture control unit 1c adjust the orientation of the imaging unit 1a to track the subject 2. The subject 2 can be accurately captured in the tracking area FA.

また、本実施形態では、被写体２のカラー画像、距離画像を２つとも取得するようにした。しかし、いずれか一方の画像を取得するように、手動で選択させることもできる。この場合、撮像装置１に、指示情報を入力するための操作部（図示せず）を備える。   In this embodiment, both the color image and the distance image of the subject 2 are acquired. However, it is also possible to manually select either one of the images. In this case, the imaging device 1 includes an operation unit (not shown) for inputting instruction information.

また、上記実施形態において、距離を測定する距離画像センサとして図９に示すような構造を有するものを用いた。しかし、距離画像センサは、このものに限られるものではない。例えば一画素置きに配置される距離画素３つで、それぞれ図９のｎ+層３１１ｃ、ｐ+層３１１ｂ、ｎ+層３１１ｄとなるように構成しても構わない。このように構成することにより、設計の自由度が向上する。 Moreover, in the said embodiment, what has a structure as shown in FIG. 9 was used as a distance image sensor which measures distance. However, the distance image sensor is not limited to this. For example, three distance pixels arranged every other pixel may be configured as the n + layer 311c, the p + layer 311b, and the n + layer 311d in FIG. With this configuration, the degree of freedom in design is improved.

また、上記実施形態において、距離を測定する為の画素はＲＧＢの輝度を測定する画素とは全く異なる構造を有しているものとして説明が、このようではなくとも構わない。すなわち、ＣＭＯＳ、ＣＣＤを用いて距離を測定することもできる。   In the above embodiment, the pixel for measuring the distance is described as having a completely different structure from the pixel for measuring the luminance of RGB, but this need not be the case. That is, the distance can be measured using a CMOS or CCD.

通常のＣＭＯＳやＣＣＤにおいても近赤外線や紫外線を受光することが出来ると共に、現状の撮像素子においては、その動作速度から、特に近距離の近赤外線や紫外線が被写体に反射して帰ってくる時間を計測するのには、その測定精度に問題があるが、強力な近赤外線や紫外線を使用して、比較的長距離を測定する場合においては、特段特殊な構造の撮像素子を用いなくとも、距離を測定することは可能であると共に、将来撮像素子の性能が向上すれば、距離の測定も可能になり、距離を測定するための画素をこのように構成しても構わない。   A normal CMOS or CCD can receive near-infrared rays and ultraviolet rays, and the current imaging device can take a long time for the near-infrared rays and ultraviolet rays to be reflected back to the subject due to its operation speed. Although there is a problem with the measurement accuracy to measure, when measuring a relatively long distance using strong near infrared rays or ultraviolet rays, the distance can be obtained without using an image sensor with a special structure. Can be measured, and if the performance of the imaging device is improved in the future, the distance can be measured, and the pixel for measuring the distance may be configured in this way.

また、上記実施形態では、検出した被写体に追従してＡＦを行うように構成したが、このようではなくとも構わない。
例えば、検出した被写体に追従して、単に特定のマークを重畳して表示してもよく、これにより被写体がどのように動いているのか解り易く表示することができる。 In the above embodiment, the AF is performed following the detected subject. However, this need not be the case.
For example, a specific mark may be superimposed and displayed following the detected subject, thereby making it easy to understand how the subject is moving.

また、特許第３７５０４９９号のように検出した被写体を中心として特定の領域のズームを行い切り出すようにフレーミングを追従して行うように構成（オートフレーミング）しても良く、これにより被写体が頻繁に動きフレーミングを合わせ続け難いような状況であっても、適当となるフレーミングを継続することができる。   Further, as in Japanese Patent No. 3750499, it may be configured to perform framing following auto-framing so that a specific area is zoomed and cut out with the detected object as a center (automatic framing). Even in situations where it is difficult to keep framing together, appropriate framing can be continued.

また、上記したＡＦ追従、特定マークの追従、フレーミングの追従を単独で行うばかりではなく、必要に応じて組み合わせて使用しても良い。   Further, not only AF tracking, tracking of a specific mark, and tracking of framing described above may be performed alone, but they may be used in combination as necessary.

また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮像装置１を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。   In the above-described embodiment, the program is described as being stored in advance in a memory or the like. However, a program for operating the imaging device 1 as all or part of the device or executing the above-described processing is a flexible disk, a CD-ROM (Compact Disk Read-Only Memory), a DVD (Digital Versatile Disk). ), Stored on a computer-readable recording medium such as MO (Magneto Optical disk), etc., installed on another computer, operated as the above-mentioned means, or may execute the above-mentioned steps .

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。   Furthermore, the program may be stored in a disk device or the like included in a server device on the Internet, and may be downloaded onto a computer by being superimposed on a carrier wave, for example.

本発明の実施形態に係る撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on embodiment of this invention. 図１に示す撮像装置が被写体を撮像する例を示す図である。It is a figure which shows the example which the imaging device shown in FIG. 1 images a to-be-photographed object. 撮像装置が被写体を撮像したときの画像を示す図であり、（ａ）は、撮像装置が取得した被写体のカラー画像を示し、（ｂ）は、撮像装置が取得した距離画像を示す。It is a figure which shows an image when an imaging device image | photographs a to-be-photographed object, (a) shows the color image of the to-be-photographed object which the imaging device acquired, (b) shows the distance image which the imaging device acquired. 図１に示す撮像素子の構成を示す図である。It is a figure which shows the structure of the image pick-up element shown in FIG. 図１に示す撮像装置が備えるカラー画像取得部の構成を示す図である。It is a figure which shows the structure of the color image acquisition part with which the imaging device shown in FIG. 1 is provided. 図５に示すカラー画像取得部の画素回路の構成を示す。6 shows a configuration of a pixel circuit of the color image acquisition unit shown in FIG. 図１に示す撮像装置が備える距離画像取得部の構成を示す図である。It is a figure which shows the structure of the distance image acquisition part with which the imaging device shown in FIG. 1 is provided. 図７に示す距離画像取得部の動作を示すタイミングチャートである。It is a timing chart which shows operation | movement of the distance image acquisition part shown in FIG. 図７に示す距離画像取得部の画素回路の構成を示す図であり、（ａ）は、画素回路のフォトダイオード及びその周辺の断面を示し、（ｂ）は、（ａ）の等価回路を示す。8A and 8B are diagrams illustrating a configuration of a pixel circuit of the distance image acquisition unit illustrated in FIG. 7, in which FIG. 7A illustrates a photodiode and a cross section of the periphery thereof, and FIG. 7B illustrates an equivalent circuit of FIG. . 撮像エリア内に設定された追従領域を示す図である。It is a figure which shows the tracking area | region set in the imaging area. 図１に示すＣＰＵが実行するＡＦ処理を示すフローチャート（その１）である。FIG. 3 is a flowchart (No. 1) illustrating an AF process executed by a CPU illustrated in FIG. 1. FIG. 図１に示すＣＰＵが実行するＡＦ処理を示すフローチャート（その２）である。FIG. 3 is a flowchart (No. 2) showing an AF process executed by a CPU shown in FIG. 1. FIG. 撮像装置の具体的な動作（その１）を示す図であり、（ａ）は、不揮発性メモリに記憶されているカラー画像と追従領域周辺に設定された各領域を示し、（ｂ）は、データ処理部から取得したカラー画像と追従領域周辺に設定された各領域を示し、（ｃ）は、移動した被写体の動きベクトルを示す。It is a figure which shows the specific operation | movement (the 1) of an imaging device, (a) shows each area | region set around the color image and tracking area | region memorize | stored in the non-volatile memory, (b) The color image acquired from the data processing unit and each area set around the tracking area are shown, and (c) shows the motion vector of the moved subject. 撮像装置の具体的な動作（その２）を示す図であり、（ａ）は、不揮発性メモリに記憶されている距離画像と追従領域周辺に設定された各領域を示し、（ｂ）は、データ処理部から取得した距離画像と追従領域周辺に設定された各領域を示し、（ｃ）は、移動した被写体の動きベクトルを示す。It is a figure which shows the specific operation | movement (the 2) of an imaging device, (a) shows each area | region set around the distance image and tracking area | region memorize | stored in the non-volatile memory, (b) The distance image acquired from the data processing unit and each area set around the tracking area are shown, and (c) shows the motion vector of the moved subject. 撮像装置の具体的な動作（その３）を示す図であり、（ａ）は、２つのカラー画像を比較した結果、取得した動きベクトルと、２つの距離画像を比較した結果、取得した動きベクトルとの関係を示し、（ｂ）は、移動させた追従領域を示す。It is a figure which shows the specific operation | movement (the 3) of an imaging device, (a) is a motion vector acquired as a result of comparing two color images as a result of comparing two color images. (B) shows the moved tracking area. 撮像装置の応用例として、撮像エリアから外れた被写体を追従するようにした場合の撮像装置の構成を示す図である。As an application example of the imaging apparatus, it is a diagram illustrating a configuration of the imaging apparatus in a case where a subject outside the imaging area is tracked. 図１６に示す撮像部の構成を示す図である。It is a figure which shows the structure of the imaging part shown in FIG. 形状が変化する被写体を示す図である。It is a figure which shows the to-be-photographed object to which a shape changes. 被写体の前を、被写体の同じエントロピーを有する物体が横切る例を示す図である。It is a figure which shows the example which the object which has the same entropy of a to-be-photographed object crosses in front of a to-be-photographed object. 被写体が撮像装置から遠ざかる例を示す図である。It is a figure which shows the example to which a to-be-photographed object leaves | separates from an imaging device.

符号の説明Explanation of symbols

１・・・撮像装置、２・・・被写体、１１・・・センサ部、１４・・・フラッシュ制御部、１５・・・撮像制御部、２０・・・データ処理部、２４・・・ＣＰＵ、２３・・・不揮発性メモリ、１０２、１０３・・・素子駆動部、２００・・・カラー画像取得部、３００・・・距離画像取得部   DESCRIPTION OF SYMBOLS 1 ... Imaging device, 2 ... Subject, 11 ... Sensor part, 14 ... Flash control part, 15 ... Imaging control part, 20 ... Data processing part, 24 ... CPU, 23: Non-volatile memory, 102, 103: Element drive unit, 200: Color image acquisition unit, 300: Distance image acquisition unit

Claims (7)

被写体を繰り返し撮像するとともに前記被写体に照射されたパルス光が反射した光を受光する撮像素子と、
前記撮像素子が受光した反射光から画素毎に前記被写体までの距離情報を演算する距離情報演算部と、
前記撮像素子により取り込まれた前記被写体の画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する第１の画像取得部と、
前記距離情報演算部により演算された距離情報から、当該撮像素子から前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する第２の画像取得部と、
前記撮像素子が撮像を行う毎に、前記第１の画像取得部が取得した前記第１の画像と、前記距離情報演算部が距離情報を演算する毎に、前記第２の画像取得部が取得した第２の画像とを記憶する記憶部と、
前記記憶部に記憶された前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第１の位置変化検出部と、
前記記憶部に記憶された前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第２の位置変化検出部と、
前記第１の位置変化検出部により推定された検出精度と前記第２の位置変化検出部により推定された検出精度を比較した比較結果に基づいて前記第１の位置変化検出部により検出された位置の変化と前記第２の位置変化検出部により検出された位置の変化のいずれか一方を前記被写体の位置の変化として決定する位置変化決定部と、
前記位置変化決定部が前記被写体の位置の変化を決定したとき、前記被写体を追尾して、特定の制御を行うための追従領域を移動させる追従領域移動部と、
を備えることを特徴とする撮像装置。 An image sensor that repeatedly captures an image of a subject and receives light reflected by pulsed light applied to the subject; and
A distance information calculation unit that calculates distance information from the reflected light received by the image sensor to the subject for each pixel;
A first image acquisition unit for acquiring a first image representing the shape of the subject including visual information of the subject obtained visually from the image of the subject captured by the imaging device;
A second image acquisition unit that acquires, from the distance information calculated by the distance information calculation unit, a second image that represents the shape of the subject, including distance information from the imaging element to the subject;
The second image acquisition unit acquires the first image acquired by the first image acquisition unit and the distance information calculation unit every time the distance information calculation unit calculates distance information each time the imaging element performs imaging. A storage unit for storing the second image,
The first image stored in the storage unit and the first image newly acquired by the first image acquisition unit are compared to detect and store a change in position, which is already stored. A first position change detector that estimates detection accuracy based on a change in position detected so far;
The second image stored in the storage unit and the second image newly acquired by the second image acquisition unit are compared to detect and store a change in position, which is already stored. A second position change detection unit that estimates detection accuracy based on a change in the position detected so far;
The position detected by the first position change detection unit based on a comparison result obtained by comparing the detection accuracy estimated by the first position change detection unit and the detection accuracy estimated by the second position change detection unit. A position change determining unit that determines any one of a change in position and a change in position detected by the second position change detecting unit as a change in position of the subject;
When the position change determining unit determines a change in the position of the subject, the tracking region moving unit that tracks the subject and moves a tracking region for performing specific control;
An imaging apparatus comprising: 前記第１の位置変化検出部は、前記第１の画像と前記第１の画像取得部が新たに取得した前記第１の画像との比較結果に基づいて位置の変化を検出する際の解析方法を選択し、
前記第２の位置変化検出部は、前記第２の画像と前記第２の画像取得部が新たに取得した前記第２の画像との比較結果に基づいて位置の変化を検出する際の解析方法を選択することを特徴とする請求項１に記載の撮像装置。 The first position change detection unit is an analysis method for detecting a position change based on a comparison result between the first image and the first image newly acquired by the first image acquisition unit. Select
The second position change detection unit is an analysis method for detecting a change in position based on a comparison result between the second image and the second image newly acquired by the second image acquisition unit. The imaging device according to claim 1, wherein the imaging device is selected. 前記距離情報演算部は、前記被写体へ照射し反射したパルス光を受光するまでの光の飛行時間に基づいて前記距離情報を演算することを特徴とする請求項１又は２に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the distance information calculation unit calculates the distance information based on a flight time of light until the pulsed light irradiated and reflected on the subject is received. 前記撮像素子は、前記被写体で反射した光を受光して、前記第１の画像を取得するための第１の画素部と、前記被写体に照射されたパルス光が反射した光を受光して、前記第２の画像を取得するための第２の画素部とを１画素ユニットとして、複数の画素ユニットをｉ行×ｊ列（ｉ，ｊ；自然数）に行列配置して構成されたものであり、
前記第１の画像を取得するように複数の前記第１の画素部を駆動する第１の素子駆動部と、
前記第２の画像を取得するように複数の前記第２の画素部を駆動する第２の素子駆動部と、を備えた、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 The imaging element receives light reflected from the subject, receives first light from the first pixel unit for acquiring the first image, and light reflected from the pulse light applied to the subject, The second pixel unit for acquiring the second image is a pixel unit, and a plurality of pixel units are arranged in a matrix of i rows × j columns (i, j; natural numbers). ,
A first element driving unit that drives the plurality of first pixel units so as to acquire the first image;
A second element driving unit that drives the plurality of second pixel units so as to acquire the second image.
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus. 前記各第１の画素部は、それぞれ、前記被写体で反射した光を色成分毎に受光して信号電荷を発生させ、前記色成分毎に発生した前記信号電荷を出力する複数の受光部からなり、
前記第１の素子駆動部は、前記色成分毎に前記複数の受光部を駆動するものである、
ことを特徴とする請求項４に記載の撮像装置。 Each of the first pixel units includes a plurality of light receiving units that receive the light reflected by the subject for each color component to generate a signal charge, and output the signal charge generated for each color component. ,
The first element driving unit drives the plurality of light receiving units for each of the color components.
The imaging apparatus according to claim 4. 撮像素子に被写体を繰り返し撮像させるとともに前記被写体に照射されたパルス光が反射した光を受光させるステップと、
前記撮像素子が受光した反射光から画素毎に前記被写体までの距離情報を演算するステップと、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得するステップと、
前記距離情報を演算するステップにより取得された距離情報から、当該撮像素子から前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得するステップと、
前記撮像素子が撮像を行う毎に、前記第１の画像を取得するステップで取得した前記第１の画像と、前記距離情報を演算するステップで距離情報を演算する毎に、前記第２の画像を取得するステップで取得した第２の画像とを記憶部に記憶するステップと、
前記記憶するステップで記憶された前記第１の画像と前記第１の画像を取得するステップで新たに取得した前記第１の画像とを比較して位置の変化を検出するとともに記憶し、
既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第１の位置の変化を検出するステップと、
前記記憶するステップで記憶された前記第２の画像と前記第２の画像を取得するステップで新たに取得した前記第２の画像とを比較して位置の変化を検出するとともに記憶し、
既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第２の位置の変化を検出するステップと、
前記第１の位置の変化を検出するステップにより推定された検出精度と前記第２の位置の変化を検出するステップにより推定された検出精度を比較した比較結果に基づいて前記第１の位置の変化を検出するステップにより検出された位置の変化と前記第２の位置の変化を検出するステップにより検出された位置の変化のいずれか一方を前記被写体の位置の変化として決定するステップと、
前記被写体の位置の変化を決定したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させるステップと、
を有することを特徴とする撮像装置の被写体追従方法。 Causing the imaging device to repeatedly image the subject and receiving light reflected by the pulsed light irradiated to the subject;
Calculating distance information from the reflected light received by the image sensor to the subject for each pixel;
Obtaining a first image representing the shape of the subject including visual information of the subject obtained visually from an image captured each time the image sensor performs imaging;
Obtaining a second image representing the shape of the subject including distance information from the imaging element to the subject, from the distance information obtained by calculating the distance information;
Each time the image sensor captures an image, the first image acquired in the step of acquiring the first image and the second image each time the distance information is calculated in the step of calculating the distance information. Storing the second image acquired in the step of acquiring in a storage unit;
Detecting and storing a change in position by comparing the first image stored in the storing step with the first image newly acquired in the step of acquiring the first image;
Detecting a change in the first position that estimates the detection accuracy based on the change in the position detected so far that has already been stored;
Detecting and storing a change in position by comparing the second image stored in the storing step with the second image newly acquired in the step of acquiring the second image;
Detecting a second position change that estimates detection accuracy based on a previously detected position change that has already been stored;
The change in the first position based on a comparison result obtained by comparing the detection accuracy estimated in the step of detecting the change in the first position with the detection accuracy estimated in the step of detecting the change in the second position. Determining one of a change in position detected by the step of detecting a change in position detected by the step of detecting a change in the second position and a change in position of the subject,
Moving a follow-up area for performing specific control, which is set to track the subject when determining a change in the position of the subject;
An object tracking method for an imaging apparatus, comprising: コンピュータに、
撮像素子に被写体を繰り返し撮像させるとともに前記被写体に照射されたパルス光が反射した光を受光させる手順、
前記撮像素子が受光した反射光から画素毎に前記被写体までの距離情報を演算する手順、
前記撮像素子が撮像を行う毎に取りこまれた画像から、視覚で得られる前記被写体の視覚情報を含めて前記被写体の形状を表した第１の画像を取得する手順、
前記距離情報を演算する手順により取得された距離情報から、当該撮像素子から前記被写体までの距離情報を含めて前記被写体の形状を表した第２の画像を取得する手順、
前記撮像素子が撮像を行う毎に、前記第１の画像を取得する手順で取得した前記第１の画像と、前記距離情報を演算する手順で距離情報を演算する毎に、前記第２の画像を取得する手順で取得した前記第２の画像とを記憶部に記憶する手順、
前記記憶する手順で記憶された前記第１の画像と前記第１の画像を取得する手順で新たに取得した前記第１の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第１の位置の変化を検出する手順、
前記記憶する手順で記憶された前記第２の画像と前記第２の画像を取得する手順で新たに取得した前記第２の画像とを比較して位置の変化を検出するとともに記憶し、既に記憶されている今までに検出した位置の変化に基づいて検出精度を推定する第２の位置の変化を検出する手順、
前記第１の位置の変化を検出する手順により推定された検出精度と前記第２の位置の変化を検出する手順により推定された検出精度を比較した比較結果に基づいて前記第１の位置の変化を検出する手順により検出された位置の変化と前記第２の位置の変化を検出する手順により検出された位置の変化のいずれか一方を前記被写体の位置の変化として決定する手順、
前記被写体の位置の変化を決定したとき、前記被写体を追尾するように設定された、特定の制御を行うための追従領域を移動させる手順、
を実行させることを特徴とするプログラム。 On the computer,
A procedure for causing the imaging device to repeatedly image the subject and receiving the light reflected by the pulsed light applied to the subject;
A procedure for calculating distance information from the reflected light received by the image sensor to the subject for each pixel;
A procedure for acquiring a first image representing the shape of the subject including visual information of the subject obtained visually from an image captured each time the image sensor performs imaging,
A procedure for obtaining a second image representing the shape of the subject including distance information from the imaging element to the subject from the distance information obtained by the procedure for calculating the distance information;
Each time the imaging device captures an image, the second image is calculated each time the first image acquired in the procedure for acquiring the first image and the distance information is calculated in the procedure for calculating the distance information. A procedure for storing the second image acquired in the procedure for acquiring in a storage unit;
The first image stored in the storing procedure is compared with the first image newly acquired in the procedure for acquiring the first image to detect and store a change in position, and already stored A procedure for detecting a first position change for estimating detection accuracy based on a position change detected so far;
A change in position is detected by comparing the second image stored in the storing procedure with the second image newly acquired in the procedure of acquiring the second image, and is already stored. A procedure for detecting a second position change for estimating a detection accuracy based on a position change detected so far;
The change in the first position based on the comparison result obtained by comparing the detection accuracy estimated by the procedure for detecting the change in the first position and the detection accuracy estimated by the procedure for detecting the change in the second position. Determining a change in position of the subject as one of a change in position detected by the procedure for detecting a change in position detected by the procedure for detecting a change in the second position and a change in position detected by the procedure for detecting the second position;
A procedure for moving a tracking area for performing specific control, which is set to track the subject when the change in the position of the subject is determined;
A program characterized by having executed.
JP2007027134A 2007-02-06 2007-02-06 IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM Expired - Fee Related JP5092434B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007027134A JP5092434B2 (en) 2007-02-06 2007-02-06 IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007027134A JP5092434B2 (en) 2007-02-06 2007-02-06 IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM

Publications (3)

Publication Number Publication Date
JP2008193514A JP2008193514A (en) 2008-08-21
JP2008193514A5 JP2008193514A5 (en) 2010-03-18
JP5092434B2 true JP5092434B2 (en) 2012-12-05

Family

ID=39753153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007027134A Expired - Fee Related JP5092434B2 (en) 2007-02-06 2007-02-06 IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP5092434B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5219697B2 (en) * 2008-08-25 2013-06-26 キヤノン株式会社 Image processing apparatus, imaging apparatus, control method for image processing apparatus, and program
JP5482148B2 (en) 2009-11-26 2014-04-23 富士通セミコンダクター株式会社 Autofocus adjustment circuit and imaging apparatus
JP2013186293A (en) * 2012-03-08 2013-09-19 Seiko Epson Corp Image generation device and image display method
JP6989819B2 (en) * 2017-08-10 2022-01-12 富士通株式会社 Data correction device, data correction method, and data correction program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01245777A (en) * 1988-03-28 1989-09-29 Matsushita Electric Ind Co Ltd Tracking device for mobile body
JP4259418B2 (en) * 2004-07-30 2009-04-30 パナソニック電工株式会社 Image processing device

Also Published As

Publication number Publication date
JP2008193514A (en) 2008-08-21

Similar Documents

Publication Publication Date Title
US8988595B2 (en) Focus detection apparatus, image pickup apparatus, image pickup system, focus detection method, and non-transitory computer-readable storage medium
US10306131B2 (en) Focus detection apparatus and control method therefor
US7689113B2 (en) Photographing apparatus and method
US9277110B2 (en) Tracking device and tracking method for prohibiting a tracking operation when a tracked subject is obstructed
US10163222B2 (en) Image capturing apparatus, tracking device, control method, and storage medium
US10230903B2 (en) Image pickup apparatus having image sensor capable of outputting parallax image signal, control method therefor, and storage medium storing control program therefor
CN101213832A (en) Focus control method and unit
KR20150074641A (en) Auto focus adjusting method and auto focus adjusting apparatus
CN106257914A (en) Focus detection device and focus detecting method
JP2008177738A (en) Imaging device and imaging element
US9008497B2 (en) Image pickup apparatus and control method therefor
US20040100573A1 (en) Focusing apparatus and camera including the same
JP5092434B2 (en) IMAGING DEVICE, SUBJECT FOLLOWING METHOD, AND PROGRAM
US20070140677A1 (en) Automatic focusing methods and image capture devices utilizing the same
JP2010074243A (en) Solid-state imaging apparatus, image device
CN102595050A (en) Imaging device
JP6076106B2 (en) Imaging apparatus and imaging method
JP6045231B2 (en) FOCUS ADJUSTMENT DEVICE, IMAGING DEVICE, AND IMAGING DEVICE CONTROL METHOD
JP6320154B2 (en) Imaging device and driving method of imaging device
JP4548045B2 (en) Automatic focus adjustment device
JP4838652B2 (en) Imaging device
JP2009042555A (en) Electronic camera
JP5354879B2 (en) camera
JP2017138434A (en) Imaging device
JP2010224568A (en) Automatic focusing device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120903

R150 Certificate of patent or registration of utility model

Ref document number: 5092434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees