JP6336337B2 - Imaging apparatus, control method therefor, program, and storage medium - Google Patents

Imaging apparatus, control method therefor, program, and storage medium Download PDF

Info

Publication number
JP6336337B2
JP6336337B2 JP2014123809A JP2014123809A JP6336337B2 JP 6336337 B2 JP6336337 B2 JP 6336337B2 JP 2014123809 A JP2014123809 A JP 2014123809A JP 2014123809 A JP2014123809 A JP 2014123809A JP 6336337 B2 JP6336337 B2 JP 6336337B2
Authority
JP
Japan
Prior art keywords
image information
infrared light
imaging apparatus
light region
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014123809A
Other languages
Japanese (ja)
Other versions
JP2016004134A (en
JP2016004134A5 (en
Inventor
陽介 峰
陽介 峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014123809A priority Critical patent/JP6336337B2/en
Priority to US14/739,904 priority patent/US10063795B2/en
Publication of JP2016004134A publication Critical patent/JP2016004134A/en
Publication of JP2016004134A5 publication Critical patent/JP2016004134A5/ja
Application granted granted Critical
Publication of JP6336337B2 publication Critical patent/JP6336337B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置及びその制御方法に関する。   The present invention relates to an imaging apparatus and a control method thereof.

人間が知覚できる光は、一般に約400nmから約680nmの範囲(以下可視光域)内の光である。従来、デジタルカメラやデジタルビデオカメラのような撮像装置では、上記範囲内の光のみを取り込むため、撮像用イメージセンサの前に400nm以下の紫外光域の除去フィルタや、680nm以上の赤外光域の除去フィルタ等を配置している。   The light that can be perceived by human beings is generally in the range of about 400 nm to about 680 nm (hereinafter, visible light region). Conventionally, in an imaging apparatus such as a digital camera or a digital video camera, in order to capture only light within the above range, an ultraviolet light removal filter of 400 nm or less or an infrared light range of 680 nm or more is provided in front of the image sensor for imaging. The removal filter etc. are arranged.

ところが一方で、撮像装置で光源の種類によるピントずれを抑制するために、赤外光を検知することが望まれている。例えば、特許文献1では、可視光域と赤外光域を検知する波長成分検出センサを配置し、2つの出力差に応じて焦点検出センサにより検知されたデフォーカス量を補正している。   On the other hand, it is desired to detect infrared light in order to suppress the focus shift due to the type of light source in the imaging apparatus. For example, in Patent Document 1, a wavelength component detection sensor that detects a visible light region and an infrared light region is arranged, and the defocus amount detected by the focus detection sensor is corrected according to two output differences.

特開2006−98771号公報JP 2006-98771 A

しかしながら、特許文献1に開示されたセンサを一眼レフカメラの測光センサとして用いようとすると、以下のような問題が生じる。   However, when the sensor disclosed in Patent Document 1 is used as a photometric sensor of a single-lens reflex camera, the following problems arise.

特許文献1に開示された技術では、赤外光域に感度を持たせたセンサを用いている。そのため、このセンサで撮影用センサの露光量決定演算を行うと、センサ間の赤外光域の感度差によって測光結果にずれが生じる。   In the technique disclosed in Patent Document 1, a sensor having sensitivity in an infrared light region is used. For this reason, when the exposure amount determination calculation of the imaging sensor is performed with this sensor, the photometric result is shifted due to the sensitivity difference in the infrared light region between the sensors.

本発明は上述した課題に鑑みてなされたものであり、その目的は、赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを用いた処理を良好に行うことができる撮像装置を提供することである。   The present invention has been made in view of the above-described problems, and an object of the present invention is to perform imaging using a photometric sensor having a plurality of pixels having sensitivity in the infrared light region and the visible light region. Is to provide a device.

本発明に係わる撮像装置は、赤外光域及び可視光域に感度を有する複数の画素を有する測光センサと、前記測光センサを複数の画素群に分け、該複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得手段と、前記複数の画素群ごとの画像情報から前記赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算手段と、前記取得手段により取得された、前記赤外光域の画像情報と可視光域の画像情報を用いて第1の処理を行う第1の処理手段と、前記減算手段により生成された前記可視光成分を用いて、第2の処理を行う第2の処理手段と、を備えることを特徴とする。   An imaging apparatus according to the present invention includes a photometric sensor having a plurality of pixels having sensitivity in an infrared light region and a visible light region, and the photometric sensor is divided into a plurality of pixel groups, and infrared light is divided into the plurality of pixel groups. Acquisition means for acquiring image information of a region and image information of a visible light region, and generating a visible light component obtained by subtracting an infrared light component based on the image information of the infrared light region from the image information for each of the plurality of pixel groups Generated by the subtracting means, a first processing means for performing a first process using the image information in the infrared light range and the image information in the visible light range obtained by the obtaining means, and the subtracting means. And a second processing means for performing a second process using the visible light component.

本発明によれば、赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを用いた処理を良好に行うことができる撮像装置を提供することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the imaging device which can perform the process using the photometric sensor which has a some pixel which has a sensitivity in an infrared light region and a visible light region favorably.

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention. 一実施形態の撮像装置における撮影処理を説明するフローチャート。6 is a flowchart for describing shooting processing in the imaging apparatus according to the embodiment. 一実施形態の撮像装置における撮影処理を説明するフローチャート。6 is a flowchart for describing shooting processing in the imaging apparatus according to the embodiment. 一実施形態の撮像装置における画素配列を説明するための図。The figure for demonstrating the pixel arrangement | sequence in the imaging device of one Embodiment. 一実施形態の撮像装置における光学特性を説明するための図。FIG. 5 is a diagram for explaining optical characteristics in the imaging apparatus according to the embodiment. 一実施形態の撮像装置における光学特性を説明するための図。FIG. 5 is a diagram for explaining optical characteristics in the imaging apparatus according to the embodiment. 光源の光学特性を説明するための図。The figure for demonstrating the optical characteristic of a light source. 特定色を抽出するときに、基準となる色差平面を簡略化して示した図。The figure which simplified and showed the color difference plane used as a reference | standard when extracting a specific color. 被写体の光学特性を説明するための図。The figure for demonstrating the optical characteristic of a to-be-photographed object. 特定色を抽出するときに、基準となる色差平面を簡略化して示した図。The figure which simplified and showed the color difference plane used as a reference | standard when extracting a specific color. 特定色を抽出するときに、基準となる色差平面を簡略化して示した図。The figure which simplified and showed the color difference plane used as a reference | standard when extracting a specific color. デフォーカス量補正を説明するための図。The figure for demonstrating defocus amount correction | amendment.

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図1は本発明の一実施形態に係わる撮像装置(カメラシステム)の構成を示す図である。図1において、100はカメラ本体を、200はレンズを、300は照明装置(ストロボ)を示している。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a diagram showing a configuration of an imaging apparatus (camera system) according to an embodiment of the present invention. In FIG. 1, reference numeral 100 denotes a camera body, 200 denotes a lens, and 300 denotes an illumination device (strobe).

まず、カメラ本体100とレンズ200の構成について説明する。101はカメラ100の各部を制御するマイクロコンピュータであるCPU(以下、カメラマイコン)である。102は赤外カットフィルタやローパスフィルタ等を含むCCD、CMOSセンサ等の撮影用の撮像素子であり、その撮像面上にレンズ200によって被写体の像が結像される。103はシャッターで、非撮影時には撮像素子102を遮光し、撮影時には開いて撮像素子102へ光線を導く。   First, the configuration of the camera body 100 and the lens 200 will be described. Reference numeral 101 denotes a CPU (hereinafter referred to as a camera microcomputer) which is a microcomputer that controls each unit of the camera 100. Reference numeral 102 denotes an imaging device such as a CCD or CMOS sensor including an infrared cut filter and a low-pass filter. An image of a subject is formed on the imaging surface by the lens 200. Reference numeral 103 denotes a shutter that shields the image sensor 102 when not photographing, and opens when photographing to guide the light beam to the image sensor 102.

104はハーフミラーで非撮影時にレンズ200から入射する光の一部を反射しピント板105に結像させる。106は測光センサで、CCD、CMOSセンサ等の撮像素子を使用することにより光源判定処理、特定色検知処理や測光処理を行う。本実施形態では、測光センサ106としてR(赤),G(緑),B(青),IR(赤外光)画素からなるベイヤー配列のCMOSセンサを用いた場合について図4、図5を用いて後述する。   A half mirror 104 reflects a part of the light incident from the lens 200 when not photographing, and forms an image on the focus plate 105. A photometric sensor 106 performs light source determination processing, specific color detection processing, and photometry processing by using an image sensor such as a CCD or CMOS sensor. In the present embodiment, FIGS. 4 and 5 are used in the case where a Bayer array CMOS sensor composed of R (red), G (green), B (blue), and IR (infrared light) pixels is used as the photometric sensor 106. Will be described later.

また、測光センサ106は、上記のように可視光域と赤外光域に感度を有し、ピント板105で拡散されてペンタプリズム107を通過した光のうち、光軸外の光線の一部が入射する位置に配置されている。107はペンタプリズムで、ピント板105に結像された被写体像を測光センサ106及びアイピース113に導く。108はCPU101に接続されているRAMやROM等のメモリである。   Further, the photometric sensor 106 has sensitivity in the visible light region and the infrared light region as described above, and a part of the light beam outside the optical axis out of the light diffused by the focus plate 105 and passed through the pentaprism 107. Is disposed at a position where the light enters. A pentaprism 107 guides the subject image formed on the focusing plate 105 to the photometric sensor 106 and the eyepiece 113. Reference numeral 108 denotes a memory such as a RAM or a ROM connected to the CPU 101.

109は焦点検出回路である。レンズ200から入射しハーフミラー104を通過した光線の一部がサブミラー110で反射され、焦点検出回路109内の焦点検出センサに導かれて焦点検出が行われる。111は測光センサ106の画像処理・演算用のCPU(以下ICPUと呼ぶ)である。112はICPU111に接続されているRAMやROM等のメモリである。113はユーザーが被写界を確認するためのアイピースである。なお、本実施形態では、測光センサ106専用のCPU111を用意しているが、カメラマイコン101を用いて測光センサ106の制御を行ってもよい。201はレンズ内のCPU(以下LPUと呼ぶ)で、被写体との距離情報等をカメラマイコン101に送る。   Reference numeral 109 denotes a focus detection circuit. A part of the light beam that enters from the lens 200 and passes through the half mirror 104 is reflected by the sub-mirror 110 and guided to the focus detection sensor in the focus detection circuit 109 to perform focus detection. Reference numeral 111 denotes an image processing / calculation CPU (hereinafter referred to as ICPU) of the photometric sensor 106. Reference numeral 112 denotes a memory such as a RAM or a ROM connected to the ICPU 111. Reference numeral 113 denotes an eyepiece for the user to check the object scene. In the present embodiment, the CPU 111 dedicated to the photometric sensor 106 is prepared, but the photometric sensor 106 may be controlled using the camera microcomputer 101. Reference numeral 201 denotes a CPU (hereinafter referred to as LPU) in the lens, which sends distance information to the subject to the camera microcomputer 101.

次に、ストロボ300の構成について説明する。301はストロボ300の各部の動作を制御するマイクロコンピュータSCPU(以下、ストロボマイコンと呼ぶ)である。302は光量制御装置で、電池電圧を昇圧して光源305を点灯させるための昇圧回路や、発光の開始及び停止を制御する電流制御回路等が含まれる。303はフレネルレンズなどのパネル等を備え、ストロボ300の照射角を変更するズーム光学系である。304は反射傘であり、光源の発光光束を集光し被写体に照射する。305はキセノン管や白色LEDなどの光源である。   Next, the configuration of the strobe 300 will be described. Reference numeral 301 denotes a microcomputer SCPU (hereinafter referred to as a strobe microcomputer) that controls the operation of each unit of the strobe 300. A light amount control device 302 includes a booster circuit for boosting the battery voltage to light the light source 305, a current control circuit for controlling start and stop of light emission, and the like. A zoom optical system 303 includes a panel such as a Fresnel lens and changes the irradiation angle of the strobe 300. Reference numeral 304 denotes a reflector, which collects the luminous flux of the light source and irradiates the subject. Reference numeral 305 denotes a light source such as a xenon tube or a white LED.

次に、図2〜図3に示すフローチャートを参照して、カメラ本体100の動作について説明する。なお、ここでは、カメラ100の電源がオンされ、撮影スタンバイの状態にあるものとする。   Next, the operation of the camera body 100 will be described with reference to the flowcharts shown in FIGS. Here, it is assumed that the camera 100 is turned on and is in a shooting standby state.

ステップS101でCPU101は、シャッタスイッチの第1ストローク(以下SW1と呼ぶ)がオンされたか否かを判別し、オンならステップS102に処理を進める。ステップS102でICPU111は測光センサ106を駆動させる。なお、測光センサ106の駆動の詳細は図3を参照して後述する。   In step S101, the CPU 101 determines whether or not the first stroke of the shutter switch (hereinafter referred to as SW1) is turned on. If it is on, the process proceeds to step S102. In step S102, the ICPU 111 drives the photometric sensor 106. The details of driving the photometric sensor 106 will be described later with reference to FIG.

ステップS103で、CPU101、もしくはICPU111は、既知の位相差方式のAF(オートフォーカス)処理を行う。AF評価値を算出し、LPU201を介してレンズ200のフォーカスレンズを駆動させ、AF評価値が最大となるフォーカスレンズ位置にフォーカスレンズを移動させる。   In step S103, the CPU 101 or the ICPU 111 performs a known phase difference AF (autofocus) process. The AF evaluation value is calculated, the focus lens of the lens 200 is driven via the LPU 201, and the focus lens is moved to the focus lens position where the AF evaluation value is maximized.

ステップS104でCPU101は、シャッタスイッチの第2ストローク(以下SW2と呼ぶ)がオンされたか否かを判別する。シャッタスイッチSW2がオフなら、CPU101はステップS105でシャッタスイッチSW1の状態を確認し、オンのままならステップS102に、オフになった場合はステップS101に、それぞれ処理を戻す。   In step S104, the CPU 101 determines whether or not the second stroke of the shutter switch (hereinafter referred to as SW2) is turned on. If the shutter switch SW2 is off, the CPU 101 confirms the state of the shutter switch SW1 in step S105. If the shutter switch SW2 remains on, the process returns to step S102. If the shutter switch SW2 is off, the process returns to step S101.

ステップS104でシャッタスイッチSW2がオンであれば、CPU101はステップS106で、ステップS102の測光センサ処理で得られた露出制御値に基づいて本撮像処理を実行する。   If the shutter switch SW2 is on in step S104, the CPU 101 executes main imaging processing in step S106 based on the exposure control value obtained in the photometric sensor processing in step S102.

図3は、図2のステップS102における測光センサ処理の詳細を示すフローチャートである。ステップS201でICPU111は、測光センサの蓄積時間(Tv)を決定し、測光用蓄積処理を行う。ステップS202でICPU111は、撮像画像を複数のエリア(画素群)に分割し、エリア毎にR,G,B,IRの平均値(画像情報)を算出する(取得する)。なお、エリアの大きさは任意の大きさであり、平均値を算出せずに次のステップS203へ推移してもよい。   FIG. 3 is a flowchart showing details of the photometric sensor process in step S102 of FIG. In step S201, the ICPU 111 determines a photometric sensor accumulation time (Tv) and performs photometric accumulation processing. In step S202, the ICPU 111 divides the captured image into a plurality of areas (pixel groups), and calculates (acquires) an average value (image information) of R, G, B, and IR for each area. The size of the area is an arbitrary size, and the process may proceed to the next step S203 without calculating the average value.

ステップS203でICPU111は、ステップS202で算出したエリア毎のR,G,B,IRの平均値に対して、既知のデフォーカス量補正処理を行う。デフォーカス量補正処理は、可視光域と赤外光域の出力差Pに応じて、オートフォーカスのピントずれを抑制する処理である。上記の出力差Pは、例えば以下の式によって算出される。   In step S203, the ICPU 111 performs a known defocus amount correction process on the average values of R, G, B, and IR for each area calculated in step S202. The defocus amount correction process is a process for suppressing autofocus defocusing according to the output difference P between the visible light region and the infrared light region. The output difference P is calculated by the following equation, for example.

P=(a1×R+b1×G+c1×B+d1×IR)/(a2×R+b2×G+c2×B+d2×IR) …(式1)
ここで、a1=1、b1=4、c1=1、d1=−10、a2=1、b2=1、c2=1、d2=1である。なお、デフォーカス量補正処理の詳細は図4から図7を参照して後述する。
P = (a1 * R + b1 * G + c1 * B + d1 * IR) / (a2 * R + b2 * G + c2 * B + d2 * IR) (Formula 1)
Here, a1 = 1, b1 = 4, c1 = 1, d1 = −10, a2 = 1, b2 = 1, c2 = 1, d2 = 1. Details of the defocus amount correction processing will be described later with reference to FIGS.

ステップS204でICPU111は、ステップS202で算出したエリア毎のR,G,B,IRの平均値に対して、以下の式により赤外光減算処理(赤外光成分の減算処理)を行う。   In step S204, the ICPU 111 performs infrared light subtraction processing (infrared light component subtraction processing) on the average values of R, G, B, and IR for each area calculated in step S202 by the following formula.

R’=R−kr×IR …(式2)
G’=G−kg×IR …(式3)
B’=B−kb×IR …(式4)
ここで、kr=1.0,kg=0.3,kb=0.0とする。
R ′ = R−kr × IR (Formula 2)
G ′ = G−kg × IR (Formula 3)
B ′ = B−kb × IR (Formula 4)
Here, kr = 1.0, kg = 0.3, kb = 0.0.

上記演算では、R,G,Bの平均値からIRの平均値にゲインをかけたものを減算することで、色毎に赤外光減算処理を施したR’,G’,B’(可視光成分)を算出(生成)している。   In the above calculation, R ′, G ′, B ′ (visible) for which infrared light subtraction processing is performed for each color by subtracting the average value of IR multiplied by the gain from the average value of R, G, B. (Light component) is calculated (generated).

ステップS205でICPU111は、既知の光源判定処理を行う。光源判定処理結果をオートホワイトバランス処理等の画像処理に利用する。ステップS206でICPU111は、R’,G’,B’を用いて既知の特徴領域検出処理を行う。特徴領域検出処理とは、撮像画面内で人物の顔領域や特定色領域などの所定の条件を満たす特徴領域を検出する処理である。この特徴領域検出処理の結果もAF処理や測光処理などに用いられ、特徴領域に対して好適なAF処理や測光処理を行うことができる。   In step S205, the ICPU 111 performs a known light source determination process. The light source determination processing result is used for image processing such as auto white balance processing. In step S206, the ICPU 111 performs a known feature region detection process using R ′, G ′, and B ′. The feature area detection process is a process for detecting a feature area that satisfies a predetermined condition such as a human face area or a specific color area in an imaging screen. The result of the feature area detection processing is also used for AF processing, photometry processing, and the like, and suitable AF processing and photometry processing can be performed on the feature region.

ステップS207でICPU111は、ステップS202で算出したエリア毎のR,G,B、もしくはS204で算出したエリア毎のR’,G’,B’の積分値を任意の割合で加算した測光出力値Yを算出する。Yは例えば以下の式によって求められる。ここで、R,G,Bの積分値をそれぞれR_int,G_int,B_intとして、R’,G’,B’の積分値をそれぞれR’_int,G’_int,B’_intとする。   In step S207, the ICPU 111 calculates R, G, B for each area calculated in step S202, or the photometric output value Y obtained by adding the integrated values of R ′, G ′, B ′ for each area calculated in step S204 at an arbitrary ratio. Is calculated. Y is calculated | required by the following formula | equation, for example. Here, the integrated values of R, G, and B are R_int, G_int, and B_int, respectively, and the integrated values of R ′, G ′, and B ′ are R′_int, G′_int, and B′_int, respectively.

Y=Ra×R_int+Ga×G_int+Ba×B_int …(式5)
Y=Ra×R’_int+Ga×G’_int+Ba×B’_int …(式6)
R画素、G画素、B画素の混合比Ra,Ga,Baに適当な値を入れることでエリア毎の輝度値Yが求められる。例えばRa=0.299、Ga=0.587、Ba=0.114とする。なお、測光演算処理の詳細は図4から図7を参照して後述する。
Y = Ra * R_int + Ga * G_int + Ba * B_int (Formula 5)
Y = Ra × R′_int + Ga × G′_int + Ba × B′_int (Formula 6)
The luminance value Y for each area can be obtained by entering appropriate values for the mixing ratios Ra, Ga, Ba of the R pixel, G pixel, and B pixel. For example, Ra = 0.299, Ga = 0.487, and Ba = 0.114. Details of the photometric calculation process will be described later with reference to FIGS.

エリア毎の測光出力値Yと後述する露出制御値用重み付け係数kとの加重平均値Ywを以下の式より算出する。   A weighted average value Yw of a photometric output value Y for each area and a weighting coefficient for exposure control value k described later is calculated from the following equation.

Yw=ΣYij×kij …(式7)
Yij、kijは、それぞれエリア毎の測光出力値Yと露出制御値用重み付け係数kを示している。iは横方向、jは縦方向のエリアの番号で、エリアの分割数に応じて合計する数が変わる。
Yw = ΣYij × kij (Expression 7)
Yij and kij indicate the photometric output value Y and the exposure control value weighting coefficient k for each area. i is the number of the area in the horizontal direction and j is the number of the area in the vertical direction, and the total number varies depending on the number of divided areas.

そしてICPU111は、加重平均値Yw、蓄積時間などから得られる被写体輝度に基づいて、本撮影時の露出制御値(シャッタ速度、絞り値、感度など)を算出する。なお、露出制御値(露光量)の決定方法は本実施形態とは直接関係がなく、また任意の方法を採用しうるためその詳細説明は省略する。   The ICPU 111 calculates an exposure control value (shutter speed, aperture value, sensitivity, etc.) at the time of actual photographing based on the subject luminance obtained from the weighted average value Yw, the accumulation time, and the like. Note that the method for determining the exposure control value (exposure amount) is not directly related to the present embodiment, and an arbitrary method can be adopted, and the detailed description thereof is omitted.

また、露出制御用重み付け係数kは、カメラ100の撮像モード、測光モードや撮影シーンなどに応じて各測光エリアの測光出力値の重み付けを変えるための係数である。例えば、測光モードが中央重点測光モードであれば、画像の中央付近の測光エリアに対する重み付け係数を画像の周辺付近に対する重み付け係数よりも大きくする。また、特徴領域検出機能を有する場合、特徴領域検出機能を用いる撮像モードでは特徴領域に対応する測光エリアに対する重み付け係数を他の測光エリアに対する重み付け係数よりも大きくする。   The exposure control weighting coefficient k is a coefficient for changing the weighting of the photometric output value of each photometric area in accordance with the imaging mode, photometric mode, shooting scene, etc. of the camera 100. For example, if the photometry mode is the center-weighted photometry mode, the weighting coefficient for the photometry area near the center of the image is set larger than the weighting coefficient for the vicinity of the periphery of the image. In the case of having a feature area detection function, in the imaging mode using the feature area detection function, the weighting coefficient for the photometry area corresponding to the feature area is set larger than the weighting coefficients for the other photometry areas.

また、被写界の状況に応じてどのような撮影シーンかを自動判別するシーン判別機能を有する場合、判別されたシーンに最適な重み付け係数をそれぞれの測光エリアに対して設定する。露出制御用重み付け係数kは本実施形態とは直接関係がないため、これ以上の詳細説明は省略する。   In addition, when the camera has a scene discrimination function for automatically discriminating what kind of shooting scene is in accordance with the situation of the object scene, an optimum weighting coefficient for the discriminated scene is set for each photometric area. Since the exposure control weighting coefficient k is not directly related to the present embodiment, further detailed description thereof is omitted.

次に、図4の測光センサ106の画素配列を示した図、図5のカラーフィルタの光学特性を示した図、図6の撮影用の撮像素子102の分光特性を示した図、図7の光源の分光特性を示した図を用いてデフォーカス量補正、光源判定、特徴色検出、測光演算処理について説明する。   Next, FIG. 4 is a diagram showing the pixel arrangement of the photometric sensor 106, FIG. 5 is a diagram showing the optical characteristics of the color filter, FIG. 6 is a diagram showing the spectral characteristics of the image sensor 102 for photographing, and FIG. Defocus amount correction, light source determination, characteristic color detection, and photometric calculation processing will be described with reference to a diagram showing spectral characteristics of a light source.

本実施形態では、図4のようにR(赤),G(緑),B(青),IR(赤外光)の画素がM×N個(縦M画素、横N画素)ベイヤー状に並んだCMOSセンサを使用した例について説明する。   In this embodiment, as shown in FIG. 4, R (red), G (green), B (blue), and IR (infrared light) pixels are M × N (vertical M pixels, horizontal N pixels) Bayer shape. An example in which side-by-side CMOS sensors are used will be described.

図5(a)は測光センサ106のR,G,B,IR画素の分光特性を示している。図5(b)は図5(a)の出力に対して、赤外光減算処理を施したR’,G’,B’の分光特性を示す。図6は撮影用の撮像素子102の分光特性を示している。なお、赤外カットフィルタは680nmの例である。図5(b)、図6から、2つのセンサの分光特性の赤外光域の差を抑制できていることが確認できる。   FIG. 5A shows the spectral characteristics of the R, G, B, and IR pixels of the photometric sensor 106. FIG. 5B shows spectral characteristics of R ′, G ′, and B ′ obtained by performing infrared light subtraction processing on the output of FIG. FIG. 6 shows the spectral characteristics of the imaging element 102 for photographing. The infrared cut filter is an example of 680 nm. From FIG. 5B and FIG. 6, it can be confirmed that the difference in the infrared light region between the spectral characteristics of the two sensors can be suppressed.

しかし、赤外光減算処理(式2)〜(式4)の演算では、乗算、差分演算による演算誤差が発生することがある。一般的に、演算量削減や回路規模削減のため、整数型を用いて演算を行う。kr、kg、kbの少数第1位を表すためには、kr、kg、kbを10倍した値を乗算した後、10で除算することで表現される。ステップS202で算出した色毎の平均値がR=100、G=200、B=50、IR=40のとき、ステップS204での赤外光減算処理結果は(式2)〜(式4)よりR’=60、G’=188、B’=46となる。ステップS202で算出した色毎の平均値が上記値の10%のR=10、G=20、B=5、IR=4のとき、ステップS204での赤外光減算処理結果は(式2)〜(式4)よりR’=6、G’=19、B’=5となる。   However, in the calculation of the infrared light subtraction processing (Equation 2) to (Equation 4), calculation errors due to multiplication and difference calculation may occur. In general, computation is performed using an integer type in order to reduce the amount of computation and the circuit scale. In order to represent the first decimal place of kr, kg, kb, it is expressed by multiplying kr, kg, kb by 10 and then dividing by 10. When the average value for each color calculated in step S202 is R = 100, G = 200, B = 50, and IR = 40, the infrared light subtraction processing results in step S204 are obtained from (Expression 2) to (Expression 4). R ′ = 60, G ′ = 188, and B ′ = 46. When the average value for each color calculated in step S202 is 10% of the above values, R = 10, G = 20, B = 5, IR = 4, the result of the infrared light subtraction process in step S204 is (Expression 2). From (Expression 4), R ′ = 6, G ′ = 19, and B ′ = 5.

上記のように、色毎の平均値R,G,Bの比率が同じであっても、演算後のR’,G’,B’の比率が変わることがある。上記比率の変化はR,G,Bが小さい場合に発生し、演算誤差の原因となる。以上より、赤外光減算処理が必要ない処理では、色毎の平均値R,G,Bを用いることが望ましい。   As described above, even if the ratio of the average values R, G, and B for each color is the same, the ratio of R ′, G ′, and B ′ after the calculation may change. The change in the ratio occurs when R, G, and B are small, and causes a calculation error. As described above, it is desirable to use the average values R, G, and B for each color in the process that does not require the infrared light subtraction process.

ステップS203のデフォーカス量補正処理では、可視光域と赤外光域の比率を検知できればよい。そのため、色毎の平均値R,G,Bを用いて(式1)より出力差Pを算出する。ステップS205の光源判定処理とステップS206の特徴領域検出処理では、図7(a)のように赤外光域の光が少ないLEDなどの人工光源下と、図7(b)のような赤外光域を多く含む太陽光下(晴天時)での色相ずれを抑制するため、ステップS204で赤外光減算処理を行ったR’,G’,B’を用いて処理を行う。   In the defocus amount correction process in step S203, it is only necessary to detect the ratio between the visible light region and the infrared light region. Therefore, the output difference P is calculated from (Equation 1) using the average values R, G, and B for each color. In the light source determination processing in step S205 and the feature region detection processing in step S206, an artificial light source such as an LED with little light in the infrared light region as shown in FIG. 7A and an infrared light as shown in FIG. In order to suppress a hue shift under sunlight including a lot of light areas (at the time of fine weather), processing is performed using R ′, G ′, and B ′ that have been subjected to infrared light subtraction processing in step S204.

ステップS207の測光演算処理では、測光センサ106と撮影用の撮像素子102の分光感度差を抑制するため、ステップS204で赤外光減算処理を行ったR’,G’,B’を用いて(式6)より測光出力値Yを算出する。   In the photometric calculation process in step S207, R ′, G ′, and B ′ subjected to the infrared light subtraction process in step S204 are used in order to suppress the spectral sensitivity difference between the photometric sensor 106 and the imaging element 102 for photographing ( The photometric output value Y is calculated from Equation 6).

しかし、ステップS202で算出した色毎の平均値R,G,Bの値が小さいときには、上述した演算誤差が発生する。そのため、色毎の平均値R,G,Bを用いて(式5)より測光出力値Yを算出してもよい。このとき、測光センサ106と撮影用の撮像素子102の分光感度差だけ測光演算結果にずれが生じるが、上述した演算誤差は抑制できる。   However, when the average values R, G, and B for each color calculated in step S202 are small, the calculation error described above occurs. Therefore, the photometric output value Y may be calculated from (Equation 5) using the average values R, G, and B for each color. At this time, a shift occurs in the photometric calculation result by the difference in spectral sensitivity between the photometric sensor 106 and the imaging element 102 for photographing, but the above-described calculation error can be suppressed.

また、ステップS202で算出した色毎の平均値R,G,Bの出力に応じて、測光出力値Yを算出する式を切り替えてもよい。例えば、色毎の平均値R,G,Bがある閾値よりも大きい場合には(式6)、小さい場合には(式5)を演算に用いる。   Further, the equation for calculating the photometric output value Y may be switched according to the output of the average values R, G, and B for each color calculated in step S202. For example, when the average values R, G, and B for each color are larger than a certain threshold (Equation 6), when it is smaller, (Equation 5) is used for the calculation.

次に、図8から図11を用いて赤外光減算処理を用いた特定色検知処理について説明する。   Next, the specific color detection process using the infrared light subtraction process will be described with reference to FIGS.

特定色の抽出では、まず撮影環境における光源判定処理を行い、オートホワイトバランス制御を行う。これは、画面内の画像から得られる輝度情報や色情報により光源の色温度を推定し、白い被写体を撮影した時に、各R,G,Bの画素出力が同一のレベルになるように、R,G,Bのゲインを調整する既知の技術である。   In extraction of a specific color, first, light source determination processing in a shooting environment is performed, and auto white balance control is performed. This is because the color temperature of the light source is estimated from the luminance information and color information obtained from the image in the screen, and when a white subject is photographed, the R, G, B pixel outputs are at the same level. , G and B are known techniques for adjusting the gain.

図8は測光センサ106のR,G,B画素出力(分光特性:図4(a))にゲイン調整を行ったものを、縦軸R/G、横軸B/Gの色差平面上に簡略化してグラフとして示したものである。   FIG. 8 is a simplified version of the R, G, B pixel output of the photometric sensor 106 (spectral characteristics: FIG. 4A) on the color difference plane of the vertical axis R / G and the horizontal axis B / G. This is shown as a graph.

ホワイトバランス制御した画像データより、エリア毎に色成分毎の平均値をB/G値とR/G値の色差信号とする。色差信号の二次元平面上(色空間)において、特定色がプロットされる範囲が決まっているため、色空間であらかじめサンプリングした特定色の情報から特定色枠を定め、エリア毎に色空間上で特定色枠内に入るか否かを判定する。   From the image data subjected to white balance control, an average value for each color component is set as a color difference signal of B / G value and R / G value for each area. Since the range in which the specific color is plotted on the two-dimensional plane (color space) of the color difference signal is determined, a specific color frame is determined from information on the specific color sampled in advance in the color space, It is determined whether or not it falls within a specific color frame.

例えば、特定色として肌色を抽出する場合に、肌色は図8に示す色空間において左上(第2象限)の範囲に存在することがわかっているため、左上の範囲に肌検出枠400を設定し、肌色の抽出を行う。   For example, when the skin color is extracted as the specific color, since it is known that the skin color exists in the upper left (second quadrant) range in the color space shown in FIG. 8, the skin detection frame 400 is set in the upper left range. Extract skin color.

図9(a)は肌色の分光特性、図9(b)は赤外線反射材を含む黒色繊維の分光特性を示している。図10は図7(a)のLED光源下と図7(b)の太陽光下(晴天時)の場合に、肌色座標410と赤外線反射材を含む黒色繊維座標420が図8の色差平面でどこにプロットされるかを示している。   FIG. 9A shows the spectral characteristics of skin color, and FIG. 9B shows the spectral characteristics of black fibers including an infrared reflecting material. FIG. 10 shows the skin color coordinates 410 and the black fiber coordinates 420 including the infrared reflecting material in the color difference plane of FIG. 8 under the LED light source of FIG. 7A and the sunlight of FIG. Shows where to plot.

図10(a)のLED光源下(分光特性:図7(a))では赤外光域の光が少ないため、肌色410は肌検出枠400内にプロットされる。赤外線反射材を含む黒色繊維420は無彩色である色差平面中央にプロットされる。   Under the LED light source of FIG. 10A (spectral characteristics: FIG. 7A), the skin color 410 is plotted in the skin detection frame 400 because there is little light in the infrared light region. The black fiber 420 including the infrared reflecting material is plotted at the center of the color difference plane which is an achromatic color.

しかし、図10(b)の太陽光下(晴天時)(分光特性:図7(b))では、LED光源下(分光特性:図7(a))に対して赤外光域の光が大きいため、図10(a)に対して相対的にR/Gが大きくなり、B/Gが小さくなる。つまり、肌色410が肌検出枠400外にプロットされることがある。また、赤外線反射材を含む黒色繊維420が肌検出枠400内にプロットされ、肌色と誤検知することがある。また、他の赤外線を多く反射する物質も、光源によって色差平面でプロットされる位置がずれるため、色の誤検知が発生することがある。   However, in the sunlight of FIG. 10B (at the time of fine weather) (spectral characteristics: FIG. 7B), the light in the infrared region is lower than that of the LED light source (spectral characteristics: FIG. 7A). Since it is large, R / G is relatively large and B / G is small relative to FIG. That is, the skin color 410 may be plotted outside the skin detection frame 400. Moreover, the black fiber 420 containing an infrared reflective material may be plotted in the skin detection frame 400, and may be erroneously detected as skin color. In addition, other substances that reflect a large amount of infrared rays may be misdetected because the position plotted on the color difference plane is shifted by the light source.

図11は、上述した赤外光減算処理を行ったR’,G’,B’ (分光特性:図5(b))にゲイン調整を行った後の色差平面において、図7(a)のLED光源と図7(b)の太陽光下(晴天時)の場合に肌色410と赤外線反射材を含む黒色繊維420が色空間のどこにプロットされるかを示している。   FIG. 11 shows a color difference plane after gain adjustment is performed on R ′, G ′, B ′ (spectral characteristics: FIG. 5B) subjected to the above-described infrared light subtraction process. 7 shows where the skin color 410 and the black fiber 420 including the infrared reflecting material are plotted in the color space in the case of the LED light source and the sunlight of FIG. 7B (at the time of fine weather).

図11(a)のLED光源下(分光特性:図7(a))、図11(b)の太陽光下(晴天時)(分光特性:図7(b))共に、肌色410は肌検出枠400内にプロットされる。赤外線反射材を含む黒色繊維420は無彩色である色空間の中央にプロットされる。赤外光減算処理により色毎に赤外光域を減算することで、光源の赤外光の有無にかかわらず、色差平面におけるプロット位置のずれを抑制できる。   Skin color 410 is skin detection both under the LED light source of FIG. 11A (spectral characteristics: FIG. 7A) and under sunlight (fine weather) of FIG. 11B (spectral characteristics: FIG. 7B). Plotted in frame 400. The black fiber 420 including the infrared reflecting material is plotted at the center of the color space which is an achromatic color. By subtracting the infrared light region for each color by the infrared light subtraction process, it is possible to suppress the shift of the plot position on the color difference plane regardless of the presence or absence of infrared light from the light source.

次に、図12を用いてデフォーカス量補正処理について説明する。焦点検出回路109では、公知の位相差による焦点検出方法によりデフォーカス量defの演算を行う。ここでは、レンズ200を透過した光束をビームスプリッタで2系統に分割して、分割した各光束の光軸を互いにずらし、2つの結像レンズで焦点検出センサに結像させ、形成された2つの画像間の位相差に基づいてデフォーカス量defを計算する。そして、そのデフォーカス量に応じてレンズ200を駆動し合焦させる。   Next, the defocus amount correction process will be described with reference to FIG. The focus detection circuit 109 calculates the defocus amount def by a known focus detection method using a phase difference. Here, the light beam transmitted through the lens 200 is divided into two systems by a beam splitter, the optical axes of the divided light beams are shifted from each other, and are imaged on a focus detection sensor by two imaging lenses. A defocus amount def is calculated based on the phase difference between images. Then, the lens 200 is driven and focused according to the defocus amount.

図12(a)は焦点検出回路109の分光特性を示している。低輝度下で合焦動作ができない場合に、カメラ側の発光ダイオードから近赤外(700nm程度)の光を被写体に照射するので、図6の撮影用の撮像素子102の分光特性よりも100nm程度長波長領域まで感度を有するようにしている。図12(b)は光の波長に対するレンズ200の色収差による相対的なピント位置の変位を示す図である。   FIG. 12A shows the spectral characteristics of the focus detection circuit 109. When a focusing operation cannot be performed under low brightness, near-infrared (about 700 nm) light is emitted from the light-emitting diode on the camera side to the subject, so that the spectral characteristic of the image pickup device 102 for photographing shown in FIG. It has sensitivity up to the long wavelength region. FIG. 12B is a diagram showing a relative focus position displacement due to chromatic aberration of the lens 200 with respect to the wavelength of light.

被写体を照明する光源が赤外光域成分の少ないLED(分光特性:図7(a))の場合は、可視光域の500nm付近が光源の分光分布の中心であるので、レンズの焦点距離が短くなる方向である。一方、被写体を照明する光源が赤外光域成分を多く有する太陽光下(分光特性:図7(b))の場合は、レンズの焦点距離が伸びる方向である。そのため、同じ位置に被写体があったとしても、結果として撮像面側でピントがずれてしまうと言う問題が生じる。   When the light source for illuminating the subject is an LED (spectral characteristic: FIG. 7A) having a small infrared light component, the vicinity of 500 nm in the visible light region is the center of the spectral distribution of the light source. It is a direction to shorten. On the other hand, when the light source that illuminates the subject is in sunlight (spectral characteristics: FIG. 7B) having many infrared light region components, the focal length of the lens increases. Therefore, even if there is a subject at the same position, there arises a problem that as a result, the image plane is out of focus.

測光センサ106(分光特性:図5(a))では、複数の分光感度を検知することができる。このセンサの出力を(式1)に代入すると、被写体を照明する光源が短波長成分を多く含む程、出力差Pは正の値となる。また、被写体を照明する光源が長波長成分を多く含む程、出力差Pは負の値となる。   The photometric sensor 106 (spectral characteristics: FIG. 5A) can detect a plurality of spectral sensitivities. When the output of this sensor is substituted into (Equation 1), the output difference P becomes a positive value as the light source that illuminates the subject contains more short wavelength components. Further, as the light source that illuminates the subject includes more long wavelength components, the output difference P becomes a negative value.

出力差Pを用いて、デフォーカス量補正値(補正量)を算出する。つまりデフォーカス量をdef、ピント補正係数をkとすると、 最終デフォーカス量を(式8)より算出する。   A defocus amount correction value (correction amount) is calculated using the output difference P. That is, if the defocus amount is def and the focus correction coefficient is k, the final defocus amount is calculated from (Equation 8).

最終デフォーカス量=k×P+def …(式8)
この演算により、ピント方向の変位を補正することが可能となる。
Final defocus amount = k × P + def (Expression 8)
By this calculation, the displacement in the focus direction can be corrected.

なお、デフォーカス量補正値は、出力差Pの値に応じたテーブルデータを作り、このデータを参照して求めてもよい。また、(式1)を算出する場合、赤外光減算処理を行ったR’,G’,B’とIRを用いて演算することも可能であるが、上述したように演算誤差により精度が落ちる。そのため、R,G,B,IRを用いて演算することが望ましい。また、本実施形態では、デフォーカス量補正処理を行ってピント方向の変位を補正しているが、レンズ駆動量など他のピント合わせに係わる制御値(焦点制御値)を補正対象とした焦点制御値補正処理を行ってもよい。   The defocus amount correction value may be obtained by making table data corresponding to the value of the output difference P and referring to this data. In addition, when calculating (Equation 1), it is possible to calculate using R ′, G ′, B ′ and IR that have been subjected to infrared light subtraction processing. drop down. Therefore, it is desirable to calculate using R, G, B, and IR. In this embodiment, the defocus amount correction process is performed to correct the displacement in the focus direction. However, the focus control is performed using a control value (focus control value) related to another focus, such as a lens drive amount, as a correction target. Value correction processing may be performed.

これらの処理によりデフォーカス量補正、光源判定、特徴色検知、測光演算処理などを良好に行うことができる。なお、測光演算処理や顔領域検出処理は、夜景撮影シーンなどのR,G,Bの信号量が小さい場合に赤外光減算処理を行うと、R,G,Bの信号量が小さくなりすぎて測光演算処理や顔領域検出処理が精度よく行えないことがある。そのため、赤外光減算処理を行わずに測光演算処理や顔領域検出処理を行う構成でもよい。   With these processes, defocus amount correction, light source determination, characteristic color detection, photometric calculation processing, and the like can be performed satisfactorily. In the photometric calculation process and the face area detection process, if the R, G, B signal amount is small, such as in a night scene, the infrared light subtraction process causes the R, G, B signal amount to be too small. Therefore, the photometric calculation process and the face area detection process may not be performed accurately. Therefore, a configuration in which photometric calculation processing and face area detection processing are performed without performing infrared light subtraction processing may be employed.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

100:カメラ本体、101:カメラマイコン、102:撮像素子、106:測光センサ、109:焦点検出回路、200:レンズ、300:照明装置(ストロボ) DESCRIPTION OF SYMBOLS 100: Camera main body, 101: Camera microcomputer, 102: Image sensor, 106: Photometric sensor, 109: Focus detection circuit, 200: Lens, 300: Illuminating device (strobe)

Claims (14)

赤外光域及び可視光域に感度を有する複数の画素を有する測光センサと、
前記測光センサを複数の画素群に分け、該複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得手段と、
前記複数の画素群ごとの画像情報から前記赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算手段と、
前記取得手段により取得された、前記赤外光域の画像情報と可視光域の画像情報を用いて第1の処理を行う第1の処理手段と、
前記減算手段により生成された前記可視光成分を用いて、第2の処理を行う第2の処理手段と、
を備えることを特徴とする撮像装置。
A photometric sensor having a plurality of pixels having sensitivity in the infrared light region and the visible light region;
The photometric sensor is divided into a plurality of pixel groups, and acquisition means for acquiring image information in the infrared light region and image information in the visible light region for each of the plurality of pixel groups;
Subtracting means for generating a visible light component obtained by subtracting an infrared light component based on image information in the infrared light region from image information for each of the plurality of pixel groups;
First processing means for performing a first process using the image information in the infrared light range and the image information in the visible light range acquired by the acquisition means;
Second processing means for performing second processing using the visible light component generated by the subtracting means;
An imaging apparatus comprising:
前記取得手段は、前記複数の画素群の画像情報の平均値を算出することを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the acquisition unit calculates an average value of image information of the plurality of pixel groups. 前記減算手段は、前記複数の画素群ごとの画像情報から、前記赤外光域の画像情報に所定のゲインをかけた値を差し引くことにより前記可視光成分を生成することを特徴とする請求項1または2に記載の撮像装置。   The subtracting unit generates the visible light component by subtracting a value obtained by multiplying the image information in the infrared light region by a predetermined gain from the image information for each of the plurality of pixel groups. The imaging apparatus according to 1 or 2. 前記第1の処理手段は、焦点制御値補正処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the first processing unit performs a focus control value correction process. 前記第2の処理手段は、光源判定処理、特定色検知処理のうち、少なくとも一つの処理を行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。   5. The imaging apparatus according to claim 1, wherein the second processing unit performs at least one of a light source determination process and a specific color detection process. 前記焦点制御値補正処理は、レンズを透過した光束を2系統に分割し、分割された各光束により形成される2つの画像間の位相差に基づいて検出したデフォーカス量に対する補正量を算出することを特徴とする請求項4に記載の撮像装置。   The focus control value correction process divides the light beam transmitted through the lens into two systems, and calculates a correction amount for the detected defocus amount based on a phase difference between two images formed by the divided light beams. The imaging apparatus according to claim 4. 赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを備える撮像装置を制御する方法であって、
前記測光センサを複数の画素群に分け、該複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得工程と、
前記複数の画素群ごとの画像情報から前記赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算工程と、
前記取得工程により取得された、前記赤外光域の画像情報と可視光域の画像情報を用いて第1の処理を行う第1の処理工程と、
前記減算工程により生成された前記可視光成分を用いて、第2の処理を行う第2の処理工程と、
を有することを特徴とする撮像装置の制御方法。
A method for controlling an imaging device including a photometric sensor having a plurality of pixels having sensitivity in an infrared light region and a visible light region,
The step of dividing the photometric sensor into a plurality of pixel groups, and acquiring the image information in the infrared light region and the image information in the visible light region for each of the plurality of pixel groups;
A subtracting step for generating a visible light component obtained by subtracting an infrared light component based on the image information in the infrared light region from the image information for each of the plurality of pixel groups;
A first processing step of performing a first processing using the image information in the infrared light region and the image information in the visible light region acquired by the acquisition step;
A second processing step of performing a second processing using the visible light component generated by the subtraction step;
A method for controlling an imaging apparatus, comprising:
前記取得工程では、前記複数の画素群の画像情報の平均値を算出することを特徴とする請求項に記載の撮像装置の制御方法。 The method of controlling an imaging apparatus according to claim 7 , wherein in the obtaining step, an average value of image information of the plurality of pixel groups is calculated. 前記減算工程では、前記複数の画素群ごとの画像情報から、前記赤外光域の画像情報に所定のゲインをかけた値を差し引くことにより前記可視光成分を生成することを特徴とする請求項またはに記載の撮像装置の制御方法。 The subtracting step generates the visible light component by subtracting a value obtained by multiplying the image information in the infrared light region by a predetermined gain from the image information for each of the plurality of pixel groups. The control method of the imaging device according to 7 or 8 . 前記第1の処理工程では、焦点制御値補正処理行うことを特徴とする請求項乃至のいずれか1項に記載の撮像装置の制御方法。 In the first process step, the control method of the imaging apparatus according to any one of claims 7 to 9, characterized in that the focus control value correction processing. 前記第2の処理工程では、光源判定処理、特定色検知処理うち、少なくとも一つの処理を行うことを特徴とする請求項乃至10のいずれか1項に記載の撮像装置の制御方法。 Wherein in the second process step, the light source determination process, among specific color detection process, the control method of the imaging apparatus according to any one of claims 7 to 10, characterized in that at least one process. 前記焦点制御値補正処理は、レンズを透過した光束を2系統に分割し、分割された各光束により形成される2つの画像間の位相差に基づいて検出したデフォーカス量に対する補正量を算出することを特徴とする請求項10に記載の撮像装置の制御方法。 The focus control value correction process divides the light beam transmitted through the lens into two systems, and calculates a correction amount for the detected defocus amount based on a phase difference between two images formed by the divided light beams. The method of controlling an imaging apparatus according to claim 10 . 請求項乃至12のいずれか1項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。 The program for making a computer perform each process of the control method of any one of Claims 7 thru | or 12 . 請求項乃至12のいずれか1項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 Readable storage medium a computer which stores a program for executing the respective steps in a computer controlled method according to any one of claims 7 to 12.
JP2014123809A 2014-06-16 2014-06-16 Imaging apparatus, control method therefor, program, and storage medium Active JP6336337B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014123809A JP6336337B2 (en) 2014-06-16 2014-06-16 Imaging apparatus, control method therefor, program, and storage medium
US14/739,904 US10063795B2 (en) 2014-06-16 2015-06-15 Image capturing apparatus, method for controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014123809A JP6336337B2 (en) 2014-06-16 2014-06-16 Imaging apparatus, control method therefor, program, and storage medium

Publications (3)

Publication Number Publication Date
JP2016004134A JP2016004134A (en) 2016-01-12
JP2016004134A5 JP2016004134A5 (en) 2017-07-20
JP6336337B2 true JP6336337B2 (en) 2018-06-06

Family

ID=55223451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014123809A Active JP6336337B2 (en) 2014-06-16 2014-06-16 Imaging apparatus, control method therefor, program, and storage medium

Country Status (1)

Country Link
JP (1) JP6336337B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7337611B2 (en) 2019-09-06 2023-09-04 株式会社東芝 Gripping device, cargo handling device, and control device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188275B2 (en) 2010-07-30 2015-11-17 Ergotron, Inc. Edge mount positioning apparatus, system, and method
JP7113283B2 (en) 2017-05-26 2022-08-05 パナソニックIpマネジメント株式会社 Imaging device, imaging system, vehicle driving control system, and image processing device
TW202303511A (en) * 2021-01-29 2023-01-16 日商索尼半導體解決方案公司 Image processing device, image processing method, and image processing program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033483A (en) * 2004-07-16 2006-02-02 Aisin Seiki Co Ltd Color imaging apparatus
JP2006065076A (en) * 2004-08-27 2006-03-09 Canon Inc Imaging device, control method for imaging device, control program, and storage medium
JP2007139848A (en) * 2005-11-15 2007-06-07 Canon Inc Focus detector and imaging apparatus
US7821552B2 (en) * 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4420917B2 (en) * 2005-12-27 2010-02-24 三洋電機株式会社 Imaging device
JP5794665B2 (en) * 2011-02-16 2015-10-14 キヤノン株式会社 Imaging device
JP2013121132A (en) * 2011-12-08 2013-06-17 Samsung Yokohama Research Institute Co Ltd Imaging apparatus and imaging method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7337611B2 (en) 2019-09-06 2023-09-04 株式会社東芝 Gripping device, cargo handling device, and control device

Also Published As

Publication number Publication date
JP2016004134A (en) 2016-01-12

Similar Documents

Publication Publication Date Title
US7852381B2 (en) Image signal processor with white balance calculation based upon selected prediction area
US10063795B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
US8294785B2 (en) Method for adjusting photosensitiveness of digital camera
US11418730B2 (en) Use of IR pre-flash for RGB camera's automatic algorithms
US8831414B2 (en) Imaging apparatus, light emitting device, imaging system, and control method
JP6467190B2 (en) EXPOSURE CONTROL DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM
JP6336337B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2009059326A (en) Imaging apparatus
JP2009004895A (en) Imaging apparatus, image processor, and program
US11275289B2 (en) Image pickup apparatus that controls flash emission amount at photographing and control method therefor
US9921454B2 (en) Imaging apparatus capable of generating an image with a weight of a signal corresponding to each type of spectral sensitivity characteristics and method of controlling the apparatus
US20200036877A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
JP5794665B2 (en) Imaging device
US9906705B2 (en) Image pickup apparatus
US8630535B2 (en) Light emission control device and light emission control method
US11115603B2 (en) Image pickup apparatus that reduces time required for light control processing and method of controlling same
JP2016004133A (en) Imaging device and control method of the same, program, and memory medium
JP6660036B2 (en) Focus detection device and imaging device
US10873707B2 (en) Image pickup apparatus and method, for ensuring correct color temperature based on first or second preliminary light emission of a flash device
JP6388391B2 (en) Backlight discrimination device, control method thereof, control program, and imaging device
JP2019053315A (en) Focus adjustment device and imaging device
JP2013040994A (en) Imaging apparatus
JP2015200714A (en) Focus adjustment device and imaging device
JPH09203926A (en) Camera
JP2008096517A (en) Exposure arithmetic operation device, exposure arithmetic operation method and camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180502

R151 Written notification of patent or utility model registration

Ref document number: 6336337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151