JP5681589B2 - Imaging apparatus and image processing method - Google Patents
Imaging apparatus and image processing method Download PDFInfo
- Publication number
- JP5681589B2 JP5681589B2 JP2011179147A JP2011179147A JP5681589B2 JP 5681589 B2 JP5681589 B2 JP 5681589B2 JP 2011179147 A JP2011179147 A JP 2011179147A JP 2011179147 A JP2011179147 A JP 2011179147A JP 5681589 B2 JP5681589 B2 JP 5681589B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- shading correction
- color shading
- amount
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は撮像装置及び画像処理方法に係り、特に色シェーディング補正を行う技術に関する。 The present invention relates to an imaging apparatus and an image processing method, and more particularly to a technique for performing color shading correction.
従来、この種の色シェーディング補正方法としては、撮影されたシーンの色温度を推定し、それに合わせて赤(R)、緑(G)、青(B)の各原色信号のシェーディング補正量を決定し、各原色信号の強度を補正することが多い。 Conventionally, as this type of color shading correction method, the color temperature of a photographed scene is estimated, and the shading correction amount of each primary color signal of red (R), green (G), and blue (B) is determined accordingly. In many cases, the intensity of each primary color signal is corrected.
特許文献1には、撮像された被写体像をシェーディング係数に応じてシェーディング補正するシェーディング補正部と、環境光の色温度を推定する色温度推定部と、推定された色温度に基づいてシェーディング係数を補正するシェーディング係数補正部とを有し、色温度の影響による色の見えの差を補正することにより、高品質な画像を得ることを可能にする画像処理装置が提案されている。また、上記色温度推定部の一部として、環境光を検出する環境光センサが設けられている記載がある。 Patent Document 1 discloses a shading correction unit that performs shading correction on a captured subject image according to a shading coefficient, a color temperature estimation unit that estimates a color temperature of ambient light, and a shading coefficient based on the estimated color temperature. There has been proposed an image processing apparatus that includes a shading coefficient correction unit for correcting, and that can obtain a high-quality image by correcting a difference in color appearance due to the influence of color temperature. In addition, there is a description in which an ambient light sensor that detects ambient light is provided as part of the color temperature estimation unit.
特許文献2には、第1のカラー撮像素子と、被写界の色分布を検出する第2のカラー撮像素子と、第2のカラー撮像素子が検出した色分布に基づき被写界を照明する照明光の種類を判定する判定手段と、前記第1のカラー撮像素子が生成した画像に施すべき色シェーディング補正の補正量を前記判定手段が判定した照明光の種類に応じて設定する設定手段とを備え、色シェーディング補正の効果を高めることができるカラー撮像装置が提案されている。また、特許文献2には、領域ごとにシェーディング補正量を変えることが記載されている。 Patent Document 2 illuminates a scene based on a first color image sensor, a second color image sensor that detects a color distribution of the scene, and a color distribution detected by the second color image sensor. Determining means for determining the type of illumination light; and setting means for setting a correction amount for color shading correction to be applied to an image generated by the first color imaging device according to the type of illumination light determined by the determining means; There has been proposed a color imaging apparatus capable of enhancing the effect of color shading correction. Patent Document 2 describes changing the shading correction amount for each region.
特許文献3には、色シェーディングが目立つシーンを認識した後、色シェーディングが起きている部分に対して彩度を押さえることで、色シェーディングを目立たなくする手法が記載されている。 Japanese Patent Application Laid-Open No. 2004-228561 describes a method for making color shading inconspicuous by recognizing a scene where color shading is conspicuous and then suppressing the saturation of a portion where color shading occurs.
特許文献1に記載の色温度推定部の一部として環境光センサを設ける記載があるが、この環境光センサはカメラではない。即ち、イメージセンサとは別に環境光を検出するために専用に設けられたものであり、そのため部品点数の増加やコストアップになる。 Although there is a description that an ambient light sensor is provided as part of the color temperature estimation unit described in Patent Document 1, the ambient light sensor is not a camera. That is, it is provided exclusively for detecting ambient light separately from the image sensor, which increases the number of parts and increases the cost.
特許文献2に記載の第2のカラー撮像素子には、ハーフミラーで分離された被写体光が入射するため、第2のカラー撮像素子が検出した色分布に基づいて判定される照明光の種類は、撮影シーンと同じシーンから判定することになる。したがって、色温度推定精度が高くない。また、特許文献2に記載のカラー撮像装置は、携帯電話のカメラサイズには収まらない。 Since the subject light separated by the half mirror is incident on the second color image sensor described in Patent Document 2, the type of illumination light determined based on the color distribution detected by the second color image sensor is The determination is made from the same scene as the shooting scene. Therefore, the color temperature estimation accuracy is not high. Further, the color imaging device described in Patent Document 2 does not fit in the camera size of a mobile phone.
ところで、色シェーディングで気になるのは、ホワイトボード、壁など扁平率が高い物体で、中心と周辺で色合いを容易に比較できるものが存在している場合である。また、色シェーディングは、環境光、物体の分光反射特性、撮影レンズ及び撮像素子等に依存するため、上記のような物体領域に生じる色シェーディングを、特許文献1、2に記載の手法により完全に補正することは難しい。 Incidentally, color shading is a concern when there are objects with high flatness such as whiteboards and walls that can be easily compared in color between the center and the periphery. In addition, since color shading depends on ambient light, spectral reflection characteristics of an object, photographing lens, imaging device, and the like, color shading generated in the object region as described above is completely performed by the methods described in Patent Documents 1 and 2. It is difficult to correct.
一方、特許文献3に記載のように、色シェーディングが起きている部分に対して彩度を下げて色シェーディングを目立たなくする手法は、色シェーディング補正とは言えず、また、くすんだ色となる箇所が出てくるという問題がある。 On the other hand, as described in Patent Document 3, a technique for reducing color saturation and making color shading inconspicuous with respect to a portion where color shading occurs is not a color shading correction, and a dull color is obtained. There is a problem that a part comes out.
本発明はこのような事情に鑑みてなされたもので、新たなハードウエアの追加なしに環境光の色温度又は光源種の推定精度を上げることができ、これにより色シェーディング補正を良好に行うことができ、また、色シェーディングが目立たやすい箇所の色シェーディングを確実に補正することができる撮像装置及び画像処理方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and it is possible to improve the estimation accuracy of the color temperature of the ambient light or the type of light source without the addition of new hardware, thereby performing color shading correction satisfactorily. In addition, an object of the present invention is to provide an imaging apparatus and an image processing method capable of reliably correcting color shading in a portion where color shading is easily noticeable.
前記目的を達成するために本発明の一の態様は、第1の撮像部と該第1の撮像部とは反対側に設けられた自分撮り用の第2の撮像部とを有する撮像装置において、前記第1の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第1の推定手段と、前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定手段と、前記第1の推定手段により推定した色温度又は光源種から第1の色シェーディング補正量を決定する第1のシェーディング補正量決定手段と、前記第2の推定手段により推定した色温度又は光源種から第2の色シェーディング補正量を決定する第2のシェーディング補正量決定手段と、前記決定した第1の色シェーディング補正量及び第2の色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、を備えたことを特徴としている。 In order to achieve the above object, one aspect of the present invention is an imaging apparatus having a first imaging unit and a second imaging unit for self-portion provided on the opposite side of the first imaging unit. First estimation means for estimating a color temperature or a light source type of ambient light based on the color image acquired from the first imaging unit; and environmental light based on the color image acquired from the second imaging unit. Second estimation means for estimating a color temperature or a light source type; first shading correction amount determination means for determining a first color shading correction amount from the color temperature or the light source type estimated by the first estimation means; Second shading correction amount determining means for determining a second color shading correction amount from the color temperature or light source type estimated by the second estimating means; the determined first color shading correction amount and second color; Shading Is characterized by comprising a color shading correction means for performing color shading correction for each color pixel of the color image on the acquired color image from the first image-acquisition unit based on the correction amount.
本発明の一の態様によれば、通常の撮影時に使用される第1の撮像部とこの第1の撮像部とは反対側に設けられた自分撮り用の第2の撮像部とを併用し、前記第1の撮像部から取得したカラー画像又は第2の撮像部から取得したカラー画像に基づいて、それぞれ環境光の色温度又は光源種を推定できるようにしている。これにより、環境光の色温度又は光源種の推定精度を上げることができる。自分撮り用の第2の撮像部は、テレビ電話対応機能を有するカメラ付き携帯電話には予め設けられており、本発明では自分撮り用の第2の撮像部を環境光の色温度又は光源種を推定するためのカラー画像の取得手段として使用している。 According to one aspect of the present invention, the first image pickup unit used during normal shooting and the second image pickup unit for self-photographing provided on the opposite side of the first image pickup unit are used in combination. Based on the color image acquired from the first imaging unit or the color image acquired from the second imaging unit, the color temperature or the light source type of ambient light can be estimated, respectively. Thereby, the estimation accuracy of the color temperature of the ambient light or the light source type can be increased. The second image pickup unit for self-portrait is provided in advance in a camera-equipped mobile phone having a videophone-compatible function. In the present invention, the second image pickup unit for self-portrait is replaced with the color temperature or light source type of ambient light. It is used as a means for acquiring a color image for estimating.
ところで、カメラ付き携帯電話で写す場面は、屋内で近くにあるものをローアングルで写すことが多い(自分撮り用の第2の撮像部側に光源がある可能性が高い)。そのため、ローアングル時に上方を向く第2の撮像部を環境光の色温度又は光源種を推定するためのカラー画像の取得手段として使用することが好ましい。 By the way, scenes taken with a camera-equipped mobile phone are often taken indoors at a low angle (there is a high possibility that there is a light source on the side of the second imaging unit for selfies). For this reason, it is preferable to use the second imaging unit facing upward at a low angle as a color image acquisition unit for estimating the color temperature or the light source type of the ambient light.
一方、少し離れた被写体を撮る場合は、逆光にならないように撮ることが多い。その結果、光源は上方か撮影者の背面になることが多い。そのため、背面を写せる第2の撮像部を使用することが望ましい。 On the other hand, when shooting a subject that is a little far away, it is often taken so that it is not backlit. As a result, the light source is often above or behind the photographer. Therefore, it is desirable to use a second imaging unit that can capture the back side.
本発明の他の態様に係る撮像装置において、前記色シェーディング補正手段により前記第1の色シェーディング補正量に基づいて色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析手段を備え、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第2の色シェーディング補正量に基づいて色シェーディング補正を行うようにしている。 In the imaging apparatus according to another aspect of the present invention, a planar object having a certain area or more is extracted from a color image that has been color-shaded corrected based on the first color-shading correction amount by the color-shading correction unit. A color shading amount analyzing unit for detecting a color shading amount in the object, and the color shading correction unit detects the second color shading correction when the color shading amount of a certain value or more is detected by the color shading amount analyzing unit; Color shading correction is performed based on the amount.
色シェーディングは、一定の面積以上の平面物体上で目立ちやすく、また、その平面物体の画面中心側の領域と周辺側の領域との色合いを比較することにより容易に検知することができる。そこで、第1の撮像部から取得したカラー画像に基づく通常の色シェーディング補正を行い、その色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出する。この平面物体上で一定値以上の色シェーディング量が検出された場合には、第1の色シェーディング補正量に基づく色シェーディング補正が十分でないと見なし、第2の撮像部から取得したカラー画像に基づく第2の色シェーディング補正量に基づく色シェーディング補正を行うようにしている。 The color shading is easily noticeable on a planar object having a certain area or more, and can be easily detected by comparing the color of the area on the center side of the screen with the area on the peripheral side. Therefore, normal color shading correction based on the color image acquired from the first imaging unit is performed, and a planar object having a certain area or more is extracted from the color image subjected to the color shading correction. When a color shading amount of a certain value or more is detected on the planar object, it is considered that the color shading correction based on the first color shading correction amount is not sufficient, and based on the color image acquired from the second imaging unit. Color shading correction based on the second color shading correction amount is performed.
本発明の更に他の態様に係る撮像装置において、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第2の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。これにより、色シェーディングが目立ちやすい平面物体の領域における色シェーディングを良好に補正することができる。 In the imaging apparatus according to still another aspect of the present invention, the color shading correction unit detects only the extracted planar object region when the color shading amount analysis unit detects a color shading amount of a certain value or more. Shading correction is performed based on the second color shading correction amount. As a result, it is possible to satisfactorily correct color shading in a planar object region where color shading is conspicuous.
本発明の更に他の態様に係る撮像装置において、前記色シェーディング補正手段により前記第1の色シェーディング補正量に基づいて色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析手段と、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第3の色シェーディング補正量を決定する第3のシェーディング補正量決定手段と、を備え、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第3の色シェーディング補正量に基づいて色シェーディング補正を行うようにしている。これにより、平面物体の領域における色シェーディングを補正するための第3の色シェーディング補正量に基づいて色シェーディング補正を行うことができ、平面物体の領域における色シェーディングを良好に補正することができる。 In the imaging apparatus according to still another aspect of the present invention, a planar object having a certain area or more is extracted from a color image that has been color-shaded corrected based on the first color-shading correction amount by the color-shading correction unit, and color shading amount analyzing means for detecting the color shading amount in a planar object, the color shading of a certain value or more by the color shading amount analyzing means is detected, the third color shading correction Ru reduce the color shading amount A third shading correction amount determining means for determining an amount, wherein the color shading correction means detects the third color shading when a color shading amount of a certain value or more is detected by the color shading amount analyzing means. Color shading correction is performed based on the correction amount. As a result, color shading correction can be performed based on the third color shading correction amount for correcting color shading in the area of the planar object, and color shading in the area of the planar object can be favorably corrected.
本発明の更に他の態様に係る撮像装置において、前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第3の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。 In the imaging apparatus according to still another aspect of the present invention, the color shading correction unit detects only the extracted planar object region when the color shading amount analysis unit detects a color shading amount of a certain value or more. Shading correction is performed based on the third color shading correction amount.
本発明の更に他の態様は、第1の撮像部と該第1の撮像部とは反対側に設けられた自分撮り用の第2の撮像部とを有する撮像装置において、前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定手段と、前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定手段と、前記決定した色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、を備え、前記第2の推定手段は、撮影準備期間中に前記第2の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定することを特徴としている。 According to still another aspect of the present invention, there is provided an imaging apparatus having a first imaging unit and a second imaging unit for self-photographing provided on a side opposite to the first imaging unit. Second estimating means for estimating a color temperature or light source type of ambient light based on a color image acquired from the unit, a shading correction amount determining means for determining a color shading correction amount from the estimated color temperature or light source type, e Bei and a color shading correction means for performing color shading correction for each color pixel of the color image to the color image obtained from the first image pickup unit based on the color shading correction amount with the determined, the second estimation means, especially to estimate the color temperature or light source type of ambient light based on the most high luminance color image among the plurality of color image obtained from the second imaging unit during photographing preparation period It is set to.
本発明の更に他の態様によれば、自分撮り用の第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定し、環境光の色温度又は光源種の推定精度を上げるようにしている。 According to still another aspect of the present invention, the color temperature or light source type of ambient light is estimated based on the color image acquired from the second imaging unit for self-portrait, and the color temperature or light source type of ambient light is estimated. I try to increase the accuracy.
本発明の更に他の態様に係る撮像装置において、前記第2の推定手段は、撮影準備期間中に前記第2の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定するようにしている。撮影準備期間中に自分撮り用の第2の撮像部が上方を向く場合が考えられ、光源が写り込む可能性が高くなる。そこで、複数のカラー画像のうちの最も輝度の高いカラー画像(光源が写り込んでいる可能性が高いカラー画像)に基づいて環境光の色温度又は光源種を推定することにより、環境光の色温度又は光源種の推定精度を上げることができる。 In the imaging apparatus according to still another aspect of the present invention, the second estimation unit is based on a color image having the highest luminance among a plurality of color images acquired from the second imaging unit during a shooting preparation period. Thus, the color temperature of the ambient light or the light source type is estimated. There may be a case where the second image pickup unit for self-portrait faces upward during the shooting preparation period, and the possibility that the light source is reflected becomes high. Therefore, the color of the ambient light is estimated by estimating the color temperature of the ambient light or the type of the light source based on the color image having the highest luminance among the multiple color images (the color image in which the light source is highly likely to be reflected). The estimation accuracy of temperature or light source type can be increased.
本発明の更に他の態様に係る撮像装置において、前記第2の推定手段は、前記第2の撮像部から取得したカラー画像から顔領域を抽出し、該顔領域の画像に基づいて環境光の色温度又は光源種を推定するようにしている。自分撮り用の第2の撮像部から取得したカラー画像には、撮影者の顔が大きく写り込んでいる可能性が高く、また、被写体(顔)の色も特定されているため、その顔領域の画像を使用することにより、環境光の色温度又は光源種を精度よく推定することができる。 In the imaging apparatus according to still another aspect of the present invention, the second estimation unit extracts a face area from the color image acquired from the second imaging unit, and based on the image of the face area, the ambient light The color temperature or the light source type is estimated. The color image acquired from the second imaging unit for self-photographing is likely to have a large photographer's face, and the color of the subject (face) is also specified. By using these images, it is possible to accurately estimate the color temperature of the ambient light or the light source type.
本発明の更に他の態様は、第1の撮像部と該第1の撮像部とは反対側に設けられた自分撮り用の第2の撮像部とを有する撮像装置における画像処理方法であって、前記第1の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第1の推定工程と、前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定工程と、前記第1の推定工程により推定した色温度又は光源種から第1の色シェーディング補正量を決定する第1のシェーディング補正量決定工程と、前記第2の推定工程により推定した色温度又は光源種から第2の色シェーディング補正量を決定する第2のシェーディング補正量決定工程と、前記決定した第1の色シェーディング補正量及び第2の色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、を含むことを特徴としている。 Still another aspect of the present invention is an image processing method in an imaging apparatus having a first imaging unit and a second imaging unit for self-taking provided on the opposite side of the first imaging unit. A first estimation step of estimating a color temperature or a light source type of ambient light based on the color image acquired from the first imaging unit; and an environment light based on the color image acquired from the second imaging unit. A second estimation step for estimating a color temperature or a light source type; a first shading correction amount determination step for determining a first color shading correction amount from the color temperature or the light source type estimated by the first estimation step; A second shading correction amount determining step for determining a second color shading correction amount from the color temperature or light source type estimated in the second estimating step; and the determined first color shading correction amount and second color Shading It is characterized in that it comprises a color shading correction step of performing color shading correction for each color pixel of the color image on the acquired color image from the first image-acquisition unit based on the correction amount.
本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記第1の色シェーディング補正量に基づいて前記カラー画像の色シェーディング補正を行い、前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程を含み、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第2の色シェーディング補正量に基づいて再度色シェーディング補正を行うようにしている。 In the image processing method according to still another aspect of the present invention, the color shading correction step performs color shading correction of the color image based on the first color shading correction amount, and the color image subjected to the color shading correction. A color shading amount analyzing step of extracting a planar object having a certain area or more from the color object and detecting a color shading amount in the planar object, wherein the color shading correction step includes color shading of a certain value or more by the color shading amount analyzing step. Only when the amount is detected, the color shading correction is performed again based on the second color shading correction amount.
本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第2の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。 In the image processing method according to still another aspect of the present invention, the color shading correction step may include only the extracted planar object region when a color shading amount of a certain value or more is detected by the color shading amount analysis step. Shading correction is performed based on the second color shading correction amount.
本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記第1の色シェーディング補正量に基づいて前記カラー画像の色シェーディング補正を行い、前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程と、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第3の色シェーディング補正量を決定する第3のシェーディング補正量決定工程と、を含み、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第3の色シェーディング補正量に基づいて色シェーディング補正を行うようにしている。 In the image processing method according to still another aspect of the present invention, the color shading correction step performs color shading correction of the color image based on the first color shading correction amount, and the color image subjected to the color shading correction. A plane object having a certain area or more is extracted from the color shading amount analyzing step of detecting a color shading amount in the plane object, and when a color shading amount of a certain value or more is detected by the color shading amount analysis step, and a third of the shading correction amount determination step of determining a third color shading correction amount Ru reduce color shading amount, a, the color shading correction process, color shading of a certain value or more by the color shading amount analyzing step Only when the amount is detected, the third color shading compensation. And to perform color shading correction on the basis of the amount.
本発明の更に他の態様に係る画像処理方法において、前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、前記抽出された平面物体の領域のみ前記第3の色シェーディング補正量に基づいてシェーディング補正を行うようにしている。 In the image processing method according to still another aspect of the present invention, the color shading correction step may include only the extracted planar object region when a color shading amount of a certain value or more is detected by the color shading amount analysis step. Shading correction is performed based on the third color shading correction amount.
本発明の更に他の態様は、第1の撮像部と該第1の撮像部とは反対側に設けられた自分撮り用の第2の撮像部とを有する撮像装置における画像処理方法であって、前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定工程と、前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定工程と、前記決定した色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、を含み、前記第2の推定工程は、撮影準備期間中に前記第2の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定することを特徴としている。
Still another aspect of the present invention is an image processing method in an imaging apparatus having a first imaging unit and a second imaging unit for self-taking provided on the opposite side of the first imaging unit. A second estimation step of estimating a color temperature or light source type of ambient light based on a color image acquired from the second imaging unit, and shading for determining a color shading correction amount from the estimated color temperature or light source type A correction amount determining step, and a color shading correction step of performing color shading correction for each color pixel of the color image with respect to the color image acquired from the first imaging unit based on the determined color shading correction amount. unrealized, the second estimating step, said second plurality of most color temperature of high luminance on the basis of the color image the ambient light or the light source of the color image obtained from the imaging unit of during photographing preparation period It is characterized by estimating a.
本発明の更に他の態様に係る画像処理方法において、前記第2の推定工程は、撮影準備期間中に前記第2の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定することが好ましい。 In the image processing method according to still another aspect of the present invention, the second estimation step is performed on the color image having the highest luminance among the plurality of color images acquired from the second imaging unit during the shooting preparation period. It is preferable to estimate the color temperature of the ambient light or the light source type based on it.
本発明の更に他の態様に係る画像処理方法において、前記第2の推定工程は、前記第2の撮像部から取得したカラー画像から顔領域を抽出し、該顔領域の画像に基づいて環境光の色温度又は光源種を推定するようにしている。 In the image processing method according to still another aspect of the present invention, the second estimation step extracts a face area from the color image acquired from the second imaging unit, and the ambient light based on the image of the face area. The color temperature or the light source type is estimated.
本発明によれば、通常撮影時の撮像部(第1の撮像部)の他に、予め装置に設けられている自分撮り用の撮像部(第2の撮像部)から取得したカラー画像に基づいて環境光の色温度又は光源種を推定するようにしたため、新たなハードウエアの追加なしに環境光の色温度又は光源種の推定精度を上げることができ、これにより色シェーディング補正を良好に行うことができる。また、色シェーディングが目立つ一定の面積以上の平面物体を抽出し、この平面物体における色シェーディング量を検出して色シェーディング補正を行うようにしたため、色シェーディングが目立たやすい箇所の色シェーディングを確実に補正することができる。 According to the present invention, based on a color image acquired in advance from a self-portrait imaging unit (second imaging unit) provided in the apparatus in addition to an imaging unit (first imaging unit) during normal shooting. Therefore, it is possible to improve the estimation accuracy of the color temperature or the light source type of the ambient light without adding new hardware, thereby performing the color shading correction well. be able to. In addition, since a planar object with a certain area or more where color shading is conspicuous is extracted and color shading correction is performed by detecting the amount of color shading in this planar object, color shading in areas where color shading is conspicuous is reliably corrected. can do.
以下、添付図面に従って本発明に係る撮像装置及び画像処理方法の実施の形態について説明する。 Embodiments of an imaging apparatus and an image processing method according to the present invention will be described below with reference to the accompanying drawings.
[撮像装置]
図1は本発明に係る撮像装置が適用されたカメラ付き携帯電話の側面図である。
[Imaging device]
FIG. 1 is a side view of a camera-equipped mobile phone to which an imaging apparatus according to the present invention is applied.
このカメラ付き携帯電話には、通常撮影用の撮像部1(第1の撮像部)と、撮像部1とは反対側に設けられた自分撮り用の撮像部2(第2の撮像部)とが設けられている。通常、これらの撮像部1、2は、いずれか一方のみが選択され、撮像部2と同じ側に設けられた表示部30に撮影画像を表示させることができるようになっている。尚、図1上で、Aは、撮像部1で撮影された画像を示し、Bは、撮像部2で撮影された画像を示している。 The camera-equipped mobile phone includes an imaging unit 1 (first imaging unit) for normal photography, and an imaging unit 2 (second imaging unit) for self-photographing provided on the opposite side of the imaging unit 1. Is provided. Normally, only one of these imaging units 1 and 2 is selected, and a captured image can be displayed on the display unit 30 provided on the same side as the imaging unit 2. In FIG. 1, A indicates an image captured by the imaging unit 1, and B indicates an image captured by the imaging unit 2.
図2は上記カメラ付き携帯電話に搭載された撮像装置10の全体構成を示すブロック図である。 FIG. 2 is a block diagram showing the overall configuration of the imaging device 10 mounted on the camera-equipped mobile phone.
同図に示すように撮像装置10は、2つの撮像部1、2を備えている。これらの撮像部1、2は、操作部14での操作によりいずれか一方が選択使用できるようになっている。撮像部1により撮影された画像は、表示部30に表示させることができるとともに、メモリカード等の外部記録部28(又は図示しない内部記録部)に記録することができる。また、撮像部2は、自分撮り用のカメラで、Webカメラとして使用することができる。尚、本発明では、撮像部1を選択使用する場合には、後述するように撮像部2も動作させるようにしている。 As shown in the figure, the imaging apparatus 10 includes two imaging units 1 and 2. One of these imaging units 1 and 2 can be selected and used by an operation on the operation unit 14. An image taken by the imaging unit 1 can be displayed on the display unit 30 and can be recorded in an external recording unit 28 (or an internal recording unit not shown) such as a memory card. The imaging unit 2 is a self-portrait camera and can be used as a Web camera. In the present invention, when the imaging unit 1 is selectively used, the imaging unit 2 is also operated as will be described later.
中央処理装置(CPU12)には、制御バス16を介して撮像部1、2が接続されるとともに、メインメモリ20、画像処理部22、積算部24、圧縮伸張処理部26、外部記録部28、及び表示部30が接続されており、CPU12は、操作部14からの操作入力に基づき所定の制御プログラムに従って撮像装置10全体の動作を統括制御する制御手段として機能する。 The central processing unit (CPU 12) is connected to the imaging units 1 and 2 via the control bus 16, and includes a main memory 20, an image processing unit 22, an integrating unit 24, a compression / decompression processing unit 26, an external recording unit 28, And the display unit 30 are connected, and the CPU 12 functions as a control unit that comprehensively controls the operation of the entire imaging apparatus 10 according to a predetermined control program based on an operation input from the operation unit 14.
また、撮像部1、2、メインメモリ20、画像処理部22、積算部24、圧縮伸張処理部26、外部記録部28、及び表示部30は、それぞれデータバス38を介して接続されている。 The imaging units 1 and 2, the main memory 20, the image processing unit 22, the integration unit 24, the compression / decompression processing unit 26, the external recording unit 28, and the display unit 30 are connected via a data bus 38.
撮像部1、2は、それぞれ撮像モジュールとして構成されており、図3に撮像部1の内部構成を示す。 The imaging units 1 and 2 are each configured as an imaging module, and FIG. 3 shows an internal configuration of the imaging unit 1.
図3に示すように撮像部1は、主として撮影レンズ40、絞り41、IRカットフィルタ42、光学ローパスフィルタ43、撮像素子(CMOS又はCCDイメージセンサ)44、A/D変換器45、レンズ駆動部46、絞り駆動部47、及び撮像素子駆動部48から構成されている。 As shown in FIG. 3, the imaging unit 1 mainly includes a photographing lens 40, a diaphragm 41, an IR cut filter 42, an optical low-pass filter 43, an imaging element (CMOS or CCD image sensor) 44, an A / D converter 45, and a lens driving unit. 46, an aperture drive unit 47, and an image sensor drive unit 48.
撮影レンズ40は、フォーカスレンズを含み、レンズ駆動部46に駆動されて光軸に沿って前後に移動する。CPU12は、レンズ駆動部46の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行う。 The photographing lens 40 includes a focus lens, and is driven by the lens driving unit 46 to move back and forth along the optical axis. The CPU 12 controls the driving of the lens driving unit 46 to control the position of the focus lens and adjust the focus so that the subject is in focus.
絞り41は、例えば、アイリス絞りで構成されており、絞り駆動部47に駆動されて動作する。CPU12は、絞り駆動部47を介して絞り41の開口量(絞り値)を制御し、撮像素子44への入射光量を制御する。 The diaphragm 41 is constituted by, for example, an iris diaphragm, and is driven by the diaphragm driving unit 47 to operate. The CPU 12 controls the aperture amount (aperture value) of the aperture 41 via the aperture drive unit 47 and controls the amount of light incident on the image sensor 44.
撮像素子44は、2次元のカラー撮像素子により構成されている。撮像素子44の受光面には、多数のフォトダイオードが2次元的に配列されており、各フォトダイオードには所定の配列(ベイヤ配列など)でRGBのカラーフィルタが配置されている。撮影レンズ40、絞り、IRカットフィルタ42、及び光学ローパスフィルタ43を介して撮像素子受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU12の指令に従って撮像素子駆動部48から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として撮像素子44から順次読み出される。撮像素子44は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間(シャッタ速度)が制御される。 The image sensor 44 is constituted by a two-dimensional color image sensor. A large number of photodiodes are two-dimensionally arranged on the light receiving surface of the image pickup element 44, and RGB color filters are arranged in a predetermined arrangement (such as a Bayer arrangement) in each photodiode. The optical image of the subject imaged on the light-receiving surface of the image sensor through the photographing lens 40, the diaphragm, the IR cut filter 42, and the optical low-pass filter 43 is converted into a signal charge corresponding to the amount of incident light by the photodiode. . The signal charge accumulated in each photodiode is sequentially read out from the image sensor 44 as a voltage signal (image signal) corresponding to the signal charge based on a drive pulse supplied from the image sensor driver 48 in accordance with a command from the CPU 12. The image sensor 44 has an electronic shutter function, and the exposure time (shutter speed) is controlled by controlling the charge accumulation time in the photodiode.
撮像素子44から読み出された画像信号は、A/D変換器45によりデジタル信号に変換された後、データバス38を介して一旦、メインメモリ20に格納される。 The image signal read from the image sensor 44 is converted into a digital signal by the A / D converter 45 and then temporarily stored in the main memory 20 via the data bus 38.
撮像部2は、撮像部1と同一構成のものを使用してもよいが、一般には撮像部1よりも画素数の小さいカラー撮像素子が使用され、また撮影レンズも焦点調節機能がないものが使用される。これは、撮像部2は自分撮り用に使用されるため、被写体及び撮影距離が固定されているからである。 The image pickup unit 2 may have the same configuration as the image pickup unit 1, but generally a color image pickup device having a smaller number of pixels than the image pickup unit 1 is used, and the photographing lens does not have a focus adjustment function. used. This is because the imaging unit 2 is used for self-portrait, and the subject and the shooting distance are fixed.
CPU12は、撮像部1による撮影が選択されている場合には、撮像部1とともに撮像部2を同時に駆動させる。 When imaging by the imaging unit 1 is selected, the CPU 12 drives the imaging unit 2 together with the imaging unit 1 at the same time.
操作部14は、シャッタボタン、十字ボタン、決定キー、テンキー等の公知の操作入力手段を含んでいる。シャッタボタンは、いわゆる「半押し」と「全押し」とからなる2段ストローク式のスイッチで構成されている。撮影モード時には、シャッタボタンが半押しされると、撮影準備処理(即ち、AE(Automatic Exposure:自動露出)、AF(Auto Focus:自動焦点合わせ)、AWB(Automatic White Balance:自動ホワイトバランス))が行われ、シャッタボタンが全押しされると、画像の撮影・記録処理が行われる。 The operation unit 14 includes known operation input means such as a shutter button, a cross button, a determination key, and a numeric keypad. The shutter button is composed of a two-stage stroke type switch composed of so-called “half press” and “full press”. When the shutter button is pressed halfway in the shooting mode, shooting preparation processing (that is, AE (Automatic Exposure), AF (Auto Focus), AWB (Automatic White Balance)) is performed. When the shutter button is fully pressed, image capturing / recording processing is performed.
メインメモリ20は、CPU12によるプログラムの実行時におけるワークエリアとして、また、撮像部1、2により撮像され取得されたデジタル画像信号を一時保持する記憶手段として使用される。 The main memory 20 is used as a work area when the CPU 12 executes a program, and as a storage unit that temporarily stores digital image signals captured and acquired by the imaging units 1 and 2.
画像処理部22は、色シェーディング補正部、ノイズ抑制部、ホワイトバランス処理部、デモザイク処理部、リニア・マトリックス部、ガンマ補正部、輪郭補正部等を含むデジタル信号処理部として機能し、メインメモリ20に格納されたR、G、Bの画像データに対して所定の信号処理を行う。尚、画像処理部22の詳細な動作については後述する。 The image processing unit 22 functions as a digital signal processing unit including a color shading correction unit, a noise suppression unit, a white balance processing unit, a demosaic processing unit, a linear matrix unit, a gamma correction unit, a contour correction unit, and the like. Predetermined signal processing is performed on the R, G, and B image data stored in. The detailed operation of the image processing unit 22 will be described later.
積算部24は、シャッタボタンの半押し時に取り込まれる画像信号に基づいてAF制御に必要な焦点評価値を算出したり、AE制御に必要な被写体輝度、色シェーディング補正、ホワイトバランス補正に必要なRGBの色信号ごとの積算値を算出する。CPU12は、AF制御時には積算部24により算出される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズを移動させることにより、被写体(主要被写体)への焦点合わせを行い、AE制御時には積算部24により算出された被写体輝度に基づいて適正な露光量を得るための露出設定を行う。即ち、撮影感度、絞り値、シャッタ速度を設定する。 The accumulating unit 24 calculates a focus evaluation value necessary for AF control based on an image signal captured when the shutter button is half-pressed, and RGB necessary for subject brightness, color shading correction, and white balance correction necessary for AE control. The integrated value for each color signal is calculated. The CPU 12 searches for a position where the focus evaluation value calculated by the integrating unit 24 is maximized during AF control, moves the focus lens to that position, thereby focusing on the subject (main subject), and performs AE control. Sometimes, exposure setting is performed to obtain an appropriate exposure amount based on the subject brightness calculated by the integrating unit 24. That is, the shooting sensitivity, aperture value, and shutter speed are set.
圧縮伸張処理部26は、CPU12からの指令に従い、入力された画像データに圧縮処理を施し、所定形式の圧縮画像データを生成する。例えば、静止画に対してはJPEG規格に準拠した圧縮処理が施され、動画に対してはMPEG2やMPEG4、H.264規格に準拠した圧縮処理が施される。また、圧縮伸張処理部26は、CPU12からの指令に従い、入力された圧縮画像データに伸張処理を施し、非圧縮の画像データを生成する。 The compression / decompression processing unit 26 performs compression processing on the input image data in accordance with a command from the CPU 12 to generate compressed image data in a predetermined format. For example, compression processing conforming to the JPEG standard is applied to still images, and MPEG2, MPEG4, H.264, and the like are applied to moving images. A compression process conforming to the H.264 standard is performed. In addition, the compression / decompression processing unit 26 performs decompression processing on the input compressed image data in accordance with a command from the CPU 12 to generate uncompressed image data.
外部記録部28は、上記圧縮伸張処理部26により生成されたJPEG形式等の画像データを格納した画像ファイルを作成し、メモリカード等の着脱自在な外部記録媒体に記録し、又は外部記録媒体から画像ファイルの読み出しを行う。 The external recording unit 28 creates an image file storing the image data in JPEG format or the like generated by the compression / decompression processing unit 26, and records the file on a removable external recording medium such as a memory card, or from the external recording medium. Read image file.
表示部30は、例えば、カラー液晶パネルを備えた表示装置により構成され、カメラ付き携帯電話をカメラとして使用する場合には、画角を確認するための電子ファインダとして使用されるとともに、撮影済み画像を表示するための画像表示部、各種設定用のGUIとして使用される。 The display unit 30 is configured by, for example, a display device including a color liquid crystal panel. When the camera-equipped mobile phone is used as a camera, the display unit 30 is used as an electronic viewfinder for confirming the angle of view, and a captured image. Is used as a GUI for various settings.
[画像処理方法]
<第1の実施形態>
図4は本発明に係る画像処理方法の第1の実施形態の処理の流れを示すフローチャートであり、特に撮像部1により撮影された静止画を画像処理する場合に関して示している。
[Image processing method]
<First Embodiment>
FIG. 4 is a flowchart showing the processing flow of the first embodiment of the image processing method according to the present invention, and particularly shows the case of processing a still image taken by the imaging unit 1.
撮像部1、2によりそれぞれ撮影されたカラーフィルタに対応したRGBのモザイク画像は、メインメモリ20に一時保持される。 RGB mosaic images corresponding to the color filters captured by the imaging units 1 and 2 are temporarily stored in the main memory 20.
図4において、画像処理部22のシェーディング補正部は、撮像部1により撮影されたモザイク画像をメインメモリ20から読み出し、モザイク画像に対して色シェーディング補正を行う(ステップS10)。この色シェーディング補正は、モザイク画像のR、G、B信号がオフセット補正された後に行うことが好ましい。 In FIG. 4, the shading correction unit of the image processing unit 22 reads the mosaic image captured by the imaging unit 1 from the main memory 20 and performs color shading correction on the mosaic image (step S <b> 10). This color shading correction is preferably performed after the R, G, and B signals of the mosaic image are offset corrected.
シェーディング補正部は、モザイク画像から環境光の色温度を算出する。まず、モザイク画像のR、G、B信号を用いて、1画面が16×16に分割された256個の分割エリアごとにRGB信号の色別の平均積算値を算出し、分割エリアごとにR、G、Bの平均積算値の比、即ち、R/G及びB/Gの比からなる色情報を算出する。そして、256個の分割エリアごとの色情報の、R/G、B/G軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の替わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯(昼光色、昼白色、白色、温白色)、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし(特開2007−53499参照)、推定した光源種から色温度を推定してもよい。 The shading correction unit calculates the color temperature of the ambient light from the mosaic image. First, using the R, G, and B signals of the mosaic image, an average integrated value for each color of the RGB signal is calculated for each of 256 divided areas in which one screen is divided into 16 × 16, and R for each divided area. , G and B, the color information comprising the ratio of the average integrated values, that is, the ratio of R / G and B / G is calculated. Then, the centroid position of the distribution of the color information for each of the 256 divided areas in the color space of the R / G and B / G axis coordinates is calculated, and the color temperature of the ambient light is estimated from the color information indicated by the centroid position. To do. In addition, instead of the color temperature, a light source type having color information indicated by the center of gravity position, for example, blue sky, shade, clear, fluorescent lamp (daylight color, neutral white, white, warm white), tungsten, low tungsten, etc. The light source type at the time of shooting may be estimated (see Japanese Patent Application Laid-Open No. 2007-53499), or the color temperature may be estimated from the estimated light source type.
続いて、シェーディング補正部は、推定した環境光の色温度に基づいて、RGBごとの色シェーディング補正係数を決定する。例えば、色シェーディング補正量は、画面中心を基準にして上下左右対称のシェーディング補正特性を前提にし、次式に示すように画面中心からの距離xを変数とする、多項式で表すことができる。 Subsequently, the shading correction unit determines a color shading correction coefficient for each RGB based on the estimated color temperature of the ambient light. For example, the color shading correction amount can be expressed by a polynomial expression assuming a shading correction characteristic that is symmetrical in the vertical and horizontal directions with respect to the screen center, and using a distance x from the screen center as a variable as shown in the following equation.
[数1]
色シェーディング補正量=ax6+bx4+cx2+d
色シェーディング補正係数は、上記[数1]式における係数(a,b,c,d)を意味しており、環境光の色温度(又は光源種)に応じた、RGBごとの色シェーディング補正係数(a〜d)が、予め撮像部1に対して用意され、図示しない不揮発性メモリに記憶されている。
[Equation 1]
Color shading correction amount = ax 6 + bx 4 + cx 2 + d
The color shading correction coefficient means the coefficient (a, b, c, d) in the above [Expression 1], and the color shading correction coefficient for each RGB according to the color temperature (or light source type) of the ambient light. (A to d) are prepared in advance for the imaging unit 1 and stored in a nonvolatile memory (not shown).
シェーディング補正部は、推定した環境光の色温度に対応してRGBごとの色シェーディング補正係数を読み出し、補正対象画素の位置及び色に基づいて色シェーディング補正量を、[数1]式から算出し、この算出した色シェーディング補正量により色シェーディング補正を行う。尚、[数1]式に示す関数から色シェーディング補正量を算出する場合に限らず、予め画面分割した区画ごとに色シェーディング補正量を決定しておき、区画間の画素に関しては補間値を使用してもよい。 The shading correction unit reads the color shading correction coefficient for each RGB corresponding to the estimated color temperature of the ambient light, and calculates the color shading correction amount based on the position and color of the correction target pixel from the equation [1]. Then, color shading correction is performed based on the calculated color shading correction amount. The color shading correction amount is not limited to the case where the color shading correction amount is calculated from the function shown in [Expression 1]. The color shading correction amount is determined in advance for each section divided into screens, and interpolation values are used for pixels between the sections. May be.
モザイク画像の全ての画素に対して色シェーディング補正が行われると、続いてノイズ抑制部によりノイズ低減フィルタをかけることによりノイズを抑制する(ステップS12)。次に、ホワイトバランス処理部によりノイズ抑制された画像に対してホワイトバランス補正を行う(ステップS14)。即ち、予め環境光の色温度に対応して適正なホワイトバランス補正を行うためのRGBごと、又はRBごとのWBゲインが用意されており、ホワイトバランス処理部は、撮影時の環境光の色温度に基づいて対応するRGBごと、又はRBごとのWBゲインを読み出し、この読み出したWBゲインによりホワイトバランス補正を行う。 When color shading correction is performed on all the pixels of the mosaic image, noise is subsequently suppressed by applying a noise reduction filter by the noise suppression unit (step S12). Next, white balance correction is performed on the image whose noise is suppressed by the white balance processing unit (step S14). That is, a WB gain for each RGB or RB for performing an appropriate white balance correction corresponding to the color temperature of the ambient light is prepared in advance, and the white balance processing unit determines the color temperature of the ambient light at the time of shooting. Based on the WB gain, the corresponding WB gain for each RGB or RB is read out, and white balance correction is performed using the read WB gain.
次に、色シェーディング量解析部により上記ホワイトバランス処理後の画像の色シェーディング量を解析する(ステップS16)。色シェーディング量の解析は、まず、ホワイトバランス処理後の画像から色シェーディングが目立つ領域(例えば、ホワイトボード、壁などのように扁平率が高い平面物体で、かつ一定の面積以上を有する領域)を抽出する。このような平面物体は、画像を2値化して画像の輪郭線を求め、輪郭線により区分される領域の面積、領域内の輝度差及び色差等に基づいて抽出することができる。 Next, the color shading amount analysis unit analyzes the color shading amount of the image after the white balance processing (step S16). The analysis of the amount of color shading begins with areas where color shading is conspicuous from the image after white balance processing (for example, areas with a flat object with a high flatness such as a whiteboard or wall and having a certain area or more). Extract. Such a planar object can be extracted based on the area of the region divided by the contour, the luminance difference, the color difference, and the like by binarizing the image to obtain the contour of the image.
図5は色シェーディングを有する平面物体の領域Xを含む画像の一例を示す図である。続いて、抽出した平面物体の領域Xの色シェーディング量を求める。平面物体の領域Xの色シェーディング量は、平面物体の領域Xの内で最も画面中心に近い領域の色比(R/G,B/G)と、最も画面中心から遠い領域の色比(R/G,B/G)との比、又は差分から求める。これは、図5に示すように色シェーディングは、画面中心から周辺に向かって色が少しずつ変化するからである。 FIG. 5 is a diagram illustrating an example of an image including a region X of a planar object having color shading. Subsequently, the color shading amount of the extracted area X of the planar object is obtained. The color shading amount of the area X of the planar object includes the color ratio (R / G, B / G) of the area closest to the screen center in the area X of the planar object and the color ratio (R of the area farthest from the screen center). / G, B / G) or the difference. This is because color shading gradually changes from the center of the screen toward the periphery as shown in FIG.
上記のようにして求めた色シェーディング量が小さいと判断した場合は、ステップS10での色シェーディング補正が適正になされたものと判断し、そのまま通常の画像処理を行う。即ち、ホワイトバランス処理後のモザイク画像を、単板撮像素子のカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換するデモザイク処理(ステップS18)、色補正係数行列によるリニア・マトリックス処理(ステップS20)、所要の階調特性(ガンマカーブ)となるように階調変換するガンマ補正(ステップS22)、及び輪郭強調処理を行う輪郭補正(ステップS24)等の画像処理が行われる。 If it is determined that the color shading amount obtained as described above is small, it is determined that the color shading correction in step S10 has been properly performed, and normal image processing is performed as it is. That is, a demosaic process (step S18) for converting the color signal into a simultaneous expression by interpolating a spatial shift of the color signal associated with the color filter array of the single-plate image sensor from the mosaic image after the white balance process (step S18), Images such as linear matrix processing using a matrix (step S20), gamma correction (step S22) for gradation conversion so as to obtain a required gradation characteristic (gamma curve), and contour correction (step S24) for edge enhancement processing. Processing is performed.
一方、色シェーディング量が大きいと判断した場合には、ステップS32に遷移させ、色シェーディング補正係数の修正を行わせる。 On the other hand, if it is determined that the color shading amount is large, the process proceeds to step S32 to correct the color shading correction coefficient.
即ち、自分撮り用の撮像部2が撮影したカラー画像に基づいて光源種を推定し、推定した光源種から色温度を推定する(ステップS30)。ステップS30での光源種の推定方法は、ステップS10での処理で説明した方法に限らず、以下の方法を適用してもよい。 That is, the light source type is estimated based on the color image captured by the self-portrait imaging unit 2, and the color temperature is estimated from the estimated light source type (step S30). The light source type estimation method in step S30 is not limited to the method described in the processing in step S10, and the following method may be applied.
(1) 図1に示すように撮像部2により撮影される画像Bには、撮像部1の被写体を照明している光源が写っている可能性が高い。そこで、撮像部2で撮影された画像B内で輝度が非常に高い領域を光源が写っている領域と考え、その領域の画像のRGBの信号の強度比からその光源が何かを推定する。尚、光源の輝度が高すぎる場合は、拡散板や、減光板を使い光源の輝度を落としても良い。 (1) As shown in FIG. 1, in the image B photographed by the imaging unit 2, there is a high possibility that the light source illuminating the subject of the imaging unit 1 is reflected. In view of this, in the image B captured by the imaging unit 2, an extremely high brightness area is considered as an area where the light source is reflected, and the light source is estimated from the RGB signal intensity ratio of the image in that area. If the luminance of the light source is too high, the luminance of the light source may be reduced using a diffusion plate or a dimming plate.
また、構図を決めてピントを合わせる前の5〜10秒(撮影準備期間)に撮像部2が光源を撮影する場合が考えられる。そこで、撮像部2により撮影準備期間中に連続的に撮影した画像のうちの最も輝度の高い画像を使用して光源種を推定することが好ましい。 In addition, there may be a case where the imaging unit 2 captures the light source for 5 to 10 seconds (imaging preparation period) before determining the composition and focusing. Therefore, it is preferable to estimate the light source type using an image having the highest luminance among images continuously captured by the imaging unit 2 during the shooting preparation period.
(2) 自分撮り用の撮像部2により撮影される画像Bには、撮影者の顔が大きく写り込んでいる。そこで、撮像部2で撮影された画像Bから顔領域を抽出し、抽出した顔領域の色から光源種を推定する。 (2) The face of the photographer is greatly reflected in the image B photographed by the imaging unit 2 for self-portrait. Therefore, a face area is extracted from the image B photographed by the imaging unit 2, and a light source type is estimated from the color of the extracted face area.
上記のようにして推定した光源種の色温度に基づいて色シェーディング補正係数を決定し、決定した色シェーディング補正係数を、ステップS10での色シェーディング補正量の算出に適用させる(ステップS32)。ステップS10では、前述した[数1]式に基づいて改めて色シェーディング補正量を算出し、算出した色シェーディング補正量により色シェーディング補正を行う。 A color shading correction coefficient is determined based on the color temperature of the light source type estimated as described above, and the determined color shading correction coefficient is applied to the calculation of the color shading correction amount in step S10 (step S32). In step S10, a color shading correction amount is newly calculated based on the above-described [Equation 1], and color shading correction is performed using the calculated color shading correction amount.
尚、ステップS10で改めて色シェーディング補正を行う場合に限らず、図4の点線で示すフローラインのようにホワイトバランス処理後の画像に対して色シェーディング補正を行うようにしてもよい。この場合、ステップS10での色シェーディング補正量と、ステップS32で求めた色シェーディング補正係数から算出される色シェーディング補正量との差分だけ色シェーディング補正を施す。 The color shading correction may be performed on the image after the white balance processing as in the flow line indicated by the dotted line in FIG. In this case, the color shading correction is performed by the difference between the color shading correction amount in step S10 and the color shading correction amount calculated from the color shading correction coefficient obtained in step S32.
色シェーディング補正は、ステップS10のシェーディング補正部にて色シェーディング補正量(Gain)をRGBの色ごとに変えて行う方法以外に、ホワイトバランス処理を終えた画像に対して、B画素、R画素のシェーディング量を変える方法がある。どちらの方法も、画面全体に対して色シェーディング補正を施す方法が一般的であるが、平面領域が近距離と遠距離の2つある場合、色シェーディングの残り方に斑が出ることもある。そこで、色シェーディングが目立つ部位(一定の面積以上の平面物体)のみを抽出し、その部分だけ色シェーディング補正をかけても良い。この方法では、複数の光源種がある場合にも使用可能である。 For the color shading correction, in addition to the method of changing the color shading correction amount (Gain) for each RGB color in the shading correction unit in step S10, the B pixel and the R pixel of the image after the white balance processing are completed. There is a way to change the shading amount. In either method, color shading correction is generally performed on the entire screen, but when there are two planar areas, short distance and long distance, spots may appear in the remaining color shading. Therefore, it is possible to extract only a portion where the color shading is conspicuous (a planar object having a certain area or more) and apply color shading correction only to that portion. This method can also be used when there are a plurality of light source types.
色シェーディング補正が加えられた画像は、色シェーディング量の解析部で閾値以下になるか、これまでの処理の中で最も色シェーディングが少なくなったと判断されると、その後、通常の画像処理が施され出力される。 When the color shading correction image is determined to be below the threshold by the color shading amount analysis unit, or when the color shading is the smallest among the processes so far, normal image processing is performed. And output.
また、図5に示したように平面物体の領域Xの色シェーディング補正する場合、その領域Xの中心に近い部分の色に周辺部の色が合うように色シェーディング補正量を決定する。具体的には、平面物体の領域Xの中心部の色比(R/G,B/G)に周辺部の色比(R/G,B/G)が一致するようにR、B画素に対する色シェーディング補正量をそれぞれ求め、求めた色シェーディング補正量をR、B画素にかけて平面物体の領域が均一の色になるように色シェーディング補正を行う。この場合、前記求めた色シェーディング補正量を画面全体のR、B画素にかけてもよいし、抽出した平面物体の領域のR、B画素のみにかけてもよい。 Further, when color shading correction is performed on the area X of the planar object as shown in FIG. 5, the color shading correction amount is determined so that the color of the peripheral portion matches the color of the area close to the center of the area X. Specifically, for the R and B pixels so that the color ratio (R / G, B / G) of the peripheral portion matches the color ratio (R / G, B / G) of the central portion of the area X of the planar object. Each color shading correction amount is obtained, and the obtained color shading correction amount is applied to R and B pixels to perform color shading correction so that the area of the planar object has a uniform color. In this case, the obtained color shading correction amount may be applied to the R and B pixels of the entire screen, or may be applied only to the R and B pixels of the extracted planar object region.
尚、色のグラデーションがある平面物体と区別するために、中心部と周辺部の色シェーディング量は、0.975〜1.025程度とする。色のグラデーションがある平面物体を色シェーディング補正により補正しないようにするためである。 In order to distinguish from a planar object having a color gradation, the amount of color shading in the central portion and the peripheral portion is set to about 0.975 to 1.025. This is because a flat object having a color gradation is not corrected by color shading correction.
<第2の実施形態>
図6は本発明に係る画像処理方法の第2の実施形態の処理の流れを示すフローチャートであり、特に撮像部1により撮影された静止画を画像処理する場合に関して示している。尚、図4に示した第1実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。
<Second Embodiment>
FIG. 6 is a flowchart showing the flow of processing of the second embodiment of the image processing method according to the present invention, and particularly shows the case of processing a still image taken by the imaging unit 1. In addition, the same step number is attached | subjected to the part which is common in 1st Embodiment shown in FIG. 4, The detailed description is abbreviate | omitted.
図6にステップS10’におけるシェーディング補正部は、撮像部1により撮影されたモザイク画像をメインメモリ20から読み出すとともに、ステップS32により算出された色シェーディング補正係数を取得する。そして、モザイク画像に対して前記色シェーディング補正係数に対応して算出した色シェーディング補正量により色シェーディング補正を行う。 In FIG. 6, the shading correction unit in step S <b> 10 ′ reads out the mosaic image captured by the imaging unit 1 from the main memory 20 and acquires the color shading correction coefficient calculated in step S <b> 32. Then, color shading correction is performed on the mosaic image with the color shading correction amount calculated corresponding to the color shading correction coefficient.
色シェーディング補正後のモザイク画像は、その後、ステップS12〜ステップS24により画像処理が施されて出力される。 The mosaic image after the color shading correction is output after being subjected to image processing in steps S12 to S24.
尚、第1の実施形態と同様にホワイトバランス処理後の画像から色シェーディングが目立つ平面物体の領域を抽出し、この抽出した平面物体の領域が均一の色になるように色シェーディング補正を行うようにしてもよい。また、ホワイトバランス処理時に、自分撮り用の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定し、その推定結果を使用してもよい。 As in the first embodiment, a region of a planar object in which color shading is conspicuous is extracted from an image after white balance processing, and color shading correction is performed so that the extracted region of the planar object has a uniform color. It may be. Further, during the white balance process, the color temperature or the light source type of the ambient light may be estimated based on the color image acquired from the imaging unit for self-portrait, and the estimation result may be used.
更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Furthermore, it goes without saying that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
1、2…撮像部、10…撮像装置、12…中央処理部(CPU)、14…操作部、20…メインメモリ、22…画像処理部、24…積算部、30…表示部 DESCRIPTION OF SYMBOLS 1, 2 ... Imaging part, 10 ... Imaging apparatus, 12 ... Central processing part (CPU), 14 ... Operation part, 20 ... Main memory, 22 ... Image processing part, 24 ... Integration part, 30 ... Display part
Claims (16)
前記第1の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第1の推定手段と、
前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定手段と、
前記第1の推定手段により推定した色温度又は光源種から第1の色シェーディング補正量を決定する第1のシェーディング補正量決定手段と、
前記第2の推定手段により推定した色温度又は光源種から第2の色シェーディング補正量を決定する第2のシェーディング補正量決定手段と、
前記決定した第1の色シェーディング補正量及び第2の色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、
を備えたことを特徴とする撮像装置。 In an imaging apparatus having a first imaging unit and a second imaging unit for self-taking provided on the opposite side of the first imaging unit,
First estimation means for estimating a color temperature or a light source type of ambient light based on a color image acquired from the first imaging unit;
Second estimation means for estimating a color temperature or a light source type of ambient light based on a color image acquired from the second imaging unit;
First shading correction amount determining means for determining a first color shading correction amount from the color temperature or light source type estimated by the first estimating means;
Second shading correction amount determining means for determining a second color shading correction amount from the color temperature or light source type estimated by the second estimating means;
Color shading for performing color shading correction for each color pixel of the color image with respect to the color image acquired from the first imaging unit based on the determined first color shading correction amount and second color shading correction amount Correction means;
An imaging apparatus comprising:
前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第2の色シェーディング補正量に基づいて色シェーディング補正を行う請求項1に記載の撮像装置。 Color shading amount analysis for extracting a planar object having a certain area or more from a color image corrected by color shading based on the first color shading correction amount by the color shading correction means and detecting a color shading amount in the planar object With means,
2. The imaging according to claim 1, wherein the color shading correction unit performs color shading correction based on the second color shading correction amount when the color shading amount analysis unit detects a color shading amount of a certain value or more. apparatus.
前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第3の色シェーディング補正量を決定する第3のシェーディング補正量決定手段と、を備え、
前記色シェーディング補正手段は、前記色シェーディング量解析手段により一定値以上の色シェーディング量が検出されると、前記第3の色シェーディング補正量に基づいて色シェーディング補正を行う請求項1から3のいずれか1項に記載の撮像装置。 Color shading amount analysis for extracting a planar object having a certain area or more from a color image corrected by color shading based on the first color shading correction amount by the color shading correction means and detecting a color shading amount in the planar object Means,
A third shading correction amount determining means for determining a third color shading correction amount for reducing the color shading amount when a color shading amount of a certain value or more is detected by the color shading amount analyzing means;
4. The color shading correction unit according to claim 1, wherein the color shading correction unit performs color shading correction based on the third color shading correction amount when the color shading amount analysis unit detects a color shading amount of a certain value or more. The imaging apparatus of Claim 1.
前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定手段と、
前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定手段と、
前記決定した色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正手段と、を備え、
前記第2の推定手段は、撮影準備期間中に前記第2の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定する撮像装置。 In an imaging apparatus having a first imaging unit and a second imaging unit for self-taking provided on the opposite side of the first imaging unit,
Second estimation means for estimating a color temperature or a light source type of ambient light based on a color image acquired from the second imaging unit;
A shading correction amount determining means for determining a color shading correction amount from the estimated color temperature or light source type;
E Bei and a color shading correction means for performing color shading correction for each color pixel of the color image to the color image obtained from the first image pickup unit based on the color shading correction amount the determined,
The second estimating means is an imaging that estimates a color temperature or a light source type of ambient light based on a color image having the highest luminance among a plurality of color images acquired from the second imaging unit during a shooting preparation period. apparatus.
前記第1の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第1の推定工程と、
前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定工程と、
前記第1の推定工程により推定した色温度又は光源種から第1の色シェーディング補正量を決定する第1のシェーディング補正量決定工程と、
前記第2の推定工程により推定した色温度又は光源種から第2の色シェーディング補正量を決定する第2のシェーディング補正量決定工程と、
前記決定した第1の色シェーディング補正量及び第2の色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、
を含むことを特徴とする画像処理方法。 An image processing method in an imaging apparatus having a first imaging unit and a second imaging unit for self-taking provided on the opposite side of the first imaging unit,
A first estimation step of estimating a color temperature or a light source type of ambient light based on a color image acquired from the first imaging unit;
A second estimation step of estimating a color temperature or a light source type of ambient light based on a color image acquired from the second imaging unit;
A first shading correction amount determining step for determining a first color shading correction amount from the color temperature or the light source type estimated in the first estimating step;
A second shading correction amount determination step of determining a second color shading correction amount from the color temperature or the light source type estimated in the second estimation step;
Color shading for performing color shading correction for each color pixel of the color image with respect to the color image acquired from the first imaging unit based on the determined first color shading correction amount and second color shading correction amount A correction process;
An image processing method comprising:
前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程を含み、
前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第2の色シェーディング補正量に基づいて再度色シェーディング補正を行う請求項9に記載の画像処理方法。 The color shading correction step performs color shading correction of the color image based on the first color shading correction amount,
A color shading amount analyzing step of extracting a planar object having a certain area or more from the color image subjected to the color shading correction and detecting a color shading amount in the planar object;
The color shading correction step performs color shading correction again based on the second color shading correction amount only when a color shading amount equal to or greater than a predetermined value is detected by the color shading amount analysis step. Image processing method.
前記色シェーディング補正されたカラー画像から一定の面積以上の平面物体を抽出し、該平面物体における色シェーディング量を検出する色シェーディング量解析工程と、
前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されると、該色シェーディング量を低減させる第3の色シェーディング補正量を決定する第3のシェーディング補正量決定工程と、を含み、
前記色シェーディング補正工程は、前記色シェーディング量解析工程により一定値以上の色シェーディング量が検出されたときのみ、前記第3の色シェーディング補正量に基づいて色シェーディング補正を行う請求項9から11のいずれか1項に記載の画像処理方法。 The color shading correction step performs color shading correction of the color image based on the first color shading correction amount,
A color shading amount analyzing step of extracting a planar object having a certain area or more from the color image corrected for color shading, and detecting a color shading amount in the planar object;
A third shading correction amount determining step for determining a third color shading correction amount for reducing the color shading amount when a color shading amount of a certain value or more is detected by the color shading amount analyzing step;
The color shading correction step performs color shading correction based on the third color shading correction amount only when a color shading amount of a certain value or more is detected by the color shading amount analysis step. The image processing method according to claim 1.
前記第2の撮像部から取得したカラー画像に基づいて環境光の色温度又は光源種を推定する第2の推定工程と、
前記推定した色温度又は光源種から色シェーディング補正量を決定するシェーディング補正量決定工程と、
前記決定した色シェーディング補正量に基づいて前記第1の撮像部から取得したカラー画像に対して該カラー画像の色画素ごとに色シェーディング補正を行う色シェーディング補正工程と、を含み、
前記第2の推定工程は、撮影準備期間中に前記第2の撮像部から取得した複数のカラー画像のうちの最も輝度の高いカラー画像に基づいて環境光の色温度又は光源種を推定する画像処理方法。 An image processing method in an imaging apparatus having a first imaging unit and a second imaging unit for self-taking provided on the opposite side of the first imaging unit,
A second estimation step of estimating a color temperature or a light source type of ambient light based on a color image acquired from the second imaging unit;
A shading correction amount determining step for determining a color shading correction amount from the estimated color temperature or light source type;
Look containing a color shading correction step of performing color shading correction for each color pixel of the color image to the color image obtained from the first image pickup unit based on the color shading correction amount the determined,
The second estimating step is an image for estimating a color temperature or a light source type of ambient light based on a color image having the highest luminance among a plurality of color images acquired from the second imaging unit during the shooting preparation period. Processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011179147A JP5681589B2 (en) | 2011-08-18 | 2011-08-18 | Imaging apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011179147A JP5681589B2 (en) | 2011-08-18 | 2011-08-18 | Imaging apparatus and image processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013042428A JP2013042428A (en) | 2013-02-28 |
JP2013042428A5 JP2013042428A5 (en) | 2014-02-06 |
JP5681589B2 true JP5681589B2 (en) | 2015-03-11 |
Family
ID=47890381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011179147A Expired - Fee Related JP5681589B2 (en) | 2011-08-18 | 2011-08-18 | Imaging apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5681589B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5855035B2 (en) * | 2013-02-28 | 2016-02-09 | 株式会社東芝 | Solid-state imaging device |
US9443322B2 (en) | 2013-09-09 | 2016-09-13 | Mediatek Singapore Pte. Ltd. | Method and associated apparatus for correcting color artifact of image |
JP2015177308A (en) * | 2014-03-14 | 2015-10-05 | 富士通株式会社 | Portable terminal device, image correction method, and image correction program |
JP6786850B2 (en) * | 2016-04-07 | 2020-11-18 | 富士ゼロックス株式会社 | Image processing equipment, image processing methods, image processing systems and programs |
CN111936031B (en) * | 2018-04-11 | 2023-12-15 | 富士胶片株式会社 | Medical image processing apparatus |
CN109300186B (en) * | 2018-09-28 | 2023-03-31 | Oppo广东移动通信有限公司 | Image processing method and device, storage medium and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004200885A (en) * | 2002-12-17 | 2004-07-15 | Matsushita Electric Ind Co Ltd | Imaging apparatus mounted electronic apparatus |
JP4710351B2 (en) * | 2005-02-25 | 2011-06-29 | カシオ計算機株式会社 | Digital camera and program |
JP2008153768A (en) * | 2006-12-14 | 2008-07-03 | Eastman Kodak Co | Imaging apparatus, and white balance processor |
JP4702635B2 (en) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | AUTO WHITE BALANCE CORRECTION VALUE CALCULATION DEVICE, METHOD, PROGRAM, AND IMAGING DEVICE |
JP2010147800A (en) * | 2008-12-18 | 2010-07-01 | Toshiba Corp | Image processing apparatus |
-
2011
- 2011-08-18 JP JP2011179147A patent/JP5681589B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013042428A (en) | 2013-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9270875B2 (en) | Dual image capture processing | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
JP6521776B2 (en) | Image processing apparatus, image processing method | |
US20110122252A1 (en) | Digital image processing apparatus and photographing method of digital image processing apparatus | |
US20170134634A1 (en) | Photographing apparatus, method of controlling the same, and computer-readable recording medium | |
JP5169318B2 (en) | Imaging apparatus and imaging method | |
JP5681589B2 (en) | Imaging apparatus and image processing method | |
WO2007063731A1 (en) | Camera system | |
US11201999B2 (en) | Imaging device, information acquisition method, and information acquisition program | |
JP4796007B2 (en) | Imaging device | |
EP2161938B1 (en) | Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method | |
JP5048599B2 (en) | Imaging device | |
US20130321664A1 (en) | Photographing apparatus, method of controlling the same, and computer-readable recording medium | |
JP2008017198A (en) | Device and method for calculating light source color, and photographing device | |
JP2008263478A (en) | Imaging apparatus | |
JP2013192121A (en) | Imaging apparatus and imaging method | |
JP4553570B2 (en) | Auto focus camera | |
JP5310331B2 (en) | Imaging apparatus and imaging method | |
JP2009164723A (en) | Imaging apparatus and imaging control method | |
KR101408359B1 (en) | Imaging apparatus and imaging method | |
US20130194456A1 (en) | Imaging device | |
JP2003287674A (en) | Camera | |
JP4326997B2 (en) | Imaging apparatus, focusing method, control program, and recording medium | |
JP5091734B2 (en) | Imaging apparatus and imaging method | |
JP6900577B2 (en) | Image processing equipment and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140606 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5681589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |