JP5721552B2 - Imaging apparatus and image composition method - Google Patents

Imaging apparatus and image composition method Download PDF

Info

Publication number
JP5721552B2
JP5721552B2 JP2011132812A JP2011132812A JP5721552B2 JP 5721552 B2 JP5721552 B2 JP 5721552B2 JP 2011132812 A JP2011132812 A JP 2011132812A JP 2011132812 A JP2011132812 A JP 2011132812A JP 5721552 B2 JP5721552 B2 JP 5721552B2
Authority
JP
Japan
Prior art keywords
exposure
image
unit
motion
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011132812A
Other languages
Japanese (ja)
Other versions
JP2013005129A (en
Inventor
小林 悟
悟 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011132812A priority Critical patent/JP5721552B2/en
Publication of JP2013005129A publication Critical patent/JP2013005129A/en
Application granted granted Critical
Publication of JP5721552B2 publication Critical patent/JP5721552B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像装置および画像合成方法に関する。   The present invention relates to an imaging apparatus and an image composition method.

複数枚の画像を合成し、1枚の合成画像を記録することができる、デジタルカメラ等の撮像装置が提案されている。このような撮像装置の中には、被写体の明るさが適正となる適正露出よりも低い露出で撮像し、複数枚の低露出画像を積算合成する機能を持つ撮像装置がある。一般的に、暗い被写体を撮影する場合、露光量を増やすために露光時間が長くなるため、手ブレや被写体ブレが発生し易い。   An imaging device such as a digital camera that can synthesize a plurality of images and record one synthesized image has been proposed. Among such image capturing apparatuses, there is an image capturing apparatus having a function of capturing an image with an exposure lower than an appropriate exposure at which the brightness of the subject is appropriate and integrating and combining a plurality of low-exposure images. In general, when a dark subject is photographed, the exposure time is increased in order to increase the exposure amount, so that camera shake and subject blur are likely to occur.

撮像装置が、暗い被写体を撮影する場合に、適正露出よりも短い露光時間で撮像した複数の低露出画像に対し、画面間の被写体位置合わせを行い、適正露出で撮像した場合と同じ明るさになるよう積算合成することが考えられる。これにより、手ブレや被写体ブレの少ない積算合成画像を得ることができる。   When the imaging device captures a dark subject, it aligns the subject between screens for multiple low-exposure images captured with an exposure time shorter than the appropriate exposure, and achieves the same brightness as when captured with appropriate exposure. It is conceivable to integrate and synthesize so that Thereby, an integrated composite image with less camera shake and subject blur can be obtained.

複数枚画像の積算合成する技術の例として、特許文献1は、予め撮影枚数を設定し、同一被写体を設定枚数だけ撮影して得られる画像を重ね合わせる電子カメラを開示する。   As an example of a technique for integrating and synthesizing a plurality of images, Patent Document 1 discloses an electronic camera in which the number of shots is set in advance and images obtained by shooting the set number of the same subject are superimposed.

特開平11−069226号公報Japanese Patent Application Laid-Open No. 11-069226

撮像装置が、露光時間の短い複数の低露出画像に対し、位置合わせを行い、積算合成することにより、手ブレや被写体ブレの少ない積算合成画像を得ることができる。しかし、低露出画像は、適正画像よりもS/N(Signal to Noise)が良くないので、積算合成によって得られる画像の画質が低下してしまうという課題がある。   The imaging apparatus aligns and integrates a plurality of low-exposure images with a short exposure time, whereby an integrated composite image with less camera shake and subject blur can be obtained. However, since a low-exposure image does not have a better signal-to-noise (S / N) than a proper image, there is a problem that the image quality of an image obtained by integration synthesis is degraded.

本発明は、複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像の画質を向上させる撮像装置の提供を目的とする。   An object of the present invention is to provide an imaging apparatus that integrates and synthesizes a plurality of low-exposure images, and that improves the image quality of an image obtained by integration and synthesis.

本発明の一実施形態の撮像装置は、被写体の明るさが予め決められた明るさとなる第1の露出よりも低い第2の露出を算出する露出算出手段と、前記算出された第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段と、前記出力された複数の低露出画像を積算合成して合成画像を生成する積算合成手段と、前記合成画像のトーンマッピングを行うトーンマッピング手段と、前記撮像手段によって撮像される被写体の動き量を検出する動き検出手段と、を備える。前記積算合成手段は、前記合成画像の露光量が前記第1の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成し、前記トーンマッピング手段は、前記動き検出手段が検出する動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする。 An imaging apparatus according to an embodiment of the present invention includes an exposure calculation unit that calculates a second exposure lower than a first exposure at which the brightness of a subject has a predetermined brightness, and the calculated second exposure. An image pickup means for picking up a subject and outputting a plurality of low-exposure images; a summing-compositioning means for summing and synthesizing the plurality of output low-exposure images to generate a composite image; and tone mapping of the composite image Tone mapping means, and motion detection means for detecting the amount of motion of the subject imaged by the imaging means . The integrating synthesis unit integrates and synthesizes the low-exposure images for the number of exposures of the synthesized image equal to or greater than the exposure amount corresponding to the first exposure, and the tone mapping unit is detected by the motion detection unit. As the amount of motion to be performed is smaller, the tone mapping characteristic of tone mapping performed on the composite image is set to a tone mapping characteristic that increases the gradation compression ratio of the dark part.

本発明によれば、複数枚の低露出画像を積算合成する撮像装置であって、積算合成によって得られる画像のノイズの振幅を低減する撮像装置を提供することができる。従って、積算合成画像の画質が向上する。   According to the present invention, it is possible to provide an imaging apparatus that integrates and synthesizes a plurality of low-exposure images, and that reduces the amplitude of noise of an image obtained by integration and synthesis. Therefore, the image quality of the integrated composite image is improved.

本実施形態の撮像装置の構成例を示す図である。It is a figure which shows the structural example of the imaging device of this embodiment. 合成枚数算出部と露出算出部の構成例を示す図である。It is a figure which shows the structural example of a synthetic | combination number calculation part and an exposure calculation part. 画像積算合成部の動作処理例を説明する図である。It is a figure explaining the example of an operation process of an image integration composition part. 画像積算合成部の動作処理例を説明する図である。It is a figure explaining the example of an operation process of an image integration composition part. 階調圧縮処理を説明する図である。It is a figure explaining a gradation compression process. 本実施形態の撮像装置の動作処理例を説明するフローチャートである。6 is a flowchart illustrating an example of operation processing of the imaging apparatus according to the present embodiment. 複数枚の低露出画像の積算合成処理の例を説明する図である。It is a figure explaining the example of the integrating | accumulating synthetic | combination process of several low exposure image.

図7は、複数枚の低露出画像の積算合成処理の例を説明する図である。図7(A)は、線形特性を持つ撮像デバイスにおける適正露出及び低露出の被写体照度と光電流(画素レベル)の関係を示す。符号L801は、適正露出の場合の被写体照度と光電流の関係を示す。符号L802は、低露出の場合の被写体照度と光電流の関係を示す。また、この例では、低露出は、適正露出に対し露光量が3分の1となる。   FIG. 7 is a diagram for explaining an example of an integration synthesis process of a plurality of low-exposure images. FIG. 7A shows the relationship between the appropriate exposure and low exposure subject illuminance and photocurrent (pixel level) in an imaging device having linear characteristics. A symbol L801 indicates a relationship between subject illuminance and photocurrent in the case of proper exposure. A symbol L802 indicates a relationship between subject illuminance and photocurrent in the case of low exposure. Further, in this example, the low exposure is one third of the exposure amount with respect to the proper exposure.

ある照度の被写体に対し、適正露出と低露出とで撮影を行った場合、低露出画像の方が、光電流が小さく、暗い画像が撮像されることになる。通常、被写体が白飛びしないよう適正露出が決定される。この場合の低露出画像の被写体は、適正露出画像に比べ3分の1の明るさで撮像されている。この関係を模式的に表した図が図7(B)である。   When a subject with a certain illuminance is photographed with appropriate exposure and low exposure, a low-exposure image has a smaller photocurrent and a dark image is captured. Usually, the appropriate exposure is determined so that the subject does not white out. In this case, the subject of the low-exposure image is captured with a brightness that is one-third that of the proper exposure image. FIG. 7B schematically shows this relationship.

図7(B)は、露光時間を変更することにより、露出を変更する処理の例を示す。各画像が取り得る画素レベル範囲を斜線部分で示す。適正露出の露光時間は、1/10秒である。低露出の露光時間は、1/30秒である。低露出の露光量は、適正露出の3分の1になるため、低露出画像が取り得る画素レベル範囲が適正露出画像の3分の1になっている。このように撮影した低露出画像は、適正露出画像と比較して暗い画像になっている。しかし、露光時間が適正露出よりも短いため、手ブレや被写体ブレが少ない画像と言える。撮像した複数枚の低露出画像に対し、幾何変形等により被写体位置を合わせ、図7(B)中に示す積算合成画像の例のように、低露出画像3枚を積算合成することにより、適正露出と同じ明るさで、且つ、手ブレや被写体ブレが少ない合成画像を得ることができる。   FIG. 7B shows an example of processing for changing the exposure by changing the exposure time. The pixel level range that each image can take is indicated by hatching. The exposure time for proper exposure is 1/10 second. The exposure time for low exposure is 1/30 second. Since the exposure amount of low exposure is one third of the proper exposure, the pixel level range that the low exposure image can take is one third of that of the proper exposure image. The low-exposure image shot in this way is a darker image than the proper exposure image. However, since the exposure time is shorter than the appropriate exposure, it can be said that the image has little camera shake or subject blur. Appropriateness is achieved by aligning the subject position with a plurality of captured low-exposure images by geometric deformation, etc., and integrating and synthesizing three low-exposure images as shown in the example of the integrated composite image shown in FIG. It is possible to obtain a composite image with the same brightness as the exposure and with little camera shake and subject blur.

しかし、前述したように、低露出画像は、適正画像よりもS/Nが良くないので、積算合成によって得られる画像の画質が低下してしまうという課題がある。以下に説明する本実施形態の撮像装置によれば、この課題を解決することができる。   However, as described above, the low-exposure image has an S / N lower than that of the appropriate image, so that there is a problem that the image quality of the image obtained by the integration synthesis is deteriorated. According to the imaging apparatus of the present embodiment described below, this problem can be solved.

図1は、本実施形態の撮像装置の構成例を示す図である。図1に示す撮像装置は、レンズ101、撮像部102、A(Analog)/D(Digital)変換部103を備える。また、この撮像装置は、カメラ信号処理部104、画像位置合わせ部105、合成枚数算出部106、露出算出部107、画像積算合成部108、トーンマッピング部109、画像記録部110、カメラ制御部111を備える。本実施形態の画像合成方法は、撮像装置における画像合成方法である。また、本実施形態の画像合成方法およびコンピュータプログラムは、図1に示す撮像装置が備える各処理部の機能によって実現される。   FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to the present embodiment. The imaging apparatus illustrated in FIG. 1 includes a lens 101, an imaging unit 102, and an A (Analog) / D (Digital) conversion unit 103. In addition, the imaging apparatus includes a camera signal processing unit 104, an image registration unit 105, a composite number calculation unit 106, an exposure calculation unit 107, an image integration synthesis unit 108, a tone mapping unit 109, an image recording unit 110, and a camera control unit 111. Is provided. The image composition method of the present embodiment is an image composition method in the imaging apparatus. In addition, the image composition method and the computer program according to the present embodiment are realized by the functions of the processing units included in the imaging apparatus illustrated in FIG.

レンズ101は、被写体光を撮像部102に導く。レンズ101は、カメラ制御部111から出力される制御信号に対応して、ズーム動作や焦点整合動作などを行う。撮像部102は、カメラ制御部111からの指示に従い、撮像デバイスを用いて被写体を撮像する。撮像デバイスは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等である。そして、撮像部102は、撮像によって得た被写体光を電気信号に変換してA/D変換部103に出力する。   The lens 101 guides subject light to the imaging unit 102. The lens 101 performs a zoom operation, a focus adjustment operation, and the like in response to a control signal output from the camera control unit 111. The imaging unit 102 images a subject using an imaging device in accordance with an instruction from the camera control unit 111. The imaging device is a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like. Then, the imaging unit 102 converts subject light obtained by imaging into an electrical signal and outputs the electrical signal to the A / D conversion unit 103.

A/D変換部103は、カメラ制御部111から設定される増幅率に応じて、アナログ信号を増幅し、ディジタル信号に変換する。カメラ信号処理部104は、A/D変換部103より出力されたディジタル信号に対して、ホワイトバランスや輪郭強調等の画像処理を行い、映像信号を出力する。   The A / D conversion unit 103 amplifies the analog signal according to the amplification factor set by the camera control unit 111 and converts it into a digital signal. The camera signal processing unit 104 performs image processing such as white balance and edge enhancement on the digital signal output from the A / D conversion unit 103 and outputs a video signal.

画像位置合わせ部105は、画面間の動きベクトルに応じて、画像を幾何変形することにより、画面間の被写体位置を合わせ、画面間の動きを抑制する。画像位置合わせ部105による画像位置合わせにより、例えば、手ブレといったような画面全体の動きを低減することができる。合成枚数算出部106は、画像積算合成部108が積算合成する画像の枚数(積算合成枚数)を算出する。   The image alignment unit 105 geometrically deforms the image according to the motion vector between the screens, thereby aligning the subject position between the screens and suppressing the motion between the screens. By image alignment by the image alignment unit 105, for example, movement of the entire screen such as camera shake can be reduced. The composite number calculation unit 106 calculates the number of images (integrated composite number) to be integrated and combined by the image integration / synthesis unit 108.

合成枚数算出部106は、画像積算合成部108による積算合成によって得られる合成画像の露光量が適正露出に対応する露光量以上になる枚数を積算合成枚数として算出する。適正露出は、被写体の明るさが予め決められた明るさとなる第1の露出である。   The composite number calculation unit 106 calculates, as the integrated composite number, the number of exposures of the composite image obtained by the integration synthesis by the image integration synthesis unit 108 that is equal to or greater than the exposure amount corresponding to the appropriate exposure. The appropriate exposure is the first exposure at which the brightness of the subject becomes a predetermined brightness.

露出算出部107は、撮像部102が撮像に用いる露出を算出する。具体的には、露出算出部107は、適正露出よりも低い第2の露出(低露出)を算出する。カメラ制御部111は、撮像装置全体を制御する。カメラ制御部111および撮像部102は、第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段として機能する。   The exposure calculation unit 107 calculates the exposure used by the imaging unit 102 for imaging. Specifically, the exposure calculation unit 107 calculates a second exposure (low exposure) lower than the appropriate exposure. The camera control unit 111 controls the entire imaging apparatus. The camera control unit 111 and the imaging unit 102 function as an imaging unit that captures an image of a subject with the second exposure and outputs a plurality of low-exposure images.

画像積算合成部108は、合成枚数算出部106から、合成枚数算出部106が算出した積算合成枚数を取得する。また、画像積算合成部108は、画像位置合わせ部106から、画像位置合わせ部106が出力する位置合い画像すなわち複数の低露出画像を取得する。そして、画像積算合成部108は、画像位置合わせ部106取得した低露出画像を、合成枚数算出部106が算出した積算合成枚数分、積算合成して合成画像を生成する積算合成手段として機能する。   The image integration / synthesis unit 108 acquires the integration / synthesis number calculated by the synthesis number calculation unit 106 from the combination number calculation unit 106. Further, the image integration / synthesis unit 108 acquires, from the image registration unit 106, a registration image output from the image registration unit 106, that is, a plurality of low exposure images. The image integration / synthesis unit 108 functions as an integration / synthesis unit that integrates and combines the low-exposure images acquired by the image registration unit 106 by the integration / synthesis number calculated by the synthesis number calculation unit 106.

トーンマッピング部109は、合成画像にトーンマッピングを行う。トーンマッピング部109は、例えば、ガンマ処理のような非線形処理により、合成画像の階調圧縮を行う。画像記録部110は、トーンマッピング部109がトーンマッピングした画像を記録する。   A tone mapping unit 109 performs tone mapping on the composite image. The tone mapping unit 109 performs tone compression of the composite image by non-linear processing such as gamma processing, for example. The image recording unit 110 records the image that has been tone mapped by the tone mapping unit 109.

図2は、合成枚数算出部と露出算出部の構成例を示す図である。図2(A)は、合成枚数算出部106の構成例を示す。合成枚数算出部106は、動き量算出部201と合成枚数決定部202とを備える。動き量算出部201は、画像位置合わせ部105から出力された位置合い画像を入力し、入力した画像のフレーム間画素差分値の大きさに基づいて、動き量を算出(検出)する。すなわち、動き量算出部201は、撮像部102によって撮像される複数の低露出画像間の動き量を検出する動き検出手段として機能する。   FIG. 2 is a diagram illustrating a configuration example of the composite number calculation unit and the exposure calculation unit. FIG. 2A shows a configuration example of the composite number calculation unit 106. The composite number calculation unit 106 includes a motion amount calculation unit 201 and a composite number determination unit 202. The motion amount calculation unit 201 receives the registration image output from the image registration unit 105 and calculates (detects) the motion amount based on the size of the inter-frame pixel difference value of the input image. That is, the motion amount calculation unit 201 functions as a motion detection unit that detects a motion amount between a plurality of low-exposure images captured by the imaging unit 102.

例えば、被写体が動いている場合は、フレーム間画素差分値が大きくなるため、動き量が大きくなる。合成枚数決定部202は、動き量算出部201から出力された動き量に応じて、画像積算合成部108が積算合成する低露出画像の枚数(積算合成枚数)を決定する。   For example, when the subject is moving, the inter-frame pixel difference value is large, so that the amount of movement is large. The composite number determination unit 202 determines the number of low-exposure images (integrated composite number) to be integrated and combined by the image integration / synthesis unit 108 according to the motion amount output from the motion amount calculation unit 201.

図2(B)は、露出算出部の構成例を示す図である。図2(B)は、露出算出部107の構成例を示す。露出算出部107は、動き量算出部300、輝度積算値算出部301、露出決定部302を備える。   FIG. 2B is a diagram illustrating a configuration example of the exposure calculation unit. FIG. 2B shows a configuration example of the exposure calculation unit 107. The exposure calculation unit 107 includes a motion amount calculation unit 300, a luminance integrated value calculation unit 301, and an exposure determination unit 302.

輝度積算値算出部301は、画像位置合わせ部105から出力された位置合い画像を入力し、被写体の明るさを表す輝度に変換し、輝度積算値を算出する。輝度積算値は、複数の低露出画像の輝度の積算値である。例えば、明るい画像であれば、輝度積算値は大きい値となる。   The luminance integrated value calculation unit 301 receives the registration image output from the image registration unit 105, converts it into luminance representing the brightness of the subject, and calculates the luminance integrated value. The luminance integrated value is an integrated value of luminance of a plurality of low-exposure images. For example, if the image is bright, the integrated luminance value is a large value.

動き量算出部300は、図2(A)中に示す動き量算出部201と同様の機能を有する。動き量算出部300は、画像位置合わせ部105が出力した位置合い画像を入力し、該画像のフレーム間画素差分値の大きさに基づいて、動き量を算出する。露出決定部302は、輝度積算値算出部301が算出した輝度積算値と、動き量算出部300が算出した動き量に応じて、次画像の露出を決定する(撮像部102が被写体の撮像に用いる第2の露出を変更する)。   The motion amount calculation unit 300 has a function similar to that of the motion amount calculation unit 201 illustrated in FIG. The motion amount calculation unit 300 receives the registration image output from the image registration unit 105 and calculates a motion amount based on the size of the inter-frame pixel difference value of the image. The exposure determining unit 302 determines the exposure of the next image according to the luminance integrated value calculated by the luminance integrated value calculating unit 301 and the amount of motion calculated by the motion amount calculating unit 300 (the imaging unit 102 captures an object). Change the second exposure used).

露出決定部302が、輝度積算値算出部301が算出した輝度積算値と、動き量算出部201が算出した動き量に応じて、次画像の露出を決定するようにしてもよい。具体的な露出の決定方法については、後述する。   The exposure determining unit 302 may determine the exposure of the next image according to the luminance integrated value calculated by the luminance integrated value calculating unit 301 and the motion amount calculated by the motion amount calculating unit 201. A specific method for determining exposure will be described later.

図3および図4は、画像積算合成部の動作処理例を説明する図である。画像積算合成部108は、露出算出部107が算出された露出で撮影された画像を、合成枚数算出部106が算出した積算合成枚数分、積算合成する。本実施形態においては、絞り値は固定で、露光時間を変更し、露出を制御するものとする。   3 and 4 are diagrams for explaining an example of operation processing of the image integration / synthesis unit. The image integration / synthesis unit 108 integrates and synthesizes the images taken with the exposure calculated by the exposure calculation unit 107 by the number of integration / composite images calculated by the synthesis number calculation unit 106. In this embodiment, the aperture value is fixed, the exposure time is changed, and the exposure is controlled.

図3は、積算合成枚数の変更処理の一例を示す。この例では、露光時間を1/30秒固定とし、合成枚数算出部106は、動き量算出部201により算出された動き量に応じて積算合成枚数を変更する。   FIG. 3 shows an example of the process of changing the integrated composite number. In this example, the exposure time is fixed to 1/30 seconds, and the composite number calculation unit 106 changes the integrated composite number according to the motion amount calculated by the motion amount calculation unit 201.

図3中の斜線部は、画像位置合わせ部105から出力された位置合い画像の画素レベル範囲を示す。この例では、A/D変換部103の量子化精度は12bitである。一般的に、適正露出で撮影を行うと、白飛びや黒潰れをしない露出で撮影されるため、適正露出画像の画素レベル範囲は、0〜4095までの範囲となる。本実施形態の撮像装置は、適正露出よりも低い露出で撮影を行う。   The hatched portion in FIG. 3 indicates the pixel level range of the alignment image output from the image alignment unit 105. In this example, the quantization accuracy of the A / D conversion unit 103 is 12 bits. In general, when shooting is performed with proper exposure, shooting is performed with exposure that does not cause overexposure or blackout, so the pixel level range of a properly exposed image is a range from 0 to 4095. The imaging apparatus according to the present embodiment performs shooting with an exposure lower than the appropriate exposure.

図3に示す例では、適正露出の露光時間が1/10秒であるのに対し、低露出画像の露光時間は、1/30秒である。低露出画像は、露光量が3分の1であるため、画素レベル範囲が適正露出画像の3分の1の範囲であり、従って、暗い画像となっている。このような暗い低露出画像を画像積算合成部108が複数枚積算合成することにより、明るい積算合成画像を得ることが可能となる。この例では、低露出画像を3枚積算合成すると、適正露出画像と同じ明るさ(画素レベル範囲)となる。   In the example shown in FIG. 3, the exposure time for proper exposure is 1/10 seconds, whereas the exposure time for low-exposure images is 1/30 seconds. Since the exposure amount of the low-exposure image is 1/3, the pixel level range is a range of 1/3 of the proper exposure image, and thus the image is dark. By integrating and synthesizing a plurality of such dark low-exposure images by the image integrating and synthesizing unit 108, a bright integrated synthesized image can be obtained. In this example, when three low-exposure images are integrated and combined, the brightness (pixel level range) is the same as that of the proper exposure image.

低露出画像は、露光量が適正露出に比べて小さくなるが、露光時間を短くすることにより、適正露出と比べ、被写体ブレや手ブレを抑えた画像を記録することができる。このような低露出画像に対し、画像位置合わせ部105が、手ブレ等の画面全体の位置を合わせ、積算合成を行う。これにより、適正露出で撮影した画像に比べ、ブレの少ない積算合成画像を記録することが可能となる。しかしながら、画面全体の動きではなく、被写体動きといった部分的な動きを位置合わせすることは非常に困難である。そのため、例えば、部分的な動き領域を積算合成すると被写体像が2重になってしまうことがある。   A low-exposure image has a smaller exposure amount than the proper exposure, but by shortening the exposure time, it is possible to record an image in which subject blur and camera shake are suppressed compared to the proper exposure. For such a low-exposure image, the image alignment unit 105 aligns the position of the entire screen such as camera shake, and performs integration synthesis. As a result, it is possible to record an integrated composite image with less blur compared to an image photographed with appropriate exposure. However, it is very difficult to align partial movements such as subject movements, not movements of the entire screen. Therefore, for example, subject images may be doubled when partial motion areas are integrated and combined.

画像積算合成部108は、合成枚数算出部106が算出した積算合成枚数分の積算合成を行う。合成枚数算出部106の合成枚数決定部202は、動き量算出部201が算出(検出)した低露出画像画面間での動き量が小さいほど、決定する積算合成枚数を多くする。また、合成枚数決定部202は、動き量算出部201が算出(検出)した複数の低露出画像画面間での動き量が大きいほど、決定する積算合成枚数を少なくする。   The image integration / synthesis unit 108 performs integration / synthesis for the integration / synthesis number calculated by the synthesis number calculation unit 106. The composite number determination unit 202 of the composite number calculation unit 106 increases the integrated composite number to be determined as the motion amount between the low-exposure image screens calculated (detected) by the motion amount calculation unit 201 is small. Further, the composite number determination unit 202 decreases the total composite number to be determined as the motion amount between the plurality of low-exposure image screens calculated (detected) by the motion amount calculation unit 201 is large.

図3に示す例では、動き量が小さい場合(所定の動き量未満の場合)、積算合成画像の露光量が適正露出画像の露光量以上となるように、合成枚数算出部106は、積算合成枚数として6枚を算出する。また、動き量が大きい場合(所定の動き量以上の場合)は、積算合成画像の露光量が適正露出画像の露光量以上となるように、合成枚数算出部106は、積算合成枚数として3枚を算出する。このように、動き量が大きい場合に、積算合成枚数を減らすことにより、被写体像が2重になることを抑制することができる。   In the example illustrated in FIG. 3, when the amount of motion is small (less than a predetermined amount of motion), the composite number calculation unit 106 performs the integration synthesis so that the exposure amount of the integrated composite image is equal to or greater than the exposure amount of the appropriate exposure image. Six sheets are calculated as the number of sheets. When the amount of motion is large (when the amount of motion is greater than or equal to a predetermined amount of motion), the composite number calculation unit 106 sets the total number of composite images to 3 so that the exposure amount of the integrated composite image is equal to or greater than the exposure amount of the appropriate exposure image. Is calculated. In this way, when the amount of motion is large, it is possible to suppress the subject image from being duplicated by reducing the total number of combined images.

図4は、積算合成枚数の変更処理の他の例を示す。この例では、積算合成枚数は3枚固定とする。また、合成枚数算出部106は、動き量算出部201により算出された動き量に応じて、露光時間を変更する。図4中の斜線部は、画像位置合わせ部105から出力された位置合い画像の画素レベル範囲を示す。なお、A/D変換部103の量子化精度は、12bitである。この例においても、撮像装置は、適正露出よりも低い露出で撮影を行う。   FIG. 4 shows another example of the process of changing the integrated composite number. In this example, the total number of combined images is fixed at 3. In addition, the composite number calculation unit 106 changes the exposure time according to the motion amount calculated by the motion amount calculation unit 201. The shaded area in FIG. 4 indicates the pixel level range of the alignment image output from the image alignment unit 105. Note that the quantization accuracy of the A / D converter 103 is 12 bits. Also in this example, the imaging device performs shooting at an exposure lower than the appropriate exposure.

図4に示す例では、適正露出の露光時間が1/10秒であるのに対し、低露出画像の露光時間は、1/20秒である。すなわち、低露出画像は、露光量が2分の1になっている。従って、適正露出に比べ、画素レベル範囲が適正露出画像の2分の1の範囲であり、暗い画像である。このような暗い低露出画像を、画像積算合成部108が、複数枚積算合成することにより、明るい積算合成画像を得る。この例では、低露出画像を2枚積算合成すると、適正露出画像と同じ明るさ(画素レベル範囲)となるものとする。   In the example shown in FIG. 4, the exposure time for proper exposure is 1/10 seconds, whereas the exposure time for low-exposure images is 1/20 seconds. That is, the exposure amount of the low-exposure image is halved. Therefore, the pixel level range is a half of the proper exposure image compared to the proper exposure, and is a dark image. The image integration / synthesis unit 108 integrates a plurality of such dark low-exposure images, thereby obtaining a bright integrated image. In this example, when two low-exposure images are integrated and combined, the brightness (pixel level range) is the same as that of the proper exposure image.

画像積算合成部108は、3枚の位置合い画像の積算合成を行う。露出制御部107は、低露出画像画面間での動き量が小さい場合は、露光時間を長くする。露出算出部107の露出決定部302は、複数の低露出画像画面間での動き量が大きい場合は、露光時間を短くする。すなわち、露出算出部107は、動き量が大きいほど、撮像部102が被写体の撮像に用いる露出を低くする。   The image integration / synthesis unit 108 performs integration / synthesis of three positional images. The exposure control unit 107 increases the exposure time when the amount of movement between the low-exposure image screens is small. The exposure determining unit 302 of the exposure calculating unit 107 shortens the exposure time when the amount of movement between the plurality of low-exposure image screens is large. That is, the exposure calculation unit 107 lowers the exposure used by the imaging unit 102 for imaging the subject as the amount of motion increases.

図4に示す例では、動き量が小さい場合は、露出決定部302が、露光時間を1/20秒とすることにより、積算合成画像の露光量が、適正露出画像の露光量以上の露光量となるようにする。また、動き量が大きい場合は、露出決定部302は、露光時間を1/30秒とすることにより、積算合成画像の露光量が、適正露出画像と同じ露光量となるようにする。このように、動き量が大きいときに露光時間を短くすることにより、露光期間中に被写体が動いたときに発生する被写体ブレを低減することができる。   In the example illustrated in FIG. 4, when the amount of motion is small, the exposure determining unit 302 sets the exposure time to 1/20 second, so that the exposure amount of the integrated composite image is equal to or greater than the exposure amount of the appropriate exposure image. To be. When the amount of motion is large, the exposure determination unit 302 sets the exposure time of the integrated composite image to the same exposure amount as that of the appropriate exposure image by setting the exposure time to 1/30 seconds. Thus, by reducing the exposure time when the amount of motion is large, it is possible to reduce subject blurring that occurs when the subject moves during the exposure period.

図5は、トーンマッピング部による階調圧縮処理を説明する図である。図5中に示すグラフは、階調圧縮処理のトーンカーブを示す。横軸は、入力画素レベルであり、縦軸は、出力画素レベルである。   FIG. 5 is a diagram for explaining gradation compression processing by the tone mapping unit. The graph shown in FIG. 5 shows the tone curve of the gradation compression process. The horizontal axis is the input pixel level, and the vertical axis is the output pixel level.

トーンマッピング部109は、画像積算合成部108が積算合成した画像の画素レベル範囲に応じて、トーンカーブの特性(トーンマッピング特性)を変更する。例えば、画像積算合成部108が出力する画像が、動き量が小さい積算合成画像の場合、トーンマッピング部109は、図5中の符号L601で示すトーンカーブで階調圧縮処理を行う。また、例えば、画像積算合成部108が出力する画像が、動き量が大きい積算合成画像の場合、トーンマッピング部109は、図5中の符号L602で示すトーンカーブで階調圧縮処理を行う。   The tone mapping unit 109 changes the tone curve characteristic (tone mapping characteristic) according to the pixel level range of the image integrated and combined by the image integration / synthesis unit 108. For example, when the image output from the image integration / synthesis unit 108 is an integration / synthesis image with a small amount of motion, the tone mapping unit 109 performs tone compression processing using a tone curve indicated by reference numeral L601 in FIG. For example, when the image output from the image integration / synthesis unit 108 is an integration / synthesis image with a large amount of motion, the tone mapping unit 109 performs tone compression processing using a tone curve indicated by reference numeral L602 in FIG.

トーンカーブ特性L601とL602とを比較すると、トーンカーブ特性L601の方が、特に暗部の階調圧縮率が高い。動き量が小さい積算合成画像をトーンマッピングした画像は、動き量大の積算合成画像よりも階調圧縮率が高い。すなわち、トーンマッピング部109は、動き量算出部201(300)が算出する動き量が小さいほど、積算合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする。これにより、ノイズ振幅が小さくなり、画質が向上する。   Comparing the tone curve characteristics L601 and L602, the tone curve characteristics L601 has a higher gradation compression rate especially in the dark part. An image obtained by tone mapping an integrated composite image with a small amount of motion has a higher gradation compression ratio than an integrated composite image with a large amount of motion. That is, the tone mapping unit 109 sets a tone mapping characteristic of tone mapping performed on the integrated composite image to a higher tone compression ratio in the dark part as the motion amount calculated by the motion amount calculation unit 201 (300) is smaller. Make mapping characteristics. This reduces the noise amplitude and improves the image quality.

また、トーンマッピング部109が、A/D変換部103のアナログ信号増幅率の大きさに応じて、トーンカーブを変更するようにしてもよい。具体的には、トーンマッピング部109は、A/D変換部103のアナログ信号増幅率が高い場合は、暗部の階調圧縮率を高くする。また、トーンマッピング部109は、A/D変換部103のアナログ信号増幅率が低い場合は、暗部の階調圧縮率を低くする。A/D変換部103のアナログ信号増幅率を高くすると、ノイズの振幅が大きくなるが、トーンマッピング部109がトーンカーブ特性を上記のように変更することにより、暗部に発生するノイズの振幅を小さくすることができる。   The tone mapping unit 109 may change the tone curve according to the magnitude of the analog signal amplification factor of the A / D conversion unit 103. Specifically, the tone mapping unit 109 increases the gradation compression rate of the dark part when the analog signal amplification factor of the A / D conversion unit 103 is high. Further, the tone mapping unit 109 reduces the gradation compression rate of the dark part when the analog signal amplification factor of the A / D conversion unit 103 is low. Increasing the analog signal amplification factor of the A / D conversion unit 103 increases the amplitude of noise, but the tone mapping unit 109 changes the tone curve characteristics as described above, thereby reducing the amplitude of noise generated in the dark portion. can do.

図6は、本実施形態の撮像装置の動作処理例を説明するフローチャートである。まず、撮像装置の電源が投入される(ステップS1)。次に、合成枚数算出部106が、積算合成枚数を初期値に設定する(ステップS2)。合成枚数算出部106は、積算合成枚数を例えば3枚に設定する。   FIG. 6 is a flowchart for explaining an operation processing example of the imaging apparatus according to the present embodiment. First, the image pickup apparatus is turned on (step S1). Next, the composite number calculation unit 106 sets the integrated composite number to an initial value (step S2). The composite number calculation unit 106 sets the total composite number to, for example, three.

次に、露出算出部107が、露出を初期値に設定する(ステップS3)。露出算出部107は、露光時間を例えば1/30秒に設定する。続いて、カメラ制御部111が、仮撮影を行う。仮撮影中は、カメラ制御部111が、撮像装置の表示部(不図示)に、撮像した画像を表示する。   Next, the exposure calculation unit 107 sets the exposure to an initial value (step S3). The exposure calculation unit 107 sets the exposure time to 1/30 seconds, for example. Subsequently, the camera control unit 111 performs provisional shooting. During temporary shooting, the camera control unit 111 displays the captured image on a display unit (not shown) of the imaging device.

次に、動き量算出部201が、動き量を算出する(ステップS5)。そして、合成枚数決定部202が、ステップS5において算出された動き量に基づいて、積算合成枚数を決定する(ステップS6)。続いて、露出決定部302が、輝度積算値算出部301が算出した輝度積算値と、動き量算出部201(300)が算出した動き量に基づいて、次画像の露出を決定する。なお、撮像装置が、積算合成枚数及び露出の双方を変更するように動作してもよいし、いずれか一方は固定、もう一方は変更するように動作してもよい。   Next, the motion amount calculation unit 201 calculates a motion amount (step S5). Then, the composite number determination unit 202 determines the integrated composite number based on the amount of motion calculated in step S5 (step S6). Subsequently, the exposure determining unit 302 determines the exposure of the next image based on the luminance integrated value calculated by the luminance integrated value calculating unit 301 and the motion amount calculated by the motion amount calculating unit 201 (300). Note that the imaging apparatus may operate so as to change both the total number of combined images and the exposure, or may operate so that one of them is fixed and the other is changed.

次に、カメラ制御部111が、シャッターが押下されたかを判断する(ステップS8)。カメラ制御部111が、シャッターが押下されていないと判断した場合は、ステップS4に戻る。そして、シャッターが押下されるまでの間、ステップ4乃至7の処理が繰り返される。これにより、積算合成枚数と露出とが更新される。   Next, the camera control unit 111 determines whether the shutter has been pressed (step S8). If the camera control unit 111 determines that the shutter is not pressed, the process returns to step S4. Then, the processes in steps 4 to 7 are repeated until the shutter is pressed. As a result, the integrated composite number and the exposure are updated.

カメラ制御部111が、シャッターが押下されたと判断した場合、カメラ制御部111は、上記ステップ7で決定された露出で本撮影を行う(ステップS9)。続いて、画像積算合成部108が、上記ステップ6で決定された積算合成枚数分の画像を積算合成する(ステップS10)。そして、トーンマッピング部109が、ステップS10において積算合成された画像をトーンマッピングし(ステップS11)、画像記録部110に記録する。   When the camera control unit 111 determines that the shutter has been pressed, the camera control unit 111 performs the main shooting with the exposure determined in step 7 (step S9). Subsequently, the image integration / synthesis unit 108 integrates and combines the images for the integration / synthesis number determined in step 6 (step S10). Then, the tone mapping unit 109 performs tone mapping on the image integrated and synthesized in step S10 (step S11), and records it in the image recording unit 110.

以上のような動作により、適正露出で撮像する露光量よりも大きい露光量になるように、複数枚の低露出画像を積算合成し、トーンマッピングを行うことにより、ノイズの振幅を低減することができる。そのため、積算合成画像の画質が向上する。   Through the above operation, the noise amplitude can be reduced by integrating and synthesizing a plurality of low-exposure images and performing tone mapping so that the exposure amount is larger than the exposure amount that is captured with appropriate exposure. it can. Therefore, the image quality of the integrated composite image is improved.

(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.

101 レンズ
102 撮像部
105 画像位置合わせ部
106 合成枚数算出部
107 露出算出部
108 画像積算合成部
109 トーンマッピング部
111 カメラ制御部
DESCRIPTION OF SYMBOLS 101 Lens 102 Image pick-up part 105 Image alignment part 106 Composition number calculation part 107 Exposure calculation part 108 Image integration composition part 109 Tone mapping part 111 Camera control part

Claims (8)

被写体の明るさが予め決められた明るさとなる第1の露出よりも低い第2の露出を算出する露出算出手段と、
前記算出された第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像手段と、
前記複数の低露出画像を積算合成して合成画像を生成する積算合成手段と、
前記合成画像のトーンマッピングを行うトーンマッピング手段と、
前記撮像手段によって撮像される被写体の動き量を検出する動き検出手段と、を備え、
前記積算合成手段は、前記合成画像の露光量が前記第1の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成し、
前記トーンマッピング手段は、前記動き検出手段が検出する動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする
ことを特徴とする撮像装置。
Exposure calculation means for calculating a second exposure lower than the first exposure at which the brightness of the subject is a predetermined brightness;
Imaging means for imaging a subject with the calculated second exposure and outputting a plurality of low-exposure images;
Integration synthesis means for integrating and synthesizing the plurality of low-exposure images to generate a composite image;
Tone mapping means for performing tone mapping of the composite image ;
Motion detection means for detecting the amount of motion of the subject imaged by the imaging means ,
The integrating and synthesizing unit integrates and combines the low-exposure images by the number of exposures of the combined image equal to or greater than the exposure amount corresponding to the first exposure ;
The tone mapping means sets the tone mapping characteristic of tone mapping performed on the composite image to a tone mapping characteristic that increases the tone compression ratio of a dark part as the amount of motion detected by the motion detection means is smaller. An imaging device that is characterized.
前記動き検出手段が検出する動き量に応じて、前記積算合成手段が積算合成する低露出画像の枚数を決定する合成枚数決定手段とを備える
ことを特徴とする請求項1に記載の撮像装置。
Wherein in accordance with the motion amount of the motion detecting means detects the integrated synthesizing means imaging apparatus according to claim 1, wherein a and a synthesis number determining means for determining the number of low-exposure image integrating synthesis.
前記合成枚数決定手段は、前記動き検出手段が検出する動き量が大きいほど、前記決定する低露出画像の積算合成枚数を少なくする
ことを特徴とする請求項2に記載の撮像装置。
The imaging apparatus according to claim 2, wherein the composite number determination unit reduces the integrated composite number of the low-exposure images to be determined as the amount of motion detected by the motion detection unit increases.
前記露出算出手段は、前記撮像手段によって撮像される前記複数の低露出画像の輝度の積算値と、前記動き検出手段によって検出された動き量とに基づいて、前記撮像手段が前記被写体の撮像に用いる前記第2の露出を変更する
ことを特徴とする請求項に記載の撮像装置。
The exposure calculating unit is configured to capture the subject based on an integrated luminance value of the plurality of low-exposure images captured by the imaging unit and a motion amount detected by the motion detecting unit. The imaging apparatus according to claim 1 , wherein the second exposure to be used is changed.
前記露出算出手段は、前記動き検出手段が検出する動き量が大きいほど、前記撮像手段が前記被写体の撮像に用いる前記第2の露出を低くする
ことを特徴とする請求項4に記載の撮像装置。
5. The imaging apparatus according to claim 4, wherein the exposure calculation unit lowers the second exposure used by the imaging unit for imaging the subject as the amount of motion detected by the motion detection unit increases. .
前記露出算出手段は、露光時間を変更することにより前記第2の露出を変更する
ことを特徴とする請求項4または請求項5に記載の撮像装置。
The imaging apparatus according to claim 4, wherein the exposure calculation unit changes the second exposure by changing an exposure time.
撮像装置における画像合成方法であって、
被写体の明るさが予め決められた明るさとなる第1の露出よりも低い第2の露出を算出する露出算出工程と、
前記算出された第2の露出で被写体を撮像し、複数の低露出画像を出力する撮像工程と、
前記複数の低露出画像を積算合成して合成画像を生成する積算合成工程と、
前記合成画像のトーンマッピングを行うトーンマッピング工程と
前記撮像工程において撮像される被写体の動き量を検出する動き検出工程と、を有し、
前記積算成工程では、前記合成画像の露光量が前記第1の露出に対応する露光量以上になる枚数分、前記低露出画像を積算合成し、
前記トーンマッピング工程では、前記動き検出工程で検出される動き量が小さいほど、前記合成画像に対して行うトーンマッピングのトーンマッピング特性を、暗部の階調圧縮率を高くするトーンマッピング特性にする
ことを特徴とする画像合成方法。
An image composition method in an imaging apparatus,
An exposure calculation step of calculating a second exposure lower than the first exposure at which the brightness of the subject is a predetermined brightness;
An imaging step of imaging a subject with the calculated second exposure and outputting a plurality of low-exposure images;
An integration synthesis step of integrating and synthesizing the plurality of low-exposure images to generate a composite image;
A tone mapping step for performing tone mapping of the composite image ;
A motion detection step of detecting the amount of motion of the subject imaged in the imaging step ,
The integrated case as in Naruko, number of sheets to exposure of the composite image is equal to or greater than the exposure amount corresponding to the exposure of the first, the low-exposure image integrated synthesis,
In the tone mapping step, as the amount of motion detected in the motion detection step is small, the tone mapping property of tone mapping performed on the composite image is set to a tone mapping property that increases the tone compression rate of the dark part. An image composition method characterized by the above.
請求項に記載の画像合成方法をコンピュータに実行させることを特徴とするコンピュータプログラム。 A computer program for causing a computer to execute the image composition method according to claim 7 .
JP2011132812A 2011-06-15 2011-06-15 Imaging apparatus and image composition method Expired - Fee Related JP5721552B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011132812A JP5721552B2 (en) 2011-06-15 2011-06-15 Imaging apparatus and image composition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011132812A JP5721552B2 (en) 2011-06-15 2011-06-15 Imaging apparatus and image composition method

Publications (2)

Publication Number Publication Date
JP2013005129A JP2013005129A (en) 2013-01-07
JP5721552B2 true JP5721552B2 (en) 2015-05-20

Family

ID=47673245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011132812A Expired - Fee Related JP5721552B2 (en) 2011-06-15 2011-06-15 Imaging apparatus and image composition method

Country Status (1)

Country Link
JP (1) JP5721552B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117615257B (en) * 2024-01-18 2024-04-05 常州微亿智造科技有限公司 Imaging method, device, medium and equipment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101862A (en) * 2001-09-21 2003-04-04 Ricoh Co Ltd Image pickup device and image pickup method
JP4257165B2 (en) * 2003-08-19 2009-04-22 株式会社日立製作所 Imaging apparatus and method
JP4821626B2 (en) * 2007-01-23 2011-11-24 株式会社ニコン Image processing apparatus, electronic camera, and image processing program

Also Published As

Publication number Publication date
JP2013005129A (en) 2013-01-07

Similar Documents

Publication Publication Date Title
JP6124538B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
KR101303410B1 (en) Image capture apparatus and image capturing method
JP6460653B2 (en) Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program
JP6312487B2 (en) Image processing apparatus, control method therefor, and program
JP2012084960A (en) Image processing device, image processing method, and image processing program
JP2009194700A (en) Image processor and image processing program
JP5780764B2 (en) Imaging device
JP2014014069A (en) Imaging apparatus and control method of the same
JP2010147786A (en) Imaging device and image processing method
JP2014017681A (en) Imaging apparatus, method of controlling the same, program, and storage medium
JP2007324856A (en) Imaging apparatus and imaging control method
JP6108680B2 (en) Imaging apparatus, control method therefor, program, and storage medium
KR20120071972A (en) Digital image signal processing apparatus and method for controlling the same
JP2005236662A (en) Imaging method, imaging device, and imaging system
JP6118118B2 (en) Imaging apparatus and control method thereof
JP2012109849A (en) Imaging device
JP2016111568A (en) Image blur correction control device, imaging apparatus, control method and program thereof
JP2014066958A (en) Imaging apparatus
JP5721552B2 (en) Imaging apparatus and image composition method
JP5760654B2 (en) Image processing apparatus, image processing method, and program
JP2015056758A (en) Imaging apparatus, its control method and control program
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP5195973B2 (en) Image processing apparatus, electronic camera, and image processing program
JP6603557B2 (en) Image processing apparatus and image processing method
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150324

LAPS Cancellation because of no payment of annual fees