JP4631558B2 - An imaging apparatus and an image processing program - Google Patents

An imaging apparatus and an image processing program Download PDF

Info

Publication number
JP4631558B2
JP4631558B2 JP2005182295A JP2005182295A JP4631558B2 JP 4631558 B2 JP4631558 B2 JP 4631558B2 JP 2005182295 A JP2005182295 A JP 2005182295A JP 2005182295 A JP2005182295 A JP 2005182295A JP 4631558 B2 JP4631558 B2 JP 4631558B2
Authority
JP
Japan
Prior art keywords
image
step
processing
imaging
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005182295A
Other languages
Japanese (ja)
Other versions
JP2007006021A (en
Inventor
逸人 鉾井
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2005182295A priority Critical patent/JP4631558B2/en
Publication of JP2007006021A publication Critical patent/JP2007006021A/en
Application granted granted Critical
Publication of JP4631558B2 publication Critical patent/JP4631558B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置および画像処理プログラムに関する。 The present invention relates to a beauty picture image processing program Oyo imaging device.

従来より、電子カメラなどの撮像装置においては、シャッタスピードが1/30もしくは1/15を超えると手ブレが発生することが知られている。 Conventionally, in an imaging apparatus such as an electronic camera, camera shake is known to occur when the shutter speed exceeds 1/30 or 1/15. そこで、手ブレを抑えるためには、シャッタスピードを1/30もしくは1/15以下にするのが好ましい。 In order to suppress the shake, it is preferable to the shutter speed to 1/30 or 1/15 or less. しかし、撮像素子の感度が低い場合には、通常、ゲインアップにより見かけ上の感度を上げる必要がある。 However, if the sensitivity of the image sensor is low, usually, it is necessary to increase the apparent sensitivity by increasing the gain. その結果、ゲインアップによりノイズが画質に著しく影響を及ぼす場合がある。 As a result, noise by the gain-up which may significantly affect the image quality. そこで、特許文献1の発明では、画像合成の手法を用いて、手ブレや被写体ブレに起因する像ブレのない画像を得る方法が考えられている。 Therefore, in the invention of Patent Document 1, using the technique of image synthesis, a method of obtaining an image without image blur caused by camera shake or subject blur it has been considered.
特開2004−357071号公報 JP 2004-357071 JP

しかし、上述した特許文献1の発明では、ノイズの影響を抑えることが可能である一方、複数フレームの画像を生成し、合成するという一連の処理に時間を要するという問題がある。 However, in the invention of Patent Document 1 described above, while it is possible to suppress the influence of noise, and generating an image of a plurality of frames, there is a problem that it takes time to a series of processing for combining.
本発明の撮像装置および画像処理プログラムは、像ブレを抑えつつ、処理時間を短縮可能とすることを目的とする。 The imaging device and an image processing program of the present invention, while suppressing the image blur, and an object thereof is to enable shortening the processing time.

本発明の撮像装置は、連続的な撮像により、 複数フレームの低解像度画像と、前記低解像度画像とは解像度の異なる高解像度画像とを生成する撮像部と、 前記複数フレームの低解像度画像を加算合成した後に、その合成画像と前記高解像度画像とを加算合成して最終画像を生成する合成部とを備える Imaging apparatus of the present invention, added by continuous imaging, the low-resolution image of a plurality of frames, wherein an imaging unit and the low-resolution image to generate a different resolution high-resolution image, a low-resolution image of the plurality of frames after combining, and a synthesizing unit for generating a final image and the high resolution image and the composite image synthesis by adding to.

本発明の別の撮像装置は、連続的な撮像により、複数フレームの高解像度画像と、前記高解像度画像とは解像度の異なる低解像度画像とを生成する撮像部と、前記複数フレームの高解像度画像を加算合成した後に、その合成画像と前記低解像度画像とを加算合成して最終画像を生成する合成部とを備える。 Another imaging apparatus of the present invention, the continuous imaging, a high resolution image of a plurality of frames, and the high resolution image and an imaging unit that generates a different resolution low-resolution image, the high resolution image of the plurality of frames the after additive synthesis, and a synthesizing unit for generating a final image with the low resolution image and the composite image synthesis by adding to.

本発明の画像処理プログラムは、複数フレームの低解像度画像と、前記低解像度画像とは異なる解像度の高解像度画像とを取得する取得ステップと、前記複数フレームの低解像度画像を加算合成した後に、その合成画像と前記高解像度画像とを加算合成して最終画像を生成する合成ステップとをコンピュータに実行させる。 The image processing program of the present invention, a low-resolution image of a plurality of frames, wherein the steps of acquiring high resolution images of different resolutions and the low-resolution image, after adding and combining the low resolution images of the plurality of frames, the the synthetic image and the high resolution image additively combining to executing a combining step of generating a final image to the computer.

発明の別の画像処理プログラムは、 複数フレームの高解像度画像と、前記高解像度画像とは異なる解像度の低解像度画像とを取得する取得ステップと、前記複数フレームの高解像度画像を加算合成した後に、その合成画像と前記低解像度画像とを加算合成して最終画像を生成する合成ステップとをコンピュータに実行させる。 Another image processing program of the present invention, a high resolution image of a plurality of frames, an acquisition step of acquiring a low-resolution image of a different resolution than the said high resolution image, after adding synthesized high-resolution image of the plurality of frames to execute a combining step of generating a final image with the low resolution image and the composite image synthesis by adding to the computer.

本発明の撮像装置および画像処理プログラムによれば、像ブレを抑えつつ、処理時間を短縮可能とすることができる。 According to the imaging apparatus and the image processing program of the present invention, while suppressing the image blur can allow shorten the processing time.

〈第1実施形態〉 <First Embodiment>
以下、図面に基づいて、第 1実施形態について詳細に説明する。 Hereinafter, with reference to the accompanying drawings, it will be described in detail for the first embodiment.
なお、第1実施形態では、撮像装置の一例として、電子カメラを例に挙げて説明を行う。 In the first embodiment, as an example of the imaging device will be described by taking a digital camera as an example.
図1は電子カメラ1の機能ブロック図である。 Figure 1 is a functional block diagram of the electronic camera 1.

電子カメラ1は、図1に示すように撮像部2、操作部3、制御部4、照明発光部5、画像処理部6、表示部7、画像記録部8、通信部9の各部を備える。 The electronic camera 1 includes an imaging unit 2, as shown in FIG. 1, comprises each part of the operation unit 3, the control unit 4, the illumination light emitting unit 5, the image processing unit 6, display unit 7, the image recording unit 8, the communication unit 9. 撮像部2は、不図示の撮影光学系、CCD(ChargeCoupled Device)、A/D変換部などを備える。 Imaging unit 2 includes (not shown) of the photographing optical system, CCD (Charge Coupled Device), etc. A / D converter. なお、CCDは、連続的な撮像により、解像度の異なる2種類の画像(高解像度画像と低解像度画像)を生成する撮像素子である。 Incidentally, CCD is by continuous imaging is an imaging device for generating a resolution two different images (high-resolution image and the low-resolution image). 操作部3は、ユーザ操作を受け付けるボタンなどの操作部材を備える。 Operation unit 3 includes an operation member such as a button for receiving a user operation. 制御部4は、内部にメモリ10を備え、メモリ10に各部を制御するためのプログラムを予め記録する。 Control unit 4 is provided with a memory 10 therein, pre-recorded thereon a program for controlling each unit in the memory 10. 照明発光部5は、LEDなどの発光部を有し被写体を照明する。 Lighting emitting unit 5 illuminates an object having a light emitting portion such as LED. 画像処理部6は、ホワイトバランス調整、圧縮処理などの一般的な画像処理の他に、画像合成処理も行う。 The image processing unit 6, white balance adjustment, in addition to general image processing such as compression processing is performed also images combining process. 表示部7は、構図確認用のスルー画像、撮像により生成された画像、およびメニュー画面表示などを表示する。 Display unit 7 displays a through image for composition confirmation image generated by the imaging, and menu screen display, and the like. 画像記録部8は、リムーバブルメモリなどにより構成され、撮像部より生成された画像を記録する。 The image recording unit 8 is configured of a removable memory, and records the image generated from the imaging unit. 通信部9は、コンピュータなどの外部機器と相互に接続可能なインタフェースを備える。 The communication unit 9 is provided with an external device mutually connectable interface, such as a computer.

撮像部2、制御部4、画像処理部6、画像記録部8、通信部9は、バスを介して相互に接続される。 Imaging unit 2, the control unit 4, the image processing unit 6, the image recording unit 8, the communication unit 9 is connected to each other via a bus. また、制御部4は、操作部3の状態を検知するとともに、バスを介して照明発光部5および表示部7を制御する。 The control unit 4 is configured to detect the state of the operation unit 3, controls the illumination light emitting portion 5 and the display unit 7 via the bus.
以上説明した構成の電子カメラ1は、画像合成モードを有する。 Or the electronic camera 1 having the configuration described has an image synthesizing mode. 画像合成モードとは、手ブレや被写体ブレに起因する像ブレのない画像を得るための撮影モードであり、このモードの選択は、操作部3を介したユーザ操作により行われる。 The image synthesizing mode, a photographing mode for obtaining an image without image blur caused by camera shake or subject blur, selection of the mode is performed by the user operation via the operating unit 3.

以下、図2の流れ図を参照して、画像合成モードが選択された場合の制御部4の動作について説明する。 Hereinafter, with reference to the flow diagram of FIG. 2, the operation of the control unit 4 when the image synthesizing mode is selected it will be described. なお、図2の流れ図におけるステップ番号は、説明を行うためのものであり、必ずしもこの順番で処理を行うわけではない。 Incidentally, the step numbers in the flow diagram of FIG. 2 is for an explanation, not necessarily perform processing in this order. また、複数のステップ番号の処理が同時に行われる場合もある。 In some cases, the processing of a plurality of step numbers are carried out simultaneously.
画像合成モードが選択されると、制御部4はこれを検知し、撮像部2を介して構図確認用の画像であるスルー画像の撮像を開始する。 When the image synthesis mode is selected, the control unit 4 detects this, and starts imaging through image is an image for composition confirmation via the imaging unit 2. 撮像部2は、スルー画像として、低解像度の画像を生成する。 Imaging unit 2, as a through image, and generates an image of low resolution. 不図示のCCDは、所定の時間間隔で繰り返し撮像を行い、4画素加算処理をした後にRAWデータとして出力する。 Not shown CCD captures an image repeatedly at predetermined time intervals, and outputs the RAW data after the 4-pixel addition processing. そして、生成したスルー画像を表示部7に表示するとともにメモリ10に一時記録する。 The temporary recording in the memory 10 and displays the generated through image to the display section 7. ユーザは、表示部7に表示されたスルー画像を目視することにより、構図確認が可能である。 The user, by viewing the through image displayed on the display unit 7, it is possible composition confirmed. また、制御部4は、メモリ10に、常に最新の4フレーム分のスルー画像を記録する。 The control unit 4, the memory 10, always record the latest four frames through image. すなわち、新しいスルー画像を撮像してメモリ10に一時記録するたびに、最も古いスルー画像を削除する。 That is, by imaging the new through-image each time the temporarily recorded in the memory 10, and deletes the oldest through image.

ステップS1において、制御部4は、最新の4フレームのスルー画像のRAWデータをメモリ10から読み出す。 In step S1, the control unit 4 reads the RAW data of the latest four frames of through images from the memory 10.
ステップS2において、制御部4は、画像処理部6を介して、ステップS1で読み出した最新の4フレームのスルー画像のRAWデータに対して、ディベイヤー処理およびホワイトバランス処理を行う。 In step S2, the control unit 4 via the image processing section 6, the RAW data of the latest four frames of through images read out in step S1, the Dibeiya processing and white balance processing.

ステップS3において、制御部4は、画像処理部6を介して、ステップS2でディベイヤー処理およびホワイトバランス処理を施した4フレームのスルー画像の画像データに対して、ブロックマッチングを行って、加算合成処理を施す。 In step S3, the control unit 4 via the image processing section 6, the image data of the four frames of the live view image subjected to Dibeiya processing and white balance processing in step S2, performs block matching, SIGNAL SUMMING the applied. このとき、4フレームのスルー画像のうち、最後に生成された画像を基準としてブロックマッチングを行う。 In this case, among the through image 4 frames, performing block matching on the basis of the last generated image. そして、加算合成処理後の合成画像の画像データを、メモリ10に一時記録する。 Then, the image data of the composite image after the addition synthesis processing is temporarily recorded in the memory 10.

制御部4は、ステップS1〜ステップS3の処理を、操作部3を介して撮像開始が指示されるまで繰り返し行う。 The control unit 4, the processing of step S1~ step S3, repeated until the start of imaging is instructed via the operation section 3. すなわち、新しいスルー画像を撮像するたびに、メモリ10に最新の4フレームのスルー画像の画像データと、それらの画像の合成画像の画像データとを一時記録する。 That is, a new through-image each time the imaging of the image data of the latest four frames of through images in the memory 10, temporarily records the image data of the composite image of those images.
そして、操作部3を介して撮像開始が指示されると、制御部4は、撮像部2を介して本撮像を開始する。 When the imaging start is instructed via the operation unit 3, the control unit 4 starts the imaging through the imaging unit 2. 撮像部2は、本撮像として、高解像度の画像を生成する。 Imaging unit 2, as the imaging, to generate images of high resolution. このとき、露光時間は、手ブレ限界秒時(1/30〜1/15秒程度)内に設定する。 At this time, the exposure time is set in the time shake limit seconds (about 1 / 30-1 / 15 sec). これは、像ブレの少ない高解像度画像を生成するためである。 This is to generate a high resolution image with less image blur. 不図示のCCDは、インターレース方式で本撮像を行い、3フレームの画像を高解像度RAWデータとして出力する。 Not shown CCD performs the imaging in an interlace method, and outputs the image of the third frame as a high-resolution RAW data.

ステップS4において、制御部4は、上述した本撮像の開始とともに、メモリ10から最新の合成画像の画像データを読み出し、画像処理部6を介して、ローパスフィルタ処理を行う。 In step S4, the control unit 4, together with the start of the imaging described above, it reads the image data of the latest composite image from the memory 10 via the image processing unit 6, is subjected to a low-pass filtering.
ステップS5において、制御部4は、ローパスフィルタ処理後の合成画像に対してリサイズ処理を行う。 In step S5, the control unit 4 performs resizing processing to the composite image after the low pass filtering. なお、制御部4は、リサイズにより、ローパスフィルタ処理後の合成画像を、本撮像により生成される画像と同じ大きさにする。 The control unit 4, by resizing, the synthesis image after the low pass filtering, the same size as the image generated by the imaging.

一方、ステップS6において、制御部4は、撮像部2から高解像度RAWデータを読み出す。 On the other hand, in step S6, the control unit 4 reads the high-resolution RAW data from the imaging unit 2.
ステップS7において、制御部4は、ステップS6で読み出した高解像度RAWデータに対して、画像処理部6を介して、ディベイヤー処理を行う。 In step S7, the control unit 4, to the high-resolution RAW data read in step S6, via the image processing unit 6 performs Dibeiya process.
ステップS8において、制御部4は、ステップS7でディベイヤー処理を施した画像データに対して、画像処理部6を介して、ローパスフィルタ処理を行う。 In step S8, the control unit 4, the image data subjected to the Dibeiya treated with step S7, through the image processing unit 6, is subjected to a low-pass filtering.

ステップS9において、制御部4は、ステップS7でディベイヤー処理を施した画像データと、ステップS8でローパスフィルタ処理を施した画像データとに基づいて、画像処理部6を介して、アンシャープマスク処理を行う。 In step S9, the control unit 4, the image data subjected to the Dibeiya treated with step S7, based on the image data subjected to the low-pass filter processing in step S8, via the image processing section 6, the unsharp masking do. 画像処理部6は、ステップS7でディベイヤー処理を施した画像データと、ステップS8でローパスフィルタ処理を施した画像データとの差分を求め、エッジ抽出を行った後に所定のアンシャープマスク係数を乗じ、後段の加算合成処理に用いる。 The image processing unit 6 multiplies the image data subjected to the Dibeiya treated with step S7, calculates the difference between the image data subjected to low pass filtering process in step S8, a predetermined unsharp mask coefficients after the edge extraction, used in subsequent additive synthesis process.

ステップS10において、制御部4は、ステップS5でリサイズ処理を施したスルー画像由来の画像と、ステップS8でローパスフィルタ処理を施した画像とに対して、画像処理部6を介して、ブロックマッチングを行って、加算合成処理を施す。 In step S10, the control unit 4 includes an image from the through image subjected to resizing in the step S5, with respect to an image which has been subjected to the low-pass filter processing in step S8, via the image processing unit 6, the block matching go and subjected to the additive synthesis process.
ステップS11において、制御部4は、ステップS10で加算合成処理を施した画像の画像データに対して、画像処理部6を介して、ガンマ処理を行う。 In step S11, the control unit 4, the image data of the image subjected to additive synthesis process in step S10, via the image processing unit 6 performs gamma processing.

ステップS12において、制御部4は、画像処理部6を介して、ステップS11でガンマ処理を施した画像の画像データに対して、ステップS9のアンシャープマスク処理の結果を加算合成処理し、最終画像を生成する。 In step S12, the control unit 4 via the image processing section 6, the image data of the image subjected to gamma processing in step S11, the additive synthesis process the results of unsharp masking processing in step S9, the final image to generate.
そして、制御部4は、最終画像に対して、画像処理部6を介して、圧縮処理などの所定の処理を施した後に、画像記録部8に記録する。 Then, the control unit 4, to the final image, through the image processing unit 6, after performing predetermined processing such as compression processing is recorded in the image recording unit 8.

以上説明したように、第1実施形態によれば、連続的な撮像により、解像度の異なる2種類の画像として高解像度画像と低解像度画像とを生成し、高解像度画像と、その高解像度画像の生成の前と後との少なくとも一方に生成された低解像度画像とを合成して最終画像を生成する。 As described above, according to the first embodiment, by continuous imaging, the resolution of two different images to generate a high resolution image and the low resolution image, the high resolution image, the high resolution image generated in at least one of before and after generating a low-resolution image are synthesized to produce the final image. したがって、感度の良い低解像度画像と、像ブレの少ない高解像度画像とを合成することにより、像ブレを抑えることができる。 Therefore, a good low-resolution image sensitivity, by combining the small high-resolution image of the image blur can be suppressed image blur. また、低解像度画像を利用することにより、従来のように高解像度画像を合成する場合に比べて、処理時間を短縮可能とすることができる。 Moreover, by utilizing the low-resolution image, as compared with the case of synthesizing a high-resolution image as in the prior art, it is possible to allow reducing the processing time. また、低解像度画像と、高解像度画像とを合成することにより、従来よりもS/N比の向上が期待できる。 Also, a low-resolution image, by combining the high-resolution image can be expected to improve the S / N ratio than the prior art.

また、第1実施形態によれば、低解像度画像を撮像する際に画素加算を行う。 Further, according to the first embodiment, it performs the pixel addition during the imaging low resolution images. したがって、被写体が暗い場合でも、画素加算により十分感度の良い低解像度画像を生成することができる。 Therefore, even when the object is dark, it is possible to produce a good low-resolution image with sufficient sensitivity pixel addition.
また、第1実施形態によれば、複数フレームの低解像度画像を生成し、それらの低解像度画像を合成した後に、その合成画像と高解像度画像とを合成して最終画像を生成する。 Further, according to the first embodiment, it generates a low-resolution image of a plurality of frames, after synthesizing their low resolution image to generate a final image by synthesizing the high-resolution image and the composite image. したがって、処理時間を短縮するとともに、感度の良い低解像度画像を生成することができる。 Therefore, along with shortening the processing time, it is possible to produce a good low-resolution image sensitivity.

また、第1実施形態によれば、複数フレームの高解像度画像を生成し、それらの高解像度画像を合成した後に、その合成画像と低解像度画像とを合成して最終画像を生成する。 Further, according to the first embodiment, to generate a high resolution image of a plurality of frames, after synthesizing their high-resolution image to generate a final image by synthesizing the low-resolution image and the composite image. したがって、処理時間を短縮するとともに、像ブレの少ない高解像度画像を生成することができる。 Therefore, along with shortening the processing time, it is possible to generate a high resolution image with less image blur.
また、第1実施形態によれば、高解像度画像を撮像する際に、その露光時間を手ブレの発生しない手ブレ限界秒時以内に設定する。 Further, according to the first embodiment, when imaging the high resolution image, set within time shake limit seconds causing no shake the exposure time. したがって、像ブレの少ない高解像度画像を生成することができるので、最終画像の画質の向上が期待できる。 Therefore, it is possible to generate a high resolution image with less image blur, improved image quality of the final image can be expected.

また、第1実施形態によれば、最終画像を生成する際に、高解像度画像と低解像度画像との輝度を、輝度の高い方の画像に合わせる補正を行った後に合成する。 Further, according to the first embodiment, when generating the final image, the luminance of the high resolution image and the low resolution image is synthesized after the correction to match the direction of the image with high brightness. したがって、より自然な最終画像を生成することができる。 Therefore, it is possible to generate a more natural final image.
また、第1実施形態によれば、最終画像を生成する際に、高解像度画像と低解像度画像との大きさを、何れかの画像に合わせる補正を行った後に合成する。 Further, according to the first embodiment, when generating the final image, the size of the high resolution image and the low resolution image is synthesized after the correction to match the one of the image. したがって、本来は大きさの異なる低解像度画像と高解像度画像とを容易に加算合成することができる。 Therefore, originally it can be easily added combining the different low-resolution images sizes and high resolution images.

また、第1実施形態によれば複数フレームの低解像度画像を合成する際に、複数フレームの低解像度画像のうち、その生成タイミングが高解像度画像の生成タイミングと最も近い画像を基準として位置合わせを行う。 Further, in synthesizing the low-resolution image of a plurality of frames according to the first embodiment, among the low-resolution image of a plurality of frames, the alignment of the closest image that generation timing and generation timing of the high-resolution image as a reference do. したがって、低解像度画像の合成の際に、より被写体の状態に即した合成を行うことができる。 Therefore, during the synthesis of the low-resolution image, it is possible to more synthesis in line with the state of the subject.
また、第1実施形態によれば、低解像度画像として、構図確認用のスルー画像を生成する。 Further, according to the first embodiment, as the low-resolution image to generate a through image for composition confirmation. したがって、撮像開始指示が行われる前に生成されたスルー画像を利用して最終画像を生成することになり、従来のように撮影開始指示が行われてから全ての画像を撮像して合成する場合に比べて、処理時間を短縮可能とすることができる。 Therefore, when using the through image that was generated before the imaging start instruction is issued resulting in the formation of the final image, the shooting start instruction as in the prior art to synthesize by capturing all the images from being performed compared to, it can allow shorten the processing time.

〈第2実施形態〉 <Second Embodiment>
以下、第 2実施形態について詳細に説明する。 It will be described in detail for the second embodiment.
なお、第2実施形態では、撮像装置の一例として、第1実施形態と同様に、電子カメラを例に挙げて説明を行う。 In the second embodiment, as an example of the imaging device, similarly to the first embodiment, a description will be given of an electronic camera as an example. 以下では、第1実施形態と異なる部分についてのみ説明を行う。 The following description only the differences from the first embodiment.

第2実施形態の電子カメラは、第1実施形態の電子カメラ1と同様の構成を有する。 The electronic camera of the second embodiment has the same configuration as the electronic camera 1 of the first embodiment. 以下では、第1実施形態と同様の符号を用いて説明する。 The following description using the same reference numerals as the first embodiment.
また、第2実施形態の電子カメラは、第1実施形態の電子カメラ1と同様に、画像合成モードを有する。 The electronic camera of the second embodiment, similarly to the electronic camera 1 of the first embodiment, an image synthesis mode. このモードの選択は、第1実施形態と異なり、制御部4による自動判断により行われる。 Selection of this mode is different from the first embodiment is performed by automatic determination by the control unit 4. 制御部4は、本撮像時の露光時間、被写体の動きの変化、照明発光部5による発光の有無などに基づいて、画像合成モードを実行するか通常モードを実行するかを決定する。 The control unit 4, the exposure time for the imaging, the change in motion of the subject, and the like based on the presence or absence of light emission by the illumination light emitting unit 5, it determines whether to perform a normal mode or to perform the image synthesis mode. 例えば、本撮像時の露光時間が、1/30秒より長い場合には、画像合成モードを実行するようにしても良い。 For example, the exposure time for the imaging is longer than 1/30 seconds, it may be executed an image composition mode. また、露光時間が1/30より短い場合でも、ダイナミックレンジの向上を目的として画像合成モードを実行するようにしても良い。 Further, even if the exposure time is shorter than 1/30, may be executed an image synthesizing mode for the purpose of improving the dynamic range. ただし、動きベクトルが大きい場合には、通常モードを実行するのが好ましい。 However, when the motion vector is large, it is preferable to perform the normal mode. また、露光時間が1/30より長く、かつ、照明発光部5による発光が行われる場合に、画像合成モードを実行するようにしても良い。 The exposure time is longer than 1/30, and, when the light emission by the illumination light emitting portion 5 is performed, it may be executed an image composition mode. さらに、電子カメラ1が加速度センサなどを備える場合には、そのセンサの出力も加味してモードの選択を実行するようにしても良い。 Further, when the electronic camera 1 is provided with an acceleration sensor, it may be executed to select the mode by considering the output of that sensor. 加速度センサの出力と動きベクトルとを比較することにより、手ブレが発生しているのか被写体が動いているのかを判別することができる。 By comparing the output and the motion vector of the acceleration sensor, camera shake can be determined whether the running is the one object has occurred.

以下、図3の流れ図を参照して、画像合成モードが選択された場合の制御部4の動作について説明する。 Hereinafter, with reference to the flowchart of FIG. 3, the operation of the control unit 4 when the image synthesizing mode is selected it will be described. なお、図3の流れ図におけるステップ番号は、説明を行うためのものであり、必ずしもこの順番で処理を行うわけではない。 Incidentally, the step numbers in the flow diagram of Figure 3 is for an explanation, not necessarily perform processing in this order. また、複数のステップ番号の処理が同時に行われる場合もある。 In some cases, the processing of a plurality of step numbers are carried out simultaneously.
画像合成モードが選択されると、制御部4はこれを検知し、第1実施形態と同様に、撮像部2を介して構図確認用の画像であるスルー画像の撮像を開始する。 When the image synthesis mode is selected, the control unit 4 detects this, as in the first embodiment, starts imaging the through image is an image for composition confirmation via the imaging unit 2.

ステップS21において、制御部4は、最新の4フレームのスルー画像のRAWデータをメモリ10から読み出す。 In step S21, the control unit 4 reads the RAW data of the latest four frames of through images from the memory 10.
ステップS22において、制御部4は、画像処理部6を介して、ステップS21で読み出した最新の4フレームのスルー画像のRAWデータに対して、ホワイトバランス処理を行う。 In step S22, the control unit 4 via the image processing section 6, the RAW data of the through image of the latest four frames read out in step S21, it performs a white balance process. この時点では、第1実施形態とは異なり、ディベイヤー処理を行わないので、ベイヤ状態のままで以降の処理が行われる。 At this point, unlike the first embodiment, it is not performed Dibeiya process, the processes in and after remains Bayer state takes place.

ステップS23において、制御部4は、画像処理部6を介して、ステップS22でホワイトバランス処理を施した4フレームのスルー画像の画像データに対して、ブロックマッチングを行って、平均化処理を施す。 In step S23, the control unit 4 via the image processing section 6, the image data of the through image of four frames subjected to white balance processing in step S22, performs block matching is subjected to averaging processing. すなわち、4フレームのスルー画像の画像データを加算し、4で除すことにより平均化を行う。 That is, by adding the image data of the through image of four frames, performs averaging by dividing by four. そして、平均化処理後の合成画像の画像データを、メモリ10に一時記録する。 Then, the image data of the composite image after the averaging processing, is temporarily recorded in the memory 10.

制御部4は、ステップS21〜ステップS23の処理を、操作部3を介して撮像開始が指示されるまで繰り返し行う。 The control unit 4, the processing of step S21~ step S23, is repeated until the start of imaging is instructed via the operation section 3.
そして、操作部3を介して撮像開始が指示されると、制御部4は、撮像部2を介して本撮像を開始する。 When the imaging start is instructed via the operation unit 3, the control unit 4 starts the imaging through the imaging unit 2. 撮像部2は、本撮像として、高解像度の画像を生成する。 Imaging unit 2, as the imaging, to generate images of high resolution. このとき、露光時間は、手ブレ限界秒時(1/30〜1/15秒程度)内に設定する。 At this time, the exposure time is set in the time shake limit seconds (about 1 / 30-1 / 15 sec). これは、像ブレの少ない高解像度画像を生成するためである。 This is to generate a high resolution image with less image blur. 不図示のCCDは、インターレース方式で本撮像を行い、3フレームの画像を高解像度RAWデータとして出力する。 Not shown CCD performs the imaging in an interlace method, and outputs the image of the third frame as a high-resolution RAW data. なお、第2実施形態では、本撮像において、撮像部2は、繰り返し撮像を行う(詳細は後述する)。 In the second embodiment, in the imaging, the imaging unit 2 performs repetitive imaging (details will be described later).

ステップS24において、制御部4は、上述した本撮像の開始とともに、ステップS23で平均化処理を施した画像に対して、画像処理部6を介してリサイズ処理を行う。 In step S24, the control unit 4 performs the start of the imaging described above, the image which has been subjected to averaging processing in step S23, the resizing processing via the image processing section 6. なお、制御部4は、リサイズにより、平均化処理後の画像を、本撮像により生成される画像と同じ大きさにする。 The control unit 4, by resizing, the image after the averaging processing, the same size as the image generated by the imaging.
一方、ステップS25において、制御部4は、撮像部2から最新の2フレームの高解像度RAWデータを読み出す。 On the other hand, in step S25, the control unit 4 reads the high-resolution RAW data of the latest two frames from the imaging unit 2.

ステップS26において、制御部4は、ステップS25で読み出した2フレームの高解像度RAWデータに対して、画像処理部6を介して、動きベクトル検出を行う。 In step S26, the control unit 4, to the high-resolution RAW data of two frames read out in step S25, via the image processing unit 6 performs motion vector detection.
そして、検出した動きベクトルの動き量が所定値以下の場合、ステップS27において、制御部4は、画像処理部6を介して、ステップS25で読み出した2フレームの高解像度RAWデータに対して、ブロックマッチングを行って、加算合成処理を施す。 Then, if the motion amount of the detected motion vector is less than a predetermined value, in step S27, the control unit 4 via the image processing unit 6, the high-resolution RAW data of two frames read out in step S25, the block performing matching, subjected to additive synthesis process.

一方、ステップS26で検出した動きベクトルの動き量が所定値より大きい場合、制御部4は、ステップS25に戻り、新たに最新の2フレームの高解像度RAWデータを読み出す。 On the other hand, when the motion amount of the motion vector detected in step S26 is larger than the predetermined value, the control unit 4 returns to step S25, newly read high-resolution RAW data of the latest two frames. このような処理を行うことにより、像ブレの少ない高解像度画像を得ることができる。 By performing such processing, it is possible to obtain a high resolution image with less image blur. ただし、動きベクトルの動き量が所定値以下にならない場合には、最初に生成した高解像度RAWデータのみを使用するようにしても良い。 However, when the motion amount of the motion vector does not become less than the predetermined value, it may be used only high-resolution RAW data initially generated.

ステップS28において、制御部4は、ステップS27で加算合成処理を施した画像に対して、画像処理部6を介して、画素加算圧縮を行う。 In step S28, the control unit 4, the image subjected to additive synthesis process in step S27, via the image processing unit 6 performs the pixel addition compression. 圧縮時の係数は、ステップS27の加算合成処理により合成された画像の枚数をa、スルー画像撮像時のCCDによる画素加算数をbとすると、b/aとなる。 Coefficient at the time of compression, when the number of images synthesized by additive synthesis process in step S27 a, the number of pixels added by the CCD during through image capturing is is b, a b / a.
ステップS29において、制御部4は、ステップS27で加算合成処理を施した画像に対して、画像処理部6を介して、ゲイン調整を行う。 In step S29, the control unit 4, the image subjected to additive synthesis process in step S27, via the image processing unit 6 performs gain adjustment. ゲイン調整の係数は、ステップS27の加算合成処理により合成された画像の枚数をaとすると、1/aとなる。 Coefficient of gain adjustment, when the number of images synthesized by additive synthesis step S27 is a, a 1 / a.

ステップS30において、制御部4は、ステップS23で平均化処理を施したスルー画像由来の画像と、ステップS28で画素加算圧縮処理を施した高解像度RAWデータ由来の画像とに対して、画像処理部6を介して、ブロックマッチングを行う。 In step S30, the control unit 4 includes an image from the through image subjected to the averaging process in step S23, with respect to the high-resolution RAW data from the image subjected to pixel addition compressed in step S28, the image processing unit 6 through performs block matching.
ステップS31において、制御部4は、ステップS30のブロックマッチングの結果に基づいて、XY座標の差分を抽出する。 In step S31, the control unit 4, based on the block matching result in step S30, it extracts the difference between the XY coordinates.

ステップS32において、制御部4は、画像処理部6を介してずらし補間処理を行う。 In step S32, the control unit 4 performs an interpolation process is shifted through the image processing unit 6. 制御部4は、ステップS24でリサイズ処理を施したスルー画像由来の画像と、ステップS28で画素加算圧縮処理を施した高解像度RAWデータ由来の画像とに対して、ステップS31で抽出したXY座標の差分に基づいてずらし補間を行う。 Control unit 4 includes an image from the through image subjected to resizing in the step S24, with respect to the high-resolution RAW data from the image subjected to pixel addition compressed in step S28, the XY coordinates extracted in Step S31 perform interpolation shift based on the difference. すなわち、ステップS31で抽出したXY座標の差分の小数点以下を利用して画素ずらしを行うことにより解像度を上げることができる。 That is, it is possible to increase the resolution by performing pixel shifting by utilizing the following differences decimal XY coordinates extracted in step S31.

ステップS33において、制御部4は、ステップS32でずらし補間処理を施した画像の画像データに対して、画像処理部6を介して、ガンマ処理を行う。 In step S33, the control unit 4, the image data of the image subjected to the interpolation process is shifted at step S32, via the image processing unit 6 performs gamma processing.
ステップS34において、制御部4は、ステップS32でずらし補間処理を施したスルー画像由来の画像の画像データと、ステップS29でゲイン調整を施した高解像度RAWデータ由来の画像の画像データとに基づいて、画像処理部6を介して、アンシャープマスク処理を行う。 In step S34, the control unit 4 on the basis image data of the through image from the image subjected to the interpolation process is shifted at step S32, the image data of high resolution RAW data from the image subjected to gain adjustment in step S29 , via the image processing unit 6 performs the unsharp mask processing. 画像処理部6は、図2のステップS9と同様に差分を求め、エッジ抽出を行った後に所定のアンシャープマスク係数を乗じ、後段の加算合成処理に用いる。 The image processing unit 6 calculates a difference similarly to step S9 in FIG. 2, multiplied by a predetermined unsharp mask coefficients after the edge extraction, it is used in the subsequent additive synthesis process.

ステップS35において、制御部4は、ステップS33でガンマ処理を施した画像の画像データに対して、ステップS34のアンシャープマスク処理の結果を加算合成処理し、最終画像を生成する。 In step S35, the control unit 4, the image data of the image subjected to gamma processing in step S33, the result of the unsharp masking process in step S34 by adding the synthetic process to produce the final image.
ステップS36において、制御部4は、ステップS35で加算合成処理を施した画像データに対して、画像処理部6を介して、ディベイヤー処理を行い、最終画像を生成する。 In step S36, the control unit 4, the image data subjected to the additive synthesis process in step S35, via the image processing section 6 performs Dibeiya process, to produce the final image.

そして、制御部4は、最終画像に対して、画像処理部6を介して、圧縮処理などの所定の処理を施した後に、画像記録部8に記録する。 Then, the control unit 4, to the final image, through the image processing unit 6, after performing predetermined processing such as compression processing is recorded in the image recording unit 8.
以上説明したように、第2実施形態によれば、被写体の輝度を検出する検出部をさらに備え、検出部により検出した被写体の輝度が所定値よりも小さい場合に、連続的な撮像により高解像度画像と低解像度画像とを生成し、高解像度画像と低解像度画像とを合成して最終画像を生成する。 As described above, according to the second embodiment, further comprising a detector for detecting the brightness of the subject, when the luminance of the subject detected by the detection unit is smaller than a predetermined value, a high-resolution by successive imaging generating an image and the low resolution image to generate a final image by synthesizing the high-resolution image and the low resolution image. したがって、被写体の状況に応じて、画像の合成を実行することができる。 Therefore, it is possible according to the condition of the subject, to perform the image synthesis.

また、第2実施形態によれば、画像を合成する際に、ベイヤ状態の画像に対して位置合わせを行う。 Further, according to the second embodiment, when synthesizing an image, to align the image of the Bayer state. したがって、従来に比べて処理時間を短縮することが期待できる。 Therefore, it is expected to shorten the processing time compared to conventional.
なお、第1実施形態および第2実施形態において、撮像および合成の開始と終了との少なくとも一方を被撮影者に対して報知するようにしても良い。 In the first embodiment and the second embodiment may be at least one of the start and end of imaging and synthetic so as to notify the target participant. すなわち、電子カメラ1が備えるランプやスピーカなどを利用して、被撮影者に対して報知することにより、被撮影者の注意を適切に喚起することができる。 That is, like by using a lamp or a speaker provided in the electronic camera 1, by notify the person to be photographed, it is possible to appropriately alert the person to be photographed. 例えば、インジケータLEDなどを備える場合には、継続的に点灯することにより、分かり易く報知することができる。 For example, when provided with such indicator LED, by continuously lighting, it is possible to inform clarity.

また、いわゆるスローシンクロ撮影の場合にも本発明を適用することができる。 Further, it is also possible to apply the present invention in the case of a so-called slow-synchro photographing. すなわち、本撮像時(高解像度画像が撮像される際)に、発光して被写体を照明することにより高解像度画像の画質を向上させることが期待でき、また、スルー画像の撮像時(低解像度画像が撮像される際)に、発光して被写体を照明することにより、低解像度画像の感度を向上させることが期待できる。 That is, when the present imaging (when high-resolution image is captured), emission to be expected to improve the image quality of the high resolution image by illuminating the object, also, the time of imaging of the through image (low resolution image to but when it is captured), by illuminating the object with light emission can be expected to improve the sensitivity of the low-resolution image. なお、スローシンクロ撮影に適用する場合には、低解像度画像と高解像度画像とを合成して最終画像を生成するときに、ブロックマッチングを行わずに合成すると良い。 When applying the slow synchro photographing, when generating a final image by synthesizing the low-resolution image and a high resolution image, it may be synthesized without block matching.

また、第1実施形態および第2実施形態では、低解像度画像を生成した後に高解像度画像を生成する例を示したが、本発明はこの例に限定されない。 In the first embodiment and the second embodiment, an example of generating a high-resolution image after generating a low-resolution image, the present invention is not limited to this example. 例えば、高解像度画像を生成した後に低解像度画像を生成するようにしても良いし、高解像度画像の生成の前後に生成した低解像度画像を利用するようにしても良い。 For example, it may be configured to generate a low-resolution image after generating a high-resolution image may be using low-resolution image generated before and after the generation of the high resolution image. ただし、上述したスローシンクロ撮影に関しては、低解像度画像を生成した後に高解像度画像を生成するのが好ましい。 However, for slow synchro photographing as described above, to produce a high-resolution image after generating a low-resolution image is preferred.

また、第2実施形態の高解像度画像の部分で説明したように、動きベクトルに基づいて、合成に用いる高解像度画像および低解像度画像を決定するようにしても良い。 Further, as described in the portion of the high resolution image of the second embodiment, based on the motion vector, it may be determined with high resolution images and low resolution images used in the synthesis. また、撮影の最中で動きベクトルが著しく変化した場合や、加速度センサと動きベクトルとの間に不整合が生じた場合には、その前までの画像データのみを合成するようにしても良い。 Furthermore, and if the motion vector is significantly changed during the shooting, when the mismatch between the acceleration sensor and the motion vector occurs, it may be synthesized only the image data up to the previous.
また、第1実施形態および第2実施形態で合成に供した高解像度画像および低解像度画像のフレーム数はこの例に限定されない。 Further, the number of frames the high resolution image and the low resolution image subjected to synthesis in the first embodiment and the second embodiment is not limited to this example. また、適宜フレーム数を可変するようにしても良い。 May also be the appropriate number frames is variably. 例えば、被写界の暗さ、被写体の動き、CCDの構成、要求される解像度などに応じて、高解像度画像および低解像度画像のフレーム数を決定するようにしても良い。 For example, the scene darkness, movement of the subject, CCD structure, depending on the required resolution, may be determined the number of frames of the high resolution image and the low resolution image. 一般に、解像度優先する場合には、フレーム数を多くし、ブレの補正を優先する場合には、フレーム数を少なくすると良い。 Generally, when the resolution priority is to increase the number of frames, in the case of priority to the correction of the shake, it is preferable to reduce the number of frames.

また、第1実施形態および第2実施形態では、常に最新の4フレームのスルー画像を記録しておく例を示したが、本発明はこの例に限定されない。 In the first embodiment and the second embodiment, always an example is shown recording the through image of the latest four frames, the present invention is not limited to this example. 例えば、スルー画像に対して動きベクトル検出を行い、動きベクトルの動き量が所定値を超えた場合には、全てのスルー画像を破棄して、再び記録し直すようにしても良い。 For example, it performs motion vector detection on the through image, when the motion amount of the motion vector exceeds a predetermined value, to discard all of the through image, may be re-recorded again. また、レリーズボタンが半押しされてからスルー画像の一時記録を開始するようにしても良い。 In addition, the release button may be the start of a temporary record of the through-the-lens image after it is pressed halfway. また、スルー画像の撮像中(本撮像前)に、ズームが指示された場合には、適宜リサイズ処理を行って、後段の合成に備えるようにすれば良い。 Further, during imaging of the through image (the pre-imaging), when the zoom is instructed, performs appropriate resizing, it is sufficient to provide for the subsequent synthesis.

また、第1実施形態および第2実施形態では、撮像部2は、4画素加算タイプのCCDを備える例を示したが、9画素加算タイプのCCDなど、他の構成のCCDであっても良い。 In the first embodiment and the second embodiment, the imaging unit 2, an example with a four-pixel addition type CCD, etc. 9 pixel addition type CCD, or may be a CCD having another structure . また、加算する画素数が可変であっても良い。 Further, the number of pixels to be added may be variable. また、インターレース方式のCCDを例に挙げて説明を行ったが、プログレッシブ方式のCCDにも本発明を同様に適用することができる。 Also, has been described by way of CCD interlaced example, it is also possible to apply the present invention similarly to the CCD of the progressive method. また、画素加算タイプのCCDではなく、間引きタイプのCCDにも本発明を同様に適用することができる。 Also, rather than CCD pixel addition type in CCD thinning type it is possible to apply the present invention likewise.

また、第1実施形態および第2実施形態において、画像記録部8に最終画像を記録する際には、最終画像のみを記録しても良いし、最終画像と、その元となった画像(合成に供した画像)とを関連付けて記録するようにしても良い。 Further, in the first embodiment and the second embodiment, when recording the final image on the image recording unit 8, to only the final image may be recorded, and the final image, the image from which it original (Synthesis it may be recorded in association with image) and subjected to. 圧縮してから記録しても良いし、非圧縮の状態で記録しても良い。 May be recorded after compression, it may be recorded in a non-compressed state. また、 Also,
また、第1実施形態および第2実施形態で説明した合成処理を、撮影直後に行わずに、ユーザ操作に基づいて行うようにしても良いし、電源OFF後、バックグラウンドで行うようにしても良い。 Further, the synthesis processing described in the first embodiment and the second embodiment, without immediately after photographing, may be performed based on the user operation, after power OFF, be performed in the background good.

また、第1実施形態および第2実施形態において、撮像装置が行った動作を、コンピュータで実現するようにしても良い。 Further, in the first embodiment and the second embodiment, an operation of the imaging apparatus is carried out, may be realized by a computer. すなわち、撮像装置によって生成された画像をコンピュータに取り込み、取り込んだ画像に対して、第1実施形態および第2実施形態で説明した画像の合成などの処理を行うようにしても良い。 That captures the image generated by the imaging device to the computer, on an image taken, may be performed a process such as the synthesis of the image described in the first embodiment and the second embodiment. コンピュータで実現する場合には、コンピュータに本発明の画像処理プログラムをインストールしておき、各画像とともに、第1実施形態および第2実施形態で説明した画像の合成などの処理と同等の処理が実現可能な付帯情報(角速度センサの出力など)を、コンピュータに取り込むようにすれば良い。 When implemented in a computer, it has installed an image processing program of the present invention into the computer, with each image, processing equivalent to processing such as synthesis of the image described in the first embodiment and the second embodiment is realized possible supplementary information (such as the output of the angular velocity sensor), it suffices to take in the computer. また、第1実施形態および第2実施形態で説明した画像の合成などの処理の途中までを電子カメラ1で実現し、以降の処理をコンピュータで実現するようにしても良い。 Further, halfway of processing such as synthesis of the image described in the first embodiment and the second embodiment realized by the electronic camera 1, it may be realized subsequent processing by a computer.

また、第1実施形態および第2実施形態で説明した発明を、適宜入れ替えまたは組み合わせて実行するようにしても良い。 Further, the invention described in the first embodiment and the second embodiment, may be executed appropriately interchanged or combined.

子カメラ1の構成を示すブロック図である。 It is a block diagram showing a configuration of electronic camera 1. 第1実施形態の電子カメラ1の動作を示す流れ図である。 Is a flow diagram illustrating the operation of the electronic camera 1 of the first embodiment. 第2実施形態の電子カメラ1の動作を示す流れ図である。 Is a flow diagram illustrating the operation of the electronic camera 1 of the second embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

1,電子カメラ 2,撮像部 4,制御部 5,照明発光部 6,画像処理部 1, the electronic camera 2, the imaging unit 4, the control unit 5, the illumination light emission section 6, an image processing unit

Claims (18)

  1. 連続的な撮像により、 複数フレームの低解像度画像と、前記低解像度画像とは解像度の異なる高解像度画像とを生成する撮像部と、 By successive imaging, a low-resolution image of a plurality of frames, and wherein the low-resolution image capturing unit that generates a different resolution high resolution image,
    前記複数フレームの低解像度画像を加算合成した後に、その合成画像と前記高解像度画像とを加算合成して最終画像を生成する合成部と を備えたことを特徴とする撮像装置。 Wherein the plurality of low-resolution image of the frame after the additive synthesis, imaging apparatus characterized by comprising a combining unit for generating a final image and the high resolution image and the composite image synthesis by adding to.
  2. 請求項1に記載の撮像装置において、 The imaging apparatus according to claim 1,
    前記合成部は、前記最終画像を生成する際に、前記合成画像と前記高解像度画像との輝度を、輝度の高い方の画像に合わせる補正を行った後に加算合成する The combining unit, when generating the final image, the luminance of the high-resolution image and the composite image is added synthesized after the correction to match the image with the higher luminance
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  3. 請求項1または請求項2に記載の撮像装置において、 The imaging apparatus according to claim 1 or claim 2,
    前記合成部は、前記最終画像を生成する際に、前記合成画像と前記高解像度画像との大きさを、何れかの画像に合わせる補正を行った後に加算合成する The combining unit, when generating the final image, the size of the high resolution image and the composite image is added synthesized after the correction to match the one of the image
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  4. 請求項1から請求項3のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 3,
    前記合成部は、前記複数フレームの低解像度画像を加算合成する際に、前記複数フレームの低解像度画像のうち、その生成タイミングが前記高解像度画像の生成タイミングと最も近い画像を基準として位置合わせを行う The combining unit, when adding synthesizing low-resolution images of the plurality of frames, of the low-resolution image of the plurality of frames, the alignment of the closest image that generation timing and generation timing of the high-resolution image as a reference do
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  5. 請求項1から請求項4のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 4,
    被写体の輝度を検出する検出部をさらに備え、 Further comprising a detector for detecting the brightness of the subject,
    前記検出部により検出した前記被写体の輝度が所定値よりも小さい場合に、前記合成部は、前記合成画像と前記高解像度画像とを加算合成して前記最終画像を生成する If the brightness of the subject detected by the detecting unit is smaller than a predetermined value, the combining unit generates the final image and the high resolution image and the composite image synthesis by adding to
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  6. 連続的な撮像により、複数フレームの高解像度画像と、前記高解像度画像とは解像度の異なる低解像度画像とを生成する撮像部と、 By continuous imaging, a high resolution image of a plurality of frames, an imaging unit that generates a different resolution low-resolution image and the high resolution image,
    前記複数フレームの高解像度画像を加算合成した後に、その合成画像と前記低解像度画像とを加算合成して最終画像を生成する合成部と After adding synthesized high-resolution image of the plurality of frames, a combining unit for generating a final image with the low resolution image and the composite image synthesis by adding to
    を備えたことを特徴とする撮像装置。 Imaging apparatus characterized by comprising a.
  7. 請求項6に記載の撮像装置において、 The imaging apparatus according to claim 6,
    前記合成部は、前記最終画像を生成する際に、前記合成画像と前記低解像度画像との輝度を、輝度の高い方の画像に合わせる補正を行った後に加算合成する The combining unit, when generating the final image, the luminance of the composite image and the low resolution image, adding synthetic after the correction to match the image with the higher luminance
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  8. 請求項6または請求項7に記載の撮像装置において、 The imaging apparatus according to claim 6 or claim 7,
    前記合成部は、前記最終画像を生成する際に、前記合成画像と前記低解像度画像との大きさを、何れかの画像に合わせる補正を行った後に加算合成する The combining unit, when generating the final image, the size of the low-resolution image and the composite image is added synthesized after the correction to match the one of the image
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  9. 請求項6から請求項8のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 8 claims 6,
    被写体の輝度を検出する検出部をさらに備え、 Further comprising a detector for detecting the brightness of the subject,
    前記検出部により検出した前記被写体の輝度が所定値よりも小さい場合に、前記合成部は、前記合成画像と前記低解像度画像とを加算合成して前記最終画像を生成する If the brightness of the subject detected by the detecting unit is smaller than a predetermined value, the combining unit generates the final image by additive synthesis and the low-resolution image and the synthesized image
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  10. 請求項1から請求項9のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 9,
    前記撮像部は、前記低解像度画像を生成する際に画素加算を行う The imaging unit performs pixel addition in generating the low-resolution image
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  11. 請求項1から請求項10のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 10,
    前記撮像部は、前記高解像度画像を撮像する際に、その露光時間を手ブレが発生しないように手ブレ限界秒時以内に設定する The imaging unit, at the time of imaging the high-resolution image, and sets the exposure time within the time shake limit seconds to shake does not occur
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  12. 請求項1から請求項11のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 11,
    前記撮像部は、前記低解像度画像として、構図確認用のスルー画像を生成する The imaging unit, the a low-resolution image to generate a through image for composition confirmation
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  13. 請求項1から請求項12のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 1 to 12,
    前記合成部は、画像を加算合成する際に、ベイヤ状態の画像に対して位置合わせを行う The combining unit performs when additive synthesis image, positioning the image of the Bayer state
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  14. 請求項1から請求項13のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 13 claim 1,
    前記撮像部による撮像および前記合成部による加算合成の開始と終了との少なくとも一方を被撮影者に対して報知する報知部をさらに備えた Further comprising a notification unit for notifying against the photographer at least one of the start and end of the addition synthesis by imaging and the combining unit by the imaging unit
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  15. 請求項1から請求項14のいずれか一項に記載の撮像装置において、 The imaging apparatus according to any one of claims 14 to claim 1,
    被写体を照明する照明発光部をさらに備え、 Further comprising an illumination light emitting portion for illuminating the object,
    前記照明発光部は、前記撮像部により前記高解像度画像が撮像される際に、少なくとも1回発光して前記被写体を照明する The illumination light emitting portion, when the high-resolution image is captured by the imaging unit, for illuminating the object by emitting at least once
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  16. 請求項15に記載の撮像装置において、 The imaging apparatus according to claim 15,
    前記照明発光部は、前記撮像部により前記低解像度画像が撮像される際に、少なくとも1回発光して前記被写体を照明する The illumination light emitting portion, said by the imaging unit when the low-resolution image is captured, to illuminate the object by emitting at least once
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  17. 複数フレームの低解像度画像と、前記低解像度画像とは異なる解像度の高解像度画像とを取得する取得ステップと、 A low-resolution image of a plurality of frames, an acquisition step of acquiring high resolution images of different resolutions and the low-resolution image,
    前記複数フレームの低解像度画像を加算合成した後に、その合成画像と前記高解像度画像とを加算合成して最終画像を生成する合成ステップと After adding and combining the low resolution images of the plurality of frames, and combining step of generating a final image and the high resolution image and the composite image synthesis by adding to
    をコンピュータに実行させることを特徴とする画像処理プログラム。 The image processing program for causing a computer to execute the.
  18. 複数フレームの高解像度画像と、前記高解像度画像とは異なる解像度の低解像度画像とを取得する取得ステップと、 And a high resolution image of a plurality of frames, an acquisition step of acquiring a low-resolution image of a different resolution than the said high resolution image,
    前記複数フレームの高解像度画像を加算合成した後に、その合成画像と前記低解像度画像とを加算合成して最終画像を生成する合成ステップと After adding synthesized high-resolution image of the plurality of frames, and combining step of generating a final image with the low resolution image and the composite image synthesis by adding to
    をコンピュータに実行させることを特徴とする画像処理プログラム。 The image processing program for causing a computer to execute the.
JP2005182295A 2005-06-22 2005-06-22 An imaging apparatus and an image processing program Active JP4631558B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005182295A JP4631558B2 (en) 2005-06-22 2005-06-22 An imaging apparatus and an image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005182295A JP4631558B2 (en) 2005-06-22 2005-06-22 An imaging apparatus and an image processing program

Publications (2)

Publication Number Publication Date
JP2007006021A JP2007006021A (en) 2007-01-11
JP4631558B2 true JP4631558B2 (en) 2011-02-23

Family

ID=37691213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005182295A Active JP4631558B2 (en) 2005-06-22 2005-06-22 An imaging apparatus and an image processing program

Country Status (1)

Country Link
JP (1) JP4631558B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821626B2 (en) * 2007-01-23 2011-11-24 株式会社ニコン The image processing apparatus, an electronic camera, and image processing program
WO2008090730A1 (en) 2007-01-23 2008-07-31 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
JP2008306651A (en) * 2007-06-11 2008-12-18 Olympus Corp Imaging system and program
JP5179859B2 (en) 2007-12-27 2013-04-10 三星電子株式会社Samsung Electronics Co.,Ltd. An imaging apparatus and an imaging method
JP5157464B2 (en) * 2008-01-15 2013-03-06 株式会社ニコン Image processing apparatus
JP4991602B2 (en) * 2008-03-07 2012-08-01 富士フイルム株式会社 Imaging device
JP5183297B2 (en) 2008-05-19 2013-04-17 三洋電機株式会社 The image processing apparatus, an imaging apparatus and an image processing method
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP5642344B2 (en) * 2008-11-21 2014-12-17 オリンパスイメージング株式会社 Image processing apparatus, image processing method, and image processing program
JP2010141653A (en) 2008-12-12 2010-06-24 Sanyo Electric Co Ltd Image processing device and imaging apparatus
JP2010166558A (en) 2008-12-19 2010-07-29 Sanyo Electric Co Ltd Image forming apparatus
JP5302058B2 (en) * 2009-03-17 2013-10-02 富士フイルム株式会社 An imaging apparatus and an imaging method
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
JP5195973B2 (en) * 2011-07-19 2013-05-15 株式会社ニコン The image processing apparatus, an electronic camera, and image processing program
JP5687608B2 (en) * 2011-11-28 2015-03-18 オリンパス株式会社 Image processing apparatus, image processing method, and program
JP5816316B2 (en) * 2013-03-29 2015-11-18 富士フイルム株式会社 The radiation image detecting apparatus and operating method thereof, and a radiation imaging apparatus
JP6095519B2 (en) * 2013-08-09 2017-03-15 三菱電機株式会社 Imaging device
JP2017092909A (en) * 2015-11-17 2017-05-25 株式会社東芝 Imaging apparatus, image processing system and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163210A (en) * 1995-12-13 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> Image pickup system
JPH09214988A (en) * 1996-02-05 1997-08-15 Olympus Optical Co Ltd Still image capturing apparatus
JPH10243288A (en) * 1997-02-28 1998-09-11 Canon Inc Image-pickup method and image-pickup device
JP2001117163A (en) * 1999-10-14 2001-04-27 Olympus Optical Co Ltd Electronic camera apparatus
JP2002112095A (en) * 2000-09-29 2002-04-12 Minolta Co Ltd Digital still camera
JP2003101886A (en) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd Image pickup device
JP2003134375A (en) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd Image pickup system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163210A (en) * 1995-12-13 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> Image pickup system
JPH09214988A (en) * 1996-02-05 1997-08-15 Olympus Optical Co Ltd Still image capturing apparatus
JPH10243288A (en) * 1997-02-28 1998-09-11 Canon Inc Image-pickup method and image-pickup device
JP2001117163A (en) * 1999-10-14 2001-04-27 Olympus Optical Co Ltd Electronic camera apparatus
JP2002112095A (en) * 2000-09-29 2002-04-12 Minolta Co Ltd Digital still camera
JP2003101886A (en) * 2001-09-25 2003-04-04 Olympus Optical Co Ltd Image pickup device
JP2003134375A (en) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd Image pickup system

Also Published As

Publication number Publication date
JP2007006021A (en) 2007-01-11

Similar Documents

Publication Publication Date Title
JP2938123B2 (en) Multi-function digital camera
JP5016715B2 (en) Multi exposure pattern for improving the dynamic range of the image
JP5108172B2 (en) Image data size conversion processing device, an electronic still camera, and the image data size conversion processing for the recording medium
JP3804617B2 (en) Image processing apparatus and method
US8199222B2 (en) Low-light video frame enhancement
JP4487191B2 (en) An image processing apparatus and an image processing program
US7995852B2 (en) Imaging device and imaging method
US20080112644A1 (en) Imaging device
JP4987355B2 (en) An imaging apparatus and an imaging method
US8564679B2 (en) Image processing apparatus, image processing method and program
JP5235798B2 (en) Photographing apparatus and control method thereof
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
JP2006025312A (en) Imaging apparatus and image acquisition method
JP4401949B2 (en) Moving image pickup device and moving the imaging method
JP2004343483A (en) Device and method for correcting camera-shake and device for detecting camera shake
JP5144481B2 (en) An imaging apparatus and an imaging method
CN100593341C (en) Photographing apparatus
US8698924B2 (en) Tone mapping for low-light video frame enhancement
JP5117280B2 (en) Imaging apparatus, an imaging method, reproducing apparatus and reproducing method
JPH10341367A (en) Still image generating method and still image fetch system
JP2002010108A (en) Device and method for processing image signal
CN102420938A (en) Image capturing apparatus and image display method
JP5713752B2 (en) Image processing apparatus, and control method thereof
JP5451782B2 (en) Image processing apparatus and image processing method
JP4646655B2 (en) The solid-state imaging device and a driving method and an imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101101

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250