JP5446847B2 - Image processing apparatus and method, and program - Google Patents
Image processing apparatus and method, and program Download PDFInfo
- Publication number
- JP5446847B2 JP5446847B2 JP2009293939A JP2009293939A JP5446847B2 JP 5446847 B2 JP5446847 B2 JP 5446847B2 JP 2009293939 A JP2009293939 A JP 2009293939A JP 2009293939 A JP2009293939 A JP 2009293939A JP 5446847 B2 JP5446847 B2 JP 5446847B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving object
- background
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることを可能にする技術に関する。 The present invention relates to an image processing apparatus and method, and a program, and more particularly, to a technique that makes it possible to obtain a moving body continuous shot composite image of good quality regardless of the brightness of a shooting environment.
従来より、移動する被写体(以下、「被写動体」と呼ぶ)を連続して撮影することができるデジタルカメラが存在する。このようなデジタルカメラの連続撮像により、その画角の範囲内で、被写動体の配置位置が移動方向に徐々に変化していく複数の画像が得られる。なお、このようにしてデジタルカメラにより撮影された画像であって、画角の範囲内の1枚の画像を、以下、「フレーム画像」と呼ぶ。 Conventionally, there is a digital camera that can continuously photograph a moving subject (hereinafter referred to as a “moving object”). By such continuous imaging of the digital camera, a plurality of images in which the arrangement position of the moving object gradually changes in the moving direction within the range of the angle of view can be obtained. Note that an image taken by the digital camera in this way and within the range of the angle of view is hereinafter referred to as a “frame image”.
近年、このようなデジタルカメラが実行できる処理として、連続撮影により得られた複数のフレーム画像内の被写動体を、各々の配置位置を保持したまま合成する処理が知られている(例えば特許文献1,2参照)。なお、このような処理を、以下、「動体連写合成処理」と呼び、動体連写合成処理により得られる画像を、以下、「動体連写合成画像」と呼ぶ。 In recent years, as a process that can be executed by such a digital camera, a process is known in which moving objects in a plurality of frame images obtained by continuous shooting are combined while maintaining their arrangement positions (for example, Patent Documents). 1 and 2). Such processing is hereinafter referred to as “moving object continuous shooting composition processing”, and an image obtained by moving object continuous shooting combining processing is hereinafter referred to as “moving object continuous shooting combined image”.
動体連写合成処理に用いるフレーム画像は、被写動体を含むため、連続撮影時のシャッタ速度は高速な方が好適である。低速のシャッタ速度の場合には、モーションブラーと呼ばれる現象、即ち被写動体が引き伸ばされて写る現象の影響によって、被写動体をくっきりと撮影することができないからである。また、連続撮影時の各撮影の時間間隔もできるだけ高速なFPSで撮影した方が被写動体の動きの速度に影響されなくなるからである。 Since the frame image used for the moving object continuous shooting composition process includes the moving object, it is preferable that the shutter speed during continuous shooting is high. This is because when the shutter speed is low, the moving object cannot be clearly photographed due to the effect of motion blur, that is, the effect of the moving object being stretched and captured. In addition, the time interval of each shooting at the time of continuous shooting is also less affected by the speed of movement of the moving object if the shooting is performed with FPS as fast as possible.
しかしながら、このように高速なシャッタ速度で連続撮影された複数のフレーム画像を用いて、動体連写合成処理を実行した場合、撮影環境の明るさが一定未満のとき、即ち撮影環境が暗いときに得られる動体連写合成画像は、ノイズを多く含む品質が劣化した画像となる。 However, when the moving body continuous shooting / combining process is executed using a plurality of frame images continuously shot at such a high shutter speed, the brightness of the shooting environment is less than a certain level, that is, the shooting environment is dark. The obtained moving subject continuous shooting composite image is an image having a deteriorated quality including a lot of noise.
そこで、本発明は、撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることを目的とする。 Therefore, an object of the present invention is to obtain a moving body continuous-shot composite image of good quality regardless of the brightness of the shooting environment.
本発明の第1の観点によると、
移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出手段と、
前記被写動体に対する前記連続撮影のときの撮影環境の明るさを判定する判定手段と、
前記判定手段により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成手段と、
前記生成手段により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出手段により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
を備える画像処理装置を提供する。
According to a first aspect of the invention,
Storage means for storing image data of a plurality of original images, each of a plurality of images obtained by continuous shooting on a moving moving object as an original image,
Extraction means for extracting the image data of the moving object from each of the image data of the plurality of original images stored in the storage means;
Determining means for determining brightness of a shooting environment at the time of the continuous shooting with respect to the moving object;
When the determination unit determines that the brightness is less than a certain level, image data obtained by averaging each of the image data of the plurality of original images is used as a background image including the background of the moving object. Generating means for generating image data;
The moving object continuous shooting composition is performed by superimposing the image data of the moving object extracted by the extracting means for each of the plurality of original images on the image data of the background image generated by the generating means. Combining means for generating image data of the image;
An image processing apparatus is provided.
本発明の第2の観点によると、
前記生成手段は、さらに、
前記判定手段により判定された前記明るさに応じて、生成した前記背景画像の明るさを調整する、
画像処理装置を提供する。
According to a second aspect of the invention,
The generating means further includes:
Adjusting the brightness of the generated background image according to the brightness determined by the determining means;
An image processing apparatus is provided.
本発明の第3の観点によると、
前記生成手段は、前記複数の原画像のうち背景領域の画像データの各々を加算平均して得られる画像データを、前記背景画像の画像データとして生成する、
画像処理装置を提供する。
According to a third aspect of the present invention,
The generation means generates image data obtained by adding and averaging each of the image data of the background region among the plurality of original images as image data of the background image.
An image processing apparatus is provided.
本発明の第4の観点によると、
前記生成手段は、さらに、
前記判定手段により前記明るさが一定以上であると判定された場合、前記複数の原画像のうちの所定の1つの画像データを、前記背景画像の画像データとして生成する、
画像処理装置を提供する。
According to a fourth aspect of the invention,
The generating means further includes:
If the determination means determines that the brightness is greater than or equal to a certain level, a predetermined one of the plurality of original images is generated as image data of the background image.
An image processing apparatus is provided.
本発明の第5の観点によると、
前記生成手段は、複数の前記背景画像の画像データを生成し、
前記生成手段により生成された前記画像データにより表現される前記複数の背景画像を表示する表示手段と、
前記表示手段に表示された前記複数の背景画像のうちの1つを選択する選択手段と、
をさらに備え、
前記合成手段は、前記選択手段により選択された前記背景画像の画像データを用いて、前記動体連写合成画像の画像データを生成する
画像処理装置を提供する。
According to a fifth aspect of the present invention,
The generation unit generates image data of a plurality of the background images,
Display means for displaying the plurality of background images represented by the image data generated by the generation means;
Selecting means for selecting one of the plurality of background images displayed on the display means;
Further comprising
The synthesizing unit provides an image processing apparatus that generates image data of the moving subject continuous shooting synthesized image using the image data of the background image selected by the selecting unit.
本発明の第6の観点によると、
自動露出の機能を用いて、前記複数の原画像を撮像する撮像手段をさらに備え、
前記判定手段は、
前記撮像手段により前記複数の原画像が撮像されたときの前記自動露出の値を用いて、前記明るさを判定する、
画像処理装置を提供する。
According to a sixth aspect of the present invention,
It further comprises imaging means for imaging the plurality of original images using an automatic exposure function,
The determination means includes
The brightness is determined using the value of the automatic exposure when the plurality of original images are captured by the imaging unit.
An image processing apparatus is provided.
本発明の第7の観点によると、
前記判定手段は、
前記記憶手段に記憶された前記複数の原画像の画像データの少なくとも1つを用いて、前記明るさを判定する、
画像処理装置を提供する。
According to a seventh aspect of the present invention,
The determination means includes
Determining the brightness using at least one of the image data of the plurality of original images stored in the storage means;
An image processing apparatus is provided.
本発明の第8の観点によると、
画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データに対して画像処理をおこなうための画像処理方法において、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出ステップと、
前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定ステップと、
前記判定ステップの処理により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成ステップと、
前記生成ステップの処理により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出ステップの処理により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
を含む画像処理方法を提供する。
According to an eighth aspect of the present invention,
In an image processing method for performing image processing on image data of a plurality of the original images, with each of a plurality of images obtained by continuous shooting on a moving moving object as an original image by an image processing device,
An extraction step of extracting image data of the moving object from each of the image data of the plurality of original images;
A determination step of determining brightness of an imaging environment at the time of continuous shooting with respect to the moving object;
When it is determined that the brightness is less than a certain value by the processing of the determination step, image data obtained by averaging each of the image data of the plurality of original images is a background including the background of the moving object. A generation step of generating as image data of an image;
By superimposing each of the image data of the moving object extracted by the process of the extraction step for each of the plurality of original images with respect to the image data of the background image generated by the process of the generation step, A synthesizing step for generating image data of the moving subject continuous shooting synthesized image;
An image processing method is provided.
本発明の第9の観点によると、
移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データに対して画像処理をおこなう機能を有する画像処理装置を制御するコンピュータに、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出機能と、
前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定機能と、
前記判定機能の実現により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成機能と、
前記生成機能の実現により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出機能の実現により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
を実現させるためのプログラムを提供する。
According to a ninth aspect of the present invention,
A computer for controlling an image processing apparatus having a function of performing image processing on image data of a plurality of original images, each of a plurality of images obtained by continuous shooting on a moving moving object as an original image,
An extraction function for extracting image data of the moving object from each of the image data of the plurality of original images;
A determination function for determining brightness of an imaging environment at the time of continuous shooting with respect to the moving object;
When it is determined that the brightness is less than a certain value by realizing the determination function, image data obtained by averaging each of the image data of the plurality of original images is a background including the background of the moving object. A generation function for generating image data of an image;
By superimposing each of the image data of the moving object extracted by realizing the extraction function for each of the plurality of original images, with respect to the image data of the background image generated by realizing the generating function, A compositing function for generating image data of a moving object continuous composite image;
A program for realizing the above is provided.
本発明によれば、撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることができる。 According to the present invention, it is possible to obtain a moving body continuous shot composite image with good quality regardless of the brightness of the shooting environment.
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明の画像処理装置の一実施形態に係るデジタルカメラ1のハードウェアの構成を示す図である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a hardware configuration of a digital camera 1 according to an embodiment of an image processing apparatus of the present invention.
デジタルカメラ1は、撮像部11と、データ処理部12と、ユーザインタフェース部13と、を備える。
The digital camera 1 includes an
撮像部11は、光学レンズ部21と、イメージセンサ22と、を備える。
The
光学レンズ部21は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ22の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部21にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。
The
イメージセンサ22は、光電変換素子や、AFE(Analog Front End)などから構成される。光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子などから構成される。光電変換素子には、光学レンズ部21からシャッタ部(図示せず)を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換(撮影)して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ22の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ22からは画像データが出力されて、データ処理部12に供給される。
The
データ処理部12は、CPU(Central Processing Unit)31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33と、メモリ34と、表示制御部35と、画像処理部36と、を備えている。
The
CPU31は、ROM32に記録されているプログラムに従って各種の処理を実行する。RAM33には、CPU31が各種の処理を実行する上において必要なデータなどが適宜記憶される。
The
本実施の形態では、後述する図5の位置ズレ補正部101乃至暗用背景フレーム生成部110の各機能を実行するプログラムが、ROM32に記憶されている。従って、CPU31が、このプログラムに従った処理を実行することで、位置ズレ補正部101乃至暗用背景フレーム生成部110の各機能を実現することができる。
In the present embodiment, programs for executing the functions of a positional
メモリ34は、DRAM(Dynamic Random Access Memory)などで構成され、イメージセンサ22から出力された画像データを一時記憶する。また、メモリ34は、各種画像処理に必要な画像データ、各種フラグの値、閾値なども記憶する。また、メモリ34には、画像表示用の画像データ(以下、「表示画像データ」と呼ぶ)の保存と読み出しをおこなうための表示メモリ領域も含まれている。
The
表示制御部35は、メモリ34の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像(以下、「表示画像」と呼ぶ)を、ユーザインタフェース部13の表示部41に表示させる制御を実行する。例えば、表示制御部35は、当該表示画像データに基づいてRGB信号を生成し、当該RGB信号を表示部41に供給することにより、表示画像を表示部41に表示させる。なお、表示制御部35により生成されたRGB信号は、ユーザインタフェース部13の通信部43によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。
The
画像処理部36は、DSP(Digital Signal Processor)などで構成され、メモリ34に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図5の位置ズレ補正部101乃至暗用背景フレーム生成部110が実行する各種画像処理のうち少なくとも一部が、画像処理部36において実行され、残りの一部がCPU31において実行される。即ち、本実施形態では、後述する図5の位置ズレ補正部101乃至暗用背景フレーム生成部110は、CPU31及び画像処理部36というハードウェアと、ROM32に記憶されたプログラム(ソフトウェア)との組み合わせとして構成されている。
The
ユーザインタフェース部13は、液晶ディスプレイなどで構成される表示部41と、ユーザの指示操作を受け付ける操作部42と、外部機器との間での通信を制御する通信部43と、リムーバブル記録媒体51に対するデータの読み書きを行うドライブ44と、を備えている。
The
このような構成を有するデジタルカメラ1は、動体連写合成処理を実行することができる。そこで、以下、図2乃至図10を参照して、動体連写合成処理について説明する。 The digital camera 1 having such a configuration can execute moving object continuous shooting and combining processing. Accordingly, the moving object continuous shooting and combining process will be described below with reference to FIGS. 2 to 10.
図2は、デジタルカメラ1の撮影環境の一例を示す模式図である。 FIG. 2 is a schematic diagram illustrating an example of a shooting environment of the digital camera 1.
図3は、図2の撮影環境の下でデジタルカメラ1の連続撮影によって得られた複数のフレーム画像の一例を示している。 FIG. 3 shows an example of a plurality of frame images obtained by continuous shooting of the digital camera 1 under the shooting environment of FIG.
図2に示すように、実世界の定位置に固定されたデジタルカメラ1は、実世界の空間のうち画角61に含まれる背景62及び被写動体63を連続して撮影することができる。この場合、固定状態のデジタルカメラ1の視点からすると、画角61の範囲内で、背景62は固定しており、被写動体63のみが移動することになる。これにより、図3に示すように、背景62の像72が固定された状態で、被写動体63の像73のみが移動方向(図3中右方向)に徐々に移動していく様子を示す、複数のフレーム画像81乃至85が得られることになる。
As shown in FIG. 2, the digital camera 1 fixed at a fixed position in the real world can continuously photograph the
なお、以下、実世界に存在するものと、フレーム画像内の対応する像とを個々に区別する必要が無い場合、実世界に存在するものの呼称に統一して表現する。即ち、以下、背景62の像72を、単に「背景72」と呼び、被写動体63の像73を、単に「被写動体73」と呼ぶ。
In the following description, when there is no need to distinguish between the image existing in the real world and the corresponding image in the frame image, it is expressed as a unified name of the image existing in the real world. That is, hereinafter, the
図4は、図3の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。 FIG. 4 shows an example of the moving object continuous shooting combined image obtained by executing the moving object continuous shooting combining process for the plurality of frame images of FIG.
図4の動体連写合成画像91において、被写動体73A乃至73Eの各々は、図3の別々のフレーム画像81乃至85の各々に含まれる被写動体73を示している。このように、背景72が固定された状態で、被写動体73のみが移動方向(図3や図4中右方向)に徐々に移動していく様子が、1枚の動体連写合成画像91によって表わされる。
In the moving object continuous shooting
図5は、このような動体連写合成処理を実行するためのデータ処理部12の機能的構成を示す機能ブロック図である。
FIG. 5 is a functional block diagram showing a functional configuration of the
データ処理部12は、位置ズレ補正部101と、フレーム縮小部102と、切替部103と、明るさ判定部104と、明用被写動体検出部105と、被写動体抽出部106と、明用背景フレーム生成部107と、画像合成部108と、暗用被写動体検出部109と、暗用背景フレーム生成部110と、を備えている。
The
また、データ処理部12のメモリ34内には、原フレーム記憶部121と、背景フレーム記憶部122と、抽出被写動体記憶部123と、動体連写合成画像記憶部124と、が設けられている。
Further, in the
原フレーム記憶部121には、撮像部11の連続撮影により得られた複数のフレーム画像の画像データ、例えば上述した図3のフレーム画像81乃至85の各々の画像データが記憶されている。なお、以下、原フレーム記憶部121に記憶されている画像データにより表現されるフレーム画像を、「原フレーム画像」と呼ぶ。
The original frame storage unit 121 stores image data of a plurality of frame images obtained by continuous shooting by the
位置ズレ補正部101は、原フレーム記憶部121に記憶された画像データに対して、各原フレーム画像の位置ズレを補正する処理を実行する。このような位置ズレ補正部101の処理を、以下、「補正処理」と呼ぶ。
The positional
フレーム縮小部102は、位置ズレ補正部101から出力された各原フレーム画像の画像データに対して、画像サイズを縮小させる処理を実行する。このようなフレーム縮小部102の処理を、以下、「縮小処理」と呼ぶ。また、縮小処理後の原フレーム画像を、以下、「縮小原フレーム画像」と呼ぶ。本実施形態では、このような縮小原フレーム画像から被写動体が検出される。検出の処理速度が向上しつつ、十分な検出精度を得ることが可能だからである。
The
切替部103は、明るさ判定部104の判定結果に基づいて、入力データの出力先を切り替える。本実施形態では、切替部103には、フレーム縮小部102から出力された各縮小原フレーム画像の画像データが第1の入力データとして入力され、位置ズレ補正部101から出力された各原フレーム画像の画像データが第2の入力データとして入力される。そして、明るさ判定部104により撮影環境の明るさが一定以上であると判定された場合、第1の入力データの出力先は明用被写動体検出部105に切り替えられ、第2の入力データの出力先は明用背景フレーム生成部107に切り替えられる。これに対して、明るさ判定部104により撮影環境の明るさが一定未満であると判定された場合、第1の入力データの出力先は暗用被写動体検出部109に切り替えられ、第2の入力データの出力先は暗用背景フレーム生成部110に切り替えられる。
The
明るさ判定部104は、各原フレーム画像の撮影時の撮影環境の明るさを判定する。明るさの判定手法は、特に限定されないが、本実施形態では、撮影時のAE(Automatic Exposure、自動露出)の値に従って判定する手法が採用されている。
The
明るさ判定部104により撮影環境の明るさが一定以上であると判定された場合、フレーム縮小部102から出力された各縮小原フレーム画像の画像データが、切替部103を介して明用被写動体検出部105に供給される。
When the
明用被写動体検出部105は、各縮小原フレーム画像の画像データを用いて、被写動体を含まずに背景のみを含む画像(以下、「疑似背景フレーム画像」と呼ぶ)の画像データを生成する。ここで、各縮小フレーム画像における被写動体の画角内の各々の配置位置はばらばらになっている。従って、各縮小フレーム画像の同一画素位置の各画素値のメディアンを取ることによって、被写動体を示す画素値を除外すること、即ち、被写動体を含まない画像を生成することが可能になる。そこで、本実施形態では、明用被写動体検出部105は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
The bright moving
次に、明用被写動体検出部105は、各縮小フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、明用被写動体検出部105は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域(画素群)を被写動体の領域としてそれぞれ検出する。当該検出結果として、各縮小原フレーム画像における被写動体の相対的な存在位置(座標)が、被写動体抽出部106に供給される。
Next, the bright moving
このようにして、被写動体抽出部106には、明用被写動体検出部105の検出結果が供給されると共に、位置ズレ補正部101から出力された各原フレーム画像の画像データも供給される。
In this way, the detection result of the bright
被写動体抽出部106は、明用被写動体検出部105の検出結果に基づいて、各原フレーム画像の画像データの各々から被写動体の画像データを抽出し、抽出被写動体記憶部123に記憶させる。この場合、原フレーム画像における被写動体の相対的な存在位置、即ち、明用被写動体検出部105の検出結果も、抽出被写動体記憶部123に記憶される。
The moving
また、明るさ判定部104により撮影環境の明るさが一定以上であると判定された場合には、位置ズレ補正部101から出力された各原フレーム画像の画像データが、切替部103を介して明用背景フレーム生成部107に供給される。
When the
明用背景フレーム生成部107は、各原フレーム画像のうちの所定の1枚、例えば最初に撮影された原フレーム画像を、動体連写合成画像の生成の際の基礎となる背景を含む画像(以下、「背景フレーム画像」と呼ぶ)として、その背景フレーム画像の画像データを生成して、背景フレーム記憶部122に記憶させる。
The bright background
画像合成部108は、明用背景フレーム生成部107により生成された背景フレーム画像の画像データを、背景フレーム記憶部122から読み出す。また、画像合成部108は、被写動体抽出部106により各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部123から読み出す。そして、画像合成部108は、これらの読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、画像合成部108から出力されて動体連写合成画像記憶部124に記憶される。
The
図6は、このように、明るさ判定部104により撮影環境の明るさが一定以上であると判定された場合に生成される動体連写合成画像の模式図である。
FIG. 6 is a schematic diagram of a moving object continuous shooting composite image generated when the
上述したした通り、連続撮影により得られた原フレーム画像81乃至85のうちの所定の1枚、例えば図6の例では最初に撮影された原フレーム画像81が、背景フレーム画像として採用される。従って、図6に示すように、残りの原フレーム画像82乃至85の各々から被写動体73の画像データが抽出され、抽出元の原フレーム画像82乃至85の各々における存在位置を保持したまま、背景フレーム画像となった原フレーム画像81の画像データに合成される。
As described above, a predetermined one of the
ところで、動体連写合成画像を生成するための原フレーム画像は、その性質上、シャッタ速度優先AEのモード、即ちシャッタ速度がある程度高速になるモードにて撮影された画像である場合が多い。上述したように、シャッタ速度がある程度高速でなければ、被写動体にモーションブラーが生じてしまい、動体連写合成画像になった際に品質が低下するからである。 By the way, the original frame image for generating the moving subject continuous shot composite image is often an image taken in the shutter speed priority AE mode, that is, in the mode in which the shutter speed is increased to some extent. As described above, if the shutter speed is not high to some extent, motion blur occurs in the moving subject, and the quality deteriorates when the moving subject continuous shot composite image is obtained.
このような場合、シャッタ速度が高速でも低感度で良好な撮影が出来る程度に、十分に明るい撮影環境であれば、図6に示すようにして動体連写合成画像が生成された場合であっても、良好な品質を確保することが可能になる。 In such a case, if the shooting environment is sufficiently bright so that good shooting can be performed with low sensitivity even when the shutter speed is high, a moving body continuous shot composite image is generated as shown in FIG. Even better quality can be ensured.
これに対して、暗い撮影環境の場合などは、高速なシャッタ速度では十分な露光を得ることができないため、絞りや感度を高感度に調節して露光を得ることになる。しかしながら、このような場合には、高感度であるが故原フレーム画像にはノイズが多く含まれることになる。その結果、図6に示すようにして動体連写合成画像が生成されると、ノイズを多く含む原フレーム画像がそのまま背景フレーム画像として採用されるため、動体連写合成画像の品質を良好な状態で確保することが困難になる。 On the other hand, in a dark shooting environment or the like, sufficient exposure cannot be obtained at a high shutter speed. Therefore, exposure is obtained by adjusting the aperture and sensitivity to high sensitivity. However, in such a case, although the sensitivity is high, the original frame image contains a lot of noise. As a result, when the moving body continuous shot composite image is generated as shown in FIG. 6, the original frame image containing a lot of noise is directly adopted as the background frame image, so that the quality of the moving body continuous shot composite image is good. It becomes difficult to secure with.
そこで、本実施形態では、暗い撮影環境の場合などでも動体連写合成画像の品質を良好な状態のまま確保すべく、暗用被写動体検出部109及び暗用背景フレーム生成部110が設けられているのである。
Therefore, in the present embodiment, the dark moving
即ち、明るさ判定部104により撮影環境の明るさが一定未満であると判定された場合、フレーム縮小部102から出力された各縮小原フレーム画像の画像データは、切替部103を介して暗用被写動体検出部109に供給されると共に、位置ズレ補正部101から出力された各原フレーム画像の画像データは、切替部103を介して暗用背景フレーム生成部110に供給される。
That is, when the
暗用被写動体検出部109は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。ただし、暗用被写動体検出部109による疑似背景フレーム画像の画像データの生成手法は、明用被写動体検出部105による生成手法とは異なる。即ち、明用被写動体検出部105においては各画素値のメディアンを取ることによって、疑似背景フレーム画像の画像データが生成されたのに対して、暗用被写動体検出部109においては、次のようにして、疑似背景フレーム画像の画像データが生成される。即ち、暗用被写動体検出部109は、各縮小フレーム画像の同一画素位置の各画素値の加算平均値を演算することによって、各々の加算平均値を各々の画素値として有する画像(以下、「加算平均合成画像」と呼ぶ)の画像データを、疑似背景フレーム画像の画像データとして生成する。換言すると、暗用被写動体検出部109において疑似背景フレーム画像として採用される加算平均合成画像の画像データとは、複数の画像データを加算し、加算した画像データの数で除することによって合成された画像データをいう。
The dark moving
次に、暗用被写動体検出部109は、各縮小フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、暗用被写動体検出部109は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域(画素群)を被写動体の領域としてそれぞれ検出する。当該検出結果として、各縮小原フレーム画像における被写動体の相対的な存在位置(座標)が、被写動体抽出部106に供給される。
Next, the dark
このようにして、被写動体抽出部106には、暗用被写動体検出部109の検出結果が供給されると共に、位置ズレ補正部101から出力された各原フレーム画像の画像データも供給される。
In this way, the detection result of the dark moving
被写動体抽出部106は、暗用被写動体検出部109の検出結果に基づいて、各原フレーム画像の画像データの各々から被写動体の画像データを抽出し、抽出被写動体記憶部123に記憶させる。この場合、原フレーム画像における被写動体の相対的な存在位置、即ち、暗用被写動体検出部109の検出結果も、抽出被写動体記憶部123に記憶される。
The moving
ここで注意すべき点は、被写動体抽出部106の抽出対象は、暗用被写動体検出部109の検出結果を用いる場合と、明用被写動体検出部105の検出結果を用いる場合とでは異なる点である。
It should be noted that the object to be extracted by the moving
即ち、明用被写動体検出部105の検出結果が用いられる場合、明用背景フレーム生成部107により生成される背景フレーム画像の画像データは、各原フレーム画像のうちの所定の1枚の画像データがそのまま採用されたものである。従って、背景フレーム画像として採用される原フレーム画像については、被写動体の抽出は不要である。即ち、被写動体抽出部106は、背景フレーム画像を除いた原フレーム画像の画像データのみから、被写動体の画像データを抽出する。
That is, when the detection result of the bright
これに対して、暗用被写動体検出部109の検出結果が用いられる場合、後述するように、各原フレーム画像に基づいて新たな背景フレーム画像の画像データが暗用背景フレーム生成部110により生成される。従って、被写動体抽出部106は、各原フレーム画像の全ての画像データから被写動体領域の画像データをそれぞれ抽出する。
On the other hand, when the detection result of the dark moving
このようにして、暗用被写動体検出部109の検出結果が用いられて、被写動体抽出部106によって、各原フレーム画像の全ての画像データから被写動体領域の画像データが抽出される場合、即ち、明るさ判定部104により撮影環境の明るさが一定未満であると判定された場合、上述したように、位置ズレ補正部101から出力された各原フレーム画像の画像データが、切替部103を介して暗用背景フレーム生成部110に供給される。
In this way, the detection result of the dark moving
暗用背景フレーム生成部110は、各原フレーム画像の画像データを用いて、加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成する。即ち、暗用背景フレーム生成部110は、各フレーム画像の同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成する。背景フレーム画像の画像データは、背景フレーム記憶部122に記憶される。
The dark background
画像合成部108は、暗用背景フレーム生成部110により生成された背景フレーム画像の画像データを、背景フレーム記憶部122から読み出す。また、画像合成部108は、被写動体抽出部106により各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部123から読み出す。そして、画像合成部108は、これらの読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、画像合成部108から出力されて動体連写合成画像記憶部124に記憶される。
The
図7は、このように、明るさ判定部104により撮影環境の明るさが一定未満であると判定された場合に生成される動体連写合成画像の模式図である。
FIG. 7 is a schematic diagram of a moving object continuous shooting composite image generated when the
上述した通り、連続撮影により得られた原フレーム画像81乃至85を用いて生成された加算平均合成画像が、例えば図7の例では加算平均合成画像181が、背景フレーム画像として採用される。従って、図7に示すように、全ての原フレーム画像81乃至85の各々から被写動体73の画像データが抽出され、抽出元の原フレーム画像81乃至85の各々における存在位置を保持したまま、背景フレーム画像となった加算平均合成画像181の画像データに合成される。
As described above, the addition average composite image generated using the
このように、明るさ判定部104により撮影環境の明るさが一定未満であると判定された場合、例えば撮影環境が暗い状態でシャッタ速度優先AEのモードを用いたために感度が高く設定された場合には、加算平均合成画像が背景フレーム画像として採用される。この加算平均合成画像とは、各原フレーム画像が加算されて平均化された画像であるため、各原フレーム画像に含まれているノイズも平均化されて、その影響が低減する。従って、暗い撮影環境の状態で、高感度での撮影が行われた場合であっても、ノイズが除去された背景フレーム画像が採用されることになり、その結果、良好な品質の動体連射合成画像を得ることが可能になる。
As described above, when the
なお、明るさ判定部104により撮影環境の明るさが一定以上であると判定された場合にも、加算平均合成画像を背景フレーム画像として採用することも当然可能である。しかしながら、この場合には、原フレーム画像をそのまま背景フレーム画像として用いる場合と比較して処理時間が長くなる。従って、処理時間の短縮を考慮するならば、明るさ判定部104により撮影環境の明るさが一定以上であると判定された場合には、原フレーム画像に乗っているノイズも少ないので、上述の通り、原フレーム画像をそのまま背景フレーム画像として用いた方が好適である。
It should be noted that even when the
なお、動体連写合成画像記憶部124に記憶された動体連写合成画像の画像データが、メモリ34の表示メモリ領域に表示画像データとして格納されると、表示制御部35は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、動体連写合成画像を表示部41に表示させる制御を実行する。
When the image data of the moving subject continuous shooting composite image stored in the moving subject continuous shooting composite
次に、図8のフローチャートを参照して、このようなデジタルカメラ1が実行する動体連写合成処理について説明する。 Next, with reference to the flowchart of FIG. 8, the moving body continuous shooting and combining process executed by the digital camera 1 will be described.
図8は、動体連写合成処理の流れの一例を示すフローチャートである。 FIG. 8 is a flowchart illustrating an example of the flow of moving object continuous shooting and combining processing.
動体連写合成処理は、撮像部11により連続撮影がされて、各原フレーム画像が図5の原フレーム記憶部121に記憶された後、例えばユーザが所定の操作を図1の操作部42に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。
In the moving body continuous shooting and combining process, after continuous shooting is performed by the
ステップS1において、デジタルカメラ1は、連続撮影がされたときの撮影環境の明るさが一定以上か否かを判定する。 In step S <b> 1, the digital camera 1 determines whether or not the brightness of the shooting environment when continuous shooting is performed is greater than or equal to a certain level.
図5の明るさ判定部104により明るさが一定以上であると判定された場合、上述したように、切替部103の出力先が、明用背景フレーム生成部107及び明用被写動体検出部105に切り替えられ、ステップS1においてYESであると判定されて、処理はステップS2に進む。
When the
ステップS2において、デジタルカメラ1は、図6を用いて上述したように、各原フレームの所定の1枚、例えば最初に撮影された1枚を背景フレーム画像の画像データとして、残りの原フレームの各々から抽出された被写動体の画像データを合成することによって、動体連写合成画像の画像データを生成する。このようなステップS2の処理を、以下、「明用動体連写合成処理」と呼ぶ。「明用動体連写合成処理」の詳細については、図9のフローチャートを参照して後述する。 In step S2, as described above with reference to FIG. 6, the digital camera 1 uses a predetermined one of each original frame, for example, the first photographed image as the image data of the background frame image, and the remaining original frames. By combining the image data of the moving object extracted from each of them, the image data of the moving object continuous shooting combined image is generated. Such processing in step S2 is hereinafter referred to as “light moving object continuous shooting composition processing”. Details of the “light moving object continuous shooting composition process” will be described later with reference to the flowchart of FIG. 9.
これに対して、明るさ判定部104により明るさが一定未満であると判定された場合、上述したように、切替部103の出力先が、暗用背景フレーム生成部110及び暗用被写動体検出部109に切り替えられ、ステップS1においてNOであると判定されて、処理はステップS3に進む。
On the other hand, when the
ステップS3において、デジタルカメラ1は、図7を用いて上述したように、各原フレームの加算平均合成画像を背景フレーム画像として、当該背景フレーの画像のデータに対して、各原フレームの全てから抽出された被写動体の画像データを合成することによって、動体連写合成画像の画像データを生成する。このようなステップS3の処理を、以下、「暗用動体連写合成処理」と呼ぶ。「暗用動体連写合成処理」の詳細については、図10のフローチャートを参照して後述する。 In step S3, as described above with reference to FIG. 7, the digital camera 1 uses the addition average composite image of each original frame as a background frame image, and from all of the original frames with respect to the image data of the background frame. By combining the extracted image data of the moving object, the image data of the moving object continuous shooting combined image is generated. Such processing in step S3 is hereinafter referred to as “dark moving object continuous shooting composition processing”. Details of the “dark moving object continuous shooting and combining process” will be described later with reference to the flowchart of FIG.
ステップS2の明用動体連写合成処理又はステップS3の暗用動体連写合成処理によって動体連写合成画像が生成されると、動体連写合成処理が終了する。 When the moving object continuous shooting combined image is generated by the bright moving object continuous shooting combining process of step S2 or the dark moving object continuous shooting combining process of step S3, the moving object continuous shooting combining process ends.
次に、図9のフローチャートを参照して、図8の動体連写合成処理のうち、ステップS2の明用動体連写合成処理の詳細について説明する。 Next, with reference to the flowchart of FIG. 9, the details of the bright moving object continuous shooting combining process in step S2 in the moving object continuous shooting combining process of FIG. 8 will be described.
図9は、明用動体連写合成処理の流れの詳細例を示すフローチャートである。 FIG. 9 is a flowchart showing a detailed example of the flow of the bright moving object continuous shooting composition process.
明用動体連写合成処理は、ステップS1の処理で明るさが一定以上であると判定された場合に、ステップS2の処理として実行される。即ち、次のような処理が実行される。 The bright moving object continuous shooting and combining process is executed as the process of step S2 when it is determined in step S1 that the brightness is equal to or greater than a certain level. That is, the following processing is executed.
ステップS21において、位置ズレ補正部101は、原フレーム記憶部121に記憶された各原フレーム画像の画像データに対して、位置ズレ補正処理を実行する。本実施形態では、位置ズレ補正部101は、当該補正処理として、各原フレーム画像の各々から特徴点を抽出し、それらの特徴点が重なり合うように各原フレーム画像の射影変換する処理を実行する。
In step S <b> 21, the positional
ステップS22において、フレーム縮小部102は、ステップS21の処理で位置ズレ補正処理が実行された各原フレーム画像の画像データに対して、画像サイズを縮小させる縮小処理を実行する。これにより、各原フレーム画像の各々に対応する縮小原フレーム画像が得られる。
In step S <b> 22, the
このようなステップS22の縮小処理により得られた各縮小原フレーム画像の画像データが、切替部103を介して明用被写動体検出部105に供給されると共に、ステップS21の位置ズレ補正処理が実行された各原フレーム画像の画像データが、切替部103を介して明用背景フレーム生成部107に供給されると、処理はステップS23に進む。
Image data of each reduced original frame image obtained by the reduction process in step S22 is supplied to the bright moving
ステップS23において、明用背景フレーム生成部107は、各原フレーム画像のうちの所定の1枚の原フレーム画像の画像データを、背景フレーム画像の画像データとして生成して、背景フレーム記憶部122に記憶させる。例えば、図3の原フレーム画像81乃至85に対して明用動体連写合成処理が実行される場合には、図6に示すように、最初に撮影された原フレーム画像81が背景フレーム画像として採用され、その画像データが背景フレーム記憶部122に記憶される。
In step S23, the light background
ステップS24において、明用被写動体検出部105は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。上述したように、本実施形態では、明用被写動体検出部105は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
In step S24, the bright moving
ステップS25において、明用被写動体検出部105は、全ての原フレーム画像−1枚について被写動体を抽出する処理が終了したか否かを判定する。
In step S25, the bright moving
ここで、「全ての原フレーム画像−1枚」における「1枚」とは、ステップS24の処理で背景フレーム画像として採用された原フレーム画像、例えば上述の図6の例では原フレーム画像81を指す。従って、ステップS24の処理で背景フレーム画像として採用された原フレーム画像を除いて、被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図6の例では原フレーム画像81を除いた原フレーム画像82乃至85の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップS25においてNOであると判定されて、処理はステップS26に進む。
Here, “one” in “all original frame images—one” means the original frame image adopted as the background frame image in the process of step S24, for example, the
ステップS26において、明用被写動体検出部105は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体の領域を検出する(縮小原フレーム画像−疑似背景フレーム画像=被写動体領域)。すると、被写動体抽出部106は、このような明用被写動体検出部105の検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出し、抽出被写動体記憶部123に記憶させる。この場合、注目画像における被写動体の相対的な存在位置、即ち、明用被写動体検出部105の検出結果も、抽出被写動体記憶部123に記憶される。
In step S26, the bright moving
このようにしてステップS26の処理が終了すると、処理はステップS25に戻され、それ以降の処理が繰り返される。即ち、ステップS25NO,S26のループ処理が繰り返されることによって、ステップS24の処理で背景フレーム画像として採用された原フレーム画像を除いて、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図6の例では、最初に撮影された原フレーム画像81が背景フレーム画像として採用されているので、それ以外の原フレーム画像82乃至85の画像データの各々から被写動体73の画像データが抽出される。これにより、次のステップS25においてYESであると判定されて、処理はステップ27に進む。
When the process of step S26 is completed in this way, the process is returned to step S25, and the subsequent processes are repeated. That is, by repeating the loop processing of steps S25NO and S26, the image data of the moving object is obtained from the image data of each original frame image except the original frame image adopted as the background frame image in the processing of step S24. Extracted. For example, in the example of FIG. 6, the
なお、ステップS23の処理と、ステップS24乃至S26の処理とは相互に独立した処理であるため、それらの処理の順番は、特に図9の例に限定されない。即ち、ステップS23の処理と、ステップS24乃至S26の処理とはほぼ同時に並行して実行されてもよいし、ステップS24乃至S26の処理後に、ステップS23の処理が実行されてもよい。何れにしても、背景フレーム画像の画像データが背景フレーム記憶部122に記憶され、各原フレーム画像の各々から抽出された被写動体の画像データが抽出被写動体記憶部123に記憶されると、処理はステップS27に進む。
In addition, since the process of step S23 and the process of step S24 thru | or S26 are mutually independent processes, the order of those processes is not specifically limited to the example of FIG. That is, the process of step S23 and the processes of steps S24 to S26 may be executed substantially simultaneously in parallel, or the process of step S23 may be executed after the processes of steps S24 to S26. In any case, when the image data of the background frame image is stored in the background
ステップS27において、画像合成部108は、全ての原フレーム画像−1枚について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。
In step S <b> 27, the
ここで、「全ての原フレーム画像−1枚」における「1枚」とは、ステップS24の処理で背景フレーム画像として採用された原フレーム画像、例えば上述の図6の例では原フレーム画像81を指す。従って、ステップS24の処理で背景フレーム画像として採用された原フレーム画像を除いて、被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図6の例では原フレーム画像81を除いた原フレーム画像82乃至85の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップS27においてNOであると判定されて、処理はステップS28に進む。
Here, “one” in “all original frame images—one” means the original frame image adopted as the background frame image in the process of step S24, for example, the
ステップS28において、画像合成部108は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部108は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。
In step S <b> 28, the
このようにしてステップS28の処理が終了すると、処理はステップS27に戻され、それ以降の処理が繰り返される。即ち、ステップS27NO,S28のループ処理が繰り返されることによって、ステップS24の処理で背景フレーム画像として採用された原フレーム画像の画像データに対して、それ以外の各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図6の例では、最初に撮影された原フレーム画像81が背景フレーム画像として採用されているので、当該原フレーム画像81の画像データに対して、それ以外の原フレーム画像82乃至85の各々から抽出された被写動体73の画像データが、元の配置位置と同一位置に順次合成されていく。その結果、動体連写合成画像、例えば図4の動体連写合成画像91の画像データが生成されて動体連写合成画像記憶部124に記憶される。これにより、次のステップS27においてYESであると判定されて、明用動体連写合成処理が終了となる。即ち、図8のステップS2の処理も終了し、動体連写合成処理全体も終了となる。
When the process of step S28 is thus completed, the process returns to step S27, and the subsequent processes are repeated. That is, by repeating the loop process of steps S27NO and S28, the image data of the original frame image adopted as the background frame image in the process of step S24 is extracted from each of the other original frame images. The image data of the moving object is sequentially synthesized at the same position as the original arrangement position. For example, in the example of FIG. 6, the
以上、図9のフローチャートを参照して、図8の動体連写合成処理のうち、ステップS2の明用動体連写合成処理の詳細について説明した。次に、図10のフローチャートを参照して、図8の動体連写合成処理のうち、ステップS3の暗用動体連写合成処理の詳細について説明する。 The details of the bright moving object continuous shooting and combining process in step S2 in the moving object continuous shooting and combining process of FIG. 8 have been described above with reference to the flowchart of FIG. Next, with reference to the flowchart of FIG. 10, the details of the dark moving object continuous shooting combining process in step S <b> 3 in the moving object continuous shooting combining process of FIG. 8 will be described.
図10は、暗用動体連写合成処理の流れの詳細例を示すフローチャートである。 FIG. 10 is a flowchart showing a detailed example of the flow of the dark moving object continuous shooting composition process.
暗用動体連写合成処理は、ステップS1の処理で明るさが一定未満であると判定された場合に、ステップS3の処理として実行される。即ち、次のような処理が実行される。 The dark moving object continuous shooting and combining process is executed as the process of step S3 when it is determined in step S1 that the brightness is less than a certain level. That is, the following processing is executed.
なお、暗用動体連写合成処理のステップS41,S42の各処理は、明用動体連写合成処理のステップS21,S22の各処理と同様の処理であるため、これらの説明については省略する。 Note that the processes in steps S41 and S42 of the dark moving object continuous shooting and combining process are the same as the processes in steps S21 and S22 of the bright moving object continuous shooting and combining process, and thus description thereof is omitted.
ステップS42の縮小処理により得られた各縮小原フレーム画像の画像データが、切替部103を介して暗用被写動体検出部109に供給されると共に、ステップS41の位置ズレ補正処理が実行された各原フレーム画像の画像データが、切替部103を介して暗用背景フレーム生成部110に供給されると、処理はステップS43に進む。
The image data of each reduced original frame image obtained by the reduction process of step S42 is supplied to the dark moving
ステップS43において、暗用被写動体検出部109は、各縮小原フレーム画像の加算平均合成画像の画像データを、疑似背景フレーム画像の画像データとして生成する。即ち、上述したように、暗用被写動体検出部109は、各縮小フレーム画像の同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを、疑似背景フレーム画像の画像データとして生成する。
In step S43, the dark
ステップS44において、暗用被写動体検出部109は、全ての原フレーム画像について被写動体を抽出する処理が終了したか否かを判定する。
In step S44, the dark moving
被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図7の例では原フレーム画像81乃至85の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップS44においてNOであると判定されて、処理はステップS45に進む。
When there is an original frame image from which the moving subject has not yet been extracted, for example, in the example of FIG. 7 described above, an original frame image from which the moving subject has not yet been extracted exists in the
ステップS45において、暗用被写動体検出部109は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体を検出する(縮小原フレーム画像−疑似背景フレーム画像=被写動体領域)。すると、被写動体抽出部106は、このような暗用被写動体検出部109の検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出し、抽出被写動体記憶部123に記憶させる。この場合、注目画像における被写動体の相対的な存在位置、即ち、暗用被写動体検出部109の検出結果も、抽出被写動体記憶部123に記憶される。
In step S45, the dark moving
このようにしてステップS45の処理が終了すると、処理はステップS44に戻され、それ以降の処理が繰り返される。即ち、ステップS44NO,S45のループ処理が繰り返されることによって、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図3の原フレーム画像81乃至85に対して明用動体連写合成処理が実行される場合には、図7に示すように、原フレーム画像81乃至85の画像データの各々から被写動体73の画像データが抽出される。これにより、次のステップS44においてYESであると判定されて、処理はステップ46に進む。
When the process of step S45 is completed in this way, the process is returned to step S44, and the subsequent processes are repeated. That is, by repeating the loop processing of steps S44NO and S45, the image data of the moving object is extracted from each image data of each original frame image. For example, when the bright moving object continuous shooting / synthesizing process is executed on the
ステップS46において、暗用背景フレーム生成部110は、各原フレーム画像の加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成して、背景フレーム記憶部122に記憶させる。例えば、図7に示すように、原フレーム画像81乃至85の加算平均合成画像181が背景フレーム画像として採用され、その画像データが背景フレーム記憶部122に記憶される。
In step S <b> 46, the dark background
なお、ステップS43乃至S45の処理と、ステップS46の処理とは相互に独立した処理であるため、それらの処理の順番は、特に図10の例に限定されない。即ち、ステップS43乃至S45の処理と、ステップS46の処理とはほぼ同時に並行して実行されてもよいし、ステップS46の処理後に、ステップS43乃至S45の処理が実行されてもよい。何れにしても、背景フレーム画像の画像データが背景フレーム記憶部122に記憶され、各原フレーム画像の各々から抽出された被写動体の画像データが抽出被写動体記憶部123に記憶されると、処理はステップS47に進む。
In addition, since the process of step S43 thru | or S45 and the process of step S46 are mutually independent processes, the order of those processes is not specifically limited to the example of FIG. In other words, the processing of steps S43 to S45 and the processing of step S46 may be executed substantially simultaneously in parallel, or the processing of steps S43 to S45 may be executed after the processing of step S46. In any case, when the image data of the background frame image is stored in the background
ステップS47において、画像合成部108は、全ての原フレーム画像について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。
In step S <b> 47, the
被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図7の例では原フレーム画像81乃至85の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップS47においてNOであると判定されて、処理はステップS48に進む。
When there is an original frame image in which the moving object has not yet been combined, for example, in the above-described example of FIG. 7, there is an original frame image in which the moving object has not been combined in the
ステップS48において、画像合成部108は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部108は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。
In step S <b> 48, the
このようにしてステップS48の処理が終了すると、処理はステップS47に戻され、それ以降の処理が繰り返される。即ち、ステップS47NO,S48のループ処理が繰り返されることによって、ステップS46の処理で背景フレーム画像として採用された各原フレーム画像の加算平均合成画像の画像データに対して、各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図7の例では、原フレーム画像81乃至85の加算平均合成画像181が背景フレーム画像として採用されているので、当該加算平均合成画像181の画像データに対して、各原フレーム画像81乃至85の各々から抽出された被写動体73の画像データが、元の配置位置と同一位置に順次合成されていく。その結果、動体連写合成画像、例えば図4の動体連写合成画像91の画像データが生成されて動体連写合成画像記憶部124に記憶される。これにより、次のステップS47においてYESであると判定されて、暗用動体連写合成処理が終了となる。即ち、図8のステップS3の処理も終了し、動体連写合成処理全体も終了となる。
When the process in step S48 is completed in this way, the process returns to step S47, and the subsequent processes are repeated. That is, by repeating the loop process of steps S47NO and S48, the image data of the addition average synthesized image of each original frame image adopted as the background frame image in the process of step S46 is obtained from each of the original frame images. The extracted image data of the moving object is sequentially synthesized at the same position as the original arrangement position. For example, in the example of FIG. 7, since the addition average
以上説明したように、本実施形態に係るデジタルカメラ1は、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原フレーム画像として、複数の原フレーム画像の画像データを記憶する。デジタルカメラ1は、記憶された複数の原フレーム画像の画像データの各々から、被写動体の画像データを抽出する。デジタルカメラ1は、被写動体に対する連続撮影のときの撮影環境の明るさを判定し、明るさが一定未満であると判定した場合、複数の原フレーム画像の画像データの各々を加算平均して得られる加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成する。そして、デジタルカメラ1は、生成された背景フレーム画像の画像データに対して、複数の原フレーム画像毎に抽出された被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する。 As described above, the digital camera 1 according to the present embodiment stores image data of a plurality of original frame images with each of a plurality of images obtained by continuous shooting on a moving subject as an original frame image. The digital camera 1 extracts image data of the moving object from each of the stored image data of a plurality of original frame images. The digital camera 1 determines the brightness of the shooting environment at the time of continuous shooting with respect to the moving subject. If the brightness is determined to be less than a certain level, the digital camera 1 averages each of the image data of the plurality of original frame images. Image data of the obtained averaged composite image is generated as image data of the background frame image. Then, the digital camera 1 superimposes each of the image data of the moving object extracted for each of the plurality of original frame images on the generated image data of the background frame image. Generate image data.
このように、撮影環境の明るさが一定未満であると判定された場合、例えば撮影環境が暗い状態でシャッタ速度優先AEのモードを用いたために感度が高く設定された場合には、加算平均合成画像が背景フレーム画像として採用される。この加算平均合成画像とは、各原フレーム画像が加算されて平均化された画像であるため、各原フレーム画像に含まれているノイズも平均化されて、その影響が低減する。従って、暗い撮影環境の状態で、高感度での撮影が行われた場合であっても、ノイズが除去された背景フレーム画像が採用されることになり、良好な品質を確保することが可能になる。 As described above, when it is determined that the brightness of the shooting environment is less than a certain level, for example, when the shooting environment is dark and the shutter speed priority AE mode is used and the sensitivity is set to be high, the averaging synthesis is performed. The image is adopted as the background frame image. Since the addition average composite image is an image obtained by adding and averaging the original frame images, noise included in the original frame images is also averaged, and the influence thereof is reduced. Therefore, even when shooting with high sensitivity is performed in a dark shooting environment, a background frame image from which noise has been removed is adopted, and it is possible to ensure good quality. Become.
また、本実施形態に係るデジタルカメラ1は、撮影環境の明るさが一定以上であると判定した場合、複数の原フレーム画像のうちの所定の1枚の原フレーム画像の画像データをそのまま、背景フレーム画像の画像データとして採用することができる。これにより、処理時間の短縮を図ることが可能になる。 In addition, when the digital camera 1 according to the present embodiment determines that the brightness of the shooting environment is equal to or greater than a certain level, the image data of a predetermined one original frame image among a plurality of original frame images is used as it is in the background. It can be employed as image data of a frame image. This makes it possible to shorten the processing time.
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。 It should be noted that the present invention is not limited to the above-described embodiment, and modifications, improvements and the like within a scope that can achieve the object of the present invention are included in the present invention.
例えば、上述した実施形態では、撮影環境の明るさの判定手法は、複数の原フレーム画像が撮像されたときの自動露出(AE)の値を用いる手法が採用されていたが、特にこれに限定されない。例えば、記憶後の複数の原フレーム画像の画像データの少なくとも1つを用いる手法を採用してもよい。 For example, in the above-described embodiment, the method for determining the brightness of the shooting environment employs a method that uses the value of automatic exposure (AE) when a plurality of original frame images are captured. Not. For example, a method using at least one of the image data of a plurality of original frame images after storage may be employed.
例えば、上述した実施形態では、撮影環境の明るさの判定結果は、明用動体連写合成処理と暗用動体連写合成処理とのうちの何れを実行する用途で用いられていたが、特にこれに限定されない。例えば、当該判定結果は、撮影環境の明るさに応じて背景フレーム画像の明るさ(輝度)を調整する用途で用いてもよい。 For example, in the above-described embodiment, the determination result of the brightness of the shooting environment has been used for the purpose of executing any one of the bright moving subject continuous shooting combining processing and the dark moving subject continuous shooting combining processing. It is not limited to this. For example, the determination result may be used for the purpose of adjusting the brightness (luminance) of the background frame image according to the brightness of the shooting environment.
例えば、上述した実施形態では、明用動体連写合成処理又は暗用動体連写合成処理が実行されると、自動的に生成された1枚の背景フレーム画像が用いられていたが、特にこれに限定されない。例えば、図5の明用背景フレーム生成部107又は暗用背景フレーム生成部110は、複数の背景フレーム画像の画像データを生成してもよい。この場合、表示制御部35は、これらの複数の背景フレーム画像を表示部41に表示させることによって、ユーザに、図1の操作部42を操作させることによって、複数の背景フレーム画像のうちの所定の1つを選択させるようにしてもよい。これにより、図5の画像合成部108は、選択された背景フレーム画像の画像データを用いて、動体連写合成画像の画像データを生成することができる。
For example, in the above-described embodiment, when the bright moving subject continuous shooting synthesizing process or the dark moving subject continuous shooting synthesizing process is executed, one automatically generated background frame image is used. It is not limited to. For example, the light background
例えば、上述した実施形態では、明るさが一定未満の場合に生成される背景フレーム画像は、複数の原フレーム画像全体の加算平均合成画像が採用されたが、特にこれに限定されず、例えば複数の原フレーム画像のうち背景領域の加算平均合成画像を採用してもよい。 For example, in the above-described embodiment, the background frame image generated when the brightness is less than a fixed value is an addition average composite image of a plurality of original frame images as a whole. Among the original frame images, an addition average synthesized image of the background region may be adopted.
例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。 For example, in the above-described embodiments, the image processing apparatus to which the present invention is applied has been described as an example configured as a digital camera. However, the present invention is not particularly limited to digital cameras, and can be applied to electronic devices in general. Specifically, for example, the present invention is applicable to a video camera, a portable navigation device, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)などにより構成される。光磁気ディスクは、MD(Mini−Disk)などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM32や、図示せぬハードディスクなどで構成される。
Although not shown, the recording medium including such a program is not only constituted by a removable medium distributed separately from the apparatus main body in order to provide a program to the user, but also in a state of being incorporated in the apparatus main body in advance. It consists of a recording medium provided to the user. The removable medium is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preinstalled in the apparatus main body is configured by, for example, the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
1・・・デジタルカメラ、11・・・撮像部、12・・・データ処理部、13・・・ユーザインタフェース部、21・・・光学レンズ部、22・・・イメージセンサ、31・・・CPU、32・・・ROM、33・・・RAM、34・・・メモリ、35・・・表示制御部、36・・・画像処理部、101・・・位置ズレ補正部、102・・・フレーム縮小部、103・・・切替部、104・・・明るさ判定部、105・・・明用被写動体検出部、106・・・被写動体抽出部、107・・・明用背景フレーム生成部、108・・・画像合成部、109・・・暗用被写動体検出部、110・・・暗用背景フレーム生成部、121・・・原フレーム記憶部、122・・・背景フレーム記憶部、123・・・抽出被写動体記憶部、124・・・動体連写合成画像記憶部
DESCRIPTION OF SYMBOLS 1 ... Digital camera, 11 ... Imaging part, 12 ... Data processing part, 13 ... User interface part, 21 ... Optical lens part, 22 ... Image sensor, 31 ...
Claims (9)
前記記憶手段に記憶された前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出手段と、
前記被写動体に対する前記連続撮影のときの撮影環境の明るさを判定する判定手段と、
前記判定手段により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成手段と、
前記生成手段により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出手段により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
を備える画像処理装置。 Storage means for storing image data of a plurality of original images, each of a plurality of images obtained by continuous shooting on a moving moving object as an original image,
Extraction means for extracting the image data of the moving object from each of the image data of the plurality of original images stored in the storage means;
Determining means for determining brightness of a shooting environment at the time of the continuous shooting with respect to the moving object;
When the determination unit determines that the brightness is less than a certain level, image data obtained by averaging each of the image data of the plurality of original images is used as a background image including the background of the moving object. Generating means for generating image data;
The moving object continuous shooting composition is performed by superimposing the image data of the moving object extracted by the extracting means for each of the plurality of original images on the image data of the background image generated by the generating means. Combining means for generating image data of the image;
An image processing apparatus comprising:
前記判定手段により判定された前記明るさに応じて、生成した前記背景画像の明るさを調整する、
請求項1に記載の画像処理装置。 The generating means further includes:
Adjusting the brightness of the generated background image according to the brightness determined by the determining means;
The image processing apparatus according to claim 1.
請求項1又は2の何れか1項に記載の画像処理装置。 The generation means generates image data obtained by adding and averaging each of the image data of the background region among the plurality of original images as image data of the background image.
The image processing apparatus according to claim 1.
前記判定手段により前記明るさが一定以上であると判定された場合、前記複数の原画像のうちの所定の1つの画像データを、前記背景画像の画像データとして生成する、
請求項1乃至3の何れか1項に記載の画像処理装置。 The generating means further includes:
If the determination means determines that the brightness is greater than or equal to a certain level, a predetermined one of the plurality of original images is generated as image data of the background image.
The image processing apparatus according to claim 1.
前記生成手段により生成された前記画像データにより表現される前記複数の背景画像を表示する表示手段と、
前記表示手段に表示された前記複数の背景画像のうちの1つを選択する選択手段と、
をさらに備え、
前記合成手段は、前記選択手段により選択された前記背景画像の画像データを用いて、前記動体連写合成画像の画像データを生成する、
請求項1乃至4の何れか1項に記載の画像処理装置。 The generation unit generates image data of a plurality of the background images,
Display means for displaying the plurality of background images represented by the image data generated by the generation means;
Selecting means for selecting one of the plurality of background images displayed on the display means;
Further comprising
The synthesizing unit generates image data of the moving subject continuous shooting synthesized image using the image data of the background image selected by the selecting unit.
The image processing apparatus according to claim 1.
前記判定手段は、
前記撮像手段により前記複数の原画像が撮像されたときの前記自動露出の値を用いて、前記明るさを判定する、
請求項1に記載の画像処理装置。 It further comprises imaging means for imaging the plurality of original images using an automatic exposure function,
The determination means includes
The brightness is determined using the value of the automatic exposure when the plurality of original images are captured by the imaging unit.
The image processing apparatus according to claim 1.
前記記憶手段に記憶された前記複数の原画像の画像データの少なくとも1つを用いて、前記明るさを判定する、
請求項1に記載の画像処理装置。 The determination means includes
Determining the brightness using at least one of the image data of the plurality of original images stored in the storage means;
The image processing apparatus according to claim 1.
前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出ステップと、
前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定ステップと、
前記判定ステップの処理により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成ステップと、
前記生成ステップの処理により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出ステップの処理により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
を含む画像処理方法。 In an image processing method for performing image processing on image data of a plurality of the original images, with each of a plurality of images obtained by continuous shooting on a moving moving object as an original image by an image processing device,
An extraction step of extracting image data of the moving object from each of the image data of the plurality of original images;
A determination step of determining brightness of an imaging environment at the time of continuous shooting with respect to the moving object;
When it is determined that the brightness is less than a certain value by the processing of the determination step, image data obtained by averaging each of the image data of the plurality of original images is a background including the background of the moving object. A generation step of generating as image data of an image;
By superimposing each of the image data of the moving object extracted by the process of the extraction step for each of the plurality of original images with respect to the image data of the background image generated by the process of the generation step, A synthesizing step for generating image data of the moving subject continuous shooting synthesized image;
An image processing method including:
前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出機能と、
前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定機能と、
前記判定機能の実現により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成機能と、
前記生成機能の実現により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出機能の実現により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
を実現させるためのプログラム。 A computer for controlling an image processing apparatus having a function of performing image processing on image data of a plurality of original images, each of a plurality of images obtained by continuous shooting on a moving moving object as an original image,
An extraction function for extracting image data of the moving object from each of the image data of the plurality of original images;
A determination function for determining brightness of an imaging environment at the time of continuous shooting with respect to the moving object;
When it is determined that the brightness is less than a certain value by realizing the determination function, image data obtained by averaging each of the image data of the plurality of original images is a background including the background of the moving object. A generation function for generating image data of an image;
By superimposing each of the image data of the moving object extracted by realizing the extraction function for each of the plurality of original images, with respect to the image data of the background image generated by realizing the generating function, A compositing function for generating image data of a moving object continuous composite image;
A program to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009293939A JP5446847B2 (en) | 2009-12-25 | 2009-12-25 | Image processing apparatus and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009293939A JP5446847B2 (en) | 2009-12-25 | 2009-12-25 | Image processing apparatus and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135409A JP2011135409A (en) | 2011-07-07 |
JP5446847B2 true JP5446847B2 (en) | 2014-03-19 |
Family
ID=44347649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009293939A Expired - Fee Related JP5446847B2 (en) | 2009-12-25 | 2009-12-25 | Image processing apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5446847B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6115815B2 (en) * | 2013-04-26 | 2017-04-19 | リコーイメージング株式会社 | Composite image generation apparatus and composite image generation method |
CN104243819B (en) * | 2014-08-29 | 2018-02-23 | 小米科技有限责任公司 | Photo acquisition methods and device |
JP2017108309A (en) | 2015-12-10 | 2017-06-15 | オリンパス株式会社 | Imaging apparatus and imaging method |
WO2020183565A1 (en) | 2019-03-11 | 2020-09-17 | 三菱電機株式会社 | Image processing device, thermal image generation system, program, and recording medium |
-
2009
- 2009-12-25 JP JP2009293939A patent/JP5446847B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011135409A (en) | 2011-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5754312B2 (en) | Image processing apparatus, image processing method, and program | |
KR100840856B1 (en) | Image processing apparatus, image processing method, recording medium for recording image processing program, and image pickup apparatus | |
JP5643563B2 (en) | Image processing apparatus and control method thereof | |
KR101566081B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2012070241A (en) | Image capturing apparatus, method and program | |
US9247137B2 (en) | Image pickup apparatus and image pickup method which acquires bright-time image data and dark-time image data to correct dark current | |
JP6518452B2 (en) | Imaging apparatus and imaging method | |
JP2010166558A (en) | Image forming apparatus | |
JP5729237B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010193058A (en) | Image capture device, image capturing method, and image capturing program | |
JP2014014069A (en) | Imaging apparatus and control method of the same | |
JP2010286772A (en) | Imaging apparatus, focusing method and program | |
JP2013165487A (en) | Image processing apparatus, image capturing apparatus, and program | |
JP2015231118A (en) | Image composition device, image composition system and image composition method | |
JP5454622B2 (en) | Imaging apparatus, composite image generation method, and program | |
JP5446847B2 (en) | Image processing apparatus and method, and program | |
JP6261397B2 (en) | Imaging apparatus and control method thereof | |
JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
JP2019110430A (en) | Control apparatus, imaging apparatus, control method, and program | |
JP2007036363A (en) | Imaging apparatus | |
JP2015041865A (en) | Image processing apparatus and image processing method | |
JP2011248376A (en) | Imaging apparatus, focusing method and program | |
JP2013058823A (en) | Image processing device, image processing method and program | |
JP2011146767A (en) | Imaging device | |
JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5446847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |