JP6184290B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method

Info

Publication number
JP6184290B2
JP6184290B2 JP2013218156A JP2013218156A JP6184290B2 JP 6184290 B2 JP6184290 B2 JP 6184290B2 JP 2013218156 A JP2013218156 A JP 2013218156A JP 2013218156 A JP2013218156 A JP 2013218156A JP 6184290 B2 JP6184290 B2 JP 6184290B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013218156A
Other languages
Japanese (ja)
Other versions
JP2015082675A (en )
Inventor
毅 都築
毅 都築
Original Assignee
ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd.
ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Description

本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

近年、短時間露光の画像(以下、単に「短露光画像」とも言う。)と長時間露光の画像(以下、単に「長露光画像」とも言う。)を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るWDR(ワイドダイナミックレンジ)もしくはHDR(ハイダイナミックレンジ)という撮影機能が増えてきている。 Recently, short-time exposure image (hereinafter, simply referred to as "short-exposure image".) And long exposure image (hereinafter, simply referred to as "long exposure image".) By combining and take continuous , sensors have been increasing photographing function of WDR to obtain an image captured dynamic range that exceeds the dynamic range that can be captured (wide dynamic range) or HDR (high dynamic range) is. かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。 Such photographing function is particularly large effect is very large scene contrast ratio and backlit composition.

また、近年では、露光設定を3種類あるいはそれ以上に増やして撮影・合成することで広大なダイナミックレンジを捉える例もある。 In recent years, there are examples of increasing the exposure set to three or more capture a vast dynamic range by photographing and combining. しかし、露光を変えて順次に撮影した画像を1枚に合成するという仕組みから、被写体に動きがあると合成時にずれが生じ、アーティファクトが発生するという問題がある。 However, an image obtained by sequentially photographing changing the exposure from a mechanism that is synthesized in one, deviation and there is motion in the synthesis occur on the subject, there is a problem that artifacts occur. このアーティファクトを低減させることを目的としたWDR合成手法として、以下のような技術が開示されている。 As WDR synthetic procedures for the purpose of reducing the artifacts, techniques such as is disclosed below.

例えば、画素毎に動きの有無を検出して、動きがある画素については短露光画像を使用し、動きがない画素については短露光画像または長露光画像を使用してWDR合成を行う技術が開示されている(例えば、特許文献1参照)。 For example, by detecting the presence or absence of motion for each pixel, for there is motion pixel using the short-exposure image, a technique for WDR synthesized using short-exposure image or the long exposure image disclose the pixel is not a motion is (e.g., see Patent Document 1). かかる技術によれば、動きのある物体(以下、「動物体」とも言う。)が合成されることによって生じるぶれを低減した合成画像を生成することが可能となる。 According to this technique, an object in motion (hereinafter, also referred to as "moving object".) It is possible to generate a composite image by reducing the blur caused by being synthesized.

特開2012−231273号公報 JP 2012-231273 JP

しかしながら、特許文献1に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。 However, according to the technique described in Patent Document 1, for use after bright over a large gain in the short-exposure image to the movement area in the composite image, the moving object can be a noisy.

また、特許文献1においては、3枚以上を合成する場合についても言及されており、同様に動き領域で最短の露光画像のみを使用するとされている。 Further, in Patent Document 1, there is a also been mentioned, as well as to use only the shortest exposure image motion area in the case of synthesizing the three or more. かかる構成によれば、特許文献1における実施例のごとく、露光量の差が2倍から4倍程度と小さければ、最短露光画像のノイズも少し増える程度でさほど大きな問題は生じないが、合成可能なダイナミックレンジを拡大しようとして露光量の差を大きくしていくと、最短露光画像のノイズが大幅に増加して大きな問題を生じ得る。 According to such a configuration, as in the examples in Patent Document 1, it is smaller and 4 times the difference between the amount of exposure from the 2-fold, but does not occur much greater problem to the extent that even the noise of the shortest exposure image a little more, can be synthesized such the dynamic range is increased the difference between the exposure amount in an effort to expand and may cause significant problems noise shortest exposure image is increased considerably.

そこで、本発明は、3種類以上の露光で撮影および合成を行うWDRにおいて、ノイズの発生が抑制され、かつ、WDR合成時のアーティファクトが抑制されたWDR合成画像を得ることが可能な技術を提供する。 Accordingly, the present invention provides the WDR to perform photographing and synthesis, generation of noise is suppressed, and a can be obtained WDR synthesized image artifacts during WDR synthesis was inhibited techniques in three or more exposure to.

本発明のある実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定する判定部と、前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第1の合成画像を生成する合成部と、を備える画像処理装置が提供される。 According to an embodiment of the present invention, based on the use the image selection result as the motion detection result, and whether a determination unit and a region to use medium or higher exposure image and the motion area overlap, the If where the region to use more than the motion region the during exposure images are determined to be duplicates, using a medium-exposure image relative to the moving area, the middle exposure image and the long for non-motion area the image processing apparatus and a combining unit for generating a first synthesized image using at least any one is provided within the exposed image.

かかる構成によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したWDR合成が行われる。 According to such a configuration, when the the region to use medium or higher exposure image and the motion region satisfying the condition that overlap, using a medium-exposure image for the moving area, the middle exposure image for non-motion area DOO WDR synthesized using long exposure image. したがって、かかる構成によれば、3種類以上の露光で撮影および合成を行うWDRにおいて、ノイズの発生が抑制され、かつ、WDR合成時のアーティファクトが抑制されたWDR合成画像を得ることが可能である。 Accordingly, with the structure described above, in the WDR to perform photographing and combining with three or more types of exposure, occurrence of noise is suppressed, and it is possible to obtain the WDR synthesized image artifacts during WDR synthesis was inhibited .

前記判定部は、前記動き領域と前記中露光画像以上を使用する領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記中露光画像以上を使用する領域とが重複しているか否かを判定してもよい。 The determination unit is configured to measure the duplication number of pixels of the motion area and the area used more during exposure image said, the in and the motion area by judging whether the overlapping pixel number exceeds the threshold value a region for use or exposure image may determine whether duplicate. 例えば、閾値は、動き検出の精度に応じて設定されてよい。 For example, the threshold may be set according to the accuracy of motion detection.

前記合成部は、前記動き領域と前記中露光画像以上を使用する領域とが重複していないと判定された場合、前記使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第2の合成画像を生成してもよい。 The combining unit, if the region using said in more exposure image and the motion area is determined not to be duplicated, according to the use the image selection result, the short-exposure image, out of the middle exposure image and the long exposure image it may generate a second combined image using at least any one.

前記合成部は、前記判定部による判定結果が変化した場合、前記第1の合成画像の生成と前記第2の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換えてもよい。 The combining unit, when the determination result by the determination unit is changed, be switched techniques generate a composite image with the generation of the first composite image generating said second composite image incrementally good. 特に、前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第1の合成画像の生成から前記第2の合成画像の生成に合成画像の生成の手法を漸次的に切り換えてもよい。 In particular, the combining unit, when the judgment result as indicating that the region using at least said motion region said in more exposure image do not overlap is changed, from said generation of said first synthesized image the method of production of the composite image generation of the second composite image may be switched incrementally.

また、前記合成部は、前記判定部による判定結果が変化した場合、前記第1の合成画像の生成と前記第2の合成画像の生成との間で合成画像の生成の手法を切り換える前に所定の時間待機してもよい。 Further, the combining unit, when said determination unit according to the determination result is changed, a predetermined before switching techniques generate a composite image with the generation of the first composite image generating said second composite image it may be time waiting for. 特に、前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第1の合成画像の生成から前記第2の合成画像の生成に合成画像の生成の手法を切り換える前に所定の時間待機してもよい。 In particular, the combining unit, when the judgment result as indicating that the region using at least said motion region said in more exposure image do not overlap is changed, from said generation of said first synthesized image it may wait a predetermined time before switching the method the generation of the composite image generation of the second composite image.

かかる構成によれば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。 According to such a configuration, even or move again once stopped in the area of ​​using medium or higher exposure image is a moving object, the cases as or repeated intrusion-escape at the boundary of the region occurs, the synthesis techniques does not occur is a sudden change, easy-to-view video image is obtained.

また、本発明の別の実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定するステップと、前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第1の合成画像を生成するステップと、を含む、画像処理方法が提供される。 According to another embodiment of the present invention, based on the result the motion detection result and use the image selected, determining whether or not the area to use the medium or higher exposure image and the motion area overlap , if the region using said in more exposure image and the motion area is determined to overlap, the use curly exposure image to the movement area, the middle exposure image for non-motion area and and generating a first composite image using at least one of the long-exposure image, an image processing method is provided.

かかる方法によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したWDR合成が行われる。 According to this method, when the the region to use medium or higher exposure image and the motion region satisfying the condition that overlap, using a medium-exposure image for the moving area, the middle exposure image for non-motion area DOO WDR synthesized using long exposure image. したがって、かかる構成によれば、3種類以上の露光で撮影および合成を行うWDRにおいて、ノイズの発生が抑制され、かつ、WDR合成時のアーティファクトが抑制されたWDR合成画像を得ることが可能である。 Accordingly, with the structure described above, in the WDR to perform photographing and combining with three or more types of exposure, occurrence of noise is suppressed, and it is possible to obtain the WDR synthesized image artifacts during WDR synthesis was inhibited .

以上説明したように、本発明によれば、3種類以上の露光で撮影および合成を行うWDRにおいて、WDR合成時のアーティファクトが抑制され、かつ、動き領域に生じるアーティファクトが抑制したWDR合成画像を得ることが可能である。 As described above, according to the present invention, in the WDR to perform photographing and combining with three or more types of exposure, it is suppressed artifacts at WDR synthesized, and obtain the WDR synthesized image artifacts occurring in the motion region is suppressed It is possible.

一般的なWDR合成技術を説明するための図である。 It is a diagram for explaining a general WDR synthesis techniques. 本発明の第1の実施形態に係る画像処理装置の機能構成を示す図である。 Is a diagram showing the functional arrangement of an image processing apparatus according to a first embodiment of the present invention. 本発明の第1の実施形態に係る判定部の詳細構成例を示す図である。 It is a diagram illustrating a detailed configuration example of a determination unit according to the first embodiment of the present invention. 本発明の第1の実施形態に係る判定部の動作の流れの例を示すフローチャートである。 A first embodiment of a flow of operation of the determination section according to the embodiment of the present invention is a flow chart showing. 本発明の第1の実施形態に係るWDR合成部の動作の流れの例を示すフローチャートである。 A first flow example of the operation of the WDR synthesized unit according to the embodiment of the present invention is a flow chart showing. 本発明の第1の実施形態に係る画像処理装置による処理結果の例を詳細に説明するための図である。 It is a diagram for explaining an example of a result of processing by the image processing apparatus according to a first embodiment of the present invention in detail. 本発明の第2の実施形態に係る画像処理装置による使用画像の時間変化の例を示す図である。 Is a diagram showing an example of time change of the image processing apparatus according to use image according to the second embodiment of the present invention.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。 Reference will now be described in detail preferred embodiments of the present invention. なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。 In the specification and drawings, components having substantially the same functional configuration are repeated explanation is omitted by putting the same symbols.

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。 Further, in this specification and the appended drawings, a plurality of structural elements having substantially the same functional configuration may be distinguished by affixing a different alphabetical letter to the same reference numerals. ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。 However, when there is no particular need to distinguish between a plurality of structural elements having the same function and structure are denoted with the same reference numeral only.

(一般的なWDR合成技術) (General WDR synthesis technology)
まず、一般的なWDR合成技術(例えば、上記の特許文献1に記載されたWDR合成技術)について説明する。 First, general WDR synthetic techniques (e.g., WDR synthetic techniques described in Patent Document 1 above) will be described. 図1は、一般的なWDR合成技術を説明するための図である。 Figure 1 is a diagram for explaining a general WDR synthesis techniques. 図1を参照すると、一般的なWDR合成技術における、短露光画像、長露光画像、動き検出結果、使用画像選択結果、合成画像(2枚)および合成画像(3枚)それぞれの例が示されている。 Referring to FIG. 1, in a typical WDR synthesis techniques, the short-exposure image, the long exposure image, the motion detection result, using the image selection result, the composite image (two) and the composite image (3 sheets) each example illustrated ing. 図1に示した「短露光画像」および「長露光画像」それぞれは、日中の明るい屋外が見える窓を背景にして屋内を撮影して得られた画像である。 Each "short-exposure image" and "long-exposure image" shown in FIG. 1, the bright outdoors visible window during the day in the background is an image obtained by photographing the interior.

「短露光画像」においては、窓の外の風景が適正露光で撮影されているが、室内および室内の動きオブジェクトは露光量が不足して暗く撮影されている。 In the "short-exposure image" is landscape outside the window is loaded with the proper exposure, the indoor and the indoor motion object being photographed dark insufficient exposure. 一方、「長露光画像」においては、室内および室内の動きオブジェクトが適正露光で撮影されているが、窓の外の風景は飽和してしまい見えなくなっている。 On the other hand, in the "long-exposure image" is the indoor and indoor moving object is shot in the proper exposure, outside the window landscape disappearing becomes saturated. 手前に映っている人物は左に向かって移動している。 Person is reflected in the front is moving toward the left.

また、図1に示したような「動き検出結果」が得られたとする。 Further, the "motion detection result" as shown in FIG. 1 was obtained. 「動き検出結果」を参照すると、動きオブジェクトをカバーするように検出された動き領域が白い領域として表されており、非動き領域が黒い領域として表されている。 Referring to "motion detection result" detected motion region to cover the moving object are represented as white regions, non-motion area is represented as a black area. ここで、動き領域に対して使用画像として短露光画像を選択するようにすれば、図1に示したような「使用画像選択結果」が得られる。 Here, if to select a short-exposure image as used image to the movement area, as shown in FIG. 1, "Using the image selection result" is obtained. 図1に示した「使用画像選択結果」に基づいて「短露光画像」と「長露光画像」とを合成すると、図1に示した「合成画像(2枚)」のような二重像のない合成画像が得られる。 Based on the "use image selection result" shown in FIG. 1 the "short-exposure image" and is combined with the "long-exposure image", shown in Figure 1 of a double image such as "composite image (two)" no synthetic image is obtained.

しかし、「合成画像(2枚)」に示されるように、特許文献1に記載された技術によれば、動き領域に対して短露光画像に大きなゲインをかけて明るくしてから合成画像に使用するため、動きオブジェクトがノイジーとなり得る。 However, as shown in "the composite image (two)", according to the technique described in Patent Document 1, used in the composite image from the bright over a large gain in the short-exposure image to the movement area to, moving object can be a noisy.

また、特許文献1においては、3枚以上を合成する場合についても言及されており、同様に動き領域で最短の露光画像のみを使用するとされている。 Further, in Patent Document 1, there is a also been mentioned, as well as to use only the shortest exposure image motion area in the case of synthesizing the three or more. かかる構成によれば、特許文献1における実施例のごとく、露光量の差が2倍から4倍程度と小さければ、最短露光画像のノイズも少し増える程度でさほど大きな問題は生じないが、合成可能なダイナミックレンジを拡大しようとして露光量の差を大きくしていくと、最短露光画像のノイズが大幅に増加して大きな問題を生じ得る。 According to such a configuration, as in the examples in Patent Document 1, it is smaller and 4 times the difference between the amount of exposure from the 2-fold, but does not occur much greater problem to the extent that even the noise of the shortest exposure image a little more, can be synthesized such the dynamic range is increased the difference between the exposure amount in an effort to expand and may cause significant problems noise shortest exposure image is increased considerably.

例えば、露光時間1/60秒で長露光画像、露光時間1/480秒で中露光画像、露光時間1/3840秒で短露光画像を撮像する場合のように、露光量を8倍ずつ変えて撮影・合成して広大なダイナミックレンジをカバーするWDRを想定する。 For example, the long-exposure image in an exposure time of 1/60 second, middle exposure image by an exposure time 1/480 seconds, as in the case of imaging the short-exposure image by an exposure time 1/3840 sec, while changing the exposure dose by 8 times shooting and combined to assume the WDR to cover a vast dynamic range. かかるWDRにおいては、1/3840秒という非常に短いシャッタータイムの短露光画像が用いられるため、中露光画像でも飽和してしまうような超高輝度領域を撮影可能になる。 In such WDR, since the short-exposure image of a very short shutter times of 1/3840 sec is used, it allows capturing an ultra-high luminance area such as is saturated even at medium exposure image.

しかし、かかるWDRを特許文献1に記載された技術に適用した場合を想定すると、短露光画像における動き領域は、1/3840秒という非常に短いシャッタータイムによって非常に暗く撮影されている。 However, assuming a case of applying such a WDR to a technique described in Patent Document 1, the motion region in the short-exposure image is photographed very dark by the very short shutter times of 1/3840 sec. そのため、この動き領域を非常に大きなゲインで増幅して合成画像に使用することになり、細部が認識不可能なほどノイズにまみれた合成画像が生成されてしまい、このようにして生成された合成画像は実用に向かない。 Therefore, it becomes possible to use the motion region is amplified by a very large gain in the composite image, detail may cause in the composite image covered in more unrecognizable noise is generated, the generated synthesized in this manner image is not suitable for practical use. 図1に示した「合成画像(3枚)」は、窓の領域が1/3840秒の短露光でようやく撮影可能になるほどの非常に高い輝度を持っていると仮定した場合に、長露光画像、中露光画像および短露光画像を合成して得られた結果の例を示している。 Shown in FIG. 1, "the composite image (three)", when it is assumed to have a very high brightness enough area of ​​the window is enabled finally taken with short exposure 1/3840 seconds, long exposure image shows an example of the results obtained by combining the medium exposure image and the short-exposure image.

そこで、本明細書においては、3種類以上の露光で撮影および合成を行うWDRにおいて、ノイズの発生が抑制され、かつ、WDR合成時のアーティファクトが抑制されたWDR合成画像を得ることが可能な技術を提案する。 Therefore, in this specification, the WDR to perform photographing and combining with three or more types of exposure, occurrence of noise is suppressed, and capable of obtaining the WDR synthesized image artifacts during WDR synthesis was inhibited Technology Suggest. なお、本明細書においては、異なる露光量で撮影されたN(Nは3以上の自然数)枚の画像の例として、露光量の少ない順に短露光画像、中露光画像および長露光画像の3つの画像を撮影する例を主に説明する。 In the present specification, different examples of the photographed N (N is a natural number of 3 or more) images by the exposure amount, the short-exposure image in ascending order of exposure, medium exposure image and the long exposure image of the three mainly explaining an example of photographed images. しかし、後に説明するように、4枚以上の画像を撮影する場合にも本発明の第1の実施形態に係る画像処理装置1は適用可能である。 However, as described later, the image processing apparatus 1 according to the first embodiment of the present invention is also applicable to the case of photographing the four or more images is applicable.

まず、本発明の第1の実施形態に係る画像処理装置1の機能構成について説明する。 First, a description is given of an image processing apparatus functional configuration of 1 according to a first embodiment of the present invention. 図2は、本発明の第1の実施形態に係る画像処理装置1の機能構成を示す図である。 Figure 2 is a diagram showing the functional arrangement of an image processing apparatus 1 according to the first embodiment of the present invention. 図2に示すように、画像処理装置1は、センサ10、短露光画像メモリ21、中露光画像メモリ22、長露光画像メモリ23、使用画像選択部30、動き検出部40、判定部50、WDR合成部60および階調圧縮部80を備える。 As shown in FIG. 2, the image processing apparatus 1, the sensor 10, the short-exposure image memory 21, a medium exposure image memory 22, the long-exposure image memory 23, using the image selection unit 30, the motion detection unit 40, determination unit 50, WDR It comprises a combining unit 60 and the grayscale compression section 80. 以下、画像処理装置1が備える各機能ブロックの機能について順次詳細に説明する。 Hereinafter, it will be sequentially described in detail the function of each functional block of the image processing apparatus 1 is provided.

画像処理装置1は、センサ10の露光設定を変えて3枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に中露光撮影を行い、その次に長露光撮影を行うものとする。 The image processing apparatus 1 is continuously shooting three images with different exposure settings of the sensor 10, here performed previously short-exposure shooting is performed a medium exposure shooting the next, a long exposure shooting the next Assumed to be performed. 短露光撮影された短露光画像は短露光画像メモリ21に書き込まれる。 Short-exposure images short-exposure shooting is written in the short-exposure image memory 21. 画像処理装置1は、短露光撮影が終了したら露光設定を変え、中露光撮影を行う。 The image processing apparatus 1, changing the exposure settings When short-exposure shooting is completed, the medium-exposure shooting. 中露光撮影された中露光画像は中露光画像メモリ22に書き込まれる。 Exposure image in which the medium-exposure shooting is written to the intermediate exposure image memory 22. 画像処理装置1は、中露光撮影が終了したら露光設定を変え、長露光撮影を行う。 The image processing apparatus 1, changing the exposure settings When middle-exposure shooting is ended, the long-exposure shooting. 長露光撮影された長露光画像は長露光画像メモリ23に書き込まれる。 Long exposure captured long exposure image is written to the long-exposure image memory 23.

図2に示した例では、画像処理装置1は、長露光画像、中露光画像および短露光画像を出力するための共通の系統を1つ有し、センサ10が長露光画像と中露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と中露光画像と短露光画像とが同時に出力されてもよい。 In the example shown in FIG. 2, the image processing apparatus 1, the long-exposure image having one common line for outputting a medium exposure image and the short-exposure image, the sensor 10 and the medium exposure image and the long exposure image it is assumed that output in time division and the short-exposure image, and medium exposure image and the long exposure image and the short-exposure image may be output simultaneously. かかる場合、画像処理装置1は、センサ10から長露光画像を出力するための系統と中露光画像を出力するための系統と短露光画像を出力するための系統との3つの系統を有すればよい。 In this case, the image processing apparatus 1, if it has three lines of the system for outputting system and the short-exposure image for outputting systematic and medium exposure image to output the long-exposure image from the sensor 10 good. それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。 Each shutter time, for example, determined by such a dynamic range and sensors specifications of the imaging subject.

なお、短露光画像、中露光画像および長露光画像それぞれの読み出し動作は、ハードウェア実装の場合にはシステムをどう組むかによって変わり得る。 Incidentally, the short-exposure image, the medium exposure image and the long exposure image each read operation, in the case of hardware implementation may vary depending on how Crossed system. 例えば、短露光画像、中露光画像および長露光画像それぞれは、一旦DRAM(Dynamic Random Access Memory)などのメモリに格納された後、合成時に再度読み出されるような構成でもよい。 For example, the short-exposure image, respectively medium-exposure image and the long exposure image is once stored in a memory such as a DRAM (Dynamic Random Access Memory), it may be configured as read again during synthesis.

ここで、本発明の第1の実施形態においては、短露光画像、中露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された3つの画像それぞれの絶対的な露光時間を限定するものではない。 Here, in the first embodiment of the present invention, the short-exposure image, but use the term medium exposure image and the long exposure image, these terms, each of the three images captured absolute exposure time It is not intended to limit the. したがって、露光時間の異なる3つの画像が撮影された場合に、当該3つの画像のうち、露光時間が短い順に、短露光画像、中露光画像および長露光画像と名付けられる。 Therefore, if the three images with different exposure times was shot, among the three images in the order the exposure time is short, the short-exposure image, termed medium exposure image and the long exposure image.

センサ10は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。 Sensor 10 causes the image light from the outside to the light receiving plane of the imaging device, the imaging light photoelectrically converted charge quantity, constituted by an image sensor that converts the charge amount into an electric signal. イメージセンサの種類は特に限定されず、例えば、CCD(Charge Coupled Device)であってもよいし、CMOS(Complementary Metal Oxide Semiconductor)であってもよい。 Type of image sensor is not particularly limited, for example, it may be a CCD (Charge Coupled Device), or may be a CMOS (Complementary Metal Oxide Semiconductor).

使用画像選択部30は、短露光画像メモリ21から読み出した短露光画像と、中露光画像メモリ22から読み出した中露光画像と、長露光画像メモリ23から読み出した長露光画像とを参照する。 Using the image selecting section 30 refers to the short-exposure image read from the short-exposure image memory 21, and the exposure image in which read from the intermediate exposure image memory 22, and a long exposure image read from the long-exposure image memory 23. そして、使用画像選択部30は、短露光画像、中露光画像および長露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と中露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択結果を生成する。 Then, using the image selection unit 30, the short-exposure image, and detects the medium exposure image and the long exposure image each saturation and movement, using either the short-exposure image and the medium exposure image and the long exposure image image generating a use image selection result for selecting as. 短露光画像と中露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。 The algorithm for selecting one of the short-exposure image and the medium exposure image and the long-exposure image Various algorithms are contemplated.

例えば、長露光画像において飽和してしまった領域は中露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては中露光画像を選択すればよい。 For example, it is likely that not saturated at medium exposure image area and which has been saturated in the long-exposure image may be selected medium exposure image as used image of the region. しかし、当該領域が中露光画像においても飽和している場合には当該領域の使用画像として短露光画像を選択してもよい。 However, if such region is also saturated in the mid-exposure image may select a short-exposure image as a use image of the region. しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。 However, this process alone, artifacts such as contour is double the region with large motion is may occur. そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。 Therefore, it may be subjected to a treatment to reduce the phenomenon that the contour by detecting the movement becomes double.

なお、使用画像選択結果は、短露光画像、中露光画像および長露光画像のいずれか1つを画素毎に選択するためのデータの集合であってもよい。 Incidentally, the image selection result, short-exposure image, one of the middle exposure image and the long-exposure image may be a set of data for selecting for each pixel. また、使用画像選択結果は、短露光画像、中露光画像および長露光画像それぞれをどの程度の比率で混合するかを画素毎に示す混合比率の集合であってもよい。 The use image selection result may be short-exposure image, or to mix the respective medium exposure image and the long exposure image and at what ratio a set of mixing ratios shown in each pixel. 例えば、使用画像選択結果は、短露光画像、中露光画像および長露光画像の隣り合う2枚を選択するためのデータとそれらをどの程度の比率で混合するかを示す混合比率との組み合わせの集合であってもよい。 For example, using the image selection result is a set of the combination of the short-exposure image, the mixture ratio indicating whether mixing with the data and the ratio of how much those for selecting the two adjacent middle exposure image and the long exposure image it may be. 混合比率を算出するアルゴリズムも特に限定されない。 Algorithm for calculating the mixing ratio is not particularly limited.

動き検出部40は、動きを検出する。 Motion detection unit 40 detects a motion. 動きの検出手法は特に限定されないが、複数枚の長露光画像の差分から動きを検出する手法であってもよいし、複数枚の中露光画像の差分から動きを検出する手法であってもよいし、複数枚の短露光画像の差分から動きを検出する手法であってもよい。 Although detection method of the motion is not particularly limited, may be a method for detecting a motion from the difference of a plurality of long exposure image, it may be a method for detecting a motion from the difference of a plurality of in-exposure image and it may be a method for detecting a motion from the difference of a plurality of short-exposure images. あるいは、動きの検出手法は、長露光画像と中露光画像との差分から動きを検出する手法であってもよいし、中露光画像と短露光画像との差分から動きを検出する手法であってもよい。 Alternatively, the detection method of the motion may be a method for detecting a motion from the difference between the long exposure image and medium exposure image, a technique for detecting a motion from the difference between the middle exposure image and the short-exposure image it may be. 露光量の異なる複数の画像から動きを検出する場合には、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で差分を算出するのがよい。 In the case of detecting a motion from the exposure of different images, it is preferable to calculate a difference in terms of normalized by multiplying the gain according to the exposure ratio for any image.

あるいは、動きの検出手法は、長露光画像および中露光画像の差分から検出された第1の動きと中露光画像および短露光画像との差分から検出された第2の動きとを統合して動きを検出する手法であってもよい。 Alternatively, the detection method of the movement, by integrating the second motion detected from the difference between the first motion and medium exposure image and the short-exposure image detected from the difference of the long exposure image and intermediate exposure image motion it may be a method of detecting. 第1の動きと第2の動きとの統合は、どのようになされてもよいが、例えば、第1の動きと第2の動きとのうちで、より大きい動きを採用することによって第1の動きと第2の動きとの統合がなされてもよい。 Integration with the first movement and the second movement, how it may be made. For example, in one of the first movement and the second movement, the first by employing a larger motion it may be made integration of motion and the second motion.

さらに、動き検出部40は、検出した動きに基づいて動き領域と非動き領域とを検出して動き検出情報を得る。 Furthermore, the motion detection unit 40 obtains the motion detection information by detecting the motion region and the non-motion area based on the detected motion. 例えば、動き領域は、動きが閾値よりも大きい領域であり、非動き領域は、動きが閾値よりも小さい領域である。 For example, the motion region is a region is greater than a threshold motion, non-motion area is an area smaller than the motion threshold. 動きが閾値と同一の領域はいずれの領域として検出されてもよい。 The same area and the motion threshold may be detected as one of the regions.

判定部50は、動き検出部40からの動き検出結果と使用画像選択部30からの使用画像選択結果とに基づいて、動き検出部40によって検出された動き領域と使用画像選択結果における中露光画像以上を使用する領域とが重複しているか否かを判定する。 Determining unit 50, based on the use the image selection result from the motion detection result and use the image selection unit 30 from the motion detection unit 40, the medium exposed in the detected motion region and using the image selection result by the motion detection unit 40 images determining whether an area and are overlapping to use more. 中露光画像以上は、中露光画像以上に明るい領域を捉え得る画像(中露光以下の露光量によって撮像された画像)に相当し得る。 Intermediate or exposure image may correspond to an image that can capture the bright over the medium exposure image area (image captured by the middle exposure following exposure). 例えば、判定部50は、動き領域と中露光画像以上を使用する領域との重複画素数を計測し、重複画素数が閾値を超えているか否かを判定することにより動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定すればよい。 For example, the determination unit 50 measures the number of duplicate pixels of the area to use the medium or higher exposure image and the motion region, determining a medium exposure image or the motion region by whether the number of overlapping pixels is greater than the threshold value and an area to be used may be determined whether or not the overlap. かかる場合、閾値は、動き検出の精度に応じて設定されてよい。 In such a case, the threshold may be set according to the accuracy of motion detection.

ここで、判定部50が有する機能について、図3および図4を参照しながらさらに詳細に説明する。 Here, the function of the determination unit 50 has, will be described in further detail with reference to FIGS. 図3は、本発明の第1の実施形態に係る判定部50の詳細構成例を示す図である。 Figure 3 is a diagram illustrating a detailed configuration example of the determination unit 50 according to the first embodiment of the present invention. 図3に示すように、判定部50は、比較判定部51とカウンタ52と重複判定部53とを有している。 As shown in FIG. 3, the determination unit 50 has a the comparison determination unit 51 and a counter 52 and a duplication determination unit 53. また、図4は、本発明の第1の実施形態に係る判定部50の動作の流れの例を示すフローチャートである。 4 is a flowchart showing an example of a flow of operation of the determination unit 50 according to the first embodiment of the present invention.

まず、図4に示すように、比較判定部51は、対象の画素が、動き領域内の画素であり、かつ、中露光画像以上を使用する領域内の画素であるか否かを判定する(ステップS11)。 First, as shown in FIG. 4, the comparison determination unit 51, the pixel of interest, a pixel of the motion area, and determines whether the pixels in the area of ​​using medium or higher exposure image ( step S11). 比較判定部51は、対象の画素が、動き領域内の画素であり、かつ、中露光画像以上を使用する領域内の画素であると判定した場合には、カウンタ52を加算する(ステップS12)。 Comparison determination unit 51, the pixel of interest, a pixel of the motion area, and, when it is determined that the pixels in the area of ​​using medium or higher exposure image adds counter 52 (step S12) . 一方、比較判定部51は、対象の画素が、非動き領域内の画素であるか、または、中露光画像以上を使用する領域内ではない画素である場合には、カウンタ52を加算しない。 On the other hand, the comparison determination unit 51, the pixel of interest, or a pixel of the non-motion area, or, if the pixel is not within the region using the above medium exposure image is not added to the counter 52.

比較判定部51は、全画素についての判定が終了していない場合には(ステップS13で「No」)、ステップS11に戻る。 Comparison determination unit 51, if the determination for all pixels not been completed ( "No" in step S13), and returns to step S11. 一方、全画素についての判定が終了した場合には(ステップS13で「Yes」)、動き領域と短露光画像使用領域との重複画素数の計測が終了するため、重複判定部53は、重複画素数が閾値を超えているか否かを判定する(ステップS14)。 On the other hand, if the determination for all pixels has ended ( "Yes" in step S13), and since the measurement of the duplication number of pixels of the motion region and the short-exposure image used area ends, duplication determination unit 53 overlap pixel determining whether the number exceeds the threshold value (step S14).

重複判定部53は、重複画素数が閾値を超えている場合には(ステップS14で「Yes」)、動き領域と中露光画像以上を使用する領域とが重複していると判定する(ステップS15)。 Overlap determination unit 53, when the number of overlap pixel exceeds the threshold value ( "Yes" in step S14), and determines that the an area for use medium or higher exposure image and the motion area overlap (step S15 ). 一方、重複判定部53は、重複画素数が閾値を超えていない場合には(ステップS14で「No」)、動き領域と中露光画像以上を使用する領域とが重複していないと判定する(ステップS16)。 On the other hand, overlap determination unit 53, when the number of overlap pixel does not exceed the threshold value ( "No" in step S14), and determines that the an area for use medium or higher exposure image and the motion area do not overlap ( step S16).

WDR合成部60は、動き検出部40からの動き検出結果と使用画像選択部30からの使用画像選択結果と判定部50からの判定結果とを受け、当該動き検出結果と当該使用画像選択結果と当該判定結果とに基づいて短露光画像と中露光画像と長露光画像とを合成することによりWDR画像を生成する。 WDR combining unit 60 receives the determination result from the use image selection result and the determination unit 50 from the motion detection result and use the image selection unit 30 from the motion detection unit 40, the motion detection result and the corresponding use image selection result generating a WDR image by synthesizing the short-exposure image and the medium exposure image and the long-exposure image on the basis of the determination result. 具体的には、WDR合成部60は、判定部50によって動き領域と中露光画像以上を使用する領域とが重複していると判定された場合、動き領域に対しては中露光画像を使用し、非動き領域に対しては使用画像選択結果に従って中露光画像と長露光画像を使用して第1の合成画像を生成する。 Specifically, WDR synthesis unit 60, if the area to be used more than the middle exposure image and the motion area by the determining unit 50 is determined to overlap, using a medium-exposure image to the movement area , for non-motion area to generate a first synthesized image using a medium exposure image and the long exposure image according to use image selection result.

かかる構成によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したWDR合成が行われる。 According to such a configuration, when the the region to use medium or higher exposure image and the motion region satisfying the condition that overlap, using a medium-exposure image for the moving area, the middle exposure image for non-motion area DOO WDR synthesized using long exposure image. したがって、かかる構成によれば、3種類以上の露光で撮影および合成を行うWDRにおいて、WDR合成時のアーティファクトが抑制され、かつ、動き領域に対して無条件に短露光画像が使用される場合と比較してノイズが抑制されたWDR合成画像を得ることが可能である。 Accordingly, with the structure described above, in the WDR to perform photographing and combining with three or more types of exposure artifacts when WDR synthesis is suppressed, and, in the case of short-exposure images are used unconditionally to the movement area it is possible to obtain the WDR synthesized image in which the noise is suppressed in comparison.

なお、WDR合成部60は、判定部50によって動き領域と中露光画像以上を使用する領域とが重複していないと判定された場合には、どのようにして合成を行ってもよいが、例えば、使用画像選択結果に従って、短露光画像と中露光画像と長露光画像とを使用して第2の合成画像を生成すればよい。 Incidentally, WDR synthesis unit 60, if the area to be used more than the middle exposure image and the motion area by the determining unit 50 is determined not to overlap, how may be performed synthesized. For example according using image selection result, the second synthesized image may be generated using the short-exposure image and the medium exposure image and the long exposure image.

WDR合成部60による合成手法は特に限定されない。 Synthesis method by WDR combining unit 60 is not particularly limited. 例えば、WDR合成部60は、使用画像選択結果が、短露光画像、中露光画像および長露光画像のいずれか1つを画素毎に選択するためのデータの集合である場合には、当該データに基づいて短露光画像、中露光画像および長露光画像のいずれか1つを使用して第2の合成画像を生成すればよい。 For example, WDR synthesis unit 60 uses the image selection result, the short-exposure image, when any one of the middle exposure image and the long-exposure image is a set of data for selecting for each pixel, to the data based on the short-exposure image, the second synthesized image may be generated using any one of the middle exposure image and the long exposure image.

あるいは、WDR合成部60は、使用画像選択結果は、短露光画像、中露光画像および長露光画像それぞれをどの程度の比率で混合するかを画素毎に示す混合比率の集合である場合には、それぞれの混合比率に基づいて、短露光画像、中露光画像および長露光画像を混合して第2の合成画像を生成すればよい。 Alternatively, WDR synthesis unit 60 uses the image selection result, if short-exposure image, or to mix the respective medium exposure image and the long exposure image and at what ratio is a set of mixing ratios shown in each pixel, based on the respective mixing proportions, the short-exposure image may be generated a second composite image by mixing a medium exposure image and the long exposure image.

また、WDR合成部60は、使用画像選択結果が、短露光画像、中露光画像および長露光画像の隣り合う2枚を選択するためのデータとそれらをどの程度の比率で混合するかを示す混合比率との組み合わせの集合である場合には、当該データに従って選択される2枚の画像とそれぞれの混合比率に基づいて、2枚の画像を混合して第2の合成画像を生成すればよい。 Further, WDR combining unit 60, the mixing shown using image selection result, the short-exposure image, or to mix and for selecting the two adjacent middle exposure image and the long exposure image data thereof at what ratio If a collection of combinations of the ratio, based on the two images and respective mixing ratios to be selected in accordance with the data, may be generated a second composite image by mixing two images.

WDR合成部60が有する機能について、図5を参照しながらさらに詳細に説明する。 For functions WDR synthesizing section 60 has will be described in further detail with reference to FIG. 図5は、本発明の第1の実施形態に係るWDR合成部60の動作の流れの例を示すフローチャートである。 Figure 5 is a flow chart illustrating a first flow example of the operation of the WDR synthesized portion 60 according to the embodiment of the present invention. まず、図5に示すように、WDR合成部60は、判定部50によって動き領域と中露光画像を使用する領域とが重複していないと判定された場合(ステップS21で「No」)、対象の画素について使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して(ステップS22)、WDR合成を行う(ステップS26)。 First, as shown in FIG. 5, WDR synthesis unit 60, if the area to be used a medium exposure image and the motion area by the determining unit 50 is determined not to be duplicated ( "No" in step S21), and the target according using image selection result for the pixel, the short-exposure image, using at least one of medium exposure image and the long exposure image (step S22), and performs the WDR synthesized (step S26).

一方、WDR合成部60は、判定部50によって動き領域と中露光画像を使用する領域とが重複していると判定された場合(ステップS21で「Yes」)、対象の画素が動き領域内の画素であるか否かを判定する。 On the other hand, WDR synthesis unit 60, if the area to be used a medium exposure image and the motion area by the determining unit 50 is determined to be overlapped ( "Yes" in step S21), and the target pixel is within a region motion It determines whether the pixel. WDR合成部60は、対象の画素が動き領域内の画素ではないと判定した場合には(ステップS23で「No」)、対象の画素について中露光画像および長露光画像のうち少なくともいずれか一つを使用して(ステップS24)、WDR合成を行う(ステップS26)。 WDR synthesis section 60, at least one of ( "No" in step S23), the medium exposure image and the long exposure image for the pixel of interest when it is determined that it is not a pixel in the area pixels of the target motion use (step S24), and performs the WDR synthesized (step S26).

より具体的には、WDR合成部60は、対象の画素が動き領域内の画素ではないと判定した場合には、対象の画素について使用画像の上限を中露光画像に制限すればよい。 More specifically, WDR synthesis unit 60, if it is determined that it is not a pixel in the area pixels of the target motion may be limited to medium exposure image the upper limit of use image for the pixel of interest. その結果、中露光画像以上を使用する領域については、中露光画像がWDR合成に使用され、中露光画像未満を使用する領域については、使用画像選択結果に従った使用画像がWDR合成に使用される。 As a result, the area used for medium or higher exposure image, the medium exposure image is used for the WDR synthesized, the area used less than medium-exposure image is used image in accordance with the use the image selection result is used in the WDR synthesized that.

一方、WDR合成部60は、対象の画素が動き領域内の画素であると判定した場合には(ステップS23で「Yes」)、中露光画像を使用して(ステップS25)、WDR合成を行う(ステップS26)。 On the other hand, WDR synthesis unit 60, if the pixel of interest is determined to be a pixel in the region movement ( "Yes" in step S23), using the medium-exposure image (step S25), and performs the WDR synthesized (step S26). WDR合成部60は、全画素についての合成が終了していない場合には(ステップS27で「No」)、ステップS21に戻る。 WDR synthesis unit 60, if the synthesis for all the pixels has not been completed ( "No" in step S27), the flow returns to step S21. 一方、WDR合成部60は、全画素についての合成が終了した場合には(ステップS27で「Yes」)、WDR合成を終了する。 On the other hand, WDR synthesis unit 60, if the synthesis for all the pixels has been completed ( "Yes" in step S27), and finishes the WDR synthesized.

階調圧縮部80は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理と人間の目で見た情景に近づけるような階調補正とを、WDR合成部60により生成されたWDR画像に対して行う。 Gradation compression section 80, and a scene to close such tone correction as seen in the compression process and the human eye for accommodating the bit range of the wide dynamic range image signal to a predetermined bit range, the WDR synthesized portion 60 performed for the generated WDR image. 当該圧縮処理と当該階調補正とは、同時に行われてもよいし、異なるタイミングにおいて行われてもよい。 From that of the compression processing and the gradation correction may be performed simultaneously, it may be performed at different timings.

階調圧縮部80の後段は、例えば、ベイヤーデータからRGBプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。 Subsequent grayscale compression section 80, for example, the demosaic unit for generating RGB plane from Bayer data, edge enhancer, that is connected to the image processing engine including a color management. そのため、階調圧縮部80からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように(例えば、12bit程度に)調整されるのが好ましい。 Therefore, data of the output signal from the grayscale compression section 80, for example, to match the size of the input data to the image processing engine (e.g., to about 12bit) preferably adjusted. 単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。 Because simply would be converted just the dark image decreasing the data size, may high luminance side is compressed strongly so as to approach the human visual characteristics.

続いて、本発明の第1の実施形態に係る画像処理装置1による処理結果の例を詳細に説明する。 Next, an example of a result of processing by the image processing apparatus 1 according to the first embodiment of the present invention in detail. 図6は、本発明の第1の実施形態に係る画像処理装置1による処理結果の例を詳細に説明するための図であり、本発明の第1の実施形態における、使用画像選択結果(3枚)、合成画像(3枚)、使用画像選択結果(2枚・侵入時)、合成画像(2枚・侵入時)、使用画像選択結果(2枚・移動後)および合成画像(2枚・移動後)それぞれの例を示す図である。 Figure 6 is a view for explaining an example of a result of processing by the image processing apparatus 1 according to the first embodiment of the present invention in detail, in the first embodiment of the present invention, using the image selection result (3 Like), synthesized image (three), use the image selection result (when two-intrusion), synthesized image (when two-intrusion), use the image selection result (two-after movement) and the composite image (two- after movement) is a diagram showing examples of each.

図6の「使用画像選択結果(3枚)」「使用画像選択結果(2枚・侵入時)」および「使用画像選択結果(2枚・移動後)」においては、白い領域が短露光画像を使用する領域として示され、灰色の領域が中露光画像を使用する領域として示され、黒い領域が長露光画像を使用する領域として示されている。 In "Using the image selection result (three)," "Using the image selection result (two-penetration time)" and "Using image selection result (two-after movement)" is 6, the short-exposure image is a white area shown as an area to be used, is shown as an area that uses a medium exposure image is gray area, the black area is indicated as an area for using a long exposure image. まず、「使用画像選択結果(3枚)」を参照すると、窓が存在する領域の使用画像として短露光画像が選択されており、その周縁部の使用画像として中露光画像が選択されており、壁が存在する領域の使用画像として長露光画像が選択されている。 First, referring to "Using image selection result (three)", which is the short-exposure image is selected as the used image of the region in which the window is present, and a medium exposure image is selected as the used image of the periphery, long exposure image is selected as used image of an area where the wall is present.

動きオブジェクトが画面内に侵入する前の状態においては、「使用画像選択結果(3枚)」に従って、短露光画像と中露光画像と長露光画像とを使用した「合成画像(3枚)」が生成される。 In a state before the moving object enters the screen, "Using image selection result (three)" in accordance with "synthetic image (three)," using the short-exposure image and the medium exposure image and the long exposure image It is generated. 「合成画像(3枚)」を参照すると、動きオブジェクト(この例では、人物が存在する領域)が画面内に侵入する前の状態においては、窓が存在する領域も飽和せずに見えている。 Referring to "composite image (three)", (in this example, regions including the person) moving object in the state before the entering into the screen, the region in which the window is present even visible without saturating .

動きオブジェクトが画面内に侵入したときの使用画像選択結果の例を「使用画像選択結果(2枚・侵入時)」に示す。 An example of a use image selection result when the moving object intrudes into the screen to "Using the image selection result (when two Intrusion)". 「使用画像選択結果(2枚・侵入時)」を参照すると、動きオブジェクトが中露光画像以上を使用する領域と重なっているため、動き領域に対して中露光画像が使用され、画面全体の使用画像も中露光画像以下(この例では、中露光画像および長露光画像)に制限されている。 Referring to "Using image selection result (when two Intrusion)", because of overlap with the region using the above medium exposure image is a moving object, medium-exposure image is used for the moving area, the use of the entire screen image also: medium exposure image (in this example, the medium exposure image and the long exposure image) is limited to. このようにして合成が行われると、「合成画像(2枚・侵入時)」が生成される。 When thus synthesized is performed, "the composite image (when two Intrusion)" is generated.

「合成画像(2枚・侵入時)」を参照すると、窓が存在する領域に対しては、使用画像選択結果においては短露光画像が使用されるべきであるが、実際には中露光画像が使用されるため、飽和が起きて背景が消えてしまう。 Referring to "composite image (when two Intrusion)", for the area where the window is present, although in use the image selection result should the short-exposure image is used, actually medium exposure image to be used, it disappears background happening saturation. その代わりに、動きオブジェクトは、少しノイズが増える程度で十分視認でき、動きアーティファクトも発生しないというメリットを得ることができる。 Instead, the motion object can be obtained an advantage little noise can be sufficiently visible to the extent that more, not even occur motion artefacts. この状況は、動きオブジェクトが中露光画像使用領域および短露光画像使用領域の少なくともいずれか一方と重なっている間は維持される。 This situation, while the moving object is overlapped with at least one of the medium-exposure image used area and the short-exposure image used area is maintained.

動きオブジェクトが画面内を移動したときの使用画像選択結果の例を「使用画像選択結果(2枚・移動後)」に示す。 An example of a use image selection result when the moving object moves around the screen to "Using the image selection result (after two-movement)." 「使用画像選択結果(2枚・移動後)」を参照すると、動きオブジェクトが移動されているが、相変わらず中露光画像以上を使用する領域と重なっているため、動き領域に対して中露光画像が使用され、画面全体の使用画像も中露光画像以下(この例では、中露光画像および長露光画像)に制限される。 Referring to "Using image selection result (after two-movement)", but a moving object is being moved, because of overlap with the region using the above medium exposure image still, the middle exposure image to the movement area is used, the following medium exposure image also use image of the entire screen (in this example, the medium exposure image and the long exposure image) is limited to. このようにして合成が行われると、「合成画像(2枚・移動後)」が生成される。 When thus synthesized is performed, "the composite image (after two-movement)" is generated. 動きオブジェクトが中露光画像以上を使用する領域から脱出すると、動きオブジェクトが画面内に侵入する前の状態に戻る。 When escape from the region using a medium or higher exposure image is a moving object and returns to the state before the moving object enters the screen.

本発明の実施形態によるWDR合成手法は、一般的なWDR合成手法と比較して、短露光画像使用領域における飽和を一時的に許容する代わりに、動きオブジェクトが存在する領域において発生するノイズを低減し、動きアーティファクトの発生も抑制することが可能である。 WDR synthesis method according to an embodiment of the present invention, as compared to common WDR synthesis techniques, instead of temporarily permit saturation in short-exposure image used area, reducing the noise generated in the region where the moving object exists and, generation of motion artifact can be suppressed. まず、本発明の実施形態によるWDR合成手法によれば、短露光画像使用領域における飽和は動きオブジェクトが該領域を通過する時だけに限定され得ることがメリットとして挙げられる。 First, according to WDR synthesis method according to an embodiment of the present invention, saturation is the moving object in the short-exposure image used area may be restricted to only when passing through the region can be cited as advantages. また、一般的には動きのない短露光画像使用領域よりも動きオブジェクトの方が注目されやすいため、動きのない背景が一時的に飽和したとしても実際のデメリットは小さく、動きオブジェクが存在する領域において大きなノイズを発生させない方が合理的であると考えられる。 Also, since in general easily found the following moving object than the short-exposure image used areas no motion is noted, also the actual disadvantage small as motionless background is temporarily saturated region where the motion object exists If it does not generate significant noise in is considered to be reasonable. これらの理由により、本発明の実施形態によるWDR合成手法は、3フレーム以上を合成するWDRの制御方法として有効な手法であると言える。 For these reasons, WDR synthesis method according to an embodiment of the present invention can be said to be an effective method as a control method for WDR for synthesizing three or more frames.

(第2の実施形態) (Second Embodiment)
続いて、本発明の第2の実施形態について説明する。 Next, a description will be given of a second embodiment of the present invention. 動きオブジェクトが中露光画像以上を使用する領域と重なっているか否かで合成手法を切り替える第1の実施形態に係るWDR合成技術を動画像に対して適用した場合、1つの問題が発生し得る。 When applying the WDR synthesis techniques according to the first embodiment in whether overlaps the region using the above medium exposure image is a moving object switch the synthetic approach to moving picture, one problem may occur. 例えば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動く場合や、該領域の境界で侵入・脱出を繰り返すような場合において、背景が見えたり飽和したりを頻繁に繰り返して見にくい動画像となってしまう現象が生じ得る。 For example, if the move again once stopped in the area of ​​using medium or higher exposure image is a moving object and, in the case that repeated intrusion-escape at the boundary of the region, frequently repeated or saturated or visible background phenomenon that becomes hard to see a moving image may occur.

そこで、本発明の第2の実施形態においては、時間方向に漸次的に変化するような仕組みを作ってこの現象を緩和する。 Therefore, in the second embodiment of the present invention, to create a mechanism that varies progressively in the time direction to alleviate this phenomenon. 図7は、本発明の第2の実施形態に係る画像処理装置1による使用画像の時間変化の例を示す図である。 Figure 7 is a diagram showing an example of temporal change in the usage image by the image processing apparatus 1 according to a second embodiment of the present invention. 例えば、図7に示したように、WDR合成部60は、使用画像の上限と、動き領域に対して割り当てられる使用画像の下限とを時間方向で制御することで上記の現象を緩和することが可能である。 For example, as shown in FIG. 7, WDR synthesis unit 60, be relaxed and the upper limit of the use image, the above-mentioned phenomenon by controlling the lower limit of use image allocated to the movement area in the time direction possible it is.

まず、動きオブジェクトが画面内に侵入する前の状態においては(図6の「合成画像(3枚)」参照)、使用画像の上限と、動き領域に対して割り当てられる使用画像の下限とのいずれにも制限がかかっていない。 First, (see "composite image (three)" in FIG. 6) in the state before the moving object enters the screen, either the upper limit of the image, the lower limit of the use image allocated to the movement area not applied is limited to. 動きオブジェクトが中露光画像以上を使用する領域に侵入すると、動き領域に対して割り当てられる使用画像の下限が中露光画像に設定される。 And it enters the region using a medium or higher exposure image is a moving object, the lower limit of the use image allocated to the movement area is set to the medium exposure image. これによって動き領域に対して中露光画像が割り当てられる。 This is allocated a medium exposure image to the movement area. また、画面全体の使用画像の上限が中露光画像に設定される。 The upper limit of the use image of the entire screen is set to the medium exposure image. 図7に示すように、侵入が検出されたフレームにおける重複判定の結果を次のフレームでの合成時に用いることによって、このような設定がなされてもよい。 As shown in FIG. 7, by using the result of the redundancy judgment in frame intrusion is detected during synthesis in the next frame, such setting may be made.

ここで、WDR合成部60は、「重複」と「非重複」との間で判定結果が変化した場合、上記の第1の合成画像の生成と上記の第2の合成画像の生成との間で合成画像の生成の手法を切り換えるが、切り換えの前に所定の時間待機するとよい。 Here, WDR synthesis unit 60, if the determination result between the "Duplicate" and "non-overlapping" is changed, between the generation of the second composite image generation and the first synthesized image of the in is switched techniques generate a composite image, it is preferable to wait a predetermined time before the switch. 特に、WDR合成部60は、少なくとも「重複」から「非重複」に判定結果が変化した場合、切り換えの前に所定の時間待機するとよい。 In particular, WDR synthesis unit 60, if the determination result is changed at least from the "duplicate" to "non-overlapping", it is preferable to wait a predetermined time before the switch.

具体的には、図7に示すように、動きオブジェクトが中露光画像以上を使用する領域から脱出しても、「WAIT」時間だけ制限状態を維持させるとよい。 Specifically, as shown in FIG. 7, also to escape from the region using a medium or higher exposure image is a moving object, it may be maintained restricted state by "WAIT" time. 例えば、脱出時点からのフレーム数をカウントして、それが「WAIT」時間に相当するフレーム数に達するまで、制限状態を維持させればよい。 For example, by counting the number of frames from escaping time, until it reaches the number of frames corresponding to the "WAIT" period, it is sufficient to maintain the limit.

また、WDR合成部60は、「重複」と「非重複」との間で判定結果が変化した場合、上記の第1の合成画像の生成と上記の第2の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換えるとよい。 Further, WDR combining unit 60, "overlap" and if the determination result between the "non-overlapping" is changed, with the generation of the second composite image generation and the first synthesized image of the the method of generating a composite image may switch progressively. 特に、WDR合成部60は、少なくとも「重複」から「非重複」に判定結果が変化した場合、上記の第1の合成画像の生成から上記の第2の合成画像の生成に合成画像の生成の手法を漸次的に切り換えるとよい。 In particular, WDR synthesis section 60, at least from the "overlapping" if the determination result to "non-overlapping" is changed, the generation of the first composite image of the generation of the synthesized image to generate the second synthesized image of the technique may the switched gradually.

具体的には、図7に示すように、使用画像の上限と動き領域に対して割り当てられる使用画像の下限とを漸次的に戻していくとよい。 Specifically, as shown in FIG. 7, may a lower limit of use image allocated to the upper and the movement area of ​​use image will progressively return. 例えば、戻るスピードは、図7の「SLOPE」に示すように、画像同士の混合に用いられるαブレンド比率の1フレーム当たりの増減量によって決定され得る。 For example, the return speed, as shown in "SLOPE" in FIG. 7, may be determined by increasing or decreasing amount per frame of α blending ratio used in mixing between the images.

使用画像の上限が短露光画像以上になったら漸次的処理は終了されてよい。 Gradual process When the upper limit of the use the image has more short-exposure image may be terminated. 動き領域に割り当てられる使用画像の下限も使用画像の上限と同様に制御されてよい。 The lower limit of use image assigned to the motion region may be controlled similarly to the upper limit of the image. なお、「WAIT」や「SLOPE」の動作期間中に侵入が発生した場合は、状態をリセットして侵入直後の状態に戻してもよい。 In the case where penetration during operation of the "WAIT" and "SLOPE" occurs, the state may be returned to the reset state immediately after entering the. 以上に示したような手法によって、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。 By a technique such as shown above, be or move again once stopped in the area of ​​using medium or higher exposure image is a moving object, the cases as or repeated intrusion-escape at the boundary of the region occurred, abrupt changes in the synthetic approach not occur, legible video image is obtained.

以上、本発明の第1の実施形態および第2の実施形態について説明した。 This completes the description of the first embodiment and the second embodiment of the present invention. 本発明の第1実施形態によれば、動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定する判定部50と、動き領域と中露光画像以上を使用する領域とが重複していると判定された場合、動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第1の合成画像を生成するWDR合成部60と、を備える画像処理装置1が提供される。 According to a first embodiment of the present invention, based on the use the image selection result as the motion detection result, the determination unit 50 whether an area and are overlapping to use medium or higher exposure image and the motion area , if the area to use the medium or higher exposure image and the motion area is determined to be overlapped, using a medium-exposure image to the movement area, the middle exposure image and the long exposure to non motion area and WDR combining unit 60 to generate a first synthesized image using at least any one, the image processing apparatus 1 comprising a provided in the image.

かかる構成によれば、動き領域と中露光画像以上を使用する領域とが重複しているという条件を満たした場合に、動き領域については中露光画像を使用し、非動き領域については中露光画像と長露光画像を使用したWDR合成が行われる。 According to such a configuration, when the the region to use medium or higher exposure image and the motion region satisfying the condition that overlap, using a medium-exposure image for the moving area, the middle exposure image for non-motion area DOO WDR synthesized using long exposure image. したがって、かかる構成によれば、3種類以上の露光で撮影および合成を行うWDRにおいて、ノイズの発生が抑制され、かつ、WDR合成時のアーティファクトが抑制されたWDR合成画像を得ることが可能である。 Accordingly, with the structure described above, in the WDR to perform photographing and combining with three or more types of exposure, occurrence of noise is suppressed, and it is possible to obtain the WDR synthesized image artifacts during WDR synthesis was inhibited .

一方、WDR合成部60は、動き領域と中露光画像以上を使用する領域とが重複していないと判定された場合、使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第2の合成画像を生成すればよい。 On the other hand, WDR synthesis unit 60, if the the region using the above medium exposure image and the motion area is determined not to be duplicated, in accordance with use image selection result, the short-exposure image, out of the middle exposure image and the long exposure image it may generate a second combined image using at least any one.

また、本発明の第2実施形態において、WDR合成部60は、判定部50による判定結果が変化した場合、第1の合成画像の生成と第2の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換える。 In the second embodiment of the present invention, WDR synthesis unit 60, if the determination result by the determination unit 50 changes, in the composite image with the generation of the generation of the first composite image and the second synthesized image switch the generation of technique progressively. 特に、前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第1の合成画像の生成から前記第2の合成画像の生成に合成画像の生成の手法を漸次的に切り換えてもよい。 In particular, the combining unit, when the judgment result as indicating that the region using at least said motion region said in more exposure image do not overlap is changed, from said generation of said first synthesized image the method of production of the composite image generation of the second composite image may be switched incrementally.

かかる構成によれば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。 According to such a configuration, even or move again once stopped in the area of ​​using medium or higher exposure image is a moving object, the cases as or repeated intrusion-escape at the boundary of the region occurs, the synthesis techniques does not occur is a sudden change, easy-to-view video image is obtained.

また、WDR合成部60は、判定部50による判定結果が変化した場合、第1の合成画像の生成と第2の合成画像の生成との間で合成画像の生成の手法を切り換える前に所定の時間待機してもよい。 Further, WDR synthesis unit 60, if the determination result by the determination unit 50 has changed, a predetermined before switching techniques generate a composite image with the generation of the generation of the first composite image and the second synthesized image it may wait time. 特に、WDR合成部60は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、上記の第1の合成画像の生成から上記の第2の合成画像の生成に合成画像の生成の手法を切り換える前に所定の時間待機してもよい。 In particular, WDR synthesis unit 60, if the judgment result as indicating that the region using at least said motion region said in more exposure image do not overlap is changed, generating the first synthesized image of the it may wait a predetermined time before switching techniques generate a composite image for generating the second composite image above from.

かかる構成によれば、動きオブジェクトが中露光画像以上を使用する領域内で一旦止まって再び動いたり、該領域の境界で侵入・脱出を繰り返したりするような状況が発生しても、合成手法の急激な変化が起きず、見やすい動画像が得られる。 According to such a configuration, even or move again once stopped in the area of ​​using medium or higher exposure image is a moving object, the cases as or repeated intrusion-escape at the boundary of the region occurs, the synthesis techniques does not occur is a sudden change, easy-to-view video image is obtained.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。 Having described in detail preferred embodiments of the present invention with reference to the accompanying drawings, the present invention is not limited to such an example. 本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 It would be appreciated by those skilled in the relevant field of technology of the present invention, within the scope of the technical idea described in the claims, it is intended to cover various changes and modifications , also such modifications are intended to fall within the technical scope of the present invention.

例えば、本明細書においては、異なる露光量で撮影されたN(Nは3以上の自然数)枚の画像の例として、露光量の少ない順に短露光画像、中露光画像および長露光画像の3つの画像を撮影する例を主に説明した。 For example, in the present specification, different examples of the photographed N (N is a natural number of 3 or more) images by the exposure amount, the short-exposure image in ascending order of exposure, medium exposure image and the long exposure image of the three an example of photographed images has been mainly described. しかし、既に述べたように、4枚以上の画像を撮影する場合にも本発明の実施形態に係る画像処理装置1は適用可能である。 However, as already mentioned, the image processing apparatus 1 according to an embodiment of the present invention is also applicable to the case of photographing the four or more images is applicable. 例えば、4枚の画像を撮影する場合、中露光画像が2種類存在する。 For example, when photographing the four images, the medium exposure image are two exists. この2種類の中露光画像のうちどちらの画像を動き領域において使用して使用画像の上限とするかは、予め選択しておけばよい。 Or the upper limit of the two types of use image using the regional motion either image of the exposure image in may be previously selected. 例えば、動きオブジェクトに生じるノイズ量や、短露光画像が使用されないことによって発生する飽和の程度などに基づいて選択されればよい。 For example, the amount of noise and occurring in a moving object, may be selected based, such as the degree of saturation caused by the short-exposure image is not used.

続いて、以下の特許文献2ないし特許文献4に記載された手法に関する説明とその問題点について説明する。 Subsequently, the following description of the method described in Patent Document 2 to Patent Document 4 and its problems will be described.

特許文献2(特開2011−205546号公報)には、露光アンダーと露光オーバーを繰り返しながら、露光比を複数種類の間で変更して撮影し、得られた複数枚の画像群から、被写体のダイナミックレンジに合う2枚の画像を選んで合成する技術が開示されている。 Patent Document 2 (JP 2011-205546), while repeating underexposed and overexposed, the exposure ratio photographed changed among a plurality of types, from a plurality images of the obtained, the subject technique for synthesizing select two images that match the dynamic range is disclosed. 特許文献2においては、露光比を6種類の間で変更している。 In Patent Document 2, and changing the exposure ratio between the six. かかる技術によれば、常に時間的に隣り合う2枚を合成に用いるので、合成時の動きぶれを抑えることができ、被写体が超高輝度の物体を含んでいても、適切な露光比設定と適切な2枚の画像選択をすれば、合成可能である。 According to this technique, since always used two temporally adjacent to the synthesis, motion blur in the synthesis can be suppressed, even subject include objects ultrabright appropriate exposure ratio setting and if the image selection of appropriate two, can be synthesized.

しかし、特許文献2に記載された技術においては、時間的に隣り合う2枚を合成に用いるので、合成時の動きぶれを抑えることができるが、合成に用いる画像が2枚であっても合成時の動きぶれは発生してしまう。 However, in the technique described in Patent Document 2, since using two temporally adjacent to the synthesis, but it is possible to suppress motion blur of the synthesis, image to be used for synthesis even two synthetic motion blur of time occurs. また、特許文献2に記載された技術においては、露光比の異なる画像を多く用意しなければならないため、合成結果として動画を得ようとするとフレームレートが著しく低下してしまうという問題が生じ得る。 Further, in the technique described in Patent Document 2, since it is necessary to prepare many different images of the exposure ratio, in order to obtain a video frame rate may occur a problem that decreases significantly as a synthetic result.

特許文献3(特開2008−160881号公報)には、短い単位露光時間で画像を連続撮影し、得られた単位画像を加算して長露光画像を生成する技術が開示されている。 Patent Document 3 (JP 2008-160881), an image continuously taken by a unit shorter exposure times, a technique for generating a long exposure image by adding the unit image obtained is disclosed. かかる技術によれば、短露光画像を長露光画像生成の中心の時刻に撮影された単位画像とすれば、位置ずれがほとんどない合成画像を生成可能である。 According to this technique, if the short-exposure image and the captured unit image in the center of the time of the long-exposure image generated may be generated with little composite image misregistration.

しかし、特許文献3に記載された技術においては、単位露光時間をあまりにも短くすると、撮影データの転送スピードが間に合わなくなったり、転送時の消費電力・発熱が非常に大きくなったりすると考えられる。 However, in the technique described in Patent Document 3, when shortening the unit exposure time too, or longer in time transfer speed of the imaging data is considered to power consumption and heat generation during the transfer may become very large. したがって、単位露光時間はあまり小さくできため、高輝度を撮影する性能があまり高められない。 Therefore, since possible unit exposure time is too small, it can not be increased too much ability to shoot a high luminance.

また、特許文献3に記載された技術においては、位置ずれがないことはメリットではあるが、背景と物体で輝度差が大きい状況でその動物体を撮影した場合、長露光画像には動きぼけが生じて物体が大きく撮影されるのに対して、短露光画像は動きぼけがないので物体は小さく撮影される。 Further, in the technique described in Patent Document 3, albeit at merit that no positional deviation, when photographed the animal body in the context a large luminance difference in the background and the object, the motion blur in the long-exposure image raised against the object is greatly taken, the short-exposure image object because there is no motion blur is captured small. この状況で合成を行うと、物体の周囲に「もや」のような影が発生して、不自然な画像になると思われる。 When the synthesis is performed in this situation, a shadow such as "haze" around the object occurs, it seems to be unnatural image.

特許文献4(特願2013−173699)には、上記の特許文献1に記載された技術において動きオブジェクトがノイジーとなり得るという問題を解決するための手法として、動きオブジェクトのみに有効となるノイズリダクションを適用する手法が本願の発明者によって提案された。 Patent Document 4 (Japanese Patent Application No. 2013-173699), as a method for solving the problem of motion objects can become noisy in the technique described in Patent Document 1 above, the noise reduction to be effective only in the moving object method to apply has been proposed by the present inventor. しかし、1/3840秒というような超短露光画像のノイズを十分に消すことはできないため、かかる手法を使っても問題は解決されない。 However, 1/3840 because can not be erased sufficiently ultra short-exposure image noise and so seconds, the problem can not be solved even by using such techniques.

1 画像処理装置 10 センサ 21 短露光画像メモリ 22 中露光画像メモリ 23 長露光画像メモリ 30 使用画像選択部 40 検出部 50 判定部 51 比較判定部 52 カウンタ 53 重複判定部 60 WDR合成部(合成部) First image processing apparatus 10 sensor 21 short-exposure image memory 22 during exposure image memory 23 long-exposure image memory 30 using the image selecting section 40 detecting section 50 judging section 51 compares the determination unit 52 counter 53 overlap determination unit 60 WDR synthesis section (synthesis section)
80 階調圧縮部 80 grayscale compression section

Claims (7)

  1. 動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定する判定部と、 Based on the motion detection result used image selection result, a determination section for determining whether or not the area and are overlapping to use medium or higher exposure image and the motion region,
    前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第1の合成画像を生成する合成部と、 If the area to be used the more the motion region the during exposure image is determined to be overlapped, the use curly exposure image to the movement area, the middle exposure image and for non-motion area a combining unit for generating a first synthesized image using at least one of the long-exposure image,
    を備え、 Bei to give a,
    前記合成部は、前記動き領域と前記中露光画像以上を使用する領域とが重複していないと判定された場合、前記使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第2の合成画像を生成する、 The combining unit, if the region using said in more exposure image and the motion area is determined not to be duplicated, according to the use the image selection result, the short-exposure image, out of the middle exposure image and the long exposure image generating a second composite image by using at least any one,
    画像処理装置。 Image processing apparatus.
  2. 前記判定部は、前記動き領域と前記中露光画像以上を使用する領域との重複画素数を計測し、前記重複画素数が閾値を超えているか否かを判定することにより前記動き領域と前記中露光画像以上を使用する領域とが重複しているか否かを判定する、 The determination unit is configured to measure the duplication number of pixels of the motion area and the area used more during exposure image said, the in and the motion area by judging whether the overlapping pixel number exceeds the threshold value It determines whether the area to be used more exposure image are overlapped,
    請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1.
  3. 前記合成部は、前記判定部による判定結果が変化した場合、前記第1の合成画像の生成と前記第2の合成画像の生成との間で合成画像の生成の手法を漸次的に切り換える、 The combining unit, wherein if the determination unit determination result by the changes, switching the method of generating the composite image between generation of the first composite image generating said second composite image incrementally,
    請求項に記載の画像処理装置。 The image processing apparatus according to claim 1.
  4. 前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第1の合成画像の生成から前記第2の合成画像の生成に合成画像の生成の手法を漸次的に切り換える、 The combining unit includes at least the case of said so that the area to use the motion region or the during exposure image indicating that no duplicate determination result is changed, the second from the generation of the first synthesized image switching technique the generation of the composite image generation of the composite image of the gradual,
    請求項に記載の画像処理装置。 The image processing apparatus according to claim 3.
  5. 前記合成部は、前記判定部による判定結果が変化した場合、前記第1の合成画像の生成と前記第2の合成画像の生成との間で合成画像の生成の手法を切り換える前に所定の時間待機する、 The combining unit, wherein when the determination unit according to the determination result is changed, a predetermined time before switching techniques generate a composite image with the generation of the first composite image generating said second composite image stand by,
    請求項に記載の画像処理装置。 The image processing apparatus according to claim 1.
  6. 前記合成部は、少なくとも前記動き領域と前記中露光画像以上を使用する領域とが重複していない旨を示すように前記判定結果が変化した場合、前記第1の合成画像の生成から前記第2の合成画像の生成に合成画像の生成の手法を切り換える前に所定の時間待機する、 The combining unit includes at least the case of said so that the area to use the motion region or the during exposure image indicating that no duplicate determination result is changed, the second from the generation of the first synthesized image waiting a predetermined time before the generation of the composite image switching techniques generate a composite image,
    請求項に記載の画像処理装置。 The image processing apparatus according to claim 5.
  7. 動き検出結果と使用画像選択結果とに基づいて、動き領域と中露光画像以上を使用する領域とが重複しているか否かを判定するステップと、 Based on the motion detection result and use the image selection result, and determining whether or not the area to use the medium or higher exposure image and the motion area overlap,
    前記動き領域と前記中露光画像以上を使用する領域とが重複していると判定された場合、前記動き領域に対しては中露光画像を使用し、非動き領域に対しては中露光画像および長露光画像のうち少なくともいずれか一つを使用して第1の合成画像を生成するステップと、 If the area to be used the more the motion region the during exposure image is determined to be overlapped, the use curly exposure image to the movement area, the middle exposure image and for non-motion area generating a first composite image using at least one of the long-exposure image,
    を含み、 Only including,
    前記動き領域と前記中露光画像以上を使用する領域とが重複していないと判定された場合、前記使用画像選択結果に従って、短露光画像、中露光画像および長露光画像のうち少なくともいずれか一つを使用して第2の合成画像を生成するステップを含む、 At least one of a case, according to the used image selection result, the short-exposure image, the medium exposure image and the long exposure image and a region using said in more exposure image and the motion area is determined not to be duplicated comprising the step of generating the second synthesized images using,
    画像処理方法。 Image processing method.
JP2013218156A 2013-10-21 2013-10-21 Image processing apparatus and image processing method Active JP6184290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013218156A JP6184290B2 (en) 2013-10-21 2013-10-21 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013218156A JP6184290B2 (en) 2013-10-21 2013-10-21 Image processing apparatus and image processing method
KR20140051907A KR20150045877A (en) 2013-10-21 2014-04-29 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2015082675A true JP2015082675A (en) 2015-04-27
JP6184290B2 true JP6184290B2 (en) 2017-08-23

Family

ID=53013097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013218156A Active JP6184290B2 (en) 2013-10-21 2013-10-21 Image processing apparatus and image processing method

Country Status (2)

Country Link
JP (1) JP6184290B2 (en)
KR (1) KR20150045877A (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254151A (en) * 2003-02-21 2004-09-09 Fuji Film Microdevices Co Ltd Imaging unit and imaging method
JP5445235B2 (en) * 2010-03-09 2014-03-19 ソニー株式会社 Image processing apparatus, image processing method, and program
JP5896788B2 (en) * 2012-03-07 2016-03-30 キヤノン株式会社 Image synthesis apparatus and an image synthesis method

Also Published As

Publication number Publication date Type
KR20150045877A (en) 2015-04-29 application
JP2015082675A (en) 2015-04-27 application

Similar Documents

Publication Publication Date Title
US8199222B2 (en) Low-light video frame enhancement
US20070153094A1 (en) Automatic flicker correction in an image capture device
US20080259181A1 (en) Imaging apparatus, imaging method, integrated circuit, and storage medium
US20100157078A1 (en) High dynamic range image combining
JP5136664B2 (en) Image processing apparatus, and program
US20110069200A1 (en) High dynamic range image generating apparatus and method
US20140232929A1 (en) Image capturing apparatus and method for controlling the same
US20120044381A1 (en) High dynamic range video
US20110050946A1 (en) Method and apparatus for increasing dynamic range of image by using electronic shutter
US20100157079A1 (en) System and method to selectively combine images
US20100271498A1 (en) System and method to selectively combine video frame image data
US20110169980A1 (en) Apparatus and method for obtaining high dynamic range image
US20110205381A1 (en) Tone mapping for low-light video frame enhancement
US20120019686A1 (en) Image synthesizing device, image synthesizing method and computer readable medium
JP2002084449A (en) Image pickup device employing solid-state imaging device
JP2007006021A (en) Imaging apparatus and image processing program
JP2008124625A (en) Imaging apparatus
JP2003101886A (en) Image pickup device
US8866927B2 (en) Determining an image capture payload burst structure based on a metering image capture sweep
US20140347521A1 (en) Simulating High Dynamic Range Imaging with Virtual Long-Exposure Images
JP2007060449A (en) Imaging apparatus
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
JPH07131708A (en) Picture synthesizer
JPH10243288A (en) Image-pickup method and image-pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170725

R150 Certificate of patent or registration of utility model

Ref document number: 6184290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150