JP4622711B2 - Image composition apparatus, image composition method, and program - Google Patents

Image composition apparatus, image composition method, and program Download PDF

Info

Publication number
JP4622711B2
JP4622711B2 JP2005201819A JP2005201819A JP4622711B2 JP 4622711 B2 JP4622711 B2 JP 4622711B2 JP 2005201819 A JP2005201819 A JP 2005201819A JP 2005201819 A JP2005201819 A JP 2005201819A JP 4622711 B2 JP4622711 B2 JP 4622711B2
Authority
JP
Japan
Prior art keywords
image
pixel
predetermined
pixel data
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005201819A
Other languages
Japanese (ja)
Other versions
JP2007020087A5 (en
JP2007020087A (en
Inventor
義裕 手島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2005201819A priority Critical patent/JP4622711B2/en
Publication of JP2007020087A publication Critical patent/JP2007020087A/en
Publication of JP2007020087A5 publication Critical patent/JP2007020087A5/ja
Application granted granted Critical
Publication of JP4622711B2 publication Critical patent/JP4622711B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、画像合成装置、画像合成方法、及び、プログラムに関する。 The present invention relates to an image composition device, an image composition method, and a program .

従来から、互いに異なる露出で複数の画像を撮像し、各画像を合成することによりダイナミックレンジを拡大した合成画像を作成することができる撮像装置としてのデジタルカメラがある。
このようなデジタルカメラとして、撮像器により互いに異なる露出で撮像することにより、複数の撮像画像を取得し、レベル補正器により複数の撮像画像のそれぞれに対応する露出条件に基づいて複数の撮像画像のそれぞれのレベルを補正して複数の補正画像を取得し、画像合成器により複数の補正画像を合成してダイナミックレンジの広い単一の合成画像を作成し、ダイナミックレンジ圧縮器により出力先の性能に応じて、合成画像を圧縮して圧縮画像を取得するものがある。ここで、レベル補正器は、撮像画像信号のそれぞれについて、各撮像画像信号からその撮像画像信号に対応する正の値を減算するものであり、正の値は、対応する撮像画像信号の平均値と対応する係数との乗算から求められるものであり、係数は、対応する撮像画像信号の露出条件に基づき、撮像画像信号毎に定められるようになっている（例えば、特許文献１参照。）。
特許第３４５８７４１号公報 2. Description of the Related Art Conventionally, there is a digital camera as an imaging device that can capture a plurality of images with different exposures and create a combined image with an expanded dynamic range by combining the images.
As such a digital camera, a plurality of captured images are obtained by capturing images with different exposures by an imager, and a plurality of captured images are acquired based on exposure conditions corresponding to each of the plurality of captured images by a level corrector. Each level is corrected to obtain multiple corrected images, and the image synthesizer combines multiple corrected images to create a single composite image with a wide dynamic range, and the dynamic range compressor increases the output performance. Accordingly, there is a method of acquiring a compressed image by compressing a composite image. Here, for each captured image signal, the level corrector subtracts a positive value corresponding to the captured image signal from each captured image signal, and the positive value is an average value of the corresponding captured image signal. The coefficient is determined for each captured image signal based on the exposure condition of the corresponding captured image signal (see, for example, Patent Document 1).
Japanese Patent No. 3458741

ところで、上記特許文献１においては、黒が浮いたような不自然な画像が作成されるという問題を解決するために、各画像を撮像画像信号の平均値と露出条件に基づく係数との乗算から得た値を各画像から引いた後に合成を行っている。
しかし、光の回折や反射、散乱により物体の境界が画像によって異なり、露出の異なる画像の境界では物体の境界が二重になる等、不連続な部分が生じるという問題があった。 By the way, in the above-mentioned Patent Document 1, in order to solve the problem that an unnatural image with black floating is created, each image is obtained by multiplying the average value of the captured image signal and a coefficient based on the exposure condition. After the obtained value is subtracted from each image, the composition is performed.
However, there is a problem that the boundary of the object varies depending on the image due to diffraction, reflection, and scattering of light, and a discontinuous portion occurs such that the boundary of the object is doubled at the boundary of the image with different exposure.

そこで、本発明は、上記課題を解決するためになされたものであり、露出時間が夫々異なる画像を合成する際、合成結果の画像中の物体の境界の不連続性を軽減することができる画像合成装置、画像合成方法、及び、プログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problem, and when combining images having different exposure times, an image that can reduce the discontinuity of the boundary of the object in the combined image. It is an object to provide a synthesis device, an image synthesis method, and a program .

請求項１に記載の発明は、所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成装置において、前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出手段と、前記第１の画像における所定の画素の前記第１の輝度値と、前記第２の画像における前記所定の画素と同じ位置の画素の前記第２の輝度値に所定の補正値を乗じた輝度値との差分を算出する第２の算出手段と、前記第２の輝度値が予め定められた閾値以下であり、かつ、前記差分が上限輝度閾値以下であり下限輝度閾値より大きい場合に、前記第１の画像の画素データと前記第２の画像の画素データに前記補正値を乗じた画素データとの重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第１の決定手段と、前記第２の輝度値が前記予め定められた閾値以下、又は、前記第２の輝度値が前記予め定められた閾値以上で前記差分が前記上限輝度閾値より大きい場合に、前記第２の画像の画素データに前記補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第２の決定手段と、前記第２の輝度値が前記予め定められた閾値以下であり、かつ、前記差分が前記下限輝度閾値以下の場合に、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第３の決定手段と、を備えることを特徴とする。 According to a first aspect of the present invention, there is provided an image composition device for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time. in a first luminance value of each pixel in the first image, a first calculation means for calculating a second luminance value of each pixel in the second image, predetermined in the first image Calculating a difference between the first luminance value of the first pixel and a luminance value obtained by multiplying the second luminance value of the pixel at the same position as the predetermined pixel in the second image by a predetermined correction value. And when the second luminance value is equal to or smaller than a predetermined threshold value and the difference is equal to or smaller than an upper limit luminance threshold value and larger than a lower limit luminance threshold value , Pixel data obtained by multiplying the pixel data of the second image by the correction value. The pixel data comprising the weight average of the data, a first determination means for determining a pixel data in the predetermined pixel of the composite image, the second threshold luminance value is the predetermined or less, or the When the second luminance value is greater than or equal to the predetermined threshold and the difference is greater than the upper limit luminance threshold, pixel data obtained by multiplying the pixel data of the second image by the correction value is used as the pixel value of the composite image. A second determining unit configured to determine pixel data in a predetermined pixel; and when the second luminance value is equal to or less than the predetermined threshold value and the difference is equal to or less than the lower limit luminance threshold value. And third determining means for determining pixel data of the image as pixel data in the predetermined pixel of the composite image .

請求項２に記載の発明は、所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成装置において、前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出手段と、前記第２の画像における所定の画素の周辺に、その輝度値が予め定められた閾値より大きい画素と前記予め定められた閾値以下の画素とがある場合、前記所定の画素周辺の画素数におけるこの予め定められた閾値以上の画素数の割合を算出する第３の算出手段と、前記第３の算出手段によって算出された割合に応じた重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第４の決定手段と、前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値より大きい画素である場合、前記第２の画像の画素データに所定の補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第５の決定手段と、前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値以下の画素である場合、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第６の決定手段と、を備えることを特徴とする。 According to a second aspect of the present invention, there is provided an image composition device for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time. A first calculating means for calculating a first luminance value of each pixel in the first image and a second luminance value of each pixel in the second image, and a predetermined value in the second image If there is a pixel whose luminance value is greater than a predetermined threshold and a pixel that is less than or equal to the predetermined threshold in the periphery of the pixel, the number of pixels around the predetermined pixel is greater than or equal to the predetermined threshold Third calculation means for calculating a ratio of the number of pixels, and pixel data having a weighted average corresponding to the ratio calculated by the third calculation means are determined as pixel data in the predetermined pixel of the composite image. the fourth decision hand When the case all around a given pixel in the second image is the a larger pixel than a predetermined threshold value, the pixel data obtained by multiplying a predetermined correction value to the pixel data of the second image, the synthetic Fifth determination means for determining the pixel data in the predetermined pixel of the image, and when all of the periphery of the predetermined pixel in the second image are pixels equal to or less than the predetermined threshold, the first image 6th determination means which determines the pixel data of this as pixel data in the said predetermined pixel of the said synthesized image, It is characterized by the above-mentioned.

請求項３に記載の発明は、請求項１又は２記載の発明において、同じ位置の全ての画素における前記第１の輝度値と前記第２の輝度値との比の平均値を、前記補正値として算出する第４の算出手段を更に備えることを特徴とする。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の発明において、撮像手段と、前記撮像手段に対し所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像とを続けて撮像させるよう制御する撮像制御手段と、を更に備えることを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, an average value of a ratio between the first luminance value and the second luminance value in all pixels at the same position is calculated as the correction value. It is further provided with the 4th calculation means to calculate as.
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the imaging unit, the first image photographed with a predetermined exposure time with respect to the imaging unit, and the predetermined unit It is further characterized by further comprising imaging control means for controlling to continuously capture a second image taken with an exposure time shorter than the exposure time .

請求項５に記載の発明は、所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成方法であって、前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出ステップと、前記第１の画像における所定の画素の前記第１の輝度値と、前記第２の画像における前記所定の画素と同じ位置の画素の前記第２の輝度値に所定の補正値を乗じた輝度値との差分を算出する第２の算出ステップと、 前記第２の輝度値が予め定められた閾値以下であり、かつ、前記差分が上限輝度閾値以下であり下限輝度閾値より大きい場合に、前記第１の画像の画素データと前記第２の画像の画素データに前記補正値を乗じた画素データとの重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第１の決定ステップと、前記第２の輝度値が前記予め定められた閾値以下、又は、前記第２の輝度値が前記予め定められた閾値以上で前記差分が前記上限輝度閾値より大きい場合に、前記第２の画像の画素データに前記補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第２の決定ステップと、前記第２の輝度値が前記予め定められた閾値以下であり、かつ、前記差分が前記下限輝度閾値以下の場合に、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第３の決定ステップと、を含むことを特徴とする。 The invention according to claim 5 is an image composition method for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time. A first calculation step of calculating a first luminance value of each pixel in the first image and a second luminance value of each pixel in the second image , and the first image The difference between the first luminance value of the predetermined pixel in the pixel and the luminance value obtained by multiplying the second luminance value of the pixel at the same position as the predetermined pixel in the second image by a predetermined correction value is calculated. A second calculation step, and a pixel of the first image when the second luminance value is less than or equal to a predetermined threshold and the difference is less than or equal to an upper limit luminance threshold and greater than a lower limit luminance threshold. Data and pixel data of the second image are multiplied by the correction value A first determination step of determining pixel data that is a weighted average with the pixel data as pixel data in the predetermined pixel of the composite image, and the second luminance value is equal to or less than the predetermined threshold value, or Pixel data obtained by multiplying the pixel data of the second image by the correction value when the second luminance value is greater than or equal to the predetermined threshold and the difference is greater than the upper limit luminance threshold. A second determination step of determining the pixel data in the predetermined pixel, and when the second luminance value is equal to or smaller than the predetermined threshold value and the difference is equal to or smaller than the lower limit luminance threshold value, And a third determining step for determining pixel data of the first image as pixel data in the predetermined pixel of the composite image .

請求項６に記載の発明は、所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成方法であって、前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出ステップと、前記第２の画像における所定の画素の周辺に、その輝度値が予め定められた閾値より大きい画素と前記予め定められた閾値以下の画素とがある場合、前記所定の画素周辺の画素数におけるこの予め定められた閾値以上の画素数の割合を算出する第３の算出ステップと、前記第３の算出ステップにて算出された割合に応じた重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第４の決定ステップと、前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値より大きい画素である場合、前記第２の画像の画素データに所定の補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第５の決定ステップと、前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値以下の画素である場合、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第６の決定ステップと、を含むことを特徴とする。
請求項７記載の発明は、撮像装置が有するコンピュータを、所定の露出時間で撮影された第１の画像における各画素の第１の輝度値と、この所定の露出時間よりも短い露出時間で続けて撮影された第２の画像における各画素の第２の輝度値とを算出する第１の算出手段、前記第１の画像における所定の画素の前記第１の輝度値と、前記第２の画像における前記所定の画素と同じ位置の画素の前記第２の輝度値に所定の補正値を乗じた輝度値との差分を算出する第２の算出手段、前記第２の輝度値が予め定められた閾値以下であり、かつ、前記差分が上限輝度閾値以下であり下限輝度閾値より大きい場合に、前記第１の画像の画素データと前記第２の画像の画素データに前記補正値を乗じた画素データとの重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第１の決定手段、前記第２の輝度値が前記予め定められた閾値以下、又は、前記第２の輝度値が前記予め定められた閾値以上で前記差分が前記上限輝度閾値より大きい場合に、前記第２の画像の画素データに前記補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第２の決定手段、前記第２の輝度値が前記予め定められた閾値以下であり、かつ、前記差分が前記下限輝度閾値以下の場合に、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第３の決定手段、として機能させることを特徴とする。
請求項８記載の発明は、撮像装置が有するコンピュータを、所定の露出時間で撮影された第１の画像における各画素の第１の輝度値と、この所定の露出時間よりも短い露出時間で続けて撮影された第２の画像における各画素の第２の輝度値とを算出する第１の算出手段、前記第２の画像における所定の画素の周辺に、その輝度値が予め定められた閾値より大きい画素と前記予め定められた閾値以下の画素とがある場合、前記所定の画素周辺の画素数におけるこの予め定められた閾値以上の画素数の割合を算出する第３の算出手段、 前記第３の算出手段によって算出された割合に応じた重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第４の決定手段、前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値より大きい画素である場合、前記第２の画像の画素データに所定の補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第５の決定手段、前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値以下の画素である場合、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第６の決定手段、として機能させることを特徴とする。 The invention according to claim 6 is an image composition method for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time. a is a first luminance value of each pixel in the first image, a first calculation step of calculating a second luminance value of each pixel in the second image, the second image If there are a pixel having a luminance value larger than a predetermined threshold and a pixel equal to or lower than the predetermined threshold in the vicinity of the predetermined pixel, the predetermined threshold in the number of pixels around the predetermined pixel The third calculation step for calculating the ratio of the number of pixels described above, and the pixel data that is a weighted average corresponding to the ratio calculated in the third calculation step is used as pixel data for the predetermined pixel of the composite image. fourth to determine as A determining step, when all around the predetermined pixel in the second image is a larger pixel than the predetermined threshold, the pixel data obtained by multiplying a predetermined correction value to the pixel data of the second image, A fifth determination step of determining as pixel data in the predetermined pixel of the composite image, and when all of the periphery of the predetermined pixel in the second image are pixels equal to or less than the predetermined threshold, And a sixth determination step of determining the pixel data of the image as pixel data in the predetermined pixel of the composite image .
According to the seventh aspect of the present invention, the computer included in the imaging apparatus is continued with the first luminance value of each pixel in the first image photographed with the predetermined exposure time and the exposure time shorter than the predetermined exposure time. First calculating means for calculating a second luminance value of each pixel in the second image photographed in the above; the first luminance value of a predetermined pixel in the first image; and the second image. Second calculating means for calculating a difference between a luminance value obtained by multiplying the second luminance value of a pixel at the same position as the predetermined pixel by a predetermined correction value, and the second luminance value is predetermined. Pixel data obtained by multiplying the pixel data of the first image and the pixel data of the second image by the correction value when the difference is equal to or smaller than the threshold and the difference is equal to or smaller than the upper limit luminance threshold and larger than the lower limit luminance threshold. Pixel data consisting of the weighted average of A first determination unit configured to determine pixel data in the predetermined pixel of the image; the second luminance value is equal to or less than the predetermined threshold; or the second luminance value is equal to or greater than the predetermined threshold. A second determining unit configured to determine pixel data obtained by multiplying the pixel data of the second image by the correction value as pixel data of the predetermined pixel of the composite image when the difference is larger than the upper limit luminance threshold; , When the second luminance value is less than or equal to the predetermined threshold value and the difference is less than or equal to the lower limit luminance threshold value, the pixel data of the first image in the predetermined pixel of the composite image It is characterized by functioning as third determining means for determining pixel data.
According to an eighth aspect of the present invention, the computer included in the imaging apparatus is continuously operated with the first luminance value of each pixel in the first image photographed with the predetermined exposure time and the exposure time shorter than the predetermined exposure time. A first calculating means for calculating a second luminance value of each pixel in the second image photographed in this manner, and the luminance value around a predetermined pixel in the second image is determined from a predetermined threshold value. A third calculating means for calculating a ratio of the number of pixels equal to or larger than the predetermined threshold in the number of pixels around the predetermined pixel when there is a large pixel and a pixel equal to or smaller than the predetermined threshold; Fourth determining means for determining pixel data having a weighted average according to the ratio calculated by the calculating means as pixel data in the predetermined pixel of the composite image, and surroundings of the predetermined pixel in the second image When all of the pixels are larger than the predetermined threshold, pixel data obtained by multiplying the pixel data of the second image by a predetermined correction value is determined as pixel data in the predetermined pixel of the composite image. 5, when all of the periphery of the predetermined pixel in the second image are pixels equal to or less than the predetermined threshold value, the pixel data of the first image is used as the pixel in the predetermined pixel of the composite image. It is made to function as 6th determination means determined as data.

本発明によれば、露出時間が夫々異なる画像を合成する際、合成結果の画像中の物体の境界の不連続性を軽減することができる。 According to the present invention, when images having different exposure times are combined , discontinuity of the boundary between objects in the combined image can be reduced .

以下、図面を参照して、本発明に係る撮像装置及び撮像方法の最良の形態について詳細に説明する。
（実施形態１）
＜撮像装置の構成＞
図１は、撮像装置１の構成を示すブロック図である。
撮像装置１は、集光して被写体の画像を結像するための光学系１１と、光学系１１により結像された画像を取り込むためにデジタル化する光電変換部１２と、ストロボ発光させるストロボ発光部１３と、ズーム調節を行うズーム駆動部１４と、焦点を調節するフォーカス駆動部１５と、光学系１１により結像された画像を表示させる表示部１６と、操作入力を行う操作入力部１７と、各部の動作制御を行う制御部２０と、を備えている。
制御部２０は、各部の動作制御に関する処理プログラムに従って各処理を実行するＣＰＵ２１と、各処理を実行するための処理プログラムや画素データ等が記憶されるメモリ２２と、を備えている。
メモリ２２には、処理プログラムが展開され、当該プログラムに基づく処理を行う作業エリア２３と、各部の動作制御に関する処理プログラムが記憶されたプログラムエリア２４と、光学系１１により結像され、光電変換部１２によりデジタル化された画像の画像データを記憶する画像データエリア２５が形成されている。 The best mode of an imaging apparatus and imaging method according to the present invention will be described below in detail with reference to the drawings.
(Embodiment 1)
<Configuration of imaging device>
FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus 1.
The imaging apparatus 1 includes an optical system 11 for condensing and forming an image of a subject, a photoelectric conversion unit 12 for digitizing to capture an image formed by the optical system 11, and strobe light emission for strobe light emission. Unit 13, zoom drive unit 14 that performs zoom adjustment, focus drive unit 15 that adjusts the focus, display unit 16 that displays an image formed by optical system 11, and operation input unit 17 that performs operation input. , And a control unit 20 that controls the operation of each unit.
The control unit 20 includes a CPU 21 that executes each process according to a process program related to operation control of each unit, and a memory 22 that stores a process program, pixel data, and the like for executing each process.
In the memory 22, a processing program is developed, a work area 23 for performing processing based on the program, a program area 24 in which processing programs relating to operation control of each unit are stored, and an image formed by the optical system 11, and a photoelectric conversion unit An image data area 25 for storing image data of the image digitized by 12 is formed.

図２は、プログラムエリア２４を示す構成ブロック図である。
プログラムエリア２４には、異なる露出で撮像された、例えば、シャッタースピードの異なる二つの画像データを比較して被写体の画像内における位置の変化を抽出する位置変化抽出プログラム２４ａが記憶されている。すなわち、ＣＰＵ２１が位置変化抽出プログラム２４ａを実行することにより、制御部２０は位置変化抽出手段として機能する。
また、プログラムエリア２４には、各画像を合成して一つの撮像画像を作成する画像合成プログラム２４ｂが記憶されている。すなわち、ＣＰＵ２１が画像合成プログラム２４ｂを実行することにより、制御部２０は画像合成手段として機能する。
この画像合成プログラム２４ｂは、例えば、さらに複数のプログラムにより構成されている。具体的に、画像合成プログラム２４ｂは、二つの画像の画素の輝度値Ｙｌ，Ｙｓを算出する輝度算出プログラム２４ｃを有する。すなわち、ＣＰＵ２１が輝度算出プログラム２４ｃを実行することにより、制御部２０は輝度算出手段として機能する。
また、画像合成プログラム２４ｂは、輝度算出プログラム２４ｃにより算出された二つの画像の同じ座標位置における画素の輝度値Ｙｌ，Ｙｓを比較して露出補正値ｋを算出する補正値算出プログラム２４ｄを有する。すなわち、ＣＰＵ２１が補正値算出プログラム２４ｄを実行することにより、制御部２０は補正値算出手段として機能する。
また、画像合成プログラム２４ｂは、露出の長い画像の輝度値Ｙｌと露出の短い画像の輝度値Ｙｓに露出補正値ｋを乗じた値との輝度差Ｓａを算出する輝度差算出プログラム２４ｅを有する。すなわち、ＣＰＵ２１が輝度差算出プログラム２４ｅを実行することにより、制御部２０は輝度差算出手段として機能する。ここで、輝度差Ｓａは以下の式（１）で算出される。
Ｓａ＝｜Ｙｌ−ｋ×Ｙｓ｜・・・・・・・（１）
また、画像合成プログラム２４ｂは、合成後の合成画像の画素データを決定するための画素データ決定プログラム２４ｆを有する。すなわち、ＣＰＵ２１が画素データ決定プログラム２４ｆを実行することにより、制御部２０は画素データ決定手段として機能する。 FIG. 2 is a configuration block diagram showing the program area 24.
The program area 24 stores a position change extraction program 24a that compares two image data captured at different exposures, for example, and extracts a change in position in the subject image. That is, when the CPU 21 executes the position change extraction program 24a, the control unit 20 functions as a position change extraction unit.
The program area 24 stores an image synthesis program 24b that synthesizes each image to create one captured image. That is, when the CPU 21 executes the image composition program 24b, the control unit 20 functions as an image composition unit.
The image composition program 24b is composed of a plurality of programs, for example. Specifically, the image composition program 24b includes a luminance calculation program 24c that calculates the luminance values Yl and Ys of the pixels of the two images. That is, when the CPU 21 executes the luminance calculation program 24c, the control unit 20 functions as a luminance calculation unit.
The image composition program 24b has a correction value calculation program 24d that compares the luminance values Yl and Ys of the pixels at the same coordinate position of the two images calculated by the luminance calculation program 24c to calculate the exposure correction value k. That is, when the CPU 21 executes the correction value calculation program 24d, the control unit 20 functions as a correction value calculation unit.
The image composition program 24b includes a luminance difference calculation program 24e that calculates a luminance difference Sa between a luminance value Yl of an image with a long exposure and a luminance value Ys of an image with a short exposure multiplied by an exposure correction value k. That is, when the CPU 21 executes the brightness difference calculation program 24e, the control unit 20 functions as a brightness difference calculation unit. Here, the luminance difference Sa is calculated by the following equation (1).
Sa = | Yl−k × Ys | (1)
The image composition program 24b has a pixel data determination program 24f for determining pixel data of the composite image after composition. That is, when the CPU 21 executes the pixel data determination program 24f, the control unit 20 functions as a pixel data determination unit.

具体的に、画素データ決定プログラム２４ｆは、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下である場合、又は、露出の短い画像における所定位置の画素が所定の輝度閾値th0よりも大きく、かつ、輝度差Ｓａが所定の上限輝度閾値th2よりも大きい場合には、合成後の所定位置の画素データＰｃは、露出の短い画像の画素データＰｓに露出補正値kを乗じた値とする。
また、画素データ決定プログラム２４ｆは、合成される二つの画像のうち、露出の短い画像における所定位置の画素の輝度値が所定の輝度閾値th0以下であり、輝度差Ｓａが所定の下限輝度閾値th1以下である場合には、合成後の所定位置の画素データは、露出の長い画像の画素データＰｌの値とする。
また、画素データ決定プログラム２４ｆは、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限閾値th2以下である場合には、合成後の所定位置の画素データは、露出の短い画像における画素データＰｓに露出補正値ｋを乗じた値と露出の長い画像における画素データＰｌの値とに基づいて定められた画素データの値とする。なお、本実施形態において、合成される二つの画像のうち、露出の短い画像における所定位置の画素が所定の輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、合成される二つの画素データの重み平均を採用する。すなわち、重みづけをするための重み係数ｎ（０＜ｎ＜１）を設定し、合成画素の画素データＰｃを以下の式（２）で算出された値としている。
Ｐｃ＝ｎ×Ｐｌ＋（１−ｎ）×ｋ×Ｐｓ・・・・・・・（２） Specifically, the pixel data determination program 24f determines whether the pixel at a predetermined position in the short-exposure image of the two images to be combined is equal to or lower than the predetermined luminance threshold th0, or the predetermined position in the short-exposure image. When the pixel is larger than the predetermined luminance threshold th0 and the luminance difference Sa is larger than the predetermined upper limit luminance threshold th2, the pixel data Pc at the predetermined position after the synthesis is changed to pixel data Ps of an image with short exposure. A value obtained by multiplying the exposure correction value k.
In addition, the pixel data determination program 24f has a luminance value of a pixel at a predetermined position in a short-exposure image of two images to be combined that is equal to or smaller than a predetermined luminance threshold th0, and the luminance difference Sa is a predetermined lower limit luminance threshold th1. In the following cases, the pixel data at a predetermined position after the synthesis is the value of the pixel data Pl of an image with a long exposure.
Further, the pixel data determination program 24f has a pixel at a predetermined position in a short-exposure image of two images to be combined that is equal to or smaller than a predetermined luminance threshold th0, and the luminance difference Sa is larger than the lower limit luminance threshold th1 and the upper limit threshold th2. In the following cases, the pixel data at a predetermined position after composition is determined based on a value obtained by multiplying the pixel data Ps in the short exposure image by the exposure correction value k and the value of the pixel data Pl in the long exposure image. The value of the obtained pixel data. In the present embodiment, of the two images to be combined, the pixel at a predetermined position in the short-exposure image is equal to or smaller than the predetermined luminance threshold th0, and the luminance difference Sa is larger than the lower limit luminance threshold th1 and smaller than the upper limit luminance threshold th2. In this case, the weighted average of the two pixel data to be combined is adopted. That is, a weighting coefficient n (0 <n <1) for weighting is set, and the pixel data Pc of the composite pixel is a value calculated by the following equation (2).
Pc = n * Pl + (1-n) * k * Ps (2)

また、プログラムエリア２４には、画像合成プログラム２４ｂにより合成された合成画像を圧縮する画像圧縮プログラム２４ｇが記憶されている。
また、プログラムエリア２４には、画像圧縮プログラム２４ｇにより圧縮された圧縮画像に画像処理を施す画像処理プログラム２４ｈが記憶されている。 The program area 24 stores an image compression program 24g for compressing the synthesized image synthesized by the image synthesis program 24b.
The program area 24 stores an image processing program 24h for performing image processing on the compressed image compressed by the image compression program 24g.

＜撮像方法＞
撮像装置１による撮像方法について説明する。
図３に示すように、ユーザが操作入力部１７を構成する撮像ボタン（図示略）を押下すると、光学系１１が捉えているシーンが光電変換部１２に集光され、光電変換部１２はデジタル画像を作成する。このとき、光電変換部１２が有する電子シャッタや光学系１１が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる。光電変換部１２で作成されたデジタル画像はメモリ２２の画像データエリア２５に一時的に記憶される（ステップＳ１：撮像工程）。
次いで、ＣＰＵ２１は、位置変化抽出プログラム２４ａを実行することにより、露出の異なる二つの画像から被写体の画像内における位置の変化を抽出する（ステップＳ２：位置変化抽出工程）。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、ＫＬＴ法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。 <Imaging method>
An imaging method by the imaging apparatus 1 will be described.
As shown in FIG. 3, when the user presses an imaging button (not shown) that constitutes the operation input unit 17, the scene captured by the optical system 11 is condensed on the photoelectric conversion unit 12, and the photoelectric conversion unit 12 is digital. Create an image. At this time, two images are captured by changing the exposure time by the electronic shutter of the photoelectric conversion unit 12 and the mechanical shutter of the optical system 11. The digital image created by the photoelectric conversion unit 12 is temporarily stored in the image data area 25 of the memory 22 (step S1: imaging process).
Next, the CPU 21 executes the position change extraction program 24a to extract a position change in the subject image from two images with different exposures (step S2: position change extraction step). In order to extract a change in the position of the subject, feature points of the captured image are extracted. When extracting the feature points, a finite number of eigenvalues of the image are extracted by a method such as the KLT method to obtain feature points. Then, in order to know where the extracted feature point has moved in the next image, a point closest to the feature point is searched. This is performed with a plurality of feature points, and the transformation coordinates of the images are obtained by associating the position coordinates of the feature points between the two images.

次いで、ＣＰＵ２１は、画像合成プログラム２４ｂを実行することにより、二つの画像を合成して一つの撮像画像を作成する（ステップＳ３〜ステップＳ６：画像合成工程）。
図４に示すように、ＣＰＵ２１が輝度算出プログラム２４ｃを実行すると、ＣＰＵ２１は撮像された二つの画像のうち、露出が長い方の画像Ｐｌの輝度値Ｙｌと露出が短い方の画像Ｐｓの輝度値Ｙｓを算出する（ステップＳ３：輝度算出工程）。
次いで、ＣＰＵ２１が補正値算出プログラム２４ｄを実行することにより、ＣＰＵ２１は撮像された両画像の同じ座標位置にある輝度値Ｙｌと輝度値Ｙｓとの比を全ての画素について算出し、これらの比の平均を露出補正値ｋとして算出する（ステップＳ４：補正値算出工程）。このとき、輝度値Ｙｌが一定の範囲内にあるときのみ露出補正値ｋを算出する。一定の範囲を大きく外れた輝度値を考慮すると、適切な露出補正値ｋが得られないからである。また、二つの画像の同じ位置とは、ステップＳ２で算出された変換行列により両画像の位置合わせを行った後の同じ位置をいう。
次いで、ＣＰＵ２１は、輝度差算出プログラム２４ｅを実行することにより、露出の長い画像の輝度値Ｙｌの値と露出の短い画像の輝度値Ｙｓに露出補正値ｋを乗じた値との輝度差Ｓａの絶対値を算出する（ステップＳ５：輝度差算出工程）。 Next, the CPU 21 executes the image synthesizing program 24b to synthesize two images and create one captured image (step S3 to step S6: image synthesizing step).
As shown in FIG. 4, when the CPU 21 executes the brightness calculation program 24c, the CPU 21 has the brightness value Y1 of the image Pl with the longer exposure and the brightness value of the image Ps with the shorter exposure of the two captured images. Ys is calculated (step S3: luminance calculation step).
Next, when the CPU 21 executes the correction value calculation program 24d, the CPU 21 calculates the ratio between the luminance value Yl and the luminance value Ys at the same coordinate position of both captured images for all the pixels, and the ratio of these ratios is calculated. The average is calculated as the exposure correction value k (step S4: correction value calculation step). At this time, the exposure correction value k is calculated only when the luminance value Yl is within a certain range. This is because an appropriate exposure correction value k cannot be obtained in consideration of a luminance value greatly deviating from a certain range. Moreover, the same position of two images means the same position after aligning both images by the transformation matrix calculated in step S2.
Next, the CPU 21 executes the luminance difference calculation program 24e to thereby calculate the luminance difference Sa between the luminance value Yl of the long exposure image and the luminance value Ys of the short exposure image multiplied by the exposure correction value k. An absolute value is calculated (step S5: luminance difference calculation step).

次いで、ＣＰＵ２１が画素データ決定プログラム２４ｆを実行することにより、合成画像の画素データを決定する（ステップＳ６：画素データ決定工程）。
図５に示すように、ステップＳ６において、輝度閾値th0を２００とした場合、ＣＰＵ２１は露出の短い方の画像の輝度値Ｙｓが輝度閾値th0である２００以下であるか否かを判断する（ステップＳ６１）。ここで、ＣＰＵ２１が、輝度値Ｙｓが２００よりも大きいと判断した場合（ステップＳ６１：ＮＯ）、ＣＰＵ２１は合成画像の画素データＰｃを露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値（ｋ×Ｐｓ）に決定し（ステップＳ６２）、本処理を終了させる。一方、ＣＰＵ２１が、輝度値Ｙｓが２００以下であると判断した場合（ステップＳ６１：ＹＥＳ）、ＣＰＵ２１は輝度差Ｓａが上限輝度閾値th2よりも大きいか否かを判断する（ステップＳ６３）。
ステップＳ６３において、ＣＰＵ２１が、輝度差Ｓａが上限輝度閾値th2よりも大きいと判断した場合（ステップＳ６３：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値（ｋ×Ｐｓ）に決定し（ステップＳ６２）、本処理を終了させる。一方、ＣＰＵ２１が、輝度差Ｓａが上限輝度閾値th2以下であると判断した場合（ステップＳ６３：ＮＯ）、ＣＰＵ２１は輝度差Ｓａが下限輝度閾値th1以下であるか否かを判断する（ステップＳ６４）。
ステップＳ６４において、ＣＰＵ２１が、輝度差Ｓａが下限輝度閾値th1以下であると判断した場合（ステップＳ６４：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを露出の長い画像の画素データＰｌの値に決定し（ステップＳ６５）、本処理を終了させる。一方、ＣＰＵ２１が、輝度差Ｓａが下限輝度閾値th1よりも大きいと判断した場合（ステップＳ６４：ＮＯ）、ＣＰＵ２１は、合成される二つの画素データの重み平均を採用する。すなわち、式（２）により算出された値を合成画像の画素データＰｃとし（ステップＳ６６）、本処理を終了させる。 Next, the CPU 21 executes the pixel data determination program 24f to determine pixel data of the composite image (step S6: pixel data determination step).
As shown in FIG. 5, when the luminance threshold value th0 is set to 200 in step S6, the CPU 21 determines whether the luminance value Ys of the image with the shorter exposure is 200 or less, which is the luminance threshold value th0 (step). S61). Here, when the CPU 21 determines that the luminance value Ys is larger than 200 (step S61: NO), the CPU 21 multiplies the pixel data Pc of the composite image by the exposure correction value k and the pixel data Ps of the short-exposure image. The value (k × Ps) is determined (step S62), and this process is terminated. On the other hand, when the CPU 21 determines that the luminance value Ys is 200 or less (step S61: YES), the CPU 21 determines whether or not the luminance difference Sa is larger than the upper limit luminance threshold th2 (step S63).
In step S63, when the CPU 21 determines that the luminance difference Sa is larger than the upper limit luminance threshold th2 (step S63: YES), the CPU 21 converts the pixel data Pc of the composite image into the pixel data Ps of the short-exposure image and the exposure correction value. A value (k × Ps) multiplied by k is determined (step S62), and this process is terminated. On the other hand, when the CPU 21 determines that the luminance difference Sa is equal to or lower than the upper limit luminance threshold th2 (step S63: NO), the CPU 21 determines whether the luminance difference Sa is equal to or lower than the lower limit luminance threshold th1 (step S64). .
When the CPU 21 determines in step S64 that the luminance difference Sa is equal to or less than the lower limit luminance threshold th1 (step S64: YES), the CPU 21 determines the pixel data Pc of the composite image as the value of the pixel data Pl of the image with a long exposure. (Step S65), and this process is terminated. On the other hand, when the CPU 21 determines that the luminance difference Sa is larger than the lower limit luminance threshold th1 (step S64: NO), the CPU 21 employs a weighted average of the two pieces of pixel data to be combined. That is, the value calculated by Expression (2) is used as the pixel data Pc of the composite image (step S66), and this process is terminated.

ステップＳ３〜ステップＳ６により、画像の合成が終了すると、ＣＰＵ２１は、画像圧縮プログラム２４ｇを実行することにより、合成画像を出力に合わせてガンマ変換による圧縮方法により圧縮する（ステップＳ７：画像圧縮工程）。合成画像を圧縮した後、ＣＰＵ２１は、画像処理プログラム２４ｈを実行することにより、圧縮画像のガンマ補正、色補正等を行って画像処理を施し、その画像をメモリ２２の画像データエリア２５に出力する。なお、画像の出力先は画像データエリア２５に限らず、外付けの外部メモリ２６であってもよい。   When the image synthesis is completed in steps S3 to S6, the CPU 21 executes the image compression program 24g to compress the synthesized image according to the compression method using gamma conversion in accordance with the output (step S7: image compression step). . After compressing the composite image, the CPU 21 executes the image processing program 24 h to perform image processing by performing gamma correction, color correction, and the like of the compressed image, and outputs the image to the image data area 25 of the memory 22. . Note that the output destination of the image is not limited to the image data area 25 but may be an external external memory 26.

＜画像合成の具体例＞
ここで、上述した画像合成処理について従来の画像合成処理と比較しながら具体例をあげて説明する。
図６及び図７に示すように、例えば、シャッタースピード１秒で撮像した画像を露出の長い画素データＰｌとし、シャッタースピード０．５秒で撮像した画像を露出の短い画素データＰｓとする。露出量の比を補正するため、画素データＰｓの各画素を２倍した画素データをＰｓ’とする。画素データＰｓのデータの範囲は、例えば、０〜２５５であるとした場合、画素データＰｓ’のデータの範囲は０〜５１１となる。
このとき、図６（ａ）（ｂ）中の領域Ａに注目すると、図６（ｃ）の画像の位置と輝度値との関係を示すグラフにも表れているように、画素データＰｌと画素データＰｓでは、輝度が変化する位置が異なる。
このような場合に、単に輝度閾値を境界として画素データを決定すると、例えば、th0≦２００であれば画素データＰｌを用い、th0＞２００であれば画素データＰｓ’を用いて画像を合成すると、境界が二重になることがある。
ところが、画素データＰｌと画素データＰｓ’の差の上限輝度閾値th1＝３０とすると、輝度がth0≦２００のときには、上限輝度閾値th1≧３０となったときに式（２）の重み平均により画素データを決定するので、図８に示すように、境界付近における輝度の変化を緩やかにすることができ、境界が二重になることを防止できる。 <Specific examples of image composition>
Here, the above-described image composition processing will be described with a specific example while comparing with the conventional image composition processing.
As shown in FIGS. 6 and 7, for example, an image captured at a shutter speed of 1 second is set as pixel data Pl with a long exposure, and an image captured at a shutter speed of 0.5 seconds is set as a pixel data Ps with a short exposure. In order to correct the exposure ratio, pixel data obtained by doubling each pixel of the pixel data Ps is defined as Ps ′. For example, when the data range of the pixel data Ps is 0 to 255, the data range of the pixel data Ps ′ is 0 to 511.
At this time, when attention is paid to the region A in FIGS. 6A and 6B, the pixel data Pl and the pixel are displayed as shown in the graph showing the relationship between the position of the image and the luminance value in FIG. In the data Ps, the position where the luminance changes is different.
In such a case, if pixel data is simply determined with the luminance threshold as a boundary, for example, if th0 ≦ 200, pixel data Pl is used, and if th0> 200, an image is synthesized using pixel data Ps ′, The boundary may be doubled.
However, assuming that the upper limit luminance threshold th1 = 30 of the difference between the pixel data Pl and the pixel data Ps ′, when the luminance is th0 ≦ 200, when the upper limit luminance threshold th1 ≧ 30, the pixel is calculated by the weighted average of Expression (2). Since the data is determined, as shown in FIG. 8, the change in luminance in the vicinity of the boundary can be moderated and the boundary can be prevented from becoming double.

＜撮像装置の作用効果＞
実施形態１における撮像装置１によれば、ユーザによる操作入力部１７の入力操作により露出の異なる複数の画像を撮像し、制御部２０は、撮像された画像から被写体の位置の変化を抽出し、各画像を一つの撮像画像に合成する。画像を合成する際においては、制御部２０は、各画像の画素の輝度値Ｙｌ，Ｙｓを算出し、各画像の同じ位置における画素の輝度値Ｙｌ，Ｙｓを比較して露出補正値ｋを算出し、最も露出の長い画像の輝度値Ｙｌの値と最も露出の短い画像の輝度値Ｙｓに露出補正値ｋを乗じた値との輝度差Ｓａを算出する。 <Operational effects of imaging device>
According to the imaging apparatus 1 in the first embodiment, a plurality of images with different exposures are captured by an input operation of the operation input unit 17 by the user, and the control unit 20 extracts a change in the position of the subject from the captured images. Each image is combined into one captured image. When compositing images, the control unit 20 calculates the luminance values Yl and Ys of the pixels of each image, and compares the luminance values Yl and Ys of the pixels at the same position of each image to calculate the exposure correction value k. Then, the brightness difference Sa between the brightness value Yl of the image with the longest exposure and the brightness value Ys of the image with the shortest exposure is multiplied by the exposure correction value k is calculated.

制御部２０は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0以下である場合、又は、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0よりも大きくかつ輝度差Ｓａが上限輝度閾値th2よりも大きい場合には、合成後の画素データＰｃは、最も露出の短い画像の画素データＰｓに露出補正値ｋを乗じた値に決定する。また、制御部２０は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1以下である場合には、合成後の画素データＰｃは、最も露出の長い画像の画素データＰｌの値に決定する。また、制御部２０は、合成される画像のうち、最も露出の短い画像における所定位置の輝度値Ｙｓが輝度閾値th0以下であり、輝度差Ｓａが下限輝度閾値th1より大きく上限輝度閾値th2以下である場合には、合成後の画素データＰｃは、式（２）により算出された画素データの値として決定する。
そして、制御部２０は、合成された合成画像を圧縮し、その圧縮画像に画像処理を施して処理後の画像をメモリ２２に記憶させる。 When the luminance value Ys at a predetermined position in the image with the shortest exposure is equal to or lower than the luminance threshold th0 among the images to be combined, or the luminance value Ys at the predetermined position in the image with the shortest exposure is the luminance threshold. When the brightness difference Sa is greater than th0 and the brightness difference Sa is greater than the upper limit brightness threshold th2, the combined pixel data Pc is determined to be a value obtained by multiplying the pixel data Ps of the image with the shortest exposure by the exposure correction value k. In addition, the control unit 20 performs synthesis when the luminance value Ys at a predetermined position in the image with the shortest exposure among the images to be synthesized is equal to or smaller than the luminance threshold th0 and the luminance difference Sa is equal to or smaller than the lower limit luminance threshold th1. The subsequent pixel data Pc is determined as the value of the pixel data Pl of the image with the longest exposure. In addition, the control unit 20 determines that the luminance value Ys at a predetermined position in the image with the shortest exposure among the synthesized images is equal to or less than the luminance threshold th0, and the luminance difference Sa is greater than the lower limit luminance threshold th1 and equal to or less than the upper limit luminance threshold th2. In some cases, the combined pixel data Pc is determined as the value of the pixel data calculated by Expression (2).
Then, the control unit 20 compresses the combined image, performs image processing on the compressed image, and stores the processed image in the memory 22.

これにより、実際に撮像した画像の画素の輝度値Ｙｌ，Ｙｓから露出補正値ｋを算出し、この露出補正値ｋと各画素の輝度の差により合成画像の画素データＰｃを決定しているので、撮像画像中の物体の境界の不連続性を軽減することができる。また、撮像時に撮像装置１が動くことにより生じる視差により、画像間で異なるものが写って合成画像が不自然となる不具合を解決することができる。   Thus, the exposure correction value k is calculated from the luminance values Yl and Ys of the pixels of the actually captured image, and the pixel data Pc of the composite image is determined based on the difference between the exposure correction value k and the luminance of each pixel. The discontinuity of the boundary of the object in the captured image can be reduced. In addition, it is possible to solve a problem that a synthetic image becomes unnatural due to a difference between images due to parallax caused by movement of the imaging device 1 during imaging.

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２が実施形態１と異なる点は、撮像画像を合成する際の画素データの決定方法であるため、画素データの決定方法について説明し、その他の共通部分は同一符号を付して説明を省略する。
＜撮像装置の構成＞
図９及び図１０に示すように、実施形態２における撮像装置２の制御部３０のメモリ３２内に形成されているプログラムエリア３４には、異なる露出で撮像された、例えば、二つの画像データを比較して被写体の位置の変化を抽出する位置変化抽出プログラム３４ａが記憶されている。すなわち、ＣＰＵ２１が位置変化抽出プログラム３４ａを実行することにより、制御部２０は位置変化抽出手段として機能する。
また、プログラムエリア３４には、各画像を合成して一つの撮像画像を作成する画像合成プログラム３４ｂが記憶されている。すなわち、ＣＰＵ２１が画像合成プログラム３４ｂを実行することにより、制御部３０は画像合成手段として機能する。
この画像合成プログラム３４ｂは、複数のプログラムにより構成されている。具体的に、画像合成プログラム３４ｂは、二つの画像の画素の輝度値Ｙｌ，Ｙｓを算出する輝度算出プログラム３４ｃを有する。すなわち、ＣＰＵ２１が輝度算出プログラム３４ｃを実行することにより、制御部３０は輝度算出手段として機能する。
また、画像合成プログラム３４ｂは、輝度算出プログラム３４ｃにより算出された二つの画像の同じ座標位置における画素の輝度値を比較して露出補正値ｋを算出する補正値算出プログラム３４ｄを有する。すなわち、ＣＰＵ２１が補正値算出プログラム３４ｄを実行することにより、制御部３０は補正値算出手段として機能する。
また、画像合成プログラム３４ｂは、合成後の合成画像の画素データＰｃを決定するための画素データ決定プログラム３４ｅを有する。すなわち、ＣＰＵ２１が画素データ決定プログラム３４ｅを実行することにより、制御部３０は画素データ決定手段として機能する。 (Embodiment 2)
Next, Embodiment 2 of the present invention will be described. The difference between the second embodiment and the first embodiment is the pixel data determination method used when compositing captured images. Therefore, the pixel data determination method will be described, and other common parts will be described with the same reference numerals. Omitted.
<Configuration of imaging device>
As shown in FIGS. 9 and 10, in the program area 34 formed in the memory 32 of the control unit 30 of the imaging device 2 in the second embodiment, for example, two image data captured with different exposures are stored. A position change extraction program 34a for extracting a change in the position of the subject by comparison is stored. That is, when the CPU 21 executes the position change extraction program 34a, the control unit 20 functions as a position change extraction unit.
The program area 34 stores an image composition program 34b for composing each image to create one captured image. That is, when the CPU 21 executes the image composition program 34b, the control unit 30 functions as an image composition unit.
The image composition program 34b is composed of a plurality of programs. Specifically, the image composition program 34b includes a luminance calculation program 34c that calculates the luminance values Yl and Ys of the pixels of the two images. That is, when the CPU 21 executes the luminance calculation program 34c, the control unit 30 functions as a luminance calculation unit.
Further, the image composition program 34b has a correction value calculation program 34d that compares the luminance values of the pixels at the same coordinate position of the two images calculated by the luminance calculation program 34c to calculate the exposure correction value k. That is, when the CPU 21 executes the correction value calculation program 34d, the control unit 30 functions as a correction value calculation unit.
The image composition program 34b has a pixel data determination program 34e for determining the pixel data Pc of the composite image after composition. That is, when the CPU 21 executes the pixel data determination program 34e, the control unit 30 functions as a pixel data determination unit.

具体的に、画素データ決定プログラム３４ｅは、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0より大きい場合には、合成後の画素データＰｃは、第２の画像の画素データＰｓに露出補正値ｋを乗じた値とする。
また、画素データ決定プログラム３４ｅは、合成される画像のうち、第２の画像における所定位置の画素の周辺画素の輝度値の全てが所定の輝度閾値th0以下である場合には、合成後の所定位置の画素データＰｃは、第１の画像の画素データＰｌの値とする。
また、画素データ決定プログラム３４ｅは、合成される画像のうち、第２の画像における所定位置の画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0以下であり、第２の画像における所定位置の画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0よりも大きい場合には、合成後の画素データＰｃは、第２の画像における画素データＰｓに露出補正値ｋを乗じた値と第１の画像における画素データＰｌの値とに基づいて定められた画素データの値とする。この場合には、合成される二つの画素データの重み平均を採用する。すなわち、任意の係数ｎ（０＜ｎ＜１）を設定し、合成画素の画素データＰｃを以下の式（３）で算出された値としている。ここで、任意の係数ｎは、周辺画素のうち、所定の輝度閾値th0よりも輝度の高い画素数から決定される。具体的には、周辺画素数に対する輝度閾値th0よりも輝度の高い画素数の割合により決定される。
Ｐｃ＝ｎ×Ｐｌ＋（１−ｎ）×ｋ×Ｐｓ・・・・・・・（３） Specifically, the pixel data determination program 34e determines that the combined pixel data Pc when all of the luminance values of the peripheral pixels of the pixel in the second image are greater than a predetermined luminance threshold th0 among the images to be combined. Is a value obtained by multiplying the pixel data Ps of the second image by the exposure correction value k.
Further, the pixel data determination program 34e, when all the luminance values of the peripheral pixels of the pixel at the predetermined position in the second image among the images to be combined are equal to or lower than the predetermined luminance threshold th0, The pixel data Pc at the position is the value of the pixel data Pl of the first image.
Further, the pixel data determination program 34e has at least one of the luminance values of the peripheral pixels of the pixel at the predetermined position in the second image among the images to be combined, which is equal to or lower than the predetermined luminance threshold th0. When at least one of the luminance values of the peripheral pixels of the pixel at the position is larger than the predetermined luminance threshold th0, the combined pixel data Pc is a value obtained by multiplying the pixel data Ps in the second image by the exposure correction value k. And the value of the pixel data determined based on the value of the pixel data Pl in the first image. In this case, the weighted average of the two pixel data to be combined is adopted. That is, an arbitrary coefficient n (0 <n <1) is set, and the pixel data Pc of the composite pixel is set to a value calculated by the following equation (3). Here, the arbitrary coefficient n is determined from the number of pixels whose luminance is higher than a predetermined luminance threshold th0 among the peripheral pixels. Specifically, it is determined by the ratio of the number of pixels having a luminance higher than the luminance threshold th0 to the number of surrounding pixels.
Pc = n * Pl + (1-n) * k * Ps (3)

また、プログラムエリア３４には、画像合成プログラム３４ｂにより合成された合成画像を圧縮する画像圧縮プログラム３４ｆが記憶されている。
また、プログラムエリア３４には、画像圧縮プログラム３４ｆにより圧縮された圧縮画像に画像処理を施す画像処理プログラム２４ｇが記憶されている。 In the program area 34, an image compression program 34f for compressing the synthesized image synthesized by the image synthesis program 34b is stored.
The program area 34 stores an image processing program 24g for performing image processing on the compressed image compressed by the image compression program 34f.

＜撮像方法＞
撮像装置による撮像方法について説明する。
図１１に示すように、ユーザが操作入力部１７を構成する撮像ボタン（図示略）を押下すると、光学系１１が捉えているシーンが光電変換部１２に集光され、光電変換部１２はデジタル画像を作成する。このとき、光電変換部１２が有する電子シャッタや光学系１１が有する機械式シャッタにより露出時間を変化させて二つの画像の撮像が行われる。光電変換部１２で作成されたデジタル画像はメモリ２２の画像データエリア２５に一時的に記憶される（ステップＳ２１：撮像工程）。
次いで、ＣＰＵ２１は、位置変化抽出プログラム３４ａを実行することにより、露出の異なる二つの画像から被写体の位置の変化を抽出する（ステップＳ２２：位置変化抽出工程）。被写体の位置の変化を抽出するには、撮像された画像の特徴点を抽出する。特徴点の抽出に当たっては、ＫＬＴ法等の方法で画像の固有値を有限個抽出して特徴点とする。そして、抽出された特徴点が次の画像においてどこに移動したかを知るため、特徴点に最も近い点を探す。これを複数の特徴点で行い、二つの画像間で特徴点の位置座標を対応させ画像の変換行列を求める。 <Imaging method>
An imaging method by the imaging apparatus will be described.
As shown in FIG. 11, when the user presses an imaging button (not shown) constituting the operation input unit 17, the scene captured by the optical system 11 is condensed on the photoelectric conversion unit 12, and the photoelectric conversion unit 12 is digital. Create an image. At this time, two images are captured by changing the exposure time by the electronic shutter of the photoelectric conversion unit 12 and the mechanical shutter of the optical system 11. The digital image created by the photoelectric conversion unit 12 is temporarily stored in the image data area 25 of the memory 22 (step S21: imaging process).
Next, the CPU 21 executes the position change extraction program 34a to extract a change in the position of the subject from two images with different exposures (step S22: position change extraction step). In order to extract a change in the position of the subject, feature points of the captured image are extracted. When extracting the feature points, a finite number of eigenvalues of the image are extracted by a method such as the KLT method to obtain feature points. Then, in order to know where the extracted feature point has moved in the next image, a point closest to the feature point is searched. This is performed with a plurality of feature points, and the transformation coordinates of the images are obtained by associating the position coordinates of the feature points between the two images.

次いで、ＣＰＵ２１は、画像合成プログラム３４ｂを実行することにより、二つの画像を合成して一つの撮像画像を作成する（ステップＳ２３〜ステップＳ２５：画像合成工程）。
ＣＰＵ２１が輝度算出プログラム３４ｃを実行すると、ＣＰＵ２１は撮像された二つの画像のうち、第１の画像の輝度値Ｙｌと第２の画像の輝度値Ｙｓが算出される（ステップＳ２３：輝度算出工程）。
次いで、ＣＰＵ２１が補正値算出プログラム３４ｄを実行することにより、ＣＰＵ２１は撮像された両画像の同じ座標位置にある輝度値Ｙｌと輝度値Ｙｓとの比を全ての画素について算出し、これらの比の平均を露出補正値ｋとして算出する（ステップＳ２４：補正値算出工程）。このとき、輝度値Ｙｌが一定の範囲内にあるときのみ露出補正値ｋを算出する。一定の範囲を大きく外れた輝度値を考慮すると、適切な露出補正値ｋが得られないからである。また、二つの画像の同じ位置とは、ステップＳ２２で算出された変換行列により両画像の位置合わせを行った後の同じ位置をいう。 Next, the CPU 21 executes the image synthesizing program 34b to synthesize two images and create one captured image (step S23 to step S25: image synthesizing step).
When the CPU 21 executes the brightness calculation program 34c, the CPU 21 calculates the brightness value Yl of the first image and the brightness value Ys of the second image among the two captured images (step S23: brightness calculation step). .
Next, when the CPU 21 executes the correction value calculation program 34d, the CPU 21 calculates the ratio between the luminance value Yl and the luminance value Ys at the same coordinate position of both captured images for all the pixels, and the ratio of these ratios is calculated. The average is calculated as the exposure correction value k (step S24: correction value calculation step). At this time, the exposure correction value k is calculated only when the luminance value Yl is within a certain range. This is because an appropriate exposure correction value k cannot be obtained in consideration of a luminance value greatly deviating from a certain range. The same position of the two images refers to the same position after both images are aligned using the transformation matrix calculated in step S22.

次いで、ＣＰＵ２１が画素データ決定プログラム３４ｅを実行することにより、合成画像の画素データを決定する（ステップＳ２５：画素データ決定工程）。
図１２に示すように、ステップＳ２５において、ＣＰＵ２１は第２の画像の周辺画素の輝度値Ｙｓが全て輝度閾値th0である２００よりも大きいか否かを判断する（ステップＳ５１）。ここで、ＣＰＵ２１が、周辺画素の全ての輝度値Ｙｓが２００よりも大きいと判断した場合（ステップＳ５１：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを第２の画像の画素データＰｓに露出補正値ｋを乗じた値（ｋ×Ｐｓ）に決定し（ステップＳ５２）、本処理を終了させる。一方、ＣＰＵ２１が、少なくとも一つの輝度値Ｙｓが２００以下であると判断した場合（ステップＳ５１：ＮＯ）、ＣＰＵ２１は第２の画像の周辺画素の輝度値Ｙｓが全て輝度閾値th0である２００以下であるか否かを判断する（ステップＳ５３）。 Next, the CPU 21 executes the pixel data determination program 34e to determine the pixel data of the composite image (step S25: pixel data determination step).
As shown in FIG. 12, in step S25, the CPU 21 determines whether or not the luminance values Ys of the peripheral pixels of the second image are all greater than 200, which is the luminance threshold th0 (step S51). Here, when the CPU 21 determines that all the luminance values Ys of the peripheral pixels are larger than 200 (step S51: YES), the CPU 21 performs exposure correction on the pixel data Pc of the composite image to the pixel data Ps of the second image. A value (k × Ps) multiplied by the value k is determined (step S52), and this process is terminated. On the other hand, when the CPU 21 determines that at least one luminance value Ys is 200 or less (step S51: NO), the CPU 21 is 200 or less in which all the luminance values Ys of the peripheral pixels of the second image are the luminance threshold th0. It is determined whether or not there is (step S53).

ステップＳ５３において、ＣＰＵ２１が、第２の画像の周辺画素の輝度値Ｙｓが全て閾値th0である２００以下であると判断した場合（ステップＳ５３：ＹＥＳ）、ＣＰＵ２１は合成画像の画素データＰｃを第１の画像の画素データＰｌの値に決定し（ステップＳ５４）、本処理を終了させる。一方、ＣＰＵ２１が、少なくとも一つの輝度値Ｙｓが２００よりも大きいと判断した場合（ステップＳ５３：ＮＯ）、ＣＰＵ２１は、周辺画素のうち、輝度値が２００以上の画素数からｎを決定する（ステップＳ５５）。このｎは、周辺画素数全体に占める輝度値が２００以上の画素数の割合で表される。
次いで、ＣＰＵ２１によりｎが算出されると、ＣＰＵ２１は、合成される二つの画素データの重み平均を採用する。すなわち、式（３）により算出された値を合成画像の画素データとし（ステップＳ５６）、本処理を終了させる。 In step S53, when the CPU 21 determines that all the luminance values Ys of the peripheral pixels of the second image are equal to or less than 200 which is the threshold value th0 (step S53: YES), the CPU 21 sets the pixel data Pc of the composite image to the first value. Is determined as the value of the pixel data Pl of the image (step S54), and this process is terminated. On the other hand, when the CPU 21 determines that at least one luminance value Ys is larger than 200 (step S53: NO), the CPU 21 determines n from the number of pixels having a luminance value of 200 or more among the peripheral pixels (step S53). S55). This n is expressed as a ratio of the number of pixels having a luminance value of 200 or more to the entire number of surrounding pixels.
Next, when n is calculated by the CPU 21, the CPU 21 employs a weighted average of the two pixel data to be synthesized. That is, the value calculated by Expression (3) is used as pixel data of the composite image (step S56), and this process is terminated.

ステップＳ２３〜ステップＳ２５により、画像の合成が終了すると、ＣＰＵ２１は、画像圧縮プログラム３４ｆを実行することにより、合成画像を出力に合わせてガンマ変換による圧縮方法により圧縮する（ステップＳ２６：画像圧縮工程）。合成画像を圧縮した後、ＣＰＵ２１は、画像処理プログラム３４ｇを実行することにより、圧縮画像のガンマ補正、色補正等を行って画像処理を施し、その画像をメモリ２２の画像データエリア２５に出力する。なお、画像の出力先は画像データエリア２５に限らず、外付けの外部メモリ２６であってもよい。   When the image synthesis is completed in steps S23 to S25, the CPU 21 executes the image compression program 34f to compress the synthesized image by a compression method using gamma conversion in accordance with the output (step S26: image compression step). . After compressing the composite image, the CPU 21 executes the image processing program 34 g to perform image processing by performing gamma correction, color correction, and the like of the compressed image, and outputs the image to the image data area 25 of the memory 22. . Note that the output destination of the image is not limited to the image data area 25 but may be an external external memory 26.

＜画像合成の具体例＞
ここで、上述した画像合成処理について具体例をあげて説明する。
図１３に示すように、シャッタースピード１秒で撮像した画像を露出の長い第１の画素データＰｌとし、シャッタースピード０．５秒で撮像した画像を露出の短い第２の画素データＰｓとする。露出量の比を補正するため、画素データＰｓの各画素を２倍した画素データをＰｓ’とする。画素データＰｓのデータの範囲は０〜２５５であるため、画素データＰｓ’のデータの範囲は０〜５１１となる。
このとき、図１３中の領域Ａに注目すると、グラフにも表れているように、画素データＰｌと画素データＰｓでは、輝度が変化する位置が異なる。
このような場合に、ある画素の周辺画素をみて、輝度閾値th0よりも輝度の大きな画素と輝度閾値th0以下の輝度の画素とが併存している場合には、画素データＰｌと画素データＰｓ’の重み平均により画素データを決定するので、図１３に示すように、境界付近における輝度の変化を緩やかにすることができ、境界が二重になることを防止できる。 <Specific examples of image composition>
Here, the above-described image composition processing will be described with a specific example.
As shown in FIG. 13, an image captured at a shutter speed of 1 second is defined as first pixel data Pl having a long exposure, and an image captured at a shutter speed of 0.5 seconds is defined as second pixel data Ps having a short exposure. In order to correct the exposure ratio, pixel data obtained by doubling each pixel of the pixel data Ps is defined as Ps ′. Since the data range of the pixel data Ps is 0 to 255, the data range of the pixel data Ps ′ is 0 to 511.
At this time, when attention is paid to the area A in FIG. 13, as shown in the graph, the pixel data Pl and the pixel data Ps have different positions where the luminance changes.
In such a case, when a peripheral pixel of a certain pixel is seen and a pixel having a luminance greater than the luminance threshold th0 and a pixel having a luminance equal to or lower than the luminance threshold th0 coexist, the pixel data Pl and the pixel data Ps ′ Since the pixel data is determined based on the weighted average, the change in luminance in the vicinity of the boundary can be moderated and the boundary can be prevented from becoming double as shown in FIG.

＜撮像装置の作用効果＞
実施形態２における撮像装置によれば、ユーザによる操作入力部１７の入力操作により露出の異なる複数の画像を撮像し、制御部３０は、撮像された画像から被写体の画像内における位置の変化を抽出し、画像合成手段により各画像を一つの撮像画像に合成する。画像を合成する際においては、制御部３０は、各画像の画素の輝度値Ｙｌ，Ｙｓを算出する。制御部３０は、算出された各画像の同じ位置における画素の輝度値Ｙｌ，Ｙｓを比較して露出補正値ｋを算出する。 <Operational effects of imaging device>
According to the imaging apparatus in the second embodiment, a plurality of images with different exposures are captured by an input operation of the operation input unit 17 by the user, and the control unit 30 extracts a change in position in the subject image from the captured images. Then, each image is synthesized into one captured image by the image synthesis means. When compositing images, the control unit 30 calculates the luminance values Yl and Ys of the pixels of each image. The control unit 30 calculates the exposure correction value k by comparing the luminance values Yl and Ys of the pixels at the same position of the calculated images.

制御部３０は、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0より大きい場合には、合成後の画素データＰｃは、第２の画像の画素データＰｓに露出補正値ｋを乗じた値に決定する。また、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の全てが所定の輝度閾値th0以下である場合には、合成後の画素データＰｃは、第１の画像の画素データＰｌの値に決定する。また、合成される画像のうち、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0以下であり、第２の画像における画素の周辺画素の輝度値の少なくとも一つが所定の輝度閾値th0よりも大きい場合には、合成後の画素データＰｃは、第２の画像における画素データＰｓに露出補正値ｋを乗じた値と第１の画像における画素データＰｌの値とに基づいて定められた画素データの値とする。
そして、制御部３０は、合成された合成画像を圧縮するとともに、その圧縮画像に画像処理を施す。 When all the luminance values of the peripheral pixels of the pixel in the second image among the images to be combined are larger than the predetermined luminance threshold th0, the control unit 30 determines that the combined pixel data Pc is the second image. The pixel data Ps is multiplied by the exposure correction value k. Further, in the image to be synthesized, when all the luminance values of the peripheral pixels of the pixel in the second image are equal to or less than the predetermined luminance threshold th0, the synthesized pixel data Pc is the pixel of the first image. The value of data Pl is determined. In addition, among the images to be synthesized, at least one of the luminance values of the peripheral pixels of the pixel in the second image is equal to or less than a predetermined luminance threshold th0, and at least one of the luminance values of the peripheral pixels of the pixel in the second image is When it is larger than the predetermined brightness threshold th0, the combined pixel data Pc is obtained by multiplying the pixel data Ps in the second image by the exposure correction value k and the value of the pixel data Pl in the first image. The pixel data value determined based on the value is used.
Then, the control unit 30 compresses the combined image and performs image processing on the compressed image.

これにより、実際に撮像した画像の画素の輝度値Ｙｌ，Ｙｓから露出補正値ｋを算出し、この露出補正値ｋと各画素の輝度値Ｙｌ，Ｙｓの差により合成画像の画素データを決定しているので、撮像画像中の物体の境界の不連続性を軽減することができる。   Thereby, the exposure correction value k is calculated from the luminance values Yl and Ys of the pixels of the actually captured image, and the pixel data of the composite image is determined by the difference between the exposure correction value k and the luminance values Yl and Ys of each pixel. Therefore, the discontinuity of the boundary of the object in the captured image can be reduced.

（変形例）
なお、本発明は上記実施形態に限られるものではない。実施形態１及び実施形態２においては、異なる露出で撮像され、合成される画像を二つとしたが、三つ以上の画像を合成するものであってもよい。その場合、露出補正値は、最も露出の長い画像を基準として、他の画像の露出補正値を算出すればよい。
具体的には、図１４に示すように、例えば、シャッタースピード１秒で撮像した画像を露出の長い画素データＰｌとし、シャッタースピード０．２５秒で撮像した画像を露出の短い画素データＰｓとし、シャッタースピード０．５秒で撮像した画像を適正な露出の画素データＰとする。
露出量の比を補正するため、画像Ｐｓの各画素を４倍した画素データをＰｓ’、画像Ｐの各画素を２倍した画素データをＰ’とする。データの範囲は、Ｐｓ’が、例えば、０〜１０２３とした場合、Ｐ’が０〜５１１となる。
ここで、画素データＰｌと画素データＰｓ’を合成する場合には、閾値th0≦２００であれば、画素データＰｌを用いて画像を合成し、閾値th0＞２００であれば、画素データＰｓ’を用いて画素データＰｌ＿ｓ’を作成する。
画素データＰｌ＿ｓ’に対して、周辺画素を用いた輝度調整を行い、画素データＰｂを作成する。
画素データＰｂの輝度値が、適正な露出の画素データＰ’のもつデータ範囲０〜５１１であれば、ＰｂとＰ’の平均を出力とし、それ以外のデータ範囲５１１〜１０２３は画素データＰｂを出力として、画素データＰoutを作成する。
そして、Ｐoutは、一般の画素データのデータ範囲０〜２５５にするため、４で割り、出力画像データとする。
このような方法により、画像を三枚撮っても画像を合成することができる。
その他、発明の範囲内で自由に設計変更が可能である。 (Modification)
The present invention is not limited to the above embodiment. In the first embodiment and the second embodiment, two images are captured and synthesized with different exposures, but three or more images may be synthesized. In this case, as the exposure correction value, the exposure correction value of another image may be calculated using the image with the longest exposure as a reference.
Specifically, as shown in FIG. 14, for example, an image captured at a shutter speed of 1 second is set as pixel data Pl with a long exposure, and an image captured at a shutter speed of 0.25 seconds is set as a pixel data Ps with a short exposure, An image captured at a shutter speed of 0.5 seconds is set as pixel data P with proper exposure.
In order to correct the exposure amount ratio, pixel data obtained by quadrupling each pixel of the image Ps is represented by Ps ′, and pixel data obtained by doubling each pixel of the image P is represented by P ′. For example, when Ps ′ is 0 to 1023, P ′ is 0 to 511.
Here, when the pixel data Pl and the pixel data Ps ′ are combined, if the threshold value th0 ≦ 200, the image is combined using the pixel data Pl, and if the threshold value th0> 200, the pixel data Ps ′ is combined. To create pixel data Pl_s ′.
Brightness adjustment using peripheral pixels is performed on the pixel data Pl_s ′ to create pixel data Pb.
If the luminance value of the pixel data Pb is the data range 0 to 511 of the pixel data P ′ with proper exposure, the average of Pb and P ′ is output, and the other data ranges 511 to 1023 are the pixel data Pb. Pixel data Pout is created as an output.
Pout is divided by 4 to obtain output image data in order to make the data range of general pixel data 0 to 255.
By such a method, even if three images are taken, the images can be synthesized.
In addition, the design can be freely changed within the scope of the invention.

撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of an imaging device. 図１におけるプログラムエリアの構成を示すブロック図である。It is a block diagram which shows the structure of the program area in FIG. 実施形態１における撮像方法を示すフローチャートである。3 is a flowchart illustrating an imaging method according to the first embodiment. 露出補正値を算出するプロセスを説明する図である。It is a figure explaining the process which calculates an exposure correction value. 実施形態１における画素データの決定方法を示すフローチャートである。3 is a flowchart illustrating a method for determining pixel data according to the first embodiment. 露出の異なる二枚の撮像画像であり、（ａ）は露出が長い撮像画像、（ｂ）は露出が短い撮像画像である。These are two captured images with different exposures, where (a) is a captured image with a long exposure, and (b) is a captured image with a short exposure. 境界が二重となる場合の画素データの決定方法について説明する図であり、（ａ）は撮像画像、（ｂ）は合成前と合成後の輝度の変化を示す図である。It is a figure explaining the determination method of the pixel data in case a boundary becomes double, (a) is a captured image, (b) is a figure which shows the change of the brightness | luminance before a synthesis | combination before and after a synthesis | combination. 実施形態１における画素データの決定方法について説明する図であり、（ａ）は撮像画像、（ｂ）は合成前と合成後の輝度の変化を示す図である。2A and 2B are diagrams for describing a pixel data determination method according to the first embodiment, where FIG. 3A is a captured image, and FIG. 実施形態２における撮像装置の構成を示すブロック図である。6 is a block diagram illustrating a configuration of an imaging apparatus according to Embodiment 2. FIG. 実施形態２におけるプログラムエリアの構成を示すブロック図である。FIG. 10 is a block diagram illustrating a configuration of a program area in the second embodiment. 実施形態２における撮像方法を示すフローチャートである。10 is a flowchart illustrating an imaging method according to Embodiment 2. 実施形態２における画素データの決定方法を示すフローチャートである。10 is a flowchart illustrating a method for determining pixel data according to the second embodiment. 実施形態２における画素データの決定方法について説明する図であり、（ａ）は撮像画像、（ｂ）は合成前と合成後の輝度の変化を示す図である。FIG. 10 is a diagram for describing a pixel data determination method according to the second embodiment, where (a) is a captured image, and (b) is a diagram illustrating a change in luminance before and after synthesis. 三枚の撮像画像の合成方法を説明する図である。It is a figure explaining the synthetic | combination method of three captured images.

符号の説明Explanation of symbols

１ 撮像装置
１７ 操作入力部（撮像手段）
２０ 制御部（位置変化抽出手段、画像合成手段、画像圧縮手段、輝度算出手段、補正値算出手段、輝度差算出手段、画素データ決定手段） 1 Imaging device 17 Operation input unit (imaging means)
20 control unit (position change extraction means, image composition means, image compression means, luminance calculation means, correction value calculation means, luminance difference calculation means, pixel data determination means)

Claims (8)

所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成装置において、
前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出手段と、
前記第１の画像における所定の画素の前記第１の輝度値と、前記第２の画像における前記所定の画素と同じ位置の画素の前記第２の輝度値に所定の補正値を乗じた輝度値との差分を算出する第２の算出手段と、
前記第２の輝度値が予め定められた閾値以下であり、かつ、前記差分が上限輝度閾値以下であり下限輝度閾値より大きい場合に、前記第１の画像の画素データと前記第２の画像の画素データに前記補正値を乗じた画素データとの重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第１の決定手段と、
前記第２の輝度値が前記予め定められた閾値以下、又は、前記第２の輝度値が前記予め定められた閾値以上で前記差分が前記上限輝度閾値より大きい場合に、前記第２の画像の画素データに前記補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第２の決定手段と、
前記第２の輝度値が前記予め定められた閾値以下であり、かつ、前記差分が前記下限輝度閾値以下の場合に、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第３の決定手段と、
を備えることを特徴とする画像合成装置。 In an image composition device for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time,
First calculating means for calculating a first luminance value of each pixel in the first image and a second luminance value of each pixel in the second image ;
Said first luminance value of a predetermined pixel in the first image, the luminance value obtained by multiplying a predetermined correction value to said second luminance value of the predetermined pixels of the same position as the pixel in the second image Second calculating means for calculating the difference between
When the second luminance value is less than or equal to a predetermined threshold and the difference is less than or equal to an upper limit luminance threshold and greater than a lower limit luminance threshold, the pixel data of the first image and the second image First determination means for determining pixel data, which is a weighted average of pixel data obtained by multiplying the pixel data by the correction value, as pixel data in the predetermined pixel of the composite image;
When the second luminance value is less than or equal to the predetermined threshold, or when the second luminance value is greater than or equal to the predetermined threshold and the difference is greater than the upper limit luminance threshold, Second determining means for determining pixel data obtained by multiplying the pixel data by the correction value as pixel data in the predetermined pixel of the composite image;
When the second luminance value is equal to or smaller than the predetermined threshold value and the difference is equal to or smaller than the lower limit luminance threshold value, pixel data of the first image is converted into a pixel in the predetermined pixel of the composite image. Third determining means for determining as data;
An image composition apparatus comprising: 所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成装置において、
前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出手段と、
前記第２の画像における所定の画素の周辺に、その輝度値が予め定められた閾値より大きい画素と前記予め定められた閾値以下の画素とがある場合、前記所定の画素周辺の画素数におけるこの予め定められた閾値以上の画素数の割合を算出する第３の算出手段と、
前記第３の算出手段によって算出された割合に応じた重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第４の決定手段と、
前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値より大きい画素である場合、前記第２の画像の画素データに所定の補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第５の決定手段と、
前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値以下の画素である場合、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第６の決定手段と、
を備えることを特徴とする画像合成装置。 In an image composition device for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time,
A first luminance value of each pixel in the previous SL first image, a first calculation means for calculating a second luminance value of each pixel in the second image,
If there are a pixel whose luminance value is greater than a predetermined threshold and a pixel that is less than or equal to the predetermined threshold around the predetermined pixel in the second image, this number of pixels around the predetermined pixel Third calculation means for calculating a ratio of the number of pixels equal to or greater than a predetermined threshold;
Fourth determining means for determining pixel data having a weighted average according to the ratio calculated by the third calculating means as pixel data in the predetermined pixel of the composite image;
When all the surroundings of the predetermined pixel in the second image are pixels larger than the predetermined threshold, pixel data obtained by multiplying the pixel data of the second image by a predetermined correction value is used as the pixel of the composite image. Fifth determining means for determining pixel data in the predetermined pixel;
When all the surroundings of the predetermined pixel in the second image are pixels that are equal to or less than the predetermined threshold, the pixel data of the first image is determined as pixel data of the predetermined pixel of the composite image. 6 determination means;
An image composition apparatus comprising: 同じ位置の全ての画素における前記第１の輝度値と前記第２の輝度値との比の平均値を、前記補正値として算出する第４の算出手段を更に備えることを特徴とする請求項１又は２記載の画像合成装置。 Claim, characterized in that the average value of the ratio of the second luminance value and the first luminance value in all the pixels at the same position, further comprising a fourth calculating means for calculating as the correction value 1 Or the image synthesizer of 2 . 撮像手段と、
前記撮像手段に対し所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像とを続けて撮像させるよう制御する撮像制御手段と、
を更に備えることを特徴とする請求項１から３のいずれか１項に記載の画像合成装置。 Imaging means;
An imaging control unit for controlling the imaging unit to continuously capture a first image captured at a predetermined exposure time and a second image captured at an exposure time shorter than the predetermined exposure time;
The image synthesizing apparatus according to claim 1 , further comprising: 所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成方法であって、
前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出ステップと、
前記第１の画像における所定の画素の前記第１の輝度値と、前記第２の画像における前記所定の画素と同じ位置の画素の前記第２の輝度値に所定の補正値を乗じた輝度値との差分を算出する第２の算出ステップと、
前記第２の輝度値が予め定められた閾値以下であり、かつ、前記差分が上限輝度閾値以下であり下限輝度閾値より大きい場合に、前記第１の画像の画素データと前記第２の画像の画素データに前記補正値を乗じた画素データとの重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第１の決定ステップと、
前記第２の輝度値が前記予め定められた閾値以下、又は、前記第２の輝度値が前記予め定められた閾値以上で前記差分が前記上限輝度閾値より大きい場合に、前記第２の画像の画素データに前記補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第２の決定ステップと、
前記第２の輝度値が前記予め定められた閾値以下であり、かつ、前記差分が前記下限輝度閾値以下の場合に、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第３の決定ステップと、
を含むことを特徴とする画像合成方法。 An image composition method for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time,
A first calculation step of calculating a first luminance value of each pixel in the first image and a second luminance value of each pixel in the second image ;
Said first luminance value of a predetermined pixel in the first image, the luminance value obtained by multiplying a predetermined correction value to said second luminance value of the predetermined pixels of the same position as the pixel in the second image A second calculation step of calculating a difference between
When the second luminance value is less than or equal to a predetermined threshold and the difference is less than or equal to an upper limit luminance threshold and greater than a lower limit luminance threshold, the pixel data of the first image and the second image A first determination step of determining pixel data, which is a weighted average with pixel data obtained by multiplying the pixel data by the correction value, as pixel data in the predetermined pixel of the composite image;
When the second luminance value is less than or equal to the predetermined threshold, or when the second luminance value is greater than or equal to the predetermined threshold and the difference is greater than the upper limit luminance threshold, A second determination step of determining pixel data obtained by multiplying the pixel data by the correction value as pixel data in the predetermined pixel of the composite image;
When the second luminance value is equal to or smaller than the predetermined threshold value and the difference is equal to or smaller than the lower limit luminance threshold value, pixel data of the first image is converted into a pixel in the predetermined pixel of the composite image. A third determination step for determining as data;
An image composition method comprising: 所定の露出時間で撮影された第１の画像とこの所定の露出時間よりも短い露出時間で撮影された第２の画像との合成画像を生成する画像合成方法であって、
前記第１の画像における各画素の第１の輝度値と、前記第２の画像における各画素の第２の輝度値とを算出する第１の算出ステップと、
前記第２の画像における所定の画素の周辺に、その輝度値が予め定められた閾値より大きい画素と前記予め定められた閾値以下の画素とがある場合、前記所定の画素周辺の画素数におけるこの予め定められた閾値以上の画素数の割合を算出する第３の算出ステップと、
前記第３の算出ステップにて算出された割合に応じた重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第４の決定ステップと、
前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値より大きい画素である場合、前記第２の画像の画素データに所定の補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第５の決定ステップと、
前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値以下の画素である場合、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第６の決定ステップと、
を含むことを特徴とする画像合成方法。 An image composition method for generating a composite image of a first image photographed with a predetermined exposure time and a second image photographed with an exposure time shorter than the predetermined exposure time,
A first calculation step of calculating a first luminance value of each pixel in the first image and a second luminance value of each pixel in the second image,
If there are a pixel whose luminance value is greater than a predetermined threshold and a pixel that is less than or equal to the predetermined threshold around the predetermined pixel in the second image, this number of pixels around the predetermined pixel A third calculation step for calculating a ratio of the number of pixels equal to or greater than a predetermined threshold;
A fourth determination step of determining pixel data having a weighted average according to the ratio calculated in the third calculation step as pixel data in the predetermined pixel of the composite image;
When all the surroundings of the predetermined pixel in the second image are pixels larger than the predetermined threshold, pixel data obtained by multiplying the pixel data of the second image by a predetermined correction value is used as the pixel of the composite image. A fifth determination step of determining as pixel data in the predetermined pixel;
When all the surroundings of the predetermined pixel in the second image are pixels that are equal to or less than the predetermined threshold, the pixel data of the first image is determined as pixel data of the predetermined pixel of the composite image. 6 decision steps;
An image composition method comprising: 撮像装置が有するコンピュータを、A computer included in the imaging apparatus;
所定の露出時間で撮影された第１の画像における各画素の第１の輝度値と、この所定の露出時間よりも短い露出時間で続けて撮影された第２の画像における各画素の第２の輝度値とを算出する第１の算出手段、The first luminance value of each pixel in the first image photographed with the predetermined exposure time and the second luminance value of each pixel in the second image continuously photographed with an exposure time shorter than the predetermined exposure time. First calculating means for calculating a luminance value;
前記第１の画像における所定の画素の前記第１の輝度値と、前記第２の画像における前記所定の画素と同じ位置の画素の前記第２の輝度値に所定の補正値を乗じた輝度値との差分を算出する第２の算出手段、A luminance value obtained by multiplying the first luminance value of a predetermined pixel in the first image and the second luminance value of a pixel at the same position as the predetermined pixel in the second image by a predetermined correction value. A second calculating means for calculating a difference between
前記第２の輝度値が予め定められた閾値以下であり、かつ、前記差分が上限輝度閾値以下であり下限輝度閾値より大きい場合に、前記第１の画像の画素データと前記第２の画像の画素データに前記補正値を乗じた画素データとの重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第１の決定手段、When the second luminance value is less than or equal to a predetermined threshold and the difference is less than or equal to an upper limit luminance threshold and greater than a lower limit luminance threshold, the pixel data of the first image and the second image First determination means for determining, as pixel data in the predetermined pixel of the composite image, pixel data that is a weighted average with pixel data obtained by multiplying the pixel data by the correction value;
前記第２の輝度値が前記予め定められた閾値以下、又は、前記第２の輝度値が前記予め定められた閾値以上で前記差分が前記上限輝度閾値より大きい場合に、前記第２の画像の画素データに前記補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第２の決定手段、When the second luminance value is less than or equal to the predetermined threshold, or when the second luminance value is greater than or equal to the predetermined threshold and the difference is greater than the upper limit luminance threshold, Second determining means for determining pixel data obtained by multiplying the pixel data by the correction value as pixel data in the predetermined pixel of the composite image;
前記第２の輝度値が前記予め定められた閾値以下であり、かつ、前記差分が前記下限輝度閾値以下の場合に、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第３の決定手段、When the second luminance value is equal to or smaller than the predetermined threshold value and the difference is equal to or smaller than the lower limit luminance threshold value, pixel data of the first image is a pixel in the predetermined pixel of the synthesized image. Third determining means for determining as data,
として機能させることを特徴とするプログラム。A program characterized by functioning as 撮像装置が有するコンピュータを、A computer included in the imaging apparatus;
所定の露出時間で撮影された第１の画像における各画素の第１の輝度値と、この所定の露出時間よりも短い露出時間で続けて撮影された第２の画像における各画素の第２の輝度値とを算出する第１の算出手段、The first luminance value of each pixel in the first image shot with the predetermined exposure time and the second luminance value of each pixel in the second image continuously shot with an exposure time shorter than the predetermined exposure time. First calculating means for calculating a luminance value;
前記第２の画像における所定の画素の周辺に、その輝度値が予め定められた閾値より大きい画素と前記予め定められた閾値以下の画素とがある場合、前記所定の画素周辺の画素数におけるこの予め定められた閾値以上の画素数の割合を算出する第３の算出手段、If there are a pixel whose luminance value is greater than a predetermined threshold and a pixel that is less than or equal to the predetermined threshold around the predetermined pixel in the second image, this number of pixels around the predetermined pixel A third calculating means for calculating a ratio of the number of pixels equal to or greater than a predetermined threshold;
前記第３の算出手段によって算出された割合に応じた重み平均でなる画素データを、前記合成画像の前記所定の画素における画素データとして決定する第４の決定手段、Fourth determining means for determining pixel data having a weighted average according to the ratio calculated by the third calculating means as pixel data in the predetermined pixel of the composite image;
前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値より大きい画素である場合、前記第２の画像の画素データに所定の補正値を乗じた画素データを、前記合成画像の前記所定の画素における画素データとして決定する第５の決定手段、When all the surroundings of the predetermined pixel in the second image are pixels larger than the predetermined threshold, pixel data obtained by multiplying the pixel data of the second image by a predetermined correction value is used as the pixel of the composite image. Fifth determining means for determining pixel data in the predetermined pixel;
前記第２の画像における所定の画素の周辺全てが前記予め定められた閾値以下の画素である場合、前記第１の画像の画素データを前記合成画像の前記所定の画素における画素データとして決定する第６の決定手段、When all the surroundings of the predetermined pixel in the second image are pixels that are equal to or less than the predetermined threshold, the pixel data of the first image is determined as pixel data of the predetermined pixel of the composite image. 6 decision means,
として機能させることを特徴とするプログラム。A program characterized by functioning as
JP2005201819A 2005-07-11 2005-07-11 Image composition apparatus, image composition method, and program Expired - Fee Related JP4622711B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005201819A JP4622711B2 (en) 2005-07-11 2005-07-11 Image composition apparatus, image composition method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005201819A JP4622711B2 (en) 2005-07-11 2005-07-11 Image composition apparatus, image composition method, and program

Publications (3)

Publication Number Publication Date
JP2007020087A JP2007020087A (en) 2007-01-25
JP2007020087A5 JP2007020087A5 (en) 2008-07-31
JP4622711B2 true JP4622711B2 (en) 2011-02-02

Family

ID=37756807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005201819A Expired - Fee Related JP4622711B2 (en) 2005-07-11 2005-07-11 Image composition apparatus, image composition method, and program

Country Status (1)

Country Link
JP (1) JP4622711B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4678603B2 (en) 2007-04-20 2011-04-27 富士フイルム株式会社 Imaging apparatus and imaging method
JP5609787B2 (en) * 2011-06-23 2014-10-22 株式会社Ｊｖｃケンウッド Image processing apparatus and image processing method
JP5609788B2 (en) * 2011-06-23 2014-10-22 株式会社Ｊｖｃケンウッド Image processing apparatus and image processing method
JP6045355B2 (en) * 2013-01-11 2016-12-14 オリンパス株式会社 Image processing apparatus, microscope system, and image processing program
CN117499779B (en) * 2023-12-27 2024-05-10 荣耀终端有限公司 Image preview method, device and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101347A (en) * 2000-09-21 2002-04-05 Sony Corp Image composition method and imaging unit employing the image composition method
JP2004254151A (en) * 2003-02-21 2004-09-09 Fuji Film Microdevices Co Ltd Imaging unit and imaging method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101347A (en) * 2000-09-21 2002-04-05 Sony Corp Image composition method and imaging unit employing the image composition method
JP2004254151A (en) * 2003-02-21 2004-09-09 Fuji Film Microdevices Co Ltd Imaging unit and imaging method

Also Published As

Publication number Publication date
JP2007020087A (en) 2007-01-25

Similar Documents

Publication Publication Date Title
JP5713752B2 (en) Image processing apparatus and control method thereof
CN111698434B (en) Image processing apparatus, control method thereof, and computer-readable storage medium
JP5408053B2 (en) Image processing apparatus and image processing method
JP6020199B2 (en) Image processing apparatus, method, program, and imaging apparatus
JP5791336B2 (en) Image processing apparatus and control method thereof
TWI396433B (en) A system and process for generating high dynamic range video
JP5672796B2 (en) Image processing apparatus and image processing method
JP5767485B2 (en) Image processing apparatus and control method
JP2009212853A (en) White balance controller, its control method, and imaging apparatus
JP2004343483A (en) Device and method for correcting camera-shake and device for detecting camera shake
US10237488B2 (en) Image capturing apparatus and image capturing method
KR20110052507A (en) Image capture apparatus and image capturing method
JP2008187412A (en) Electronic camera
JP4622711B2 (en) Image composition apparatus, image composition method, and program
JP6817779B2 (en) Image processing equipment, its control method, programs and recording media
JP2015144475A (en) Imaging apparatus, control method of the same, program and storage medium
US20230196530A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP2010200177A (en) Imaging device and image processing program
JP5713643B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5315125B2 (en) Image processing apparatus, imaging apparatus, and composite image generation method
JP2019047336A (en) Image processing apparatus, imaging device, image processing method, and program
JP2002223355A (en) Image processor and recording medium with image processing program recorded thereon
JP5609787B2 (en) Image processing apparatus and image processing method
JP4544064B2 (en) Imaging apparatus, imaging method, and program
JP2008141616A (en) Motion vector calculating apparatus, method and program, moving image compressing and recording device, and imaging apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

R150 Certificate of patent or registration of utility model

Ref document number: 4622711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees