JPH10294912A - Method and device for extending dynamic range of picture - Google Patents

Method and device for extending dynamic range of picture

Info

Publication number
JPH10294912A
JPH10294912A JP9103731A JP10373197A JPH10294912A JP H10294912 A JPH10294912 A JP H10294912A JP 9103731 A JP9103731 A JP 9103731A JP 10373197 A JP10373197 A JP 10373197A JP H10294912 A JPH10294912 A JP H10294912A
Authority
JP
Japan
Prior art keywords
image data
density level
level
density
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9103731A
Other languages
Japanese (ja)
Other versions
JP3361957B2 (en
Inventor
Hiroshi Wajima
洋 和島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP10373197A priority Critical patent/JP3361957B2/en
Publication of JPH10294912A publication Critical patent/JPH10294912A/en
Application granted granted Critical
Publication of JP3361957B2 publication Critical patent/JP3361957B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Receiver Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To make the change of a density level natural without generating the pseudo contour of pictures by using an exposure coefficient and correcting the picture data of a different exposure to the picture data to be a reference. SOLUTION: In memories M1-M3, the picture data respectively image-picked up by an intermediate exposure, a large exposure and a small exposure are stored. When it is judged in a judgment circuit 16 that the picture data are present on the outside of the stipulated range of a dynamic range for the density level of the picture data stored in the memory M1, respective arithmetic units 17 and 18 use the picture data of the memory M1 and the picture data of the memories M2 and M3 and compute and obtain a density level difference and the exposure coefficient. The obtained density level and exposure coefficient are supplied to density conversion circuits 24 and 25, the density level on the outside of the stipulated range among the picture data stored in the memory M1 is converted the picture data after correction and the dynamic range is extended.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明が属する技術分野】本発明は、画像のダイナミッ
クレンジを拡張する方法および装置に関し、また画像だ
けでなく、物理量、たとえば電気信号の電圧または電流
などの振幅、温度および湿度などの物理量を検出する検
出器のダイナミックレンジを拡張する方法および装置に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for extending the dynamic range of an image, and detects not only an image but also a physical quantity, for example, an amplitude of an electric signal such as a voltage or current, and a physical quantity such as temperature and humidity. A method and apparatus for extending the dynamic range of a detector.

【0002】[0002]

【従来の技術】画像のダイナミックレンジを拡張するこ
とは、たとえばカメラによって屋外シーンを画像処理す
るために不可欠であり、屋外で日向と日陰を含む1つの
被写体を撮像するにあたっては、103〜104オーダの
ダイナミックレンジを必要とする。しかしながら既存の
CCD(電荷蓄積素子)カメラは、102のダイナミッ
クレンジを有し、明瞭な画像を得ることができない。
To extend the dynamic range of the Prior Art Image is essential for image processing an outdoor scene, for example, by a camera, the order to image one of the subject including a sunlit and shade outdoors, 10 3 to 10 Requires a dynamic range of 4 orders. However existing CCD (charge storage device) camera has a dynamic range of 10 2, it is impossible to obtain a clear image.

【0003】典型的な先行技術は、たとえば特開平2−
174470および特開平6−105224に開示され
ているように、被写体を撮像するカメラの絞りおよびシ
ャッタ速度またはCCD(電荷蓄積素子)の電荷蓄積時
間などに依存する露光量が異なる画像を、単純に嵌め込
んで合成する構成を有する。図14に示されるように、
この先行技術では、横軸に被写体が撮映された画像の横
方向の画素の座標が設定されたとき、中間の露光量で露
光量の範囲P1と、それよりも大きい露光量の範囲P2
と、中間の露光量よりも小さい露光量の範囲P3で得た
画像は、縦軸の濃度レベルと関連して示される特性L1
〜L3がそれぞれ得られる。これらの特性L1〜L3
は、露光量およびカメラの特性に依存する。
A typical prior art is disclosed in, for example,
As disclosed in JP-A-174470 and JP-A-6-105224, images having different exposure amounts depending on the aperture and shutter speed of a camera for imaging a subject or the charge storage time of a CCD (charge storage element) are simply fitted. It has a configuration to combine the data. As shown in FIG.
According to this prior art, when the horizontal axis sets the coordinates of the pixels in the horizontal direction of the image in which the subject is photographed, the exposure amount range P1 at an intermediate exposure amount and the exposure amount range P2 larger than that are set.
And an image obtained in a range P3 of an exposure amount smaller than the intermediate exposure amount has a characteristic L1 indicated in relation to the density level on the vertical axis.
To L3 are obtained. These characteristics L1 to L3
Depends on the amount of exposure and the characteristics of the camera.

【0004】この先行技術では、露光量の大および小の
画像を中間露光量の画像に嵌め込むことによって、画像
間の濃度差による疑似輪郭1,2が発生するという問題
がある。
[0004] In this prior art, there is a problem that pseudo contours 1 and 2 are generated due to a density difference between the images by fitting large and small exposure images into images with an intermediate exposure amount.

【0005】他の先行技術は特開平7−131704で
あり、これは前述の図11に対応して、図15に示され
る。この先行技術では、画像合成を行う際のカメラ特
性、すなわち絞り、シャッタ速度ならびにフィルタおよ
びレンズの透過率などによる露光量の変化特性、入射光
量に対する出力の変化特性が既知であることを前提とし
ており、または演算によって、露光量の中間の領域P1
と大きい露光量の領域P2と小さい露光量の領域P3と
の濃度レベルだけを合わせて、ダイナミックレンジを拡
張する。この先行技術では露光量の補正を行っていな
い。
Another prior art is JP-A-7-131704, which is shown in FIG. 15 corresponding to FIG. 11 described above. In this prior art, it is assumed that camera characteristics when performing image synthesis, that is, a change characteristic of an exposure amount due to a diaphragm, a shutter speed, a transmittance of a filter and a lens, and a change characteristic of an output with respect to an incident light amount are known. Or by calculation, an area P1 in the middle of the exposure amount
The dynamic range is expanded by matching only the density levels of the region P2 with the large exposure amount and the region P3 with the small exposure amount. In this prior art, the exposure amount is not corrected.

【0006】したがってこの先行技術では、カメラ特性
の誤差によって、または露光量の補正を行わないことに
起因して、図15における濃度レベルの傾きである特性
L1,L2に折れ目3が存在する。これによって疑似輪
郭が発生したり、濃度レベルの変化が不自然になったり
する。
Therefore, in this prior art, there are folds 3 in the characteristics L1 and L2, which are the gradients of the density levels in FIG. 15, due to errors in the camera characteristics or because the exposure amount is not corrected. This results in false contours and unnatural changes in density levels.

【0007】さらに他の先行技術は特開平7−1317
08であり、これは図16に関連して示される。この先
行技術では、中間の露光量の領域P1、大きい露光量の
領域P2および小さい露光量の領域P3における露光量
の補正を行い、図16における特性L1〜L3である濃
度レベルの傾きが同一となるように露光量の補正を行
う。しかしながら各領域P1,P2,P3における濃度
レベルの補正を行っていない。
[0007] Still another prior art is disclosed in Japanese Patent Laid-Open No. 7-1317.
08, which is shown in connection with FIG. In this prior art, the exposure amount is corrected in an intermediate exposure region P1, a large exposure region P2, and a small exposure region P3, and the characteristics L1 to L3 in FIG. The exposure amount is corrected so as to be as follows. However, the correction of the density level in each of the regions P1, P2, and P3 is not performed.

【0008】したがってこの先行技術では、カメラによ
る被写体の撮像時の黒レベル調整およびビデオ信号のア
ナログ/デジタル変換時の基準電位である黒レベル(ペ
デスタルレベル)のノイズおよびふらつきによって、露
光量の異なる画像間においてデジタル化された濃度値に
オフセットができる。したがってこのオフセットに起因
して、濃度レベル差4,5が生じ、この先行技術でもま
た、疑似輪郭が発生したり、濃度レベルの変化が不自然
になったりする。
Therefore, according to this prior art, an image having a different exposure amount is caused by noise and fluctuation of a black level (pedestal level) which is a reference potential at the time of analog / digital conversion of a video signal when a camera captures a subject. There is an offset between the digitized density values between them. Therefore, the offset causes density level differences 4 and 5, and in this prior art as well, false contours occur and density level changes become unnatural.

【0009】[0009]

【発明が解決しようとする課題】本発明の目的は、画像
の疑似輪郭が生じることなく、濃度レベルの変化が自然
であるようにしたダイナミックレンジの拡張方法および
装置を提供することである。
SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and an apparatus for extending a dynamic range in which a change in density level is natural without a false contour of an image.

【0010】本発明の他の目的は、電気信号の振幅、温
度および湿度などの物理量を検出する検出器のダイナミ
ックレンジを、正確に拡張することができるようにした
検出器のダイナミックレンジを拡張するための方法およ
び装置を提供することである。
Another object of the present invention is to extend the dynamic range of a detector capable of accurately extending the dynamic range of a detector for detecting physical quantities such as the amplitude, temperature, and humidity of an electric signal. To provide a method and apparatus.

【0011】[0011]

【課題を解決するための手段】本発明は、同一被写体を
相互に異なる露光量で撮像して得た複数画面分の画像デ
ータから、ダイナミックレンジを拡張した単一枚の画像
データを得る画像のダイナミックレンジを拡張する方法
において、露光量が相互に異なる画像データのうち、同
一被写体部分において基準とする画像データのダイナミ
ックレンジの両端または片端の濃度レベルを、露光量が
異なる画像データの濃度レベルと濃度レベル合わせα
1,α2をするとともに、同一被写体部分における基準
とする画像データの濃度レベルの変化量(Fb−Fa,
Fd−Fc)に対する露光量が異なる画像データの濃度
レベルの変化量(F2b−F2a,F1d−F1c)の
比である露光量係数β2m,β1mを用いて基準とする
画像データに対して露光量が異なる画像データを補正す
ることを特徴とする画像のダイナミックレンジを拡張す
る方法である。 また本発明は、得られた単一枚のダイナミックレンジが
拡張された画像データを基準とする画像データとして、
上記処理を繰返し行うことにより、所望のダイナミック
レンジまで拡張可能とする。 また本発明は、或る露光量で撮像した第1画像データ
と、その第1画像データよりも大きい露光量で撮像した
第2画像データとを得、第1画像データのうち、ダイナ
ミックレンジの一方端の画像データが表す濃度レベルF
aと、第2画像データのうち、ダイナミックレンジの他
方端の画像データが表す濃度レベルF2aとの濃度レベ
ル差α2を求め、第1画像データのうち、ダイナミック
レンジの前記一方端の画像データが表す被写体部分に対
する濃度レベルの変化量(Fb−Fa)を求め、第2画
像データのうち、ダイナミックレンジの前記他方端の画
像データが表す前記被写体部分に対する濃度レベルの変
化量(F2b−F2a)との比である露光量係数β2m
を求め、前記濃度レベル差α2と露光量係数β2mとに
基づいて、第2画像データの濃度レベルF2oldを補
正して、第1画像データのダイナミックレンジの前記一
方端に連続する補正後の画像データF2newを求める
ことを特徴とする画像のダイナミックレンジを拡張する
方法である。 また本発明は、前記補正後の画像データの濃度レベルF
2newは、 F2new = Fa+(F2old+α2−Fa)×β
2m であることを特徴とする。 また本発明は、或る露光量で撮像した第1画像データ
と、その第1画像データよりも小さい露光量で撮像した
第2画像データとを得、第1画像データのうち、ダイナ
ミックレンジの一方端の画像データが表す濃度レベルF
dと、第2画像データのうち、ダイナミックレンジの他
方端の画像データが表す濃度レベルF1dとの濃度レベ
ル差α1を求め、第1画像データのうち、ダイナミック
レンジの前記一方端の画像データが表す被写体部分に対
する濃度レベルの変化量(Fc−Fd)を求め、第2画
像データのうち、ダイナミックレンジの前記他方端の画
像データが表す前記被写体部分に対する濃度レベルの変
化量(F1d−F1c)との比である露光量係数β1m
を求め、前記濃度レベル差α1と露光量係数β1mとに
基づいて、第2画像データの濃度レベルF1oldを補
正して、第1画像データのダイナミックレンジの前記一
方端に連続する補正後の画像データF1newを求める
ことを特徴とする画像のダイナミックレンジを拡張する
方法である。 また本発明は、前記補正後の画像データの濃度レベルF
1newは、 F1new = Fd+(F1old+α1−Fd)×β
1m であることを特徴とする。 本発明に従えば、同一被写体を相互に異なる露光量で撮
像して得た複数(たとえば3)画面分の画像データを用
いて、それらの露光量の異なる複数の画像を合成して、
濃度レベルおよび露光量比の両者が補正されたダイナミ
ックレンジが拡張された画像を得ることができる。前記
複数画面分の画像データを用い、濃度レベル合わせを行
うとともに、これらの複数画面分の画像データから露光
量の比を求め、これらによって濃度変換を行う。濃度レ
ベルα2を求めるにあたっては、たとえば中間の露光量
による第1画像データのうち、ダイナミックレンジの一
方寄り(すなわち被写体の輝度または照度が低く、すな
わち暗く、したがって大きい露光量で撮像される領域
側)の画像データが表す濃度レベルFaと、前述の大き
い露光量で撮像された第2画像データのうち、ダイナミ
ックレンジの他方寄り(すなわち中間の露光量で得られ
る領域側)の画像データが表す濃度レベルF2aとの差
を演算することによって得られる。また露光量の比であ
る露光量係数β2mは、たとえば第1画像データのう
ち、ダイナミックレンジの一方寄りの画像データに基づ
いて、2つの被写体部分の濃度レベルの変化量(Fb−
Fa)を求め、またこれと同一の2つの被写体部分に対
する第2画像データのダイナミックレンジの前記他方寄
りの画像データに基づく濃度レベルの変化量(F2b−
F2a)との比を演算して得られる。こうして第1およ
び第2画像データのレベル合わせを行うとともに、第1
画像データにおけるダイナミックレンジの前記一方寄り
の画像データを、第2画像データの濃度レベルF2ol
dを補正して演算して置換し、さらにこの演算によっ
て、第1画像データのダイナミックレンジの前記一方寄
りで、さらにダイナミックレンジを拡張することができ
る。 上述の説明および以下の説明では、主として中間の露光
量を有する画像データと、大きい露光量を有する画像デ
ータとに関連して説明が行われるけれども、この中間の
露光量の画像データとそれよりも小さい露光量の画像デ
ータとに関しても同様に構成される。すなわち濃度レベ
ルα1を求めるにあたっては、たとえば中間の露光量に
よる第1画像データのうち、ダイナミックレンジの一方
寄り(すなわち被写体の輝度または照度が高く、すなわ
ち明るく、したがって小さい露光量で撮像される領域
側)の画像データが表す濃度レベルFdと、前述の小さ
い露光量で撮像された第2画像データのうち、ダイナミ
ックレンジの他方寄り(すなわち中間の露光量で得られ
る領域側)の画像データが表す濃度レベルF1dとの差
を演算することによって得られる。また露光量の比であ
る露光量係数β1mは、たとえば第1画像データのう
ち、ダイナミックレンジの一方寄りの画像データに基づ
いて、2つの被写体部分の濃度レベルの変化量(Fd−
Fc)を求め、またこれと同一の2つの被写体部分に対
する第2画像データのダイナミックレンジの前記他方寄
りの画像データに基づく濃度レベルの変化量(F1d−
F1c)との比を演算して得られる。こうして第1およ
び第2画像データのレベル合わせを行うとともに、第1
画像データにおけるダイナミックレンジの前記一方寄り
の画像データを、第2画像データの濃度レベルF1ol
dを補正して演算して置換し、さらにこの演算によっ
て、第1画像データのダイナミックレンジの前記一方寄
りで、さらにダイナミックレンジを拡張することができ
る。
SUMMARY OF THE INVENTION According to the present invention, there is provided an image processing apparatus which obtains a single image data having an extended dynamic range from image data of a plurality of screens obtained by imaging the same subject with different exposure amounts. In the method of extending the dynamic range, of image data having different exposure amounts, the density level at both ends or one end of the dynamic range of the reference image data in the same subject portion is set to the density level of image data having different exposure amounts. Concentration level adjustment α
1, α2, and the change amount (Fb−Fa,
Fd-Fc), the exposure amount is determined for the reference image data using the exposure amount coefficients β2m and β1m, which are the ratios of the density level change amounts (F2b-F2a, F1d-F1c) of the image data having different exposure amounts. This is a method for extending the dynamic range of an image characterized by correcting different image data. Further, the present invention, as the image data based on the obtained image data of the extended dynamic range of a single sheet,
By repeating the above processing, it is possible to expand to a desired dynamic range. Further, according to the present invention, first image data captured with a certain exposure amount and second image data captured with a larger exposure amount than the first image data are obtained, and one of the dynamic ranges of the first image data is obtained. Density level F represented by edge image data
a and a density level difference α2 between the density level F2a represented by the image data at the other end of the dynamic range of the second image data, and the image data at the one end of the dynamic range represented by the first image data. A change amount (Fb-Fa) of the density level with respect to the subject portion is determined, and the change amount (F2b-F2a) of the density level with respect to the subject portion represented by the image data at the other end of the dynamic range in the second image data. Exposure coefficient β2m which is the ratio
And correcting the density level F2old of the second image data based on the density level difference α2 and the exposure coefficient β2m to obtain the corrected image data continuous to the one end of the dynamic range of the first image data. This is a method for expanding the dynamic range of an image, which is characterized by obtaining F2new. Further, according to the present invention, the density level F
2new is: F2new = Fa + (F2old + α2-Fa) × β
2 m 2. Further, according to the present invention, the first image data obtained at a certain exposure amount and the second image data taken at an exposure amount smaller than the first image data are obtained. Density level F represented by edge image data
d, and a density level difference α1 between the density level F1d represented by the image data at the other end of the dynamic range of the second image data is obtained, and the image data at the one end of the dynamic range is represented by the first image data. A change amount (Fc-Fd) of the density level with respect to the subject portion is obtained, and the change amount of the density level (F1d-F1c) of the second image data with respect to the subject portion represented by the image data at the other end of the dynamic range is obtained. Exposure coefficient β1m which is the ratio
And correcting the density level F1old of the second image data based on the density level difference α1 and the exposure amount coefficient β1m to obtain the corrected image data continuous to the one end of the dynamic range of the first image data. This is a method for expanding the dynamic range of an image, which is characterized by obtaining F1new. Further, according to the present invention, the density level F
1new is: F1new = Fd + (F1old + α1-Fd) × β
1 m 2. According to the present invention, a plurality of (for example, three) screen image data obtained by imaging the same subject with mutually different exposure amounts are used to synthesize a plurality of images having different exposure amounts.
An image with an extended dynamic range in which both the density level and the exposure amount ratio are corrected can be obtained. Using the image data for the plurality of screens, the density level is adjusted, the ratio of the amount of exposure is determined from the image data for the plurality of screens, and the density conversion is performed using the ratios. In obtaining the density level α2, for example, one side of the dynamic range of the first image data with an intermediate exposure amount (that is, the brightness or illuminance of the subject is low, that is, the region which is dark and is imaged with a large exposure amount) And the density level represented by the image data on the other side of the dynamic range (that is, on the side of the area obtained with the intermediate exposure amount) of the second image data captured with the large exposure amount. It is obtained by calculating the difference from F2a. The exposure coefficient β2m, which is the ratio of the exposure, is based on, for example, the image data that is closer to one side of the dynamic range in the first image data, and the amount of change (Fb−
Fa) is obtained, and the dynamic range of the second image data for the same two object portions is changed based on the image data on the other side (F2b−
F2a). In this way, the levels of the first and second image data are adjusted, and the first and second image data are adjusted.
The image data on the one side of the dynamic range in the image data is converted to the density level F2ol of the second image data.
Compensation is performed by correcting d, and furthermore, by this calculation, the dynamic range can be further extended near the one side of the dynamic range of the first image data. In the above description and the following description, description will be made mainly in relation to image data having an intermediate exposure amount and image data having a large exposure amount. The same applies to image data with a small exposure amount. That is, in obtaining the density level α1, for example, of the first image data with the intermediate exposure amount, the one of the dynamic ranges is shifted toward one side (that is, the brightness or illuminance of the subject is high, that is, the region side where the image is captured with a small exposure amount is bright. ) And the density represented by the image data on the other side of the dynamic range (that is, the area obtained with the intermediate exposure amount) of the second image data captured with the small exposure amount. It is obtained by calculating the difference from the level F1d. Further, the exposure coefficient β1m, which is the ratio of the exposure, is based on, for example, the image data that is closer to one side of the dynamic range in the first image data, and the amount of change (Fd−
Fc), and the change amount (F1d-) of the density range based on the image data on the other side of the dynamic range of the second image data for the same two subject portions.
F1c). In this way, the levels of the first and second image data are adjusted, and the first and second image data are adjusted.
The image data on the one side of the dynamic range in the image data is converted to the density level F1ol of the second image data.
The d is corrected, calculated and replaced, and the calculation further extends the dynamic range closer to the one side of the dynamic range of the first image data.

【0012】また本発明は、前記補正後の画像データの
濃度レベルF2new,F1newは、 F2new = Fa+(F2old+α2−Fa)×β
2m、および F1new = Fd+(F1old+α1−Fd)×β
1m であることを特徴とする。 本発明に従えば、第2画像データの濃度レベルF2ol
d,F1oldを用い、前述の濃度レベル差α2および
露光量係数β2m,β1mを用いて、第1画像データに
合成される第2画像データの補正後の濃度レベルF2n
ew,F1newを得ることができる。 画像データは、たとえばモノクロムであってもよいけれ
ども、赤R、緑Gおよび青Bの各色毎のカラー用画像デ
ータであってもよい。
In the present invention, the density levels F2new and F1new of the corrected image data are expressed as follows: F2new = Fa + (F2old + α2-Fa) × β
2m, and F1new = Fd + (F1old + α1-Fd) × β
1 m 2. According to the present invention, the density level F2ol of the second image data
d, F1old, and the corrected density level F2n of the second image data to be synthesized with the first image data using the density level difference α2 and the exposure coefficient β2m, β1m described above.
ew, F1new can be obtained. The image data may be monochrome, for example, but may also be color image data for each of red R, green G, and blue B.

【0013】また本発明は、画像データは、赤R、緑G
および青Bの各色毎のカラー用画像データであり、露光
量係数β2m,β1mは、各色毎の画像データによって
得られた露光量係数β2R,β2G,β2B;β1R,
β1G,β1Bの平均値であることを特徴とする。 本発明に従えば、第1および第2画像データがカラー用
画像データである場合、露光量係数β2m,β1mは、
各色R,G,B毎の画像データによって得られた個別的
な露光量係数β2R,β2G,β2B;β1R,β1
G,β1Bの平均値であり、これに対して濃度レベル差
α2,α1は、各色R,G,B毎に独立した個別的な値
α2R,α2G,α2B;α1R,α1G,α1Bを用
いて、各色毎の補正後の画像データの濃度レベルF2n
ew,F1newを演算して求める。これによって各色
R,G,B毎の画像のセンサの感度差および増幅率にば
らつきがある場合であっても、色の再現性に優れ、しか
も各色R,G,B間での黒レベル差の影響を少なくし、
これによって疑似輪郭が発生しないようにすることがで
きる。
Further, according to the present invention, the image data includes red R, green G
And image data for color for each color of blue B. Exposure coefficient β2m, β1m are exposure coefficient β2R, β2G, β2B; β1R, β2R obtained from image data for each color.
It is characterized by the average value of β1G and β1B. According to the present invention, when the first and second image data are color image data, the exposure coefficient β2m, β1m is
Individual exposure coefficient β2R, β2G, β2B obtained from image data for each color R, G, B; β1R, β1
G, β1B are average values. On the other hand, the density level differences α2, α1 are obtained by using independent values α2R, α2G, α2B for the respective colors R, G, B; Density level F2n of corrected image data for each color
ew and F1new are calculated and obtained. As a result, even when the sensitivity difference and the amplification factor of the image sensor for each color R, G, and B vary, the color reproducibility is excellent, and the black level difference between the colors R, G, and B is reduced. Less impact,
As a result, it is possible to prevent a pseudo contour from being generated.

【0014】また本発明は、各色毎の前記補正後の画像
データF2new,F1newを、その補正後の画像デ
ータF2newを求めるために用いた画像データF2o
ldが、露光量が大きい方の画像データであるとき、赤
色の利得を青色の利得に比べて低下して色温度補正し、
その補正後の画像データF1newを求めるために用い
た画像データF1oldが、露光量が小さい方の画像デ
ータであるとき、青色の利得を赤色の利得に比べて低下
して色温度補正することを特徴とする。 本発明に従えば、補正後の画像データの濃度レベルF2
new,F1newの色温度補正を行う。被写体が暗
く、したがって絞り口径が大きくされ、電荷蓄積時間を
長く調整して露光量を大きくした第2画像データを用い
る場合には、その第2画像データの色温度が低いので、
赤色の利得を青色の利得に比べて低下されて補正され
る。これとは逆に、明るい被写体では、露光量は小さく
調整され、この場合、第2画像データの色温度は高いの
で、青色の利得を赤色の利得に比べて低下する。
Further, according to the present invention, the corrected image data F2new and F1new for each color are used as image data F2o used for obtaining the corrected image data F2new.
When ld is the image data with the larger exposure, the red gain is reduced compared to the blue gain to correct the color temperature,
When the image data F1old used for obtaining the corrected image data F1new is image data with a smaller exposure amount, the blue temperature is reduced compared to the red gain to correct the color temperature. And According to the present invention, the density level F2 of the corrected image data
New, F1 new color temperature correction is performed. When the subject is dark, the aperture diameter is increased, and the second image data in which the charge accumulation time is lengthened and the exposure amount is increased is used, the color temperature of the second image data is low.
The red gain is reduced and corrected compared to the blue gain. Conversely, for a bright subject, the exposure is adjusted to be small. In this case, the color temperature of the second image data is high, so that the blue gain is lower than the red gain.

【0015】また本発明は、或る露光量で撮像した複数
の濃度レベルを有する第1画像データをストアする第1
メモリと、第1画像データの露光量よりも大きい方の露
光量で、第1画像データと同一被写体を撮像した複数の
濃度レベルを有する第2画像データをストアする第2メ
モリと、第1メモリにストアされている第1画像データ
の濃度レベルのダイナミックレンジ内で、露光量の前記
大きい方に対応した側にある複数の各予め定める濃度レ
ベルFa,Fbのうち、ダイナミックレンジの外方寄り
にある濃度レベルFaおよびさらに外方寄りにある濃度
レベル、ならびに前記予め定める外方寄りの濃度レベル
Faよりも内方にある濃度レベルFbの濃度レベルを有
する第1メモリの画素の座標を抽出する第1抽出手段
と、第1抽出手段によって抽出された座標と同一座標を
有する第2メモリの画素を抽出する第2抽出手段と、第
2抽出手段の出力に応答し、前記予め定める各濃度レベ
ルFa,Fb毎に、第2メモリから抽出された画素の有
する濃度レベルの平均値F2a,F2bを求める平均値
演算手段と、平均値演算手段の出力に応答し、第2画像
データの濃度レベルを、第1画像データの濃度レベルに
濃度レベル合わせをするためのダイナミックレンジの外
方寄りにある濃度レベルFaに関する濃度レベル差α
2、 α2 = Fa−F2a を求め、さらに、第2画像データの濃度レベルの傾きに
対する第1画像データの濃度レベルの傾きの比である露
光量係数β2m、 β2m = (Fb−Fa)/(F2b−F2a) を求める第1演算手段と、第2抽出手段の出力に応答
し、第1メモリの前記予め定める濃度レベルFa,Fb
よりもダイナミックレンジのさらに外方にある濃度レベ
ルを有する各画素の座標と同一座標を有する第2メモリ
の画素の濃度レベルをF2oldとするとき、補正後の
画像データの濃度レベルF2new、 F2new = Fa+(F2old+α2−Fa)×β
2m を演算する第2演算手段とを含むことを特徴とする画像
のダイナミックレンジを拡張する装置である。 また本発明は、或る露光量で撮像した複数の濃度レベル
を有する第1画像データをストアする第1メモリと、第
1画像データの露光量よりも小さい方の露光量で、第1
画像データと同一被写体を撮像した複数の濃度レベルを
有する第2画像データをストアする第2メモリと、第1
メモリにストアされている第1画像データの濃度レベル
のダイナミックレンジ内で、露光量の前記小さい方に対
応した側にある複数の各予め定める濃度レベルFd,F
cのうち、ダイナミックレンジの外方寄りにある濃度レ
ベルFdおよびさらに外方寄りにある濃度レベル、なら
びに前記予め定める外方寄りの濃度レベルFdよりも内
方にある濃度レベルFcの濃度レベルを有する第1メモ
リの画素の座標を抽出する第1抽出手段と、第1抽出手
段によって抽出された座標と同一座標を有する第2メモ
リの画素を抽出する第2抽出手段と、第2抽出手段の出
力に応答し、前記予め定める各濃度レベルFd,Fc毎
に、第2メモリから抽出された画素の有する濃度レベル
の平均値F1d,F1cを求める平均値演算手段と、平
均値演算手段の出力に応答し、第2画像データの濃度レ
ベルを、第1画像データの濃度レベルに濃度レベル合わ
せをするためのダイナミックレンジの外方寄りにある濃
度レベルFdに関する濃度レベル差α1、 α1 = Fd−F1d を求め、さらに、第2画像データの濃度レベルの傾きに
対する第1画像データの濃度レベルの傾きの比である露
光量係数β1m、 β1m = (Fd−Fc)/(F1d−F1c) を求める第1演算手段と、第2抽出手段の出力に応答
し、第1メモリの前記予め定める濃度レベルFd,Fc
よりもダイナミックレンジのさらに外方にある濃度レベ
ルを有する各画素の座標と同一座標を有する第2メモリ
の画素の濃度レベルをF1oldとするとき、補正後の
画像データの濃度レベルF1new、 F1new = Fd+(F1old+α1−Fd)×β
1m を演算する第2演算手段とを含むことを特徴とする画像
のダイナミックレンジを拡張する装置である。 本発明に従えば、第1抽出手段によって、たとえば中間
の露光量で撮像して得られた第1メモリにストアされて
いる第1画像データにおける露光量のいずれか一方に対
応した側、たとえば大きい露光量で撮像した第2画像デ
ータ側にある複数、たとえば2つの予め定める濃度レベ
ルFa,Fbを有する第1メモリの画素の座標を抽出
し、第2抽出手段では、この第1メモリの画素の抽出さ
れた座標と同一座標を有する、換言すると同一の被写体
部分における第2メモリの画素を、第2抽出手段によっ
て抽出し、この第2抽出手段によって得られた座標を有
する第2メモリの画素が有している濃度レベルを求め
て、その平均値F2a,F2bを求める。ダイナミック
レンジの外方寄りにある濃度レベルFaに対応する平均
値F2aに基づいて濃度レベル差α2を求める。また外
方寄りの濃度レベルFaと、それよりも内方にある濃度
レベルFbとにそれぞれ対応する平均値F2a,F2b
を用いて、露光量係数β2mを求める。このようにして
平均値F2a,F2bを用いることによって、濃度レベ
ル差α2および露光量係数β2mの精度を高めることが
でき、露光量の違いによる誤差を小さくすることができ
る。
According to the present invention, there is provided a method for storing first image data having a plurality of density levels imaged at a certain exposure amount.
A memory, a second memory for storing second image data having a plurality of density levels obtained by imaging the same subject as the first image data with an exposure amount larger than the exposure amount of the first image data, and a first memory; Of the plurality of predetermined density levels Fa and Fb on the side corresponding to the larger exposure amount within the dynamic range of the density level of the first image data stored in Extracting a coordinate of a pixel of the first memory having a certain density level Fa, a density level further outward, and a density level of a density level Fb which is inside the predetermined outward density level Fa; (1) extracting means, second extracting means for extracting a pixel of the second memory having the same coordinates as the coordinates extracted by the first extracting means, and an output of the second extracting means. In response to each of the predetermined density levels Fa and Fb, the average value calculation means for obtaining the average values F2a and F2b of the density levels of the pixels extracted from the second memory, and the output of the average value calculation means. And a density level difference α relating to a density level Fa outside the dynamic range for adjusting the density level of the second image data to the density level of the first image data.
2, α2 = Fa−F2a, and further, exposure coefficient β2m, β2m = (Fb−Fa) / (F2b), which is the ratio of the gradient of the density level of the first image data to the gradient of the density level of the second image data. -F2a), and in response to the output of the second extracting means, the predetermined density levels Fa, Fb in the first memory.
When the density level of a pixel in the second memory having the same coordinates as the coordinates of each pixel having a density level further outside the dynamic range is F2old, the density levels F2new, F2new = Fa + of the corrected image data. (F2old + α2-Fa) × β
And a second calculating means for calculating 2m 2. The present invention also provides a first memory for storing first image data having a plurality of density levels imaged at a certain exposure amount, and a first memory for storing the first image data having a smaller exposure amount than the first image data.
A second memory for storing second image data having a plurality of density levels obtained by imaging the same subject as the image data;
Within the dynamic range of the density level of the first image data stored in the memory, a plurality of predetermined density levels Fd, F on the side corresponding to the smaller exposure amount.
c, a density level Fd outside the dynamic range, a density level further outside the dynamic range, and a density level Fc inside the predetermined outside density level Fd. First extracting means for extracting the coordinates of the pixels of the first memory, second extracting means for extracting the pixels of the second memory having the same coordinates as the coordinates extracted by the first extracting means, and output of the second extracting means Means for calculating average values F1d and F1c of the density levels of the pixels extracted from the second memory for each of the predetermined density levels Fd and Fc, and responding to the output of the average value calculation means. Then, the density level of the second image data is related to the density level Fd located outside the dynamic range for adjusting the density level to the density level of the first image data. And the exposure coefficient β1m, β1m = (Fd-Fc), which is the ratio of the gradient of the density level of the first image data to the gradient of the density level of the second image data. ) / (F1d-F1c), and responding to the output of the second extracting means, the predetermined density levels Fd, Fc of the first memory are stored.
When the density level of a pixel in the second memory having the same coordinates as the coordinates of each pixel having a density level further outside the dynamic range is F1old, the density levels F1new, F1new = Fd + of the image data after correction. (F1old + α1-Fd) × β
And a second calculating means for calculating 1m 2. According to the present invention, for example, the side corresponding to one of the exposure amounts in the first image data stored in the first memory obtained by imaging with the intermediate exposure amount, for example, the larger amount, by the first extracting unit. The coordinates of the pixels of the first memory having a plurality of, for example, two predetermined density levels Fa and Fb on the side of the second image data picked up by the exposure amount are extracted, and the second extracting means extracts the pixels of the first memory. Pixels of the second memory having the same coordinates as the extracted coordinates, in other words, in the same subject portion are extracted by the second extracting means, and pixels of the second memory having the coordinates obtained by the second extracting means are extracted. The average level F2a, F2b is obtained by obtaining the density level of the image. The density level difference α2 is obtained based on the average value F2a corresponding to the density level Fa located outside the dynamic range. Average values F2a and F2b respectively corresponding to the density level Fa closer to the outside and the density level Fb located further inside.
Is used to determine the exposure coefficient β2m. By using the average values F2a and F2b in this manner, the accuracy of the density level difference α2 and the exposure coefficient β2m can be improved, and errors due to differences in exposure can be reduced.

【0016】また本発明は、第1および第2画像データ
は、赤R、緑Gおよび青Bの各色毎のカラー用画像デー
タであり、第1演算手段は、各色毎の第1および第2画
像データに基づいて、各色毎に露光量係数β2R,β2
G,β2B;β1R,β1G,β1Bを求め、その各色
毎の露光量係数β2R,β2G,β2B;β1R,β1
G,β1Bの平均値β2m,β1mを求めて第2演算手
段に与えることを特徴とする。 本発明に従えば、第1および第2画像データは各色毎の
カラー用画像データであり、この場合、補正後の画像デ
ータの濃度レベルF2new,F1newを求めるにあ
たって用いられる露光量係数β2m,β1mは、各色毎
に求めた露光量係数β2R,β2G,β2B;β1R,
β1G,β1Bの平均値とする。これによって各色R,
G,B毎のセンサ感度および増幅率にばらつきがある場
合でも、色の再現性に優れ、各色R,G,B間での黒レ
ベル差の影響を少なくし、疑似輪郭が発生しないように
することができる。濃度レベル差α2は、各色R,G,
B毎に、補正後の画像データの濃度レベルF2new,
F1newを求めるために、用いられる。
Further, according to the present invention, the first and second image data are color image data for each of red R, green G and blue B, and the first arithmetic means includes a first and second image data for each color. Exposure coefficient β2R, β2 for each color based on image data
G, β2B; β1R, β1G, β1B are obtained, and the exposure coefficient β2R, β2G, β2B for each color is obtained.
It is characterized in that the average values β2m and β1m of G and β1B are obtained and given to the second calculating means. According to the present invention, the first and second image data are color image data for each color. In this case, the exposure coefficients β2m and β1m used for obtaining the density levels F2new and F1new of the corrected image data are , Exposure coefficient β2R, β2G, β2B obtained for each color; β1R,
The average value of β1G and β1B is used. With this, each color R,
Even if the sensor sensitivity and the amplification factor for each of G and B vary, the color reproducibility is excellent, the influence of the black level difference between each of the colors R, G and B is reduced, and the pseudo contour is prevented from being generated. be able to. The density level difference α2 is determined for each color R, G,
For each B, the density level F2new,
Used to determine F1new.

【0017】また本発明は、第1抽出手段は、(a)第
1メモリにストアされている第1画像データの濃度レベ
ル毎の画素数を表すヒストグラムを作成する手段と、
(b)ヒストグラム作成手段の出力に応答し、前記予め
定める濃度レベルFa,Fb;Fd,Fcのうち、一方
の予め定める濃度レベルFa,Fdは、他方の予め定め
る濃度レベルFb,Fcよりもダイナミックレンジの外
方寄りに定め、かつ前記他方の予め定める濃度レベルF
b,Fcを、前記一方の予め定める濃度レベルFa,F
dからダイナミックレンジ内方に予め定める画素数以上
の濃度レベルを有する最初の濃度レベルとして定める手
段とを含むことを特徴とする。 本発明に従えば、第1画像データにおける一方の濃度レ
ベルFa,Fdによって、その一方の濃度レベルFa,
Fdよりもダイナミックレンジの内方寄りにある規定範
囲を設定し、この規定範囲内で、予め定める画素数以上
の濃度レベルを有する最も前記一方濃度レベルFa,F
d寄りの濃度レベルを、他方の予め定める濃度レベルF
b,Fcとして定める。これによって露光量係数β2
m,β1mを高い精度で演算して求めることができるよ
うになる。
Further, according to the present invention, the first extracting means includes: (a) means for creating a histogram representing the number of pixels for each density level of the first image data stored in the first memory;
(B) In response to the output of the histogram creating means, one of the predetermined density levels Fa and Fb; Fd and Fc is more dynamic than the other predetermined density levels Fb and Fc. A predetermined density level F which is set outside of the range and is the other predetermined density level F
b and Fc are replaced with the one of the predetermined concentration levels Fa and F.
means for determining as an initial density level having a density level greater than or equal to a predetermined number of pixels within a dynamic range from d. According to the present invention, the one density level Fa, Fd in the first image data is used to determine the one density level Fa, Fd.
A specified range that is closer to the inside of the dynamic range than Fd is set.
The density level closer to d is set to the other predetermined density level F.
Defined as b, Fc. Thus, the exposure coefficient β2
m and β1m can be calculated and calculated with high accuracy.

【0018】また本発明は、(a)第1および第2画像
データは、赤R、緑Gおよび青Bの各色毎のカラー用画
像データであり、(b)第1画像データの露光量に比べ
て第2画像データの露光量が大きいとき、赤色の利得を
青色の利得に比べて低下して設定し、第2画像データの
露光量が小さいとき、青色の利得を赤色の利得に比べて
低下して設定する色温度補正用メモリと、(c)色温度
補正用メモリにストアされている利得を、前記補正後の
画像データF2new,F1newに掛算する色温度補
正演算手段とを含むことを特徴とする。 本発明に従えば、第1および第2画像データがカラー用
画像データである場合には、前述のように色温度補正を
行い、1つの被写体における明るい部分と暗い部分での
露光量の違いに起因した色温度の違いを補正する。
Further, according to the present invention, (a) the first and second image data are color image data for each of red R, green G and blue B, and (b) the exposure amount of the first image data When the exposure amount of the second image data is large, the red gain is set to be lower than the blue gain, and when the exposure amount of the second image data is small, the blue gain is compared with the red gain. And (c) a color temperature correction calculating means for multiplying the gain stored in the color temperature correction memory by the corrected image data F2new and F1new. Features. According to the present invention, when the first and second image data are color image data, the color temperature correction is performed as described above, and the difference in the exposure amount between a bright part and a dark part in one subject is calculated. Correct the resulting color temperature difference.

【0019】また本発明は、或る露光量で撮像した複数
の濃度レベルを有する第1画像データをストアする第1
メモリと、第1画像データの露光量よりも大の露光量
で、第1画像データと同一被写体を撮像した複数の濃度
レベルを有する第2画像データをストアする第2メモリ
と、第1画像データの露光量よりも小の露光量で、第1
画像データと同一被写体を撮像した複数の濃度レベルを
有する第3画像データをストアする第3メモリと、第1
メモリにストアされている第1画像データの濃度レベル
のダイナミックレンジ内で、第1画像データの濃度レベ
ルが、露光量の大きい方に対応した一方側にある予め定
める第1濃度レベルFaと、露光量の小さい方に対応し
た他方側にある第2濃度レベルFdとの間の規定範囲よ
りも外方であって、第1濃度レベルFaよりも外方にあ
るか、または第2濃度レベルFdよりも外方にあるかを
判断する範囲判断手段と、範囲判断手段の出力に応答
し、第1画像データの濃度レベルが第1濃度レベルFa
よりも外方にあるとき、ダイナミックレンジの前記一方
側で第1濃度レベルFaよりもダイナミックレンジ内方
の第3濃度レベルFbを定め、第1の濃度レベルFa以
下および第3濃度レベルFbの濃度レベルを有する第1
メモリにストアされている第1画像データの画素の座標
を抽出する第1抽出手段と、第1抽出手段によって抽出
された座標と同一座標を有する第2メモリの画素を抽出
する第2抽出手段と、第2抽出手段の出力に応答し、第
1および第3濃度レベルFa,Fb毎に、第2メモリか
ら抽出された画素の有する濃度レベルの平均値F2a,
F2bを求める第1平均値演算手段と、第1平均値演算
手段の出力に応答し、第2画像データの濃度レベルを、
第1画像データの濃度レベルに濃度レベル合わせをする
ためのダイナミックレンジの外方寄りにある第1濃度レ
ベルFaに関する濃度レベル差α2、 α2 = Fa−F2a を求め、さらに、第2画像データの濃度レベルの傾きに
対する第1画像データの濃度レベルの傾きの比である露
光量係数β2m、 β2m = (Fb−Fa)/(F2b−F2a) を求める第1演算手段と、第2抽出手段の出力に応答
し、第1メモリの第1濃度レベルFa未満を有する各画
素の座標と同一座標を有する第2メモリの画素の濃度レ
ベルをF2oldとするとき、補正後の画像データの濃
度レベルF2new、 F2new = Fa+(F2old+α2−Fa)×β
2m を演算する第2演算手段と、範囲判断手段の出力に応答
し、第1画像データの濃度レベルが第2濃度レベルFd
よりも外方にあるとき、ダイナミックレンジの前記他方
側で第2濃度レベルFdよりもダイナミックレンジ内方
の第4濃度レベルFcを定め、第2濃度レベルFd以上
および第4濃度レベルFcの濃度レベルを有する第1メ
モリにストアされている画素の座標を抽出する第3抽出
手段と、第3抽出手段によって抽出された座標と同一座
標を有する第3メモリの画素を抽出する第4抽出手段
と、第4抽出手段の出力に応答し、第2および第4濃度
レベルFd,Fc毎に、第3メモリから抽出された画素
の有する濃度レベルの平均値F1d,F1cを求める第
2平均値演算手段と、第2平均値演算手段の出力に応答
し、第3画像データの濃度レベルを第1画像データの濃
度レベルに濃度レベル合わせをするためのダイナミック
レンジの外方寄りにある第2濃度レベルFdに関する濃
度レベル差α1、 α1 = Fd−F1d を求め、さらに、第3画像データの濃度レベルの傾きに
対する第1画像データの濃度レベルの傾きの比である露
光量係数β1m、 β1m = (Fd−Fc)/(F1d−F1c) を求める第3演算手段と、第4抽出手段の出力に応答
し、第1メモリの第2濃度レベルFdを超える濃度レベ
ルを有する各画素の座標と同一座標を有する第3メモリ
の画素の濃度レベルをF1oldとするとき、補正後の
画像データの濃度レベルF1new、 F1new = Fd+(F1old+α1−Fd)×β
1m を演算する第4演算手段とを含むことを特徴とする画像
のダイナミックレンジを拡張する装置である。 本発明に従えば、第1画像データは、中間の露光量で撮
像して得られた画像データであり、第2画像データは大
きい露光量で撮像して得られた画像データであり、第3
画像データは小さい露光量で撮像して得られた画像デー
タであり、これによって第1画像データの両側のダイナ
ミックレンジを、濃度レベル合わせを行うとともに露光
量比が一致するようにして、ダイナミックレンジを上下
両側に広げることができるようになる。
According to the present invention, there is provided a method for storing first image data having a plurality of density levels imaged at a certain exposure amount.
A memory, a second memory storing second image data having a plurality of density levels obtained by imaging the same subject as the first image data with an exposure amount larger than the exposure amount of the first image data, and a first image data The exposure amount smaller than the exposure amount
A third memory for storing third image data having a plurality of density levels obtained by imaging the same subject as the image data;
Within the dynamic range of the density level of the first image data stored in the memory, the density level of the first image data is set to a predetermined first density level Fa on one side corresponding to the larger exposure amount, and It is outside the specified range between the second density level Fd and the second density level Fd on the other side corresponding to the smaller quantity, and is outside the first density level Fa, or is outside the second density level Fd. Determination means for determining whether the first image data is also outside, and the density level of the first image data is changed to the first density level Fa
When the third density level Fb is outside the first density level Fa, the third density level Fb is determined on the one side of the dynamic range to be inside the first density level Fa. First with level
First extracting means for extracting the coordinates of the pixels of the first image data stored in the memory, and second extracting means for extracting the pixels of the second memory having the same coordinates as the coordinates extracted by the first extracting means; , In response to the output of the second extracting means, for each of the first and third density levels Fa and Fb, the average value F2a, of the density levels of the pixels extracted from the second memory.
A first average value calculating means for calculating F2b, and a density level of the second image data in response to an output of the first average value calculating means,
A density level difference α2, α2 = Fa−F2a relating to the first density level Fa located outside the dynamic range for adjusting the density level to the density level of the first image data is obtained. The first calculation means for calculating the exposure coefficient β2m, β2m = (Fb−Fa) / (F2b−F2a), which is the ratio of the gradient of the density level of the first image data to the gradient of the level, and the output of the second extraction means. In response, when the density level of a pixel in the second memory having the same coordinates as the coordinates of each pixel having a lower density than the first density level Fa in the first memory is F2old, the density levels F2new, F2new of the image data after correction are given. Fa + (F2old + α2-Fa) × β
2m, and the density level of the first image data is changed to the second density level Fd in response to the output of the range determining means.
When it is more outward than the second density level, a fourth density level Fc that is inside the dynamic range from the second density level Fd is determined on the other side of the dynamic range, and the density level is equal to or higher than the second density level Fd and the fourth density level Fc. Third extracting means for extracting the coordinates of the pixels stored in the first memory having: and fourth extracting means for extracting the pixels of the third memory having the same coordinates as the coordinates extracted by the third extracting means; Second average value calculating means for responding to the output of the fourth extracting means for obtaining, for each of the second and fourth density levels Fd, Fc, average values F1d, F1c of the density levels of the pixels extracted from the third memory; Responsive to the output of the second average value calculating means, the density level of the third image data is shifted toward the outside of the dynamic range for adjusting the density level to the density level of the first image data. A density level difference α1, α1 = Fd−F1d with respect to the second density level Fd is obtained, and an exposure coefficient β1m, which is a ratio of a gradient of the density level of the first image data to a gradient of the density level of the third image data, β3m = (Fd−Fc) / (F1d−F1c), and the coordinates of each pixel having a density level exceeding the second density level Fd of the first memory in response to the output of the fourth extraction means. When the density level of the pixel in the third memory having the same coordinates as F1old is F1old, the density level F1new of the corrected image data, F1new = Fd + (F1old + α1-Fd) × β
And a fourth calculating means for calculating 1m 2. According to the present invention, the first image data is image data obtained by imaging with an intermediate exposure amount, the second image data is image data obtained by imaging with a large exposure amount,
The image data is image data obtained by capturing an image with a small exposure amount. With this, the dynamic range on both sides of the first image data is adjusted by adjusting the density level and making the exposure amount ratio coincide with each other, thereby reducing the dynamic range. It can be spread both up and down.

【0020】また本発明は、同一の被測定物理量を相互
に異なる特性で測定して各測定毎に同一時刻で複数の検
出データを得、基準とする検出データのダイナミックレ
ンジの両端または片端の検出レベルを、異なる特性で測
定した検出データの検出レベルと検出レベル合わせα
1,α2をするとともに、同一被測定対象に対する基準
とする検出データと異なる特性で測定した検出データと
の被測定物理量の変化量(Fb−Fa,Fd−Fc)に
対する検出レベルの変化量(F2b−F2a,F1d−
F1c)の比である係数β2m,β1mを用いて、基準
とする検出データに対して異なる特性で測定した検出デ
ータを補正することを特徴とする検出器のダイナミック
レンジを拡張する方法である。 また本発明は、被測定物理量を予め定める特性で検出し
た第1検出データをストアする第1メモリと、低い値の
範囲内にある被測定物理量を、第1特性による第1検出
データの検出レベルよりも大きい検出レベルで得る第2
特性によって前記被測定物理量を前記第1検出データと
同一時刻で検出した第2検出データをストアする第2メ
モリと、第1メモリにストアされている第1検出データ
の検出レベルのダイナミックレンジ内で、検出レベルの
隣接した側にある複数の各予め定める検出レベルFa,
Fbのうち、ダイナミックレンジの外方寄りにある検出
レベルFaおよびさらに外方寄りにある検出レベルなら
びに前記予め定める外方寄りの検出レベルFaよりも内
方にある検出レベルFbの検出レベルを有する第1メモ
リの時間軸上の時刻を抽出する第1抽出手段と、第1抽
出手段によって抽出された時刻と同一時刻における第2
メモリの検出データを抽出する第2抽出手段と、第2抽
出手段の出力に応答し、第2検出データの検出レベル
を、第1検出データの検出レベルに検出レベル合わせを
するためのダイナミックレンジの外方寄りにある検出レ
ベルFaに関する検出レベル差α2、 α2=Fa−F2a を求め、さらに、第2検出データの検出レベルの傾きに
対する第1検出データの検出レベルの傾きの比である係
数β2m、 β2m=(Fb−Fa)/(F2b−F2a) を求める第1演算手段と、第2抽出手段の出力に応答
し、第1メモリの前記予め定める検出レベルFa,Fb
よりもさらに外方にある検出レベルを有する各同一時刻
毎の第2メモリの検出レベルをF2oldとするとき、
補正後の検出データの検出レベルF2new、 F2new=Fa+(F2old+α2−Fa)×β2
m を演算する第2演算手段とを含むことを特徴とする検出
器のダイナミックレンジを拡張する装置である。 また本発明は、被測定物理量を予め定める特性で検出し
た第1検出データをストアする第1メモリと、高い値の
範囲内にある被測定物理量を、第1特性による第1検出
データの検出レベルよりも大きい検出レベルで得る第2
特性によって前記被測定物理量を前記第1検出データと
同一時刻で検出した第2検出データをストアする第2メ
モリと、第1メモリにストアされている第1検出データ
の検出レベルのダイナミックレンジ内で、検出レベルの
隣接した側にある複数の各予め定める検出レベルFd,
Fcのうち、ダイナミックレンジの外方寄りにある検出
レベルFdおよびさらに外方寄りにある検出レベルなら
びに前記予め定める外方寄りの検出レベルFdよりも内
方にある検出レベルFcの検出レベルを有する第1メモ
リの時間軸上の時刻を抽出する第1抽出手段と、第1抽
出手段によって抽出された時刻と同一時刻における第2
メモリの検出データを抽出する第2抽出手段と、第2抽
出手段の出力に応答し、第2検出データの検出レベル
を、第1検出データの検出レベルに検出レベル合わせを
するためのダイナミックレンジの外方寄りにある検出レ
ベルFdに関する検出レベル差α1、 α1=Fd−F1d を求め、さらに、第2検出データの検出レベルの傾きに
対する第1検出データの検出レベルの傾きの比である係
数β1m、 β1m=(Fd−Fc)/(F1d−F1c) を求める第1演算手段と、第2抽出手段の出力に応答
し、第1メモリの前記予め定める検出レベルFd,Fc
よりもさらに外方にある検出レベルを有する各同一時刻
毎の第2メモリの検出レベルをF1oldとするとき、
補正後の検出データの検出レベルF1new、 F1new=Fd+(F1old+α1−Fd)×β1
m を演算する第2演算手段とを含むことを特徴とする検出
器のダイナミックレンジを拡張する装置である。 本発明に従えば、電気信号の電圧または電流などの振
幅、温度ならびに湿度などの時間経過に伴って変化する
被測定物理量を測定する検出器のダイナミックレンジを
拡張することができる。本発明はこのように画像に関連
して実施されるだけでなく、その他の被測定物理量を測
定する検出器に関連して広範囲に実施することができ
る。
Further, according to the present invention, the same physical quantity to be measured is measured with mutually different characteristics, a plurality of pieces of detection data are obtained at the same time for each measurement, and both ends or one end of the dynamic range of the reference detection data are detected. Level, detection level of detection data measured with different characteristics and detection level matching α
1, α2, and the amount of change in the detection level (F2b) with respect to the amount of change (Fb-Fa, Fd-Fc) of the physical quantity to be measured between the reference data for the same object to be measured and the detection data measured with different characteristics. -F2a, F1d-
This is a method of extending the dynamic range of the detector, wherein the detection data measured with different characteristics from the reference detection data is corrected using the coefficients β2m and β1m which are the ratios of F1c). The present invention also provides a first memory for storing first detection data obtained by detecting a physical quantity to be measured with a predetermined characteristic, and a detection level of the first detection data based on the first characteristic by measuring the physical quantity to be measured within a low value range. The second to obtain with a detection level greater than
A second memory for storing second detection data obtained by detecting the physical quantity to be measured at the same time as the first detection data by a characteristic; and a dynamic range of a detection level of the first detection data stored in the first memory. , A plurality of predetermined detection levels Fa,
Fb having a detection level Fa outside the dynamic range, a detection level further outside the dynamic range, and a detection level Fb inside the predetermined outside detection level Fa. A first extracting means for extracting a time on the time axis of one memory; and a second extracting means for extracting a time at the same time as the time extracted by the first extracting means.
A second extraction means for extracting the detection data from the memory; and a dynamic range for adjusting the detection level of the second detection data to the detection level of the first detection data in response to an output of the second extraction means. The detection level difference α2, α2 = Fa−F2a with respect to the detection level Fa closer to the outside is obtained, and a coefficient β2m, which is a ratio of the slope of the detection level of the first detection data to the slope of the detection level of the second detection data, β2m = (Fb−Fa) / (F2b−F2a), and the predetermined detection levels Fa and Fb of the first memory in response to the output of the second extraction means.
When the detection level of the second memory at each same time having a detection level further outside than that is F2old,
Detection level F2new of the corrected detection data, F2new = Fa + (F2old + α2-Fa) × β2
and a second calculating means for calculating m. 2 is a device for extending the dynamic range of the detector. Further, the present invention provides a first memory for storing first detection data obtained by detecting a physical quantity to be measured with a predetermined characteristic, and a detection level of the first detection data based on the first characteristic by measuring the physical quantity to be measured within a high value range. The second to obtain with a detection level greater than
A second memory for storing second detection data obtained by detecting the physical quantity to be measured at the same time as the first detection data by a characteristic; and a dynamic range of a detection level of the first detection data stored in the first memory. , A plurality of predetermined detection levels Fd,
Among the Fc, a detection level having a detection level Fd located outside of the dynamic range, a detection level further located further outside, and a detection level of a detection level Fc located inside the predetermined detection level Fd located outside. A first extracting means for extracting a time on the time axis of one memory; and a second extracting means for extracting a time at the same time as the time extracted by the first extracting means.
A second extraction means for extracting the detection data from the memory; and a dynamic range for adjusting the detection level of the second detection data to the detection level of the first detection data in response to an output of the second extraction means. The detection level difference α1, α1 = Fd−F1d with respect to the detection level Fd on the outer side is obtained, and a coefficient β1m, which is a ratio of the inclination of the detection level of the first detection data to the inclination of the detection level of the second detection data, β1m = (Fd−Fc) / (F1d−F1c), and the predetermined detection levels Fd and Fc of the first memory in response to the output of the second extraction means.
When the detection level of the second memory at each same time having a detection level further outside than the above is F1old,
Detection level F1new of the corrected detection data, F1new = Fd + (F1old + α1-Fd) × β1
and a second calculating means for calculating m. 2 is a device for extending the dynamic range of the detector. ADVANTAGE OF THE INVENTION According to this invention, the dynamic range of the detector which measures the physical quantity to be measured which changes with time progress, such as the amplitude of electric signal voltage or electric current, temperature, and humidity, can be extended. The invention can thus be implemented not only in connection with images, but also widely in connection with detectors for measuring other physical quantities to be measured.

【0021】[0021]

【発明の実施の形態】図1は、本発明の実施の一形態の
全体の構成を示すブロック図である。撮像手段であるカ
メラ7によって、同一被写体を相互に異なる露光量で撮
像して、その複数画面分の画像データを得る。この画像
データは、カラー用画像データであって、赤R、緑Gお
よび青B毎の画像データから成る。カメラ7からの各色
R,G,B毎の画像データは、アナログ/デジタル変換
回路8においてデジタル化され、各色R,G,B毎の画
素毎に8ビットのデジタル信号に変換される。アナログ
/デジタル変換回路8からのデジタル化された画像デー
タは、本発明のダイナミックレンジ拡張装置9に与えら
れ、ここで、デジタル化された露光量が異なる複数枚の
画像について、濃度レベル合わせが行われるとともに、
後述の露光量係数β2m,β1mの補正を行いながら各
色R,G,B毎の画像データから成る画面の合成が行わ
れる。
FIG. 1 is a block diagram showing the overall configuration of an embodiment of the present invention. The same subject is imaged with different exposure amounts by the camera 7 serving as an imaging means, and image data for a plurality of screens is obtained. This image data is color image data, and includes image data for each of red R, green G, and blue B. Image data of each color R, G, B from the camera 7 is digitized in an analog / digital conversion circuit 8 and converted into an 8-bit digital signal for each pixel of each color R, G, B. The digitized image data from the analog / digital conversion circuit 8 is supplied to the dynamic range expansion device 9 of the present invention, where the density level adjustment is performed for a plurality of digitized images having different exposure amounts. As well as
A screen composed of image data for each of the colors R, G, B is synthesized while correcting the exposure coefficient β2m, β1m described later.

【0022】こうしてダイナミックレンジが拡張され
る。ダイナミックレンジ拡張装置9で拡張された画像デ
ータは、画像処理装置に与えられて色の解析などを行う
ことができる。ダイナミックレンジが拡張された画像デ
ータはまた、各色R,G,B合成にダイナミックレンジ
圧縮装置10に与えられ、ここで合成された画像のダイ
ナミックレンジ拡張画像を、たとえば表示を行うための
カラー陰極線管または液晶表示手段などの出力装置に与
えるために、そのダイナミックレンジが圧縮される。
Thus, the dynamic range is extended. The image data expanded by the dynamic range expansion device 9 can be given to an image processing device to perform color analysis and the like. The image data with the extended dynamic range is also given to the dynamic range compression device 10 for each color R, G, B synthesis, and the dynamic range extended image of the synthesized image is converted into, for example, a color cathode ray tube for displaying. Alternatively, the dynamic range is compressed so as to be provided to an output device such as a liquid crystal display.

【0023】カメラ7は、被写体の像を撮像素子11に
結像するための集光レンズ12を備える。撮像素子11
は、たとえばCCD(電荷蓄積素子)から成り、各色
R,G,B毎の合計3つの画素が1つの組合わせを構成
し、このような組合わせが、多数、マトリクス状に配置
される。各画素には、色R,G,Bのフィルタ13が設
けられる。露光量を設定するために、絞りおよびシャッ
タを含む露光量設定手段14が設けられるとともに、撮
像素子11の電荷蓄積時間が調整される。撮像素子11
の各画素の画像データは、前述のようにアナログ/デジ
タル変換回路8に与えられてデジタル化される。
The camera 7 includes a condenser lens 12 for forming an image of a subject on an image sensor 11. Image sensor 11
Is composed of, for example, a CCD (charge storage element), and a total of three pixels for each color R, G, B constitute one combination, and a large number of such combinations are arranged in a matrix. Each pixel is provided with a filter 13 of colors R, G, and B. In order to set the exposure amount, an exposure amount setting unit 14 including an aperture and a shutter is provided, and the charge accumulation time of the image sensor 11 is adjusted. Image sensor 11
The image data of each pixel is supplied to the analog / digital conversion circuit 8 and digitized as described above.

【0024】図2は、ダイナミックレンジ拡張装置9の
構成を示すブロック図である。アナログ/デジタル変換
回路8からのデジタル化された画像データ化は、各色
R,G,B毎に入力され、各画面毎にメモリM1〜M3
に、画像切換え回路15を経て与えられる。メモリM1
には、中間の露光量によって撮像された1画面分の画像
データがストアされる。メモリM2には、大きい露光量
で撮像された画像データがストアされる。メモリM3に
は小さい露光量で撮像された画像データがストアされ
る。この図2において、実線は、各色R,G,B毎の画
像データを表し、破線は画像データ以外の制御のための
信号を示す。メモリM1にストアされている中間の露光
量を有する画像データの濃度レベルが、ダイナミックレ
ンジの暗い方寄りの予め定める濃度レベルFaと明るい
方寄りの予め定めるもう1つの濃度レベルFdから規定
される規定範囲の外に、画像データが存在するかどうか
が、判定回路16で判定される。規定範囲外にメモリM
1にストアされている画像データの少なくとも一部分が
存在するとき、演算装置17,18が濃度レベル差α
2,α1を演算回路19,20で演算するとともに、露
光量係数β2m,β1mを演算回路21,22で演算し
て求める。
FIG. 2 is a block diagram showing the configuration of the dynamic range extending device 9. The digitized image data from the analog / digital conversion circuit 8 is input for each of the colors R, G, and B, and stored in the memories M1 to M3 for each screen.
, Through an image switching circuit 15. Memory M1
Stores image data of one screen imaged by an intermediate exposure amount. Image data captured with a large exposure amount is stored in the memory M2. Image data captured with a small exposure amount is stored in the memory M3. In FIG. 2, a solid line represents image data for each of the colors R, G, and B, and a broken line represents a control signal other than the image data. The density level of the image data having an intermediate exposure amount stored in the memory M1 is defined by a predetermined density level Fa closer to the darker side of the dynamic range and another predetermined density level Fd closer to the lighter side of the dynamic range. The determination circuit 16 determines whether image data exists outside the range. Memory M out of specified range
When at least a part of the image data stored in No. 1 exists, the arithmetic units 17 and 18 determine the density level difference α
2, α1 are calculated by the arithmetic circuits 19 and 20, and the exposure coefficients β2m and β1m are calculated by the arithmetic circuits 21 and 22.

【0025】メモリM1にストアされている画像データ
の全てが、規定範囲以内であれば、その画像データは、
演算が行われることなしに、そのまま、置換回路23を
素通りして、画像処理装置に与えられるとともに、ダイ
ナミックレンジ圧縮装置10に与えられる。規定範囲外
に画像データが存在することが判定回路16で判定され
たときには、各演算装置17,18では、メモリM1の
画像データとメモリM2,M3の画像データとを用いて
前述の演算を行う。こうして演算回路17,18で得ら
れた濃度レベル差α2,α1と露光量係数β2m,β1
mは、濃度変換回路24,25に与えられ、メモリM1
にストアされている画像データのうち、規定範囲外の濃
度レベルを有する画素における濃度レベルを、補正後の
画像データに変換してダイナミックレンジを拡張する。
こうして得られた新たな補正後の画像データは、色温度
補正回路26,27で補正演算が行われ、置換回路23
に与えられる。したがって規定範囲内の画像データは、
メモリM1にストアされている画像データがそのまま用
いられ、規定範囲外の画像データは、色温度補正回路2
6,27から与えられる画像データに置換され、こうし
て1枚の画面分のダイナミックレンジが拡張された画像
データが導出される。
If all the image data stored in the memory M1 is within the specified range, the image data is
Without being subjected to the calculation, the signal is directly passed to the image processing device through the replacement circuit 23 and is also supplied to the dynamic range compression device 10. When it is determined by the determination circuit 16 that the image data exists outside the specified range, each of the arithmetic units 17 and 18 performs the above-described calculation using the image data of the memory M1 and the image data of the memories M2 and M3. . The density level differences α2, α1 and the exposure coefficient β2m, β1 obtained by the arithmetic circuits 17 and 18 in this manner.
m is supplied to the density conversion circuits 24 and 25 and stored in the memory M1.
In the image data stored in the image data, the density level of a pixel having a density level outside the specified range is converted into corrected image data to extend the dynamic range.
The new corrected image data thus obtained is subjected to a correction operation in the color temperature correction circuits 26 and 27, and the replacement circuit 23
Given to. Therefore, image data within the specified range
The image data stored in the memory M1 is used as it is.
The image data is replaced with the image data given by the image data 6, 27, and the image data in which the dynamic range of one screen is extended is derived.

【0026】図3は、カメラ7による画像データのダイ
ナミックレンジと露光量を変えたときの出力画像データ
の濃度レベルとの関係を示す図である。図3の横軸は、
被写体の横方向の画素の座標を示す。この被写体は、横
方向に、左から右になるにつれて被写体の輝度または照
度が大きくなって明るくなるように、説明の便宜のため
に構成され、図3の縦軸では、下から上に等間隔目盛で
暗から明に変化するように目盛られている。図3の縦軸
は、各色R,G,B毎の画像データの濃度レベルを表
し、参照符DRは、そのカメラ7のダイナミックレンジ
を示す。中間の露光量で撮像した画像データは、L4で
示される特性を有し、大きい露光量で撮像された画像デ
ータは、ラインL5で示される特性を有し、さらに小さ
い露光量で撮像された画像データは、ラインL6で示さ
れる特性を有する。被写体の輝度が同一であっても、露
光量の値に依存して画像データの濃度レベルが異なり、
またその濃度レベルの傾きが異なることが判る。
FIG. 3 is a diagram showing the relationship between the dynamic range of image data from the camera 7 and the density level of output image data when the exposure amount is changed. The horizontal axis in FIG.
The coordinates of the pixel in the horizontal direction of the subject are shown. This subject is configured for the sake of convenience such that the brightness or illuminance of the subject increases in the horizontal direction from left to right and becomes brighter, and the vertical axis in FIG. The scale is graduated from dark to light. The vertical axis in FIG. 3 represents the density level of the image data for each of the colors R, G, and B, and the reference symbol DR indicates the dynamic range of the camera 7. Image data captured with an intermediate exposure has the characteristic indicated by L4, and image data captured with a large exposure has the characteristic indicated by line L5, and an image captured with a smaller exposure. The data has the characteristics shown by line L6. Even if the brightness of the subject is the same, the density level of the image data differs depending on the value of the exposure amount,
It can also be seen that the gradient of the density level is different.

【0027】図4は、被写体を説明するための図であ
る。図4(1)は、被写体を示す。被写体は、前述のよ
うに横方向に左から右になるにつれて輝度または照度が
暗から明に滑らかに変化するように構成される。被写体
の図4(1)における縦方向では、被写体の明るさは同
一である。図4(2)は、図4(1)に示される被写体
の横方向画素の座標に対応する明るさを示す。図4
(1)における縦のラインの相互間隔Δb1は、被写体
の明るさに対応し、Δb1が大きくなるにつれて明るく
なることを示す。
FIG. 4 is a diagram for explaining a subject. FIG. 4A shows a subject. As described above, the subject is configured such that the luminance or illuminance changes smoothly from dark to bright as going from left to right in the horizontal direction. In the vertical direction of the subject in FIG. 4A, the brightness of the subject is the same. FIG. 4B shows the brightness corresponding to the coordinates of the horizontal pixel of the subject shown in FIG. FIG.
The mutual interval Δb1 between the vertical lines in (1) corresponds to the brightness of the subject, and indicates that the brightness increases as Δb1 increases.

【0028】図5はカメラ7によって中間の露光量で撮
像したときの動作を説明するための図であり、図6はカ
メラ7によって大きい露光量で撮像したときの動作を説
明するための図であり、図7はカメラ7によって小さい
露光量で撮像したときの動作を説明するための図であ
る。これらの露光条件の中、大、小によって得られる被
写体の画像データは、図5(1)、図6(1)および図
7(1)に示され、前述のメモリM1,M2,M3に
は、図5(2)、図6(2)および図7(2)に示され
る濃度レベルが、ストアされる。
FIG. 5 is a diagram for explaining the operation when the camera 7 captures an image with an intermediate exposure amount, and FIG. 6 is a diagram for explaining the operation when the camera 7 captures an image with a large exposure amount. FIG. 7 is a diagram for explaining an operation when an image is captured by the camera 7 with a small exposure amount. Among these exposure conditions, image data of the subject obtained by large and small is shown in FIG. 5A, FIG. 6A and FIG. 7A, and the above-mentioned memories M1, M2, M3 , FIG. 5 (2), FIG. 6 (2) and FIG. 7 (2) are stored.

【0029】図5(2)を参照して、メモリM1におい
て、横軸に示される被写体の横方向の画素の座標の位置
A,Dにおけるカメラ7によって得られる濃度レベル
は、参照符Fa,Fdで示され、この濃度レベルFa〜
Fdを前記規定範囲内とする。このダイナミックレンジ
DRの濃度レベルは、たとえばこの実施の一形態では、
0〜255の合計256階調に設定される。濃度レベル
がFa未満およびFdを超える規定範囲外では、本発明
に従い、メモリM2において、図6(2)の露光量が大
きい条件で撮像された画像データを用いて、およびメモ
リM3において、図7(2)に示される露光量が小さい
条件で撮像された画像データを用いて、それぞれ補正さ
れる。図5(1)、図6(1)および図7(1)におけ
る縦のラインの間隔Δb2は、濃度レベルを示し、この
間隔Δb2が大きい程、濃度レベルが大きく、すなわち
明るいことを表す。
Referring to FIG. 5 (2), in the memory M1, the density levels obtained by the camera 7 at the coordinates A and D of the horizontal pixel coordinates of the subject indicated by the horizontal axis are indicated by reference numerals Fa and Fd. And the concentration levels Fa to
Fd is set within the above-mentioned specified range. The density level of the dynamic range DR is, for example, in this embodiment,
A total of 256 gradations from 0 to 255 are set. If the density level is outside the specified range below Fa and beyond Fd, according to the present invention, the memory M2 uses the image data captured under the condition of the large exposure amount in FIG. Each correction is made using image data captured under the condition that the exposure amount shown in (2) is small. The interval Δb2 between the vertical lines in FIGS. 5 (1), 6 (1) and 7 (1) indicates the density level, and the greater the interval Δb2, the greater the density level, that is, the brighter.

【0030】メモリM1には、各色R,G,B毎に画素
の座標(x1,y1)〜(xm,yn)毎の濃度レベル
f1〜frが対応してストアされ、このことは他のメモ
リM2,M3においても同様である。
The memory M1 stores density levels f1 to fr corresponding to pixel coordinates (x1, y1) to (xm, yn) for each of the colors R, G, and B. The same applies to M2 and M3.

【0031】[0031]

【表1】 [Table 1]

【0032】図8は、メモリM1における1つの色、た
とえば赤Rの画像データに関する本発明に従って得られ
るヒストグラムである。図8の横軸は、濃度レベルを示
し、図8の縦軸は画素数、すなわち度数を表す。
FIG. 8 is a histogram obtained according to the present invention for image data of one color, for example, red R in the memory M1. The horizontal axis in FIG. 8 indicates the density level, and the vertical axis in FIG. 8 indicates the number of pixels, that is, the frequency.

【0033】図9は、図2に示されるダイナミックレン
ジ拡張装置9の全体の動作を簡略化して示すブロック図
である。このダイナミックレンジ拡張装置9は、メモリ
M1にストアされている画像データに関して、第1の動
作28を行い、メモリM2にストアされている画像デー
タに関して、第2動作29を行い、またメモリM3にス
トアされている画像データに関して、第3の動作30を
行う。これらの第1〜第3の各動作28〜30の具体的
な各ステップa1〜a9;a10〜a17;a20〜a
27は、図10〜図12にそれぞれ示される。
FIG. 9 is a block diagram showing a simplified operation of the entire dynamic range extending device 9 shown in FIG. The dynamic range expansion device 9 performs a first operation 28 on the image data stored in the memory M1, performs a second operation 29 on the image data stored in the memory M2, and stores the image data in the memory M3. A third operation 30 is performed on the image data that has been set. Specific steps a1 to a9 of these first to third operations 28 to 30; a10 to a17; a20 to a
27 is shown in FIGS. 10 to 12, respectively.

【0034】カメラ7によって撮像された露光量の中、
大および小の各画像データは、前述のようにメモリM
1,M2,M3にストアされている。まずメモリM1の
画像データを各色R,G,B毎に、ステップa1におい
て読出して、それらの画像データが濃度レベルFa以
上、濃度レベルFd以下の規定範囲内にあるかどうか
を、ステップa2において、判定回路16で判定する。
メモリM1の画像データの全てが規定範囲Fa〜Fd以
内に存在し、その規定範囲外には存在しないことが、判
定されると、ステップa3においてダイナミックレンジ
の拡張動作を行わず、動作を終了する。
In the exposure amount imaged by the camera 7,
The large and small image data are stored in the memory M as described above.
1, M2, and M3. First, the image data of the memory M1 is read out for each of the colors R, G, and B in step a1, and it is determined in step a2 whether the image data is within the specified range of the density level Fa or more and the density level Fd or less. The determination is performed by the determination circuit 16.
If it is determined that all the image data in the memory M1 exists within the specified range Fa to Fd and does not exist outside the specified range, the operation is terminated without performing the dynamic range expansion operation in step a3. .

【0035】ステップa4においてメモリM1の画像デ
ータの少なくとも一部が規定範囲外に存在することが判
定されると、次のステップa5では、規定範囲外の画像
データがケース1〜3に分類される。ケース1は、メモ
リM1の画像データの少なくとも一部が規定範囲Fa〜
Fdの上限Fdを超えて存在する場合である。ケース2
は、メモリM1の画像データの少なくとも一部が下限の
濃度レベルFa未満で存在する場合である。ケース3
は、前述のケース1,2のいずれもが成立する場合であ
って、すなわちメモリM1の画像データの少なくとも一
部が濃度レベルFdを超えて存在し、また濃度レベルF
a未満でも存在する場合である。
If it is determined in step a4 that at least a part of the image data in the memory M1 is out of the specified range, in step a5, the image data outside the specified range is classified into cases 1-3. . In case 1, at least a part of the image data of the memory M1 is
This is the case where Fd exceeds the upper limit Fd. Case 2
The case where at least a part of the image data in the memory M1 exists below the lower limit density level Fa. Case 3
Is the case where both the cases 1 and 2 described above are satisfied, that is, at least a part of the image data in the memory M1 exists beyond the density level Fd, and the density level F
This is the case when the value is less than a.

【0036】ステップa6では、前述の図8に関連して
述べたヒストグラムが、メモリM1の画像データに関し
て作成される。このヒストグラムは、メモリM1の画像
データの濃度レベル毎の画素数である度数を表す。
In step a6, the histogram described with reference to FIG. 8 is created for the image data in the memory M1. This histogram represents a frequency which is the number of pixels for each density level of the image data in the memory M1.

【0037】ステップa7では、メモリM1の画像デー
タに関して、ケース1またはケース3の場合、規定範囲
の上限の濃度レベルFd以下であって、予め定める規定
度数Q以上である濃度レベルFcを上記ヒストグラムを
用いて検索する。すなわち濃度レベルFdからダイナミ
ックレンジ内方(図8の左方)に予め定める画素数Q以
上の濃度レベルを有する最初の濃度レベルとして、Fc
を定める。
In step a7, for the image data in the memory M1, in case 1 or case 3, the density level Fc which is equal to or lower than the upper limit density level Fd of the specified range and equal to or higher than the predetermined specified frequency Q is converted into the histogram. Search using That is, Fc is defined as the first density level having a density level equal to or larger than the predetermined number of pixels Q inside the dynamic range (left side in FIG. 8) from the density level Fd.
Is determined.

【0038】ステップa8では、メモリM1の画像デー
タに関して、規定範囲の下限の濃度レベルFa以上で規
定度数Q以上の濃度レベルFbを検索し、これは前記ケ
ース2または3の場合に行われる。この濃度レベルFb
は、濃度レベルFaからダイナミックレンジ内方(図8
の右方)に予め定める画素数Q以上の濃度レベルを有す
る最初の濃度レベルとして定められる。各濃度レベルF
c,Fbの前記規定度数Qは、相互に異なっていてもよ
い。こうして濃度レベルFa,Fdと規定度数Qとに基
づいて、濃度レベルFc,Fbが定められる。
In step a8, with respect to the image data in the memory M1, a density level Fb equal to or higher than the lower limit density Fa of the specified range and equal to or higher than the specified frequency Q is searched for. This density level Fb
Is within the dynamic range from the density level Fa (FIG. 8).
Is defined as the first density level having a density level equal to or larger than the predetermined number Q of pixels. Each density level F
The specified frequencies Q of c and Fb may be different from each other. Thus, the density levels Fc and Fb are determined based on the density levels Fa and Fd and the specified frequency Q.

【0039】ステップa9では、各ケース1〜3におい
て求められた濃度レベルFa〜Fdを有する画素の座標
を、前述の表1に基づいて抽出される。
In step a9, the coordinates of the pixels having the density levels Fa to Fd obtained in the respective cases 1 to 3 are extracted based on Table 1 described above.

【0040】ステップa9ではさらに、濃度レベルがF
a未満およびFdを超える濃度レベルを有する座標もま
た、メモリM1の画像データに基づいて抽出する。
In step a9, when the density level is F
Coordinates having a density level lower than a and higher than Fd are also extracted based on the image data in the memory M1.

【0041】前述のケース2または3の場合には、図1
1において大きい露光量で撮像された画像データがスト
アされているメモリM2のストア内容に基づいて、さら
に演算処理が行われる。この図11は、画像メモリM2
にストアされている画像データの処理動作を説明するた
めのフローチャートである。ステップa10では、中間
の露光量で撮像されたメモリM1にストアされている画
像データのうち、前述のステップa9で求められた濃度
レベルFa,Fbを有するメモリM1の画素と同一座標
を有するメモリM2の座標における座標を抽出し、その
メモリM2における濃度レベルを読出す。この抽出結果
は、表2のとおりである。表2におけるM2の座標とい
うのは、メモリM1において濃度レベルFa,Fbを有
するメモリM2の画素の座標である。
In case 2 or 3 above, FIG.
In step 1, further arithmetic processing is performed based on the stored contents of the memory M2 in which the image data captured with a large exposure amount is stored. FIG. 11 shows the image memory M2
3 is a flowchart for explaining the processing operation of the image data stored in the storage device. In step a10, the memory M2 having the same coordinates as the pixels of the memory M1 having the density levels Fa and Fb obtained in step a9 among the image data stored in the memory M1 captured with the intermediate exposure amount. And the density level in the memory M2 is read out. Table 2 shows the results of this extraction. The coordinates of M2 in Table 2 are the coordinates of the pixels of the memory M2 having the density levels Fa and Fb in the memory M1.

【0042】[0042]

【表2】 [Table 2]

【0043】ステップa11では、各濃度レベルFa,
Fb毎に、メモリM2から抽出された画素の有する濃度
レベルの平均値F2a,F2bを式1,2に基づいて演
算して求める。
In step a11, each density level Fa,
For each Fb, average values F2a and F2b of the density levels of the pixels extracted from the memory M2 are calculated and calculated based on Expressions 1 and 2.

【0044】[0044]

【数1】 (Equation 1)

【0045】fiは、メモリM1における画像データの
濃度レベルFaを有する座標と同一座標を有するメモリ
M2における画素の濃度レベルであり、画素数の合計は
qである。またfjは、メモリM1における画像データ
の濃度レベルFbを有する画素と同一座標を有するメモ
リM2における濃度レベルであり、rは、その画素数の
合計である。
Fi is the density level of the pixel in the memory M2 having the same coordinates as the coordinates having the density level Fa of the image data in the memory M1, and the total number of pixels is q. Fj is the density level in the memory M2 having the same coordinates as the pixel having the density level Fb of the image data in the memory M1, and r is the total number of pixels.

【0046】ステップa12では、濃度レベル差α2を
演算して求める。 α2 = Fa − F2a …(3) ステップa13では、露光量係数β2を演算して求め
る。 β2 = (Fb − Fa) / (F2b − F2a) …(4) このような上述のステップa1〜a13に関しては、画
像データの各色R,G,B毎に行う。
In step a12, the density level difference α2 is calculated and obtained. α2 = Fa−F2a (3) In step a13, the exposure coefficient β2 is calculated and obtained. β2 = (Fb−Fa) / (F2b−F2a) (4) The above-described steps a1 to a13 are performed for each of the colors R, G, and B of the image data.

【0047】ステップa14では、式4で得られる各色
R,G,B毎の平均値β2R,β2G,β2Bの平均値
β2mを演算して求める。 β2m = (β2R + β2G + β2B) / 3 …(5) ステップa15では、濃度レベルFa未満の濃度レベル
を有するメモリM1の画像データの画素と同一座標を有
するメモリM2における画像データの画素の濃度レベル
F2oldを用い、さらに前述の演算した求められた濃
度レベル差α2および露光量係数β2mを用いて、式6
に基づき、補正後の画像データの濃度レベルF2new
を演算して求める。 F2new = Fa + ( F2old + α2 − Fa) × β2m …(6) 演算装置17では、前述のステップa5〜a14を実行
し、濃度変換回路24は、前述のステップa15の演算
を実行する。 ステップa16では、式6によって得られた補正後の画
像データの濃度レベルF2newの色温度補正の演算
を、色温度補正回路26で行う。
In step a14, the average value β2m of the average values β2R, β2G, and β2B for each of the colors R, G, and B obtained by Equation 4 is calculated. β2m = (β2R + β2G + β2B) / 3 (5) In step a15, the density level of the pixel of the image data in the memory M2 having the same coordinates as the pixel of the image data of the memory M1 having the density level less than the density level Fa Using F2old, and using the calculated density level difference α2 and the exposure coefficient β2m calculated above, Equation 6
Based on the density level F2new of the corrected image data
Is calculated. F2new = Fa + (F2old + α2-Fa) × β2m (6) In the arithmetic unit 17, the above-described steps a5 to a14 are executed, and the density conversion circuit 24 executes the operation of the above-described step a15. In step a16, the color temperature correction circuit 26 performs a color temperature correction calculation of the density level F2new of the corrected image data obtained by the equation (6).

【0048】色温度補正のために、その色温度補正回路
26に備えられているメモリには、各メモリM2,M3
の画像データに対応して、表3のように各色R,G,B
毎の利得kR,kG,kBが設定される。
For color temperature correction, the memories provided in the color temperature correction circuit 26 include memories M2 and M3.
Corresponding to each color R, G, B as shown in Table 3.
Gains kR, kG, and kB are set for each.

【0049】[0049]

【表3】 [Table 3]

【0050】メモリM2にストアされている画像データ
は、被写体が暗く、したがって大きい露光量で撮像して
得られた画像データであり、この場合には、色温度は低
いので、赤RのゲインkRを他の色G,Bの利得kG,
kBに比べて小さい値に設定し、たとえば表3のよう
に、kR=0.8、kG=kB=1.0に設定する。こ
うして色温度補正された各色毎の濃度レベルF2new
R2,F2newG2,F2newB2が、式7〜9に
よって得られる。
The image data stored in the memory M2 is image data obtained by imaging the subject with darkness and therefore with a large exposure amount. In this case, since the color temperature is low, the gain kR of the red R is obtained. Is the gain kG of the other colors G and B,
It is set to a value smaller than kB, and for example, as shown in Table 3, kR = 0.8 and kG = kB = 1.0. The density level F2new for each color thus corrected in color temperature
R2, F2newG2, F2newB2 are obtained by Equations 7-9.

【0051】 F2newR2 = F2newR × kR …(7) F2newG2 = F2newG × kG …(8) F2newB2 = F2newB × kB …(9) ステップa17では、置換回路23において、メモリM
1の濃度レベルFa〜Fdの規定範囲内の画像データ
は、置換することなくそのまま導出し、濃度レベルFa
未満の画像データでは、前述のようにメモリM2の画像
データを演算して、前述の式7〜9で得られた各色毎の
補正後の画像データの濃度レベルを導出する。こうして
露光量の大きい方へのダイナミックレンジの拡張が行わ
れたことになる。
F2newR2 = F2newR × kR (7) F2newG2 = F2newG × kG (8) F2newB2 = F2newB × kB (9) In step a17, in the replacement circuit 23, the memory M
The image data within the specified range of the density levels Fa to Fd is directly derived without replacement, and
For the image data less than the above, the image data in the memory M2 is calculated as described above to derive the density level of the corrected image data for each color obtained by the above Expressions 7 to 9. In this way, the dynamic range is extended to the one with the larger exposure amount.

【0052】前述のケース1または3の場合には、図1
2に示される動作が行われる。図12は、ケース1また
は3における動作を説明するためのフローチャートであ
る。この図12におけるステップa20〜a27は、前
述の図8におけるステップa10〜a17にそれぞれ対
応しており、小さい露光量で撮像された被写体のメモリ
M3にストアされている画像データが用いられる。
In case 1 or 3 above, FIG.
The operation shown in FIG. 2 is performed. FIG. 12 is a flowchart for explaining the operation in case 1 or 3. Steps a20 to a27 in FIG. 12 correspond to steps a10 to a17 in FIG. 8 described above, and image data stored in the memory M3 of the subject captured with a small exposure amount is used.

【0053】ステップa20では、中間の露光量で撮像
されたメモリM1にストアされている画像データのう
ち、前述のステップa9で求められた濃度レベルFd,
Fcを有するメモリM1の画素と同一座標を有するメモ
リM3の座標における座標を抽出し、そのメモリM3に
おける濃度レベルを前述の表2と同様に読出す。
In step a20, of the image data stored in the memory M1 taken at the intermediate exposure amount, the density levels Fd,
The coordinates of the coordinates of the memory M3 having the same coordinates as the pixels of the memory M1 having Fc are extracted, and the density level in the memory M3 is read out in the same manner as in Table 2 described above.

【0054】ステップa21では、各濃度レベルFc,
Fd毎に、メモリM3から抽出された画素の有する濃度
レベルの平均値F1d,F1cを式1,2に基づいて演
算して求める。
In step a21, each density level Fc,
For each Fd, average values F1d and F1c of the density levels of the pixels extracted from the memory M3 are calculated and calculated based on Expressions 1 and 2.

【0055】[0055]

【数2】 (Equation 2)

【0056】fkは、メモリM1における画像データの
濃度レベルFdを有する座標と同一座標を有するメモリ
M3における画素の濃度レベルであり、画素数の合計は
uである。またfhは、メモリM1における画像データ
の濃度レベルFcを有する画素と同一座標を有するメモ
リM3における濃度レベルであり、vは、その画素数の
合計である。 ステップa22では、濃度レベル差α1を演算して求め
る。 α1 = Fd − F1d …(12) ステップa23では、露光量係数β1を演算して求め
る。 β1 = (Fd − Fc) / (F1d − F1c) …(13) このような上述のステップa20〜a23に関しては、
画像データの各色R,G,B毎に行う。 ステップa24では、式13で得られる各色R,G,B
毎の平均値β1R,β1G,β1Bの平均値β1mを演
算して求める。 β1m = (β1R + β1G + β1B) / 3 …(14) ステップa25では、濃度レベルFa未満の濃度レベル
を有するメモリM1の画像データの画素と同一座標を有
するメモリM3における画像データの画素の濃度レベル
F1oldを用い、さらに前述の演算した求められた濃
度レベル差α1および露光量係数β1mを用いて、式1
5に基づき、補正後の画像データの濃度レベルF1ne
wを演算して求める。 F1new = Fd + ( F1old + α1 − Fd) × β1m …(15) 演算装置17では、前述のステップa20〜a24を実
行し、濃度変換回路24は、前述のステップa25の演
算を実行する。 ステップa26では、式15によって得られた補正後の
画像データの濃度レベルF1newの色温度補正の演算
を、色温度補正回路26で行う。メモリM3にストアさ
れている画像データは、被写体が明るく、したがって小
さい露光量で撮像して得られた画像データであり、この
場合には、色温度は高いので、青BのゲインkBを他の
色R,Gの利得kR,kGに比べて小さい値に設定し、
たとえば前述の表3のようにkB=0.8、kR=kG
=1.0に設定する。こうして色温度補正された各色
R,G,B毎の濃度レベルF1newR1,F1new
G1,F1newB1が、式16〜式18によって得ら
れる。 F1newR1 = F1newR × kR …(16) F1newG1 = F1newG × kG …(17) F1newB1 = F1newB × kB …(18) ステップa27では、置換回路23において、メモリM
1の濃度レベルFa〜Fdの規定範囲内の画像データ
は、置換することなくそのまま導出し、濃度レベルFd
を超える画像データでは、前述のようにメモリM3の画
像データを演算して、前述の式16〜18で得られた各
色毎の補正後の画像データの濃度レベルを導出する。こ
うして露光量の大きい方へのダイナミックレンジの拡張
が行われたことになる。
Fk is the density level of the pixel in the memory M3 having the same coordinates as the coordinates having the density level Fd of the image data in the memory M1, and the total number of pixels is u. Fh is the density level in the memory M3 having the same coordinates as the pixel having the density level Fc of the image data in the memory M1, and v is the total number of pixels. In step a22, a density level difference α1 is calculated and obtained. α1 = Fd−F1d (12) In step a23, the exposure coefficient β1 is calculated and obtained. β1 = (Fd−Fc) / (F1d−F1c) (13) Regarding the above-described steps a20 to a23,
This is performed for each of the colors R, G, and B of the image data. In step a24, each of the colors R, G, B obtained by Expression 13
The average value β1m of each of the average values β1R, β1G, and β1B is calculated and obtained. β1m = (β1R + β1G + β1B) / 3 (14) In step a25, the density level of the pixel of the image data in the memory M3 having the same coordinates as the pixel of the image data in the memory M1 having the density level lower than Fa. Using F1old, and using the calculated density level difference α1 and the exposure coefficient β1m calculated above,
5, the density level F1ne of the corrected image data
Calculate and obtain w. F1new = Fd + (F1old + α1−Fd) × β1m (15) In the arithmetic unit 17, the above-described steps a20 to a24 are executed, and the density conversion circuit 24 executes the above-described operation of step a25. In step a26, the color temperature correction circuit 26 performs a color temperature correction calculation of the density level F1new of the corrected image data obtained by equation (15). The image data stored in the memory M3 is image data obtained by imaging the subject brightly and therefore with a small amount of exposure. In this case, since the color temperature is high, the gain kB of blue B is changed to another The gain is set to a value smaller than the gains kR and kG of the colors R and G,
For example, as shown in Table 3 above, kB = 0.8 and kR = kG
= 1.0 is set. The density levels F1newR1 and F1new for each of the colors R, G, and B thus corrected in color temperature.
G1 and F1newB1 are obtained by Expressions 16 to 18. F1newR1 = F1newR × kR (16) F1newG1 = F1newG × kG (17) F1newB1 = F1newB × kB (18) In step a27, in the replacement circuit 23, the memory M
The image data within the specified range of the density levels Fa to Fd is directly derived without replacement, and the density level Fd
Is calculated, the image data in the memory M3 is calculated as described above to derive the density level of the corrected image data for each color obtained by Expressions 16 to 18 described above. In this way, the dynamic range is extended to the one with the larger exposure amount.

【0057】図13は、ダイナミックレンジ拡張装置9
によって得られた画像データを説明するための図であ
る。中間の露光量で得られた画像データの領域P1にお
ける濃度レベルFa〜Fdの規定範囲における濃度レベ
ルとその濃度レベルの傾きとが、露光量の大および小の
各領域P2,P3において濃度合わせと露光量係数を用
いた補正演算が行われ、こうして特性L4に、特性L
5,L6が一直線状に連続したダイナミックレンジの拡
張が達成される。前述の実施の形態では、ダイナミック
レンジDRは、濃度レベルが0〜255に定められ、た
とえばFa=10、Fb=20、Fc=230、Fd=
240であってもよい。
FIG. 13 shows the dynamic range extending device 9.
FIG. 4 is a diagram for explaining image data obtained by the above. The density level in the specified range of the density levels Fa to Fd in the area P1 of the image data obtained at the intermediate exposure amount and the gradient of the density level correspond to the density adjustment in the large and small exposure areas P2 and P3. A correction operation using the exposure coefficient is performed, and thus the characteristic L4 is added to the characteristic L4.
5, an extended dynamic range in which L6 is linearly continued. In the above-described embodiment, the dynamic range DR is such that the density level is determined to be 0 to 255, and for example, Fa = 10, Fb = 20, Fc = 230, Fd =
240.

【0058】ダイナミックレンジ拡張装置9からの補正
後の画像データが与えられるダイナミックレンジ圧縮装
置10では、たとえば陰極線管または液晶表示装置など
におけるダイナミックレンジが図13の参照符31で示
されるように狭い場合、明るさの相対関係が保持される
ように、また全体的に暗い方あるいは明るい方に偏りの
ある広ダイナミックレンジ画像であっても、適正なレベ
ルに変換された見やすい画像を得るようにすることがで
きる。このダイナミックレンジの範囲31は、本発明の
実施の他の形態では、カメラ7と同様に、たとえば0〜
255の濃度レベルの範囲であってもよい。
In the dynamic range compression device 10 to which the corrected image data from the dynamic range expansion device 9 is given, for example, when the dynamic range in a cathode ray tube or a liquid crystal display device is narrow as indicated by reference numeral 31 in FIG. In order to maintain a relative brightness relationship, and to obtain an easy-to-view image that has been converted to an appropriate level even if a wide dynamic range image is biased toward dark or bright sides as a whole. Can be. In another embodiment of the present invention, the range 31 of this dynamic range is, for example, 0 to
A density level range of 255 may be used.

【0059】[0059]

【発明の効果】請求項1〜3,5の本発明によれば、ダ
イナミックレンジを拡張することができることによっ
て、たとえばデジタルスチールカメラおよびビデオカメ
ラなどにおいて本発明を関連して実施し、晴天下の屋外
シーンなどの広いダイナミックレンジが必要な被写体を
必要とする場合における撮影が可能になり、また順光お
よび逆光の区別なく、撮影が可能になる。 しかも本発明によれば、広いダイナミックレンジを持ち
ながら、疑似輪郭がほとんど生じないので、輪郭線抽出
などの画像処理に本発明を有利に実施することができ
る。また画像データがカラー用画像データである場合に
は、色ずれがほとんど生じることはなく、したがって色
の解析を行うことができる。 さらに本発明によれば、撮影時の条件、撮影のためのカ
メラの特性、アナログ/デジタル変換特性などに起因し
た疑似輪郭の発生および不自然な濃度レベルの変化を、
本発明の画像合成の手法によって防ぎ、したがって専用
に設計されていない、または特性が確認されていない種
々の光学系、カメラ、ビデオ信号のアナログ/デジタル
変換器の組合せにも対応可能であり、本発明は汎用的に
実施することができるという優れた効果が達成される。 しかも本発明によれば、画像データの明るい部分と暗い
部分の差が大きい場合であっても、各部分での濃度レベ
ルの変化が表現されることができ、したがって濃度の階
調変化のある見た目に自然な画像として出力することが
できるようになる。
According to the first to third and fifth aspects of the present invention, since the dynamic range can be extended, the present invention can be implemented in a digital still camera, a video camera, or the like, for example. It is possible to take a picture when a subject requiring a wide dynamic range such as an outdoor scene is required, and it is possible to take a picture without distinction between normal light and backlight. Moreover, according to the present invention, since a pseudo contour hardly occurs while having a wide dynamic range, the present invention can be advantageously applied to image processing such as contour line extraction. Further, when the image data is color image data, there is almost no color shift, so that color analysis can be performed. Furthermore, according to the present invention, the occurrence of false contours and unnatural density level changes caused by photographing conditions, camera characteristics for photographing, analog / digital conversion characteristics, etc.
It is possible to cope with various combinations of optical systems, cameras, and analog / digital converters of video signals which are prevented by the image synthesis method of the present invention and are not designed specifically or whose characteristics are not confirmed. An excellent effect that the invention can be implemented for general purpose is achieved. Further, according to the present invention, even when the difference between the bright part and the dark part of the image data is large, the change in the density level in each part can be expressed, and therefore, the appearance with the gradation change of the density can be obtained. Can be output as a natural image.

【0060】請求項4,6の本発明によれば、第2画像
データの濃度レベルF2old,F1oldについて、
濃度レベル差α2,α1および露光量係数β2m,β1
mにより、補正後の画像データの濃度レベルF2ne
w,F1newを演算によって得ることができる。
According to the present invention, the density levels F2old and F1old of the second image data are expressed as follows.
Density level difference α2, α1 and exposure coefficient β2m, β1
m, the density level F2ne of the corrected image data
w and F1new can be obtained by calculation.

【0061】請求項7の本発明によれば、画像データが
カラー用画像データである場合には、露光量係数β2
m,β1mは、各色毎の露光量係数β2R,β2G,β
2B;β1R,β1G,β1Bの平均値であり、これに
よって各色R,G,B毎のセンサ感度差および増幅率に
ばらつきがある場合であっても、色の再現性に優れ、各
色R,G,B間での黒レベル差の影響を少なくし、疑似
輪郭が発生しないようにすることができる。この場合、
濃度レベル差は、各色R,G,B毎に独立して個別的
に、用いる。
According to the present invention, when the image data is color image data, the exposure coefficient β2
m and β1m are exposure coefficient β2R, β2G, β for each color.
2B; average value of β1R, β1G, and β1B, which is excellent in color reproducibility and color R, G even when there is a variation in sensor sensitivity difference and amplification factor for each color R, G, B. , B, the influence of the black level difference can be reduced so that a false contour does not occur. in this case,
The density level difference is used independently and individually for each of the colors R, G, and B.

【0062】請求項8および請求項13の本発明によれ
ば、補正後の画像データF2new,F1newを、第
2画像データの露光量の大小に応じて色温度補正するよ
うにしたので、露光量が大きい、したがって色温度が低
い画像データが赤みがかって見えることを防ぐことがで
き、また露光量が小さい、したがって色温度が高い画像
データが青みがかって見えることを防ぐことができる。
According to the eighth and thirteenth aspects of the present invention, the corrected image data F2new and F1new are corrected in color temperature according to the magnitude of the exposure of the second image data. Can be prevented from appearing reddish in image data having a large color temperature and thus low in color temperature, and can be prevented from appearing bluish in image data having a small exposure amount and therefore having a high color temperature.

【0063】請求項9,10の本発明によれば、濃度レ
ベル差α2,α1および露光量係数β2m,β1mの演
算のために用いる第2画像データの前記平均値F2a,
F2b;F1d,F1cを用いることによって、誤差の
少ない高精度の値を演算して求めることができ、したが
って補正後の画像データの濃度レベルF2new,F1
newを高精度で得ることができるようになる。
According to the ninth and tenth aspects of the present invention, the average value F2a, of the second image data used for calculating the density level differences α2, α1 and the exposure coefficient β2m, β1m.
By using F2b; F1d and F1c, a high-accuracy value with a small error can be calculated and obtained. Therefore, the density levels F2new and F1 of the corrected image data can be obtained.
new can be obtained with high accuracy.

【0064】請求項11の本発明によれば、前述のよう
にカラー用画像データにおける露光量係数β2m,β1
mは、各色毎の露光量係数β2R,β2G,β2B;β
1R,β1G,β1Bの平均値であるので、上述のよう
に誤差を少なくし、高精度の演算を行うことができるよ
うになる。
According to the eleventh aspect of the present invention, as described above, the exposure coefficient β2m, β1
m is an exposure coefficient β2R, β2G, β2B for each color; β
Since the average value of 1R, β1G, and β1B is used, the error can be reduced as described above, and a highly accurate operation can be performed.

【0065】請求項12の本発明によれば、第1画像デ
ータの規定範囲を設定する一方の濃度レベルFa,Fd
よりもダイナミックレンジの内方にある他方の濃度レベ
ルFb,Fcは、予め定める画素数以上であるので、そ
れによる露光量係数β2m,β1mの演算を、高精度で
行うことができるようになる。
According to the twelfth aspect of the present invention, one of the density levels Fa and Fd for setting the specified range of the first image data.
Since the other density levels Fb and Fc which are inside the dynamic range are equal to or larger than the predetermined number of pixels, the calculation of the exposure coefficient β2m and β1m can be performed with high accuracy.

【0066】請求項14の本発明によれば、たとえば中
間の露光量で得られた第1画像のダイナミックレンジの
上下に露光量の大きいおよび露光量の小さい第2および
第3画像データを用いてそれぞれ補正し、濃度レベル合
わせを行いつつ露光量比を用いることにより、濃度変換
を行い、ダイナミックレンジを充分に拡張することがで
きる。
According to the fourteenth aspect of the present invention, for example, the second and third image data having a large exposure and a small exposure are used above and below the dynamic range of a first image obtained at an intermediate exposure. By using the exposure amount ratio while correcting and adjusting the density levels, density conversion can be performed and the dynamic range can be expanded sufficiently.

【0067】請求項15〜17の本発明によれば、画像
データだけでなく、電気信号の電圧および電流、温度な
らびに湿度などの被測定物理量を測定する検出器のダイ
ナミックレンジをも拡張することができるようになる。
According to the present invention, it is possible to extend not only image data but also a dynamic range of a detector for measuring a physical quantity to be measured such as voltage and current of an electric signal, temperature and humidity. become able to.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の一形態の全体の構成を示すブロ
ック図である。
FIG. 1 is a block diagram showing an overall configuration of an embodiment of the present invention.

【図2】ダイナミックレンジ拡張装置9の構成を示すブ
ロック図である。
FIG. 2 is a block diagram showing a configuration of a dynamic range extending device 9.

【図3】カメラ7による画像データの露光量を変えたと
きの被写体の明るさと出力画像データの濃度レベルとの
関係を示す図である。
FIG. 3 is a diagram showing the relationship between the brightness of a subject and the density level of output image data when the exposure amount of image data by the camera 7 is changed.

【図4】本発明の実施の一形態の説明を行うために用い
られる被写体を説明するための図である。
FIG. 4 is a diagram for describing a subject used for describing one embodiment of the present invention.

【図5】図4(1)の被写体をカメラ7で撮像したとき
における露光量が中で撮像された画像データを説明する
ための図である。
FIG. 5 is a diagram for explaining image data of the subject in FIG.

【図6】図4(1)の被写体をカメラ7で撮像したとき
における露光量が大で撮像された画像データを説明する
ための図である。
FIG. 6 is a view for explaining image data of a subject having a large exposure amount when the subject in FIG.

【図7】図4(1)の被写体をカメラ7で撮像したとき
における露光量が小で撮像された画像データを説明する
ための図である。
FIG. 7 is a diagram for explaining image data of a small exposure amount when the subject in FIG. 4A is imaged by the camera 7;

【図8】本発明に従って得られるヒストグラムである。FIG. 8 is a histogram obtained according to the present invention.

【図9】図2に示されるダイナミックレンジ拡張装置9
の全体の動作を簡略化して示すブロック図である。
FIG. 9 shows a dynamic range extending device 9 shown in FIG.
3 is a simplified block diagram showing the overall operation of FIG.

【図10】図9における動作28を具体的に示すフロー
チャートである。
FIG. 10 is a flowchart specifically showing an operation 28 in FIG. 9;

【図11】図9の動作29を具体的に示すフローチャー
トである。
FIG. 11 is a flowchart specifically showing an operation 29 of FIG. 9;

【図12】図9の動作30を具体的に示すフローチャー
トである。
FIG. 12 is a flowchart specifically showing an operation 30 of FIG. 9;

【図13】ダイナミックレンジ拡張装置9によって得ら
れた画像データを説明するための図である。
FIG. 13 is a diagram for explaining image data obtained by the dynamic range extending device 9.

【図14】第1の先行技術によるダイナミックレンジ拡
張結果を示す図である。
FIG. 14 is a diagram showing a result of dynamic range expansion according to the first prior art.

【図15】第2の先行技術によるダイナミックレンジの
拡張結果を示す図である。
FIG. 15 is a diagram showing a result of extending a dynamic range according to the second prior art.

【図16】第3の先行技術によるダイナミックレンジの
拡張結果を示す図である。
FIG. 16 is a diagram showing a result of extending a dynamic range according to a third prior art.

【符号の説明】[Explanation of symbols]

7 カメラ 8 アナログ/デジタル変換回路 9 ダイナミックレンジ拡張装置 10 ダイナミックレンジ圧縮装置 11 撮像素子 12 集光レンズ 15 画像切換え回路 17,18 演算回路 23 置換回路 24,25 濃度変換回路 26,27 色温度補正回路 M1,M2,M3 メモリ 7 Camera 8 Analog / Digital Converter 9 Dynamic Range Extender 10 Dynamic Range Compressor 11 Image Sensor 12 Condenser Lens 15 Image Switching Circuit 17, 18 Arithmetic Circuit 23 Substitution Circuit 24, 25 Density Conversion Circuit 26, 27 Color Temperature Correction Circuit M1, M2, M3 memory

Claims (17)

【特許請求の範囲】[Claims] 【請求項1】 同一被写体を相互に異なる露光量で撮像
して得た複数画面分の画像データから、ダイナミックレ
ンジを拡張した単一枚の画像データを得る画像のダイナ
ミックレンジを拡張する方法において、 露光量が相互に異なる画像データのうち、同一被写体部
分において基準とする画像データのダイナミックレンジ
の両端または片端の濃度レベルを、露光量が異なる画像
データの濃度レベルと濃度レベル合わせα1,α2をす
るとともに、 同一被写体部分における基準とする画像データの濃度レ
ベルの変化量(Fb−Fa,Fd−Fc)に対する露光
量が異なる画像データの濃度レベルの変化量(F2b−
F2a,F1d−F1c)の比である露光量係数β2
m,β1mを用いて基準とする画像データに対して露光
量が異なる画像データを補正することを特徴とする画像
のダイナミックレンジを拡張する方法。
1. A method of extending a dynamic range of an image in which a single image data with an extended dynamic range is obtained from image data of a plurality of screens obtained by imaging the same subject with different exposure amounts. Of the image data having different exposure amounts, the density levels at both ends or one end of the dynamic range of the reference image data in the same subject portion are adjusted to the density levels α1 and α2 of the image data having different exposure amounts. At the same time, the change amount (F2b-F2b-) of the image data having different exposure amounts with respect to the change amount (Fb-Fa, Fd-Fc) of the reference image data in the same subject portion.
F2a, an exposure coefficient β2 which is a ratio of F1d-F1c)
A method for extending a dynamic range of an image, comprising correcting image data having different exposure amounts from reference image data using m and β1m.
【請求項2】 得られた単一枚のダイナミックレンジが
拡張された画像データを基準とする画像データとして、
上記処理を繰返し行うことにより、所望のダイナミック
レンジまで拡張可能とする請求項1記載の画像のダイナ
ミックレンジを拡張する方法。
2. The image data based on the obtained image data having an extended dynamic range of a single sheet,
2. The method for extending a dynamic range of an image according to claim 1, wherein the dynamic range can be extended to a desired dynamic range by repeating the above processing.
【請求項3】 或る露光量で撮像した第1画像データ
と、その第1画像データよりも大きい露光量で撮像した
第2画像データとを得、 第1画像データのうち、ダイナミックレンジの一方端の
画像データが表す濃度レベルFaと、第2画像データの
うち、ダイナミックレンジの他方端の画像データが表す
濃度レベルF2aとの濃度レベル差α2を求め、 第1画像データのうち、ダイナミックレンジの前記一方
端の画像データが表す被写体部分に対する濃度レベルの
変化量(Fb−Fa)を求め、 第2画像データのうち、ダイナミックレンジの前記他方
端の画像データが表す前記被写体部分に対する濃度レベ
ルの変化量(F2b−F2a)との比である露光量係数
β2mを求め、 前記濃度レベル差α2と露光量係数β2mとに基づい
て、第2画像データの濃度レベルF2oldを補正し
て、第1画像データのダイナミックレンジの前記一方端
に連続する補正後の画像データF2newを求めること
を特徴とする画像のダイナミックレンジを拡張する方
法。
3. Obtaining first image data picked up with a certain exposure amount and second image data picked up with an exposure amount larger than the first image data, wherein one of the dynamic ranges of the first image data is obtained. A density level difference α2 between the density level Fa represented by the image data at the end and the density level F2a represented by the image data at the other end of the dynamic range of the second image data is determined. Calculating a change amount (Fb-Fa) of a density level with respect to a subject portion represented by the one end image data; and changing a density level with respect to the subject portion represented by the other end image data of the dynamic range in the second image data Exposure coefficient β2m, which is a ratio to the amount (F2b−F2a), is obtained. Based on the density level difference α2 and the exposure coefficient β2m, the second image data A method of correcting the density level F2old of the first image data to obtain corrected image data F2new continuous to the one end of the dynamic range of the first image data.
【請求項4】 前記補正後の画像データの濃度レベルF
2newは、 F2new = Fa+(F2old+α2−Fa)×β
2m であることを特徴とする請求項3記載の画像のダイナミ
ックレンジを拡張する方法。
4. A density level F of the corrected image data.
2new is: F2new = Fa + (F2old + α2-Fa) × β
4. The method of claim 3, wherein the dynamic range is 2m.
【請求項5】 或る露光量で撮像した第1画像データ
と、その第1画像データよりも小さい露光量で撮像した
第2画像データとを得、 第1画像データのうち、ダイナミックレンジの一方端の
画像データが表す濃度レベルFdと、第2画像データの
うち、ダイナミックレンジの他方端の画像データが表す
濃度レベルF1dとの濃度レベル差α1を求め、 第1画像データのうち、ダイナミックレンジの前記一方
端の画像データが表す被写体部分に対する濃度レベルの
変化量(Fc−Fd)を求め、 第2画像データのうち、ダイナミックレンジの前記他方
端の画像データが表す前記被写体部分に対する濃度レベ
ルの変化量(F1d−F1c)との比である露光量係数
β1mを求め、 前記濃度レベル差α1と露光量係数β1mとに基づい
て、第2画像データの濃度レベルF1oldを補正し
て、第1画像データのダイナミックレンジの前記一方端
に連続する補正後の画像データF1newを求めること
を特徴とする画像のダイナミックレンジを拡張する方
法。
5. Obtaining first image data imaged at a certain exposure amount and second image data imaged at an exposure amount smaller than the first image data, wherein one of the dynamic ranges of the first image data is obtained. The density level difference α1 between the density level Fd represented by the image data at the end and the density level F1d represented by the image data at the other end of the dynamic range of the second image data is determined. Calculating a change amount (Fc-Fd) of a density level with respect to a subject portion represented by the one end image data; and changing a density level with respect to the subject portion represented by the other end image data of the dynamic range in the second image data. Exposure coefficient β1m, which is a ratio to the amount (F1d−F1c), is obtained. Based on the density level difference α1 and the exposure coefficient β1m, the second image data A method of extending the dynamic range of an image, comprising: correcting the density level F1old of the first image data to obtain corrected image data F1new continuous to the one end of the dynamic range of the first image data.
【請求項6】 前記補正後の画像データの濃度レベルF
1newは、 F1new = Fd+(F1old+α1−Fd)×β
1m であることを特徴とする請求項5記載の画像のダイナミ
ックレンジを拡張する方法。
6. A density level F of the corrected image data.
1new is: F1new = Fd + (F1old + α1-Fd) × β
The method of extending a dynamic range of an image according to claim 5, wherein the dynamic range is 1m.
【請求項7】 画像データは、赤R、緑Gおよび青Bの
各色毎のカラー用画像データであり、 露光量係数β2m,β1mは、各色毎の画像データによ
って得られた露光量係数β2R,β2G,β2B;β1
R,β1G,β1Bの平均値であることを特徴とする請
求項1〜6のうちの1つに記載の画像のダイナミックレ
ンジを拡張する方法。
7. The image data is color image data for each of red R, green G, and blue B, and the exposure coefficients β2m and β1m are exposure coefficient β2R, β2R obtained from the image data for each color. β2G, β2B; β1
7. The method according to claim 1, wherein the average value of R, .beta.1G and .beta.1B is averaged.
【請求項8】 各色毎の前記補正後の画像データF2n
ew,F1newを、その補正後の画像データF2ne
wを求めるために用いた画像データF2oldが、露光
量が大きい方の画像データであるとき、赤色の利得を青
色の利得に比べて低下して色温度補正し、 その補正後の画像データF1newを求めるために用い
た画像データF1oldが、露光量が小さい方の画像デ
ータであるとき、青色の利得を赤色の利得に比べて低下
して色温度補正することを特徴とする請求項1〜7のう
ちの1つに記載の画像のダイナミックレンジを拡張する
方法。
8. The corrected image data F2n for each color
ew, F1new, and the corrected image data F2ne
When the image data F2old used for obtaining w is the image data with the larger exposure amount, the gain of red is reduced compared to the gain of blue to correct the color temperature, and the corrected image data F1new is 8. The image processing apparatus according to claim 1, wherein when the image data F1old used for obtaining the image data has a smaller exposure amount, the blue temperature is reduced compared to the red gain to correct the color temperature. A method of extending a dynamic range of an image according to one of the above.
【請求項9】 或る露光量で撮像した複数の濃度レベル
を有する第1画像データをストアする第1メモリと、 第1画像データの露光量よりも大きい方の露光量で、第
1画像データと同一被写体を撮像した複数の濃度レベル
を有する第2画像データをストアする第2メモリと、 第1メモリにストアされている第1画像データの濃度レ
ベルのダイナミックレンジ内で、露光量の前記大きい方
に対応した側にある複数の各予め定める濃度レベルF
a,Fbのうち、ダイナミックレンジの外方寄りにある
濃度レベルFaおよびさらに外方寄りにある濃度レベ
ル、ならびに前記予め定める外方寄りの濃度レベルFa
よりも内方にある濃度レベルFbの濃度レベルを有する
第1メモリの画素の座標を抽出する第1抽出手段と、 第1抽出手段によって抽出された座標と同一座標を有す
る第2メモリの画素を抽出する第2抽出手段と、 第2抽出手段の出力に応答し、前記予め定める各濃度レ
ベルFa,Fb毎に、第2メモリから抽出された画素の
有する濃度レベルの平均値F2a,F2bを求める平均
値演算手段と、 平均値演算手段の出力に応答し、第2画像データの濃度
レベルを、第1画像データの濃度レベルに濃度レベル合
わせをするためのダイナミックレンジの外方寄りにある
濃度レベルFaに関する濃度レベル差α2、 α2 = Fa−F2a を求め、さらに、 第2画像データの濃度レベルの傾きに対する第1画像デ
ータの濃度レベルの傾きの比である露光量係数β2m、 β2m = (Fb−Fa)/(F2b−F2a) を求める第1演算手段と、 第2抽出手段の出力に応答し、第1メモリの前記予め定
める濃度レベルFa,Fbよりもダイナミックレンジの
さらに外方にある濃度レベルを有する各画素の座標と同
一座標を有する第2メモリの画素の濃度レベルをF2o
ldとするとき、補正後の画像データの濃度レベルF2
new、 F2new = Fa+(F2old+α2−Fa)×β
2m を演算する第2演算手段とを含むことを特徴とする画像
のダイナミックレンジを拡張する装置。
9. A first memory for storing first image data having a plurality of density levels imaged at a certain exposure amount, and a first image data having an exposure amount larger than the exposure amount of the first image data. A second memory for storing second image data having a plurality of density levels obtained by imaging the same subject; and the large exposure amount within a dynamic range of the density level of the first image data stored in the first memory. A plurality of predetermined density levels F on the side corresponding to the
a, Fb, the density level Fa outside the dynamic range, the density level further outside, and the predetermined outside density level Fa
First extracting means for extracting the coordinates of the pixel of the first memory having the density level of the density level Fb which is further inside than the first memory; and extracting the pixels of the second memory having the same coordinates as the coordinates extracted by the first extracting means. The second extracting means to be extracted, and the average values F2a and F2b of the density levels of the pixels extracted from the second memory are obtained for each of the predetermined density levels Fa and Fb in response to the output of the second extracting means. An average value calculating means for responding to the output of the average value calculating means to adjust the density level of the second image data to a density level outside the dynamic range for adjusting the density level to the density level of the first image data; The density level difference α2, α2 = Fa−F2a with respect to Fa is obtained, and the ratio of the density level gradient of the first image data to the gradient of the density level of the second image data. A first calculating means for obtaining light quantity coefficients β2m, β2m = (Fb-Fa) / (F2b-F2a); and a response to the output of the second extracting means, which is more dynamic than the predetermined density levels Fa and Fb of the first memory. The density level of the pixel in the second memory having the same coordinates as the coordinates of each pixel having the density level further outside the range is represented by F2o.
ld, the density level F2 of the corrected image data
new, F2new = Fa + (F2old + α2-Fa) × β
And a second calculating means for calculating 2m 2.
【請求項10】 或る露光量で撮像した複数の濃度レベ
ルを有する第1画像データをストアする第1メモリと、 第1画像データの露光量よりも小さい方の露光量で、第
1画像データと同一被写体を撮像した複数の濃度レベル
を有する第2画像データをストアする第2メモリと、 第1メモリにストアされている第1画像データの濃度レ
ベルのダイナミックレンジ内で、露光量の前記小さい方
に対応した側にある複数の各予め定める濃度レベルF
d,Fcのうち、ダイナミックレンジの外方寄りにある
濃度レベルFdおよびさらに外方寄りにある濃度レベ
ル、ならびに前記予め定める外方寄りの濃度レベルFd
よりも内方にある濃度レベルFcの濃度レベルを有する
第1メモリの画素の座標を抽出する第1抽出手段と、 第1抽出手段によって抽出された座標と同一座標を有す
る第2メモリの画素を抽出する第2抽出手段と、 第2抽出手段の出力に応答し、前記予め定める各濃度レ
ベルFd,Fc毎に、第2メモリから抽出された画素の
有する濃度レベルの平均値F1d,F1cを求める平均
値演算手段と、 平均値演算手段の出力に応答し、第2画像データの濃度
レベルを、第1画像データの濃度レベルに濃度レベル合
わせをするためのダイナミックレンジの外方寄りにある
濃度レベルFdに関する濃度レベル差α1、 α1 = Fd−F1d を求め、さらに、 第2画像データの濃度レベルの傾きに対する第1画像デ
ータの濃度レベルの傾きの比である露光量係数β1m、 β1m = (Fd−Fc)/(F1d−F1c) を求める第1演算手段と、 第2抽出手段の出力に応答し、第1メモリの前記予め定
める濃度レベルFd,Fcよりもダイナミックレンジの
さらに外方にある濃度レベルを有する各画素の座標と同
一座標を有する第2メモリの画素の濃度レベルをF1o
ldとするとき、補正後の画像データの濃度レベルF1
new、 F1new = Fd+(F1old+α1−Fd)×β
1m を演算する第2演算手段とを含むことを特徴とする画像
のダイナミックレンジを拡張する装置。
10. A first memory for storing first image data having a plurality of density levels imaged at a certain exposure amount, and a first image data having an exposure amount smaller than the exposure amount of the first image data. A second memory for storing second image data having a plurality of density levels obtained by imaging the same subject, and the small exposure amount within a dynamic range of the density level of the first image data stored in the first memory. A plurality of predetermined density levels F on the side corresponding to the
Among d and Fc, the density level Fd located outside the dynamic range, the density level located further outside, and the predetermined outside density level Fd
First extracting means for extracting the coordinates of the pixel of the first memory having the density level of the density level Fc which is further inward than the first memory; Second extraction means to be extracted and average values F1d and F1c of the density levels of the pixels extracted from the second memory are obtained for each of the predetermined density levels Fd and Fc in response to the output of the second extraction means. An average value calculating means, and a density level which is closer to the outside of a dynamic range for adjusting the density level of the second image data to the density level of the first image data in response to the output of the average value calculating means. The density level difference α1, α1 = Fd−F1d with respect to Fd is obtained, and the ratio of the density level gradient of the first image data to the density level gradient of the second image data. A first calculating means for calculating light quantity coefficients β1m, β1m = (Fd−Fc) / (F1d−F1c); The density level of the pixel of the second memory having the same coordinates as the coordinates of each pixel having the density level further outside the range is F1o.
ld, the density level F1 of the corrected image data
new, F1new = Fd + (F1old + α1-Fd) × β
And a second calculating means for calculating 1m 2.
【請求項11】 第1および第2画像データは、赤R、
緑Gおよび青Bの各色毎のカラー用画像データであり、 第1演算手段は、各色毎の第1および第2画像データに
基づいて、各色毎に露光量係数β2R,β2G,β2
B;β1R,β1G,β1Bを求め、その各色毎の露光
量係数β2R,β2G,β2B;β1R,β1G,β1
Bの平均値β2m,β1mを求めて第2演算手段に与え
ることを特徴とする請求項9または10記載の画像のダ
イナミックレンジを拡張する装置。
11. The first and second image data are red R,
Color image data for each color of green G and blue B, and the first calculating means calculates the exposure coefficient β2R, β2G, β2 for each color based on the first and second image data for each color.
B; β1R, β1G, β1B are obtained, and the exposure coefficient β2R, β2G, β2B for each color is obtained; β1R, β1G, β1
11. The apparatus for expanding the dynamic range of an image according to claim 9, wherein the average value β2m, β1m of B is obtained and provided to the second calculating means.
【請求項12】 第1抽出手段は、 (a)第1メモリにストアされている第1画像データの
濃度レベル毎の画素数を表すヒストグラムを作成する手
段と、 (b)ヒストグラム作成手段の出力に応答し、 前記予め定める濃度レベルFa,Fb;Fd,Fcのう
ち、一方の予め定める濃度レベルFa,Fdは、他方の
予め定める濃度レベルFb,Fcよりもダイナミックレ
ンジの外方寄りに定め、かつ前記他方の予め定める濃度
レベルFb,Fcを、前記一方の予め定める濃度レベル
Fa,Fdからダイナミックレンジ内方に予め定める画
素数以上の濃度レベルを有する最初の濃度レベルとして
定める手段とを含むことを特徴とする請求項9〜11の
うちの1つに記載の画像のダイナミックレンジを拡張す
る装置。
12. The first extracting means includes: (a) means for creating a histogram representing the number of pixels for each density level of the first image data stored in the first memory; and (b) output of the histogram creating means. Among the predetermined density levels Fa and Fb; Fd and Fc, one of the predetermined density levels Fa and Fd is set closer to the outside of the dynamic range than the other predetermined density levels Fb and Fc; Means for determining the other predetermined density level Fb, Fc as the first density level having a density number equal to or more than a predetermined number of pixels within the dynamic range from the one predetermined density level Fa, Fd. Device for extending the dynamic range of an image according to one of claims 9 to 11, characterized in that:
【請求項13】 (a)第1および第2画像データは、
赤R、緑Gおよび青Bの各色毎のカラー用画像データで
あり、 (b)第1画像データの露光量に比べて第2画像データ
の露光量が大きいとき、赤色の利得を青色の利得に比べ
て低下して設定し、 第2画像データの露光量が小さいとき、青色の利得を赤
色の利得に比べて低下して設定する色温度補正用メモリ
と、 (c)色温度補正用メモリにストアされている利得を、
前記補正後の画像データF2new,F1newに掛算
する色温度補正演算手段とを含むことを特徴とする請求
項9〜12のうちの1つに記載の画像のダイナミックレ
ンジを拡張する装置。
13. (a) The first and second image data are:
And (b) when the exposure amount of the second image data is larger than the exposure amount of the first image data, the red gain is changed to the blue gain. A color temperature correction memory for setting the blue gain to be lower than the red gain when the exposure amount of the second image data is small; and (c) a color temperature correction memory. The gain stored in
The apparatus according to any one of claims 9 to 12, further comprising a color temperature correction calculating unit that multiplies the corrected image data (F2new, F1new).
【請求項14】 或る露光量で撮像した複数の濃度レベ
ルを有する第1画像データをストアする第1メモリと、 第1画像データの露光量よりも大の露光量で、第1画像
データと同一被写体を撮像した複数の濃度レベルを有す
る第2画像データをストアする第2メモリと、第1画像
データの露光量よりも小の露光量で、第1画像データと
同一被写体を撮像した複数の濃度レベルを有する第3画
像データをストアする第3メモリと、第1メモリにスト
アされている第1画像データの濃度レベルのダイナミッ
クレンジ内で、第1画像データの濃度レベルが、露光量
の大きい方に対応した一方側にある予め定める第1濃度
レベルFaと、露光量の小さい方に対応した他方側にあ
る第2濃度レベルFdとの間の規定範囲よりも外方であ
って、第1濃度レベルFaよりも外方にあるか、または
第2濃度レベルFdよりも外方にあるかを判断する範囲
判断手段と、 範囲判断手段の出力に応答し、第1画像データの濃度レ
ベルが第1濃度レベルFaよりも外方にあるとき、ダイ
ナミックレンジの前記一方側で第1濃度レベルFaより
もダイナミックレンジ内方の第3濃度レベルFbを定
め、第1の濃度レベルFa以下および第3濃度レベルF
bの濃度レベルを有する第1メモリにストアされている
第1画像データの画素の座標を抽出する第1抽出手段
と、 第1抽出手段によって抽出された座標と同一座標を有す
る第2メモリの画素を抽出する第2抽出手段と、 第2抽出手段の出力に応答し、第1および第3濃度レベ
ルFa,Fb毎に、第2メモリから抽出された画素の有
する濃度レベルの平均値F2a,F2bを求める第1平
均値演算手段と、 第1平均値演算手段の出力に応答し、第2画像データの
濃度レベルを、第1画像データの濃度レベルに濃度レベ
ル合わせをするためのダイナミックレンジの外方寄りに
ある第1濃度レベルFaに関する濃度レベル差α2、 α2 = Fa−F2a を求め、さらに、 第2画像データの濃度レベルの傾きに対する第1画像デ
ータの濃度レベルの傾きの比である露光量係数β2m、 β2m = (Fb−Fa)/(F2b−F2a) を求める第1演算手段と、 第2抽出手段の出力に応答し、第1メモリの第1濃度レ
ベルFa未満を有する各画素の座標と同一座標を有する
第2メモリの画素の濃度レベルをF2oldとすると
き、補正後の画像データの濃度レベルF2new、 F2new = Fa+(F2old+α2−Fa)×β
2m を演算する第2演算手段と、 範囲判断手段の出力に応答し、第1画像データの濃度レ
ベルが第2濃度レベルFdよりも外方にあるとき、ダイ
ナミックレンジの前記他方側で第2濃度レベルFdより
もダイナミックレンジ内方の第4濃度レベルFcを定
め、第2濃度レベルFd以上および第4濃度レベルFc
の濃度レベルを有する第1メモリにストアされている画
素の座標を抽出する第3抽出手段と、 第3抽出手段によって抽出された座標と同一座標を有す
る第3メモリの画素を抽出する第4抽出手段と、 第4抽出手段の出力に応答し、第2および第4濃度レベ
ルFd,Fc毎に、第3メモリから抽出された画素の有
する濃度レベルの平均値F1d,F1cを求める第2平
均値演算手段と、 第2平均値演算手段の出力に応答し、第3画像データの
濃度レベルを第1画像データの濃度レベルに濃度レベル
合わせをするためのダイナミックレンジの外方寄りにあ
る第2濃度レベルFdに関する濃度レベル差α1、 α1 = Fd−F1d を求め、さらに、 第3画像データの濃度レベルの傾きに対する第1画像デ
ータの濃度レベルの傾きの比である露光量係数β1m、 β1m = (Fd−Fc)/(F1d−F1c) を求める第3演算手段と、 第4抽出手段の出力に応答し、第1メモリの第2濃度レ
ベルFdを超える濃度レベルを有する各画素の座標と同
一座標を有する第3メモリの画素の濃度レベルをF1o
ldとするとき、補正後の画像データの濃度レベルF1
new、 F1new = Fd+(F1old+α1−Fd)×β
1m を演算する第4演算手段とを含むことを特徴とする画像
のダイナミックレンジを拡張する装置。
14. A first memory for storing first image data having a plurality of density levels imaged at a certain exposure amount, and a first image data having an exposure amount larger than the exposure amount of the first image data. A second memory for storing second image data having a plurality of density levels of the same subject, and a plurality of images of the same subject as the first image data with an exposure smaller than the exposure of the first image data; A third memory storing third image data having a density level, and a density level of the first image data having a large exposure amount within a dynamic range of the density level of the first image data stored in the first memory. Outside the specified range between a predetermined first density level Fa on one side corresponding to the first side and a second density level Fd on the other side corresponding to the smaller exposure amount, and Density Range determination means for determining whether the first image data is located outside of the first density level Fd or the second density level Fd. When it is located outside the density level Fa, a third density level Fb located inside the dynamic range of the first density level Fa is determined on the one side of the dynamic range, and the third density level is equal to or lower than the first density level Fa. F
first extracting means for extracting the coordinates of the pixels of the first image data stored in the first memory having the density level of b, and pixels of the second memory having the same coordinates as the coordinates extracted by the first extracting means And an average value F2a, F2b of the density levels of the pixels extracted from the second memory for each of the first and third density levels Fa, Fb in response to the output of the second extraction means. A first average value calculating means for determining the density level of the second image data and a density level outside the dynamic range for adjusting the density level of the second image data to the density level of the first image data in response to the output of the first average value calculating means. A density level difference α2, α2 = Fa−F2a with respect to the first density level Fa closer thereto is obtained, and the density level of the first image data with respect to the gradient of the density level of the second image data is calculated. First calculating means for calculating the exposure coefficient β2m, β2m = (Fb-Fa) / (F2b-F2a), which is a ratio of the first exposure level, and the first density level Fa of the first memory in response to the output of the second extracting means. When the density level of the pixel of the second memory having the same coordinate as the coordinate of each pixel having less than F2old is F2old, the density level of the corrected image data F2new, F2new = Fa + (F2old + α2-Fa) × β
2m in response to the output of the range judging means, and when the density level of the first image data is outside the second density level Fd, the second density on the other side of the dynamic range. A fourth density level Fc that is inside the dynamic range from the level Fd is determined, and is equal to or higher than the second density level Fd and the fourth density level Fc.
Extracting means for extracting the coordinates of the pixels stored in the first memory having the density level of, and extracting the pixels of the third memory having the same coordinates as the coordinates extracted by the third extracting means Means for responding to the output of the fourth extracting means, and for each of the second and fourth density levels Fd and Fc, a second average value for obtaining average values F1d and F1c of the density levels of the pixels extracted from the third memory. Calculating means for responding to the output of the second average value calculating means, the second density being outside the dynamic range for adjusting the density level of the third image data to the density level of the first image data. A density level difference α1, α1 = Fd−F1d with respect to the level Fd is obtained, and further, an exposure amount which is a ratio of a gradient of the density level of the first image data to a gradient of the density level of the third image data. A third calculating means for obtaining the numbers β1m, β1m = (Fd−Fc) / (F1d−F1c); The density level of the pixel in the third memory having the same coordinate as the pixel is represented by F1o
ld, the density level F1 of the corrected image data
new, F1new = Fd + (F1old + α1-Fd) × β
And a fourth calculating means for calculating 1m 2.
【請求項15】 同一の被測定物理量を相互に異なる特
性で測定して複数の検出データを得、 基準とする検出データのダイナミックレンジの両端また
は片端の検出レベルを、異なる特性で測定した検出デー
タの検出レベルと検出レベル合わせα1,α2をすると
ともに、 同一被測定対象に対する基準とする検出データと異なる
特性で測定した検出データとの被測定物理量の変化量
(Fb−Fa,Fd−Fc)に対する検出レベルの変化
量(F2b−F2a,F1d−F1c)の比である係数
β2m,β1mを用いて、基準とする検出データに対し
て異なる特性で測定した検出データを補正することを特
徴とする検出器のダイナミックレンジを拡張する方法。
15. Detection data obtained by measuring the same physical quantity to be measured with mutually different characteristics to obtain a plurality of detection data, and detecting the detection levels at both ends or one end of the dynamic range of the reference detection data with different characteristics. And the detection levels are adjusted to α1 and α2, and the variation (Fb−Fa, Fd−Fc) of the physical quantity to be measured between the reference detection data for the same measurement target and the detection data measured with different characteristics. Detection using the coefficients β2m and β1m, which are the ratios of detection level change amounts (F2b−F2a, F1d−F1c), to correct detection data measured with different characteristics from reference detection data. To extend the dynamic range of the vessel.
【請求項16】 被測定物理量を予め定める特性で検出
した第1検出データをストアする第1メモリと、 低い値の範囲内にある被測定物理量を、第1特性による
第1検出データの検出レベルよりも大きい検出レベルで
得る第2特性によって検出した第2検出データをストア
する第2メモリと、 第1メモリにストアされている第1検出データの検出レ
ベルのダイナミックレンジ内で、検出レベルの隣接した
側にある複数の各予め定める検出レベルFa,Fbのう
ち、ダイナミックレンジの外方寄りにある検出レベルF
aおよびさらに外方寄りにある検出レベルならびに前記
予め定める外方寄りの検出レベルFaよりも内方にある
検出レベルFbの検出レベルを有する第1メモリの時間
軸上の時刻を抽出する第1抽出手段と、 第1抽出手段によって抽出された時刻と同一時刻におけ
る第2メモリの検出データを抽出する第2抽出手段と、 第2抽出手段の出力に応答し、第2検出データの検出レ
ベルを、第1検出データの検出レベルに検出レベル合わ
せをするためのダイナミックレンジの外方寄りにある検
出レベルFaに関する検出レベル差α2、 α2=Fa−F2a を求め、さらに、 第2検出データの検出レベルの傾きに対する第1検出デ
ータの検出レベルの傾きの比である係数β2m、 β2m=(Fb−Fa)/(F2b−F2a) を求める第1演算手段と、 第2抽出手段の出力に応答し、第1メモリの前記予め定
める検出レベルFa,Fbよりもさらに外方にある検出
レベルを有する各同一時刻毎の第2メモリの検出レベル
をF2oldとするとき、補正後の検出データの検出レ
ベルF2new、 F2new=Fa+(F2old+α2−Fa)×β2
m を演算する第2演算手段とを含むことを特徴とする検出
器のダイナミックレンジを拡張する装置。
16. A first memory for storing first detection data obtained by detecting a physical quantity to be measured with a predetermined characteristic, and a detection level of the first detection data based on the first characteristic, wherein the physical quantity to be measured within a low value range is determined. A second memory for storing second detection data detected by a second characteristic obtained at a higher detection level, and an adjacent detection level within a dynamic range of the detection level of the first detection data stored in the first memory. Of the plurality of predetermined detection levels Fa and Fb on the side where the detection level F is located outside the dynamic range.
a and a first extraction for extracting a time on a time axis of a first memory having a detection level further outward and a detection level Fb which is more inward than the predetermined outward detection level Fa. Means for extracting detection data of the second memory at the same time as the time extracted by the first extraction means; and responding to the output of the second extraction means, detecting the detection level of the second detection data, A detection level difference α2, α2 = Fa−F2a relating to a detection level Fa located outside of the dynamic range for adjusting the detection level to the detection level of the first detection data is obtained. First calculating means for obtaining coefficients β2m, β2m = (Fb−Fa) / (F2b−F2a), which are ratios of the slope of the detection level of the first detection data to the slope. Responsive to the output of the second extracting means, the detection level of the second memory having the detection level further outward than the predetermined detection levels Fa and Fb of the first memory at the same time is F2old. , Detection level F2new of the corrected detection data, F2new = Fa + (F2old + α2-Fa) × β2
and a second calculating means for calculating m. 2. An apparatus for extending a dynamic range of a detector.
【請求項17】 被測定物理量を予め定める特性で検出
した第1検出データをストアする第1メモリと、 高い値の範囲内にある被測定物理量を、第1特性による
第1検出データの検出レベルよりも大きい検出レベルで
得る第2特性によって検出した第2検出データをストア
する第2メモリと、 第1メモリにストアされている第1検出データの検出レ
ベルのダイナミックレンジ内で、検出レベルの隣接した
側にある複数の各予め定める検出レベルFd,Fcのう
ち、ダイナミックレンジの外方寄りにある検出レベルF
dおよびさらに外方寄りにある検出レベルならびに前記
予め定める外方寄りの検出レベルFdよりも内方にある
検出レベルFcの検出レベルを有する第1メモリの時間
軸上の時刻を抽出する第1抽出手段と、 第1抽出手段によって抽出された時刻と同一時刻におけ
る第2メモリの検出データを抽出する第2抽出手段と、 第2抽出手段の出力に応答し、第2検出データの検出レ
ベルを、第1検出データの検出レベルに検出レベル合わ
せをするためのダイナミックレンジの外方寄りにある検
出レベルFdに関する検出レベル差α1、 α1=Fd−F1d を求め、さらに、 第2検出データの検出レベルの傾きに対する第1検出デ
ータの検出レベルの傾きの比である係数β1m、 β1m=(Fd−Fc)/(F1d−F1c) を求める第1演算手段と、 第2抽出手段の出力に応答し、第1メモリの前記予め定
める検出レベルFd,Fcよりもさらに外方にある検出
レベルを有する各同一時刻毎の第2メモリの検出レベル
をF1oldとするとき、補正後の検出データの検出レ
ベルF1new、 F1new=Fd+(F1old+α1−Fd)×β1
m を演算する第2演算手段とを含むことを特徴とする検出
器のダイナミックレンジを拡張する装置。
17. A first memory for storing first detection data obtained by detecting a physical quantity to be measured with a predetermined characteristic, and detecting a physical quantity to be measured within a high value range with a detection level of the first detection data based on the first characteristic. A second memory for storing second detection data detected by a second characteristic obtained at a higher detection level, and a detection level adjacent to the detection level within a dynamic range of the detection level of the first detection data stored in the first memory. Of the plurality of predetermined detection levels Fd and Fc on the side of the dynamic range,
d and a first extraction for extracting a time on the time axis of the first memory having a detection level further outward and a detection level Fc further inward than the predetermined outward detection level Fd. Means for extracting detection data in the second memory at the same time as the time extracted by the first extraction means; and responding to the output of the second extraction means, setting the detection level of the second detection data to: The detection level difference α1, α1 = Fd−F1d relating to the detection level Fd located outside the dynamic range for adjusting the detection level to the detection level of the first detection data is obtained. First calculating means for obtaining coefficients β1m, β1m = (Fd−Fc) / (F1d−F1c), which are ratios of the slope of the detection level of the first detection data to the slope. Responsive to the output of the second extracting means, the detection level of the second memory having the detection level further outward than the predetermined detection levels Fd and Fc of the first memory at the same time is F1old. , Detection level F1new of the corrected detection data, F1new = Fd + (F1old + α1−Fd) × β1
and a second calculating means for calculating m. 2. An apparatus for extending a dynamic range of a detector.
JP10373197A 1997-04-21 1997-04-21 Method and apparatus for extending the dynamic range of an image Expired - Lifetime JP3361957B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10373197A JP3361957B2 (en) 1997-04-21 1997-04-21 Method and apparatus for extending the dynamic range of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10373197A JP3361957B2 (en) 1997-04-21 1997-04-21 Method and apparatus for extending the dynamic range of an image

Publications (2)

Publication Number Publication Date
JPH10294912A true JPH10294912A (en) 1998-11-04
JP3361957B2 JP3361957B2 (en) 2003-01-07

Family

ID=14361795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10373197A Expired - Lifetime JP3361957B2 (en) 1997-04-21 1997-04-21 Method and apparatus for extending the dynamic range of an image

Country Status (1)

Country Link
JP (1) JP3361957B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319015A (en) * 2001-04-19 2002-10-31 Synthesis Corp Method of composing image
WO2016123850A1 (en) * 2015-02-02 2016-08-11 宇龙计算机通信科技(深圳)有限公司 Photographing control method for terminal, and terminal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002319015A (en) * 2001-04-19 2002-10-31 Synthesis Corp Method of composing image
WO2016123850A1 (en) * 2015-02-02 2016-08-11 宇龙计算机通信科技(深圳)有限公司 Photographing control method for terminal, and terminal

Also Published As

Publication number Publication date
JP3361957B2 (en) 2003-01-07

Similar Documents

Publication Publication Date Title
US6924841B2 (en) System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US7623105B2 (en) Liquid crystal display with adaptive color
KR101044307B1 (en) Image processing apparatus and method
EP1761072B1 (en) Image processing device for detecting chromatic difference of magnification from raw data, image processing program, and electronic camera
JP3892648B2 (en) Image input device, white balance adjustment method, and computer-readable recording medium storing program for executing the method
JP5427247B2 (en) Automatic white balance (AWB) adjustment
US8922680B2 (en) Image processing apparatus and control method for image processing apparatus
US20080043120A1 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
JP2003198891A (en) Image display controller, image display control method, and imaging apparatus
EP0442369B1 (en) Gradation correcting apparatus
KR100956228B1 (en) Image processing apparatus having function of correctting distortion of image
JP2001197512A (en) Color component generator and multi-color image pickup device using it, and color component generating method
KR20050064796A (en) Picture quality evaluation device and controlling method thereof
KR101306780B1 (en) Apparatus for estimating global motion between images in hdr image system and method thereof
JPH10294912A (en) Method and device for extending dynamic range of picture
US6175381B1 (en) Image processing method and image processing apparatus
JP2003101884A (en) Shading correcting device and method
JPH10294911A (en) Method and device for compressing dynamic range of picture
JP3495570B2 (en) Tone characteristic measuring device
JPH02215286A (en) Offset and sensitivity correcting circuit for p-n junction type infrared ray multielement detector
KR100566571B1 (en) Method and apparatus for auto compensating image sensor lens shading
JPH0746456A (en) Video camera having hand-shake correction device
JPH08331443A (en) Adjustment system for image display device and image pickup device
JP4309237B2 (en) Imaging device
JPH0898091A (en) Automatic changeover circuit for offset correction data

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081018

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091018

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101018

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111018

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111018

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121018

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121018

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131018

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131018

Year of fee payment: 11

EXPY Cancellation because of completion of term