JPH08214211A - Picture composing device - Google Patents

Picture composing device

Info

Publication number
JPH08214211A
JPH08214211A JP7016924A JP1692495A JPH08214211A JP H08214211 A JPH08214211 A JP H08214211A JP 7016924 A JP7016924 A JP 7016924A JP 1692495 A JP1692495 A JP 1692495A JP H08214211 A JPH08214211 A JP H08214211A
Authority
JP
Japan
Prior art keywords
image
dynamic range
parameter
histogram
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7016924A
Other languages
Japanese (ja)
Other versions
JP3639627B2 (en
Inventor
Kenji Takahashi
賢司 高橋
Eiichiro Ikeda
栄一郎 池田
Yoshiro Udagawa
善郎 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP01692495A priority Critical patent/JP3639627B2/en
Priority to US08/594,265 priority patent/US5929908A/en
Priority to EP96300690A priority patent/EP0725536B1/en
Priority to DE69627407T priority patent/DE69627407T2/en
Priority to ES96300690T priority patent/ES2193226T3/en
Publication of JPH08214211A publication Critical patent/JPH08214211A/en
Application granted granted Critical
Publication of JP3639627B2 publication Critical patent/JP3639627B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)

Abstract

PURPOSE: To provide a device capable of obtaining a picture with a wide dynamic range by composing plural pictures. CONSTITUTION: A reference picture is photographed under suitable exposure and the photographed picture is stored in a memory 7 at first. A dynamic range expansion judging part 9 judges the necessity of the expansion of a dynamic range from the histogram of the reference picture which is found out by a histogram processing part 8. When the expansion is necessary, a parameter determining part 10 determines a photographic parameter for different exposure, an image pickup element controlling part 11 controls a diaphragm and a shutter to execute 2nd photographing and obtain a non-standard picture and a composing part 12 composes the non-standard picture and the standard picture to obtain a picture with a wide dynamic range. When the expansion of the dynamic range is unnecessary, only the standard picture is outputted without executing the 2nd photographing. Thereby the device can obtain a picture only by one photographing when the expansion of the dynamic range is unnecessary in addition to the composition of pictures.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、カメラで撮影した複数
の画像データを合成して1枚の広ダイナミックレンジ画
像を得るための画像合成装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus for synthesizing a plurality of image data taken by a camera to obtain one wide dynamic range image.

【0002】[0002]

【従来の技術】ビデオカメラ、スチルビデオカメラは撮
像した被写体像を表わす映像信号を発生するCCD等の
固体電子撮像素子を有している。固体電子撮像素子のダ
イナミックレンジは狭く、視野内に含まれる明るい部分
と暗い部分との輝度差が大きいときは、両方の部分を適
正露光で撮影することは困難である。例えば暗い部分に
露光を合わせれば明るい部分は白くとび、明るい部分に
露光を合わせれば暗い部分は黒くつぶれてしまう。
2. Description of the Related Art Video cameras and still video cameras have a solid-state electronic image pickup device such as a CCD for generating a video signal representing a picked-up subject image. When the dynamic range of the solid-state electronic image pickup device is narrow and the brightness difference between the bright portion and the dark portion included in the visual field is large, it is difficult to photograph both portions with proper exposure. For example, if the exposure is matched to the dark part, the bright part will be whitened, and if the exposure is matched to the bright part, the dark part will be blackened.

【0003】このような問題を解決するために例えば特
開平5−64075号公報「ビデオ・カメラ、それを用
いた撮影方法及びその動作方法、ならびに画像処理装置
及び方法」に示されるように、被写体の暗い領域が適正
に露光されている第1の画像と被写体の明るい領域が適
正に露光されている第2の画像とを撮影し、第1の画像
中より明るい領域に属する画像データを第2の画像デー
タで置き換えて合成画像を作成し、明るい領域と暗い領
域との輝度差の大きい被写体について適切な画像を得ら
れるようにするダイナミックレンジ拡大用カメラが提案
されている。
In order to solve such a problem, for example, as disclosed in Japanese Patent Application Laid-Open No. 5-64075, "Video camera, photographing method using the same, operating method thereof, and image processing apparatus and method", Of the first image in which the dark area of the first image is properly exposed and the second image in which the bright area of the subject is appropriately exposed, and the image data belonging to the brighter area of the first image is captured as the second image data. There is proposed a camera for expanding a dynamic range, which is capable of obtaining an appropriate image for a subject having a large brightness difference between a bright area and a dark area by substituting with the image data of 1.

【0004】[0004]

【発明が解決しようとする課題】しかしながら上記のダ
イナミックレンジ拡大用カメラにおいては、被写体の暗
い領域が適正に露光される第1の画像と、明るい領域が
適正に露光される第2の画像との2つの画像の撮影を常
に必らず行うため、ユーザが特にダイナミックレンジの
拡大を必要としない場合は、被写体全体に対して適正な
露光となる画像を再び撮影し直さなければならず、この
ため手間がかかると共に撮影時間が長くなり、また場合
によってはシャッタチャンスを逃がしてしまうといった
問題があった。
However, in the above-mentioned camera for expanding the dynamic range, the first image in which the dark region of the subject is properly exposed and the second image in which the bright region is properly exposed are exposed. Since two images are always taken, if the user does not particularly need to expand the dynamic range, it is necessary to retake an image that provides proper exposure for the entire subject. There is a problem in that it takes time and takes a long time to shoot, and in some cases, a photo opportunity is missed.

【0005】本発明は上記のような問題を解決するため
になされたもので、ダイナミックレンジの拡大を行う必
要があるか否かを自動的に判定して撮影を効率的に行う
ことのできる画像合成装置を得ることを目的としてい
る。
The present invention has been made in order to solve the above problems, and it is possible to automatically determine whether or not it is necessary to expand the dynamic range, and to efficiently perform shooting. The purpose is to obtain a synthesizer.

【0006】[0006]

【課題を解決するための手段】本発明においては第1の
露光で撮影された第1の画像の信号レベルのヒストグラ
ムを求めるヒストグラム処理手段と、上記ヒストグラム
処理手段で求められたヒストグラムに基づいてダイナミ
ックレンジの拡大を行うか否かを判定するダイナミック
レンジ拡大判定手段と、上記ダイナミック拡大判定手段
の判定結果に応じて第2の露光で撮影される第2の画像
を撮影するための撮影条件のパラメータを決定するパラ
メータ決定手段と、上記パラメータ決定手段で決定され
たパラメータにより撮影された第2の画像と上記第1の
画像とを合成して1枚の広ダイナミックレンジ画像を得
る画像合成手段とを設けている。
According to the present invention, a histogram processing means for obtaining a histogram of the signal level of the first image photographed by the first exposure, and a dynamic method based on the histogram obtained by the histogram processing means. Dynamic range expansion determination means for determining whether or not to perform range expansion, and a parameter of shooting conditions for shooting the second image shot in the second exposure according to the determination result of the dynamic expansion determination means. And a image synthesizing unit for synthesizing the second image captured by the parameter determined by the parameter determining unit and the first image to obtain one wide dynamic range image. It is provided.

【0007】[0007]

【作用】本発明によれば、第1の画像の信号レベルのヒ
ストグラムを用いてダイナミックレンジの拡大が必要で
あるか否かを判断し、ダイナミックレンジを拡大する必
要がなければ第1の画像を出力する。またダイナミック
レンジの拡大が必要であれば、ヒストグラムに基づい
て、被写体の明るい領域が適正に露光されている第2の
画像を撮影するか、被写体の暗い領域が適正に露光され
ている第2の画像を撮影するか、両方の第2の画像を撮
影するかを判断して第2の画像を撮影し、得られた第2
の画像と第1の画像との合成により輝度差の大きい被写
体について適切な画像を得ることができる。
According to the present invention, the histogram of the signal level of the first image is used to determine whether or not the dynamic range needs to be expanded. If the dynamic range does not need to be expanded, the first image is displayed. Output. If it is necessary to expand the dynamic range, a second image in which a bright region of the subject is properly exposed is taken based on the histogram, or a second image in which a dark region of the subject is properly exposed is taken. The second image obtained by determining whether to capture the image or both the second images and capturing the second image
An appropriate image can be obtained for a subject having a large brightness difference by combining the image of 1) with the first image.

【0008】[0008]

【実施例】以下に本発明の第1の実施例について説明す
る。図1は本発明の第1の実施例を示す撮像装置のブロ
ック図である。次にデータの流れ及び動作について説明
する。被写体像はレンズ1、光学的なローパスフィルタ
2、絞り3を通過し、CCD4の撮像面上に結像され
る。絞り3とCCD4の露光時間(電子シャッタ速度)
とは適正露光になるように撮像素子制御部11により制
御されている。CCD4上に結像された第1の露光で撮
影された第1の画像としての上記適正露光による標準画
像はA/D変換器5により画像データに変換され、メモ
リ7に記憶される。次にヒストグラム処理部8により図
2に示されるような上記記憶された標準画像の信号レベ
ルのヒストグラムが求められる。
EXAMPLE A first example of the present invention will be described below. FIG. 1 is a block diagram of an image pickup apparatus showing a first embodiment of the present invention. Next, the data flow and operation will be described. The subject image passes through the lens 1, the optical low-pass filter 2 and the diaphragm 3, and is formed on the image pickup surface of the CCD 4. Exposure time of aperture 3 and CCD 4 (electronic shutter speed)
Are controlled by the image sensor control unit 11 so as to obtain proper exposure. The standard image by the proper exposure as the first image photographed by the first exposure formed on the CCD 4 is converted into image data by the A / D converter 5 and stored in the memory 7. Next, the histogram processing unit 8 obtains the stored signal level histogram of the standard image as shown in FIG.

【0009】次に求められたヒストグラムに基づいてダ
イナミックレンジ拡大判定部9においてダイナミックレ
ンジの拡大を行うか否かの判定が行なわれる。この判定
は図2に示される画像信号レベルのそれぞれある範囲を
有するAとBの部分のデータ頻度とあらかじめ設定され
た頻度の閾値TA とTB とにより決定される。例えば画
像中のA、Bの範囲の頻度をそれぞれHA 、HB とした
場合、次の式1を満たした場合はダイナミックレンジの
拡大を行わない。 HA <TA 及びHB <TB ………(1)
Then, based on the obtained histogram, the dynamic range expansion determination unit 9 determines whether or not the dynamic range is expanded. This determination is determined by the data frequencies of the portions A and B having the respective ranges of the image signal levels shown in FIG. 2 and the preset frequency thresholds T A and T B. For example, if the frequencies of the ranges of A and B in the image are H A and H B , respectively, and if the following expression 1 is satisfied, the dynamic range is not expanded. H A <T A and H B <T B ………… (1)

【0010】次にダイナミックレンジ拡大判定部9によ
り、ダイナミックレンジの拡大を行わない判定が下され
ればメモリ7に記憶されている標準画像が読み出され合
成部12を通じてそのまま出力される。またダイナミッ
クレンジの拡大を行う判定が下された場合は、ヒストグ
ラム処理部8で求められたヒストグラムを基に第2の露
光で撮影される第2の画像としての非標準画像撮影のた
めの条件を示すパラメータ、即ち絞り値及び電子シャッ
タ速度がパラメータ決定部10により求められる。
Next, if the dynamic range expansion judging section 9 judges that the dynamic range is not expanded, the standard image stored in the memory 7 is read out and outputted as it is through the synthesizing section 12. If it is determined that the dynamic range is to be expanded, the conditions for non-standard image capturing as the second image captured in the second exposure are set based on the histogram obtained by the histogram processing unit 8. The parameters shown, that is, the aperture value and the electronic shutter speed are obtained by the parameter determination unit 10.

【0011】本実施例においては説明を簡単にするため
に、パラメータのうち絞り値は標準画像を撮影した値と
同じにし、電子シャッタ速度を変化させて非標準画像を
得る場合について述べる。例えば図2を用いて説明する
と、ダイナミックレンジ拡大を行う条件として次のよう
に分けることができる。 HA <TA 及びHB >TB ……(2) HA >TA 及びHB <TB ……(3) HA >TA 及びHB >TB ……(4) HA >HB 又はHA <HB ……(5)
In the present embodiment, for simplification of description, a case will be described in which the aperture value of the parameters is the same as the value at which the standard image is taken and the electronic shutter speed is changed to obtain a non-standard image. For example, referring to FIG. 2, the conditions for expanding the dynamic range can be divided as follows. H A <T A and H B > T B …… (2) H A > T A and H B <T B …… (3) H A > T A and H B > T B …… (4) H A > H B or H A <H B (5)

【0012】例えばここで式2を満たしていれば、標準
画像中に明るい部分の面積が多いことが判る。そこで明
るい部分が適正露光となるように、即ち標準画像を撮影
した時より露光時間が短くなるように非標準画像撮影の
ための電子シャッタ速度を決定する。また同様に式3を
満たしていれば、暗い部分が適正露光となるように、即
ち露光時間が長くなるように非標準画像撮影のための電
子シャッタ速度を決定する。表1は本実施例における電
子シャッタ速度値を示す。ただし表中の数値は非標準画
像を撮影するための標準画像に対する電子シャッタ速度
である。
For example, if Expression 2 is satisfied, it can be seen that the standard image has many bright areas. Therefore, the electronic shutter speed for photographing the non-standard image is determined so that the bright portion is properly exposed, that is, the exposure time is shorter than when the standard image is photographed. Similarly, if Expression 3 is satisfied, the electronic shutter speed for non-standard image capturing is determined so that the dark portion is properly exposed, that is, the exposure time is long. Table 1 shows the electronic shutter speed values in this embodiment. However, the numerical values in the table are electronic shutter speeds for a standard image for capturing a non-standard image.

【0013】[0013]

【表1】 [Table 1]

【0014】また式4を満たしている場合、HA 、HB
のいずれかの値の大きい方を基に電子シャッタ速度を決
定する。例えば1≦SA <2、2≦SB <3であれば非
標準画像撮影のための電子シャッタ速度は標準画像撮影
時の電子シャッタ速度の1/4となる。
Further, when the expression 4 is satisfied, H A , H B
The electronic shutter speed is determined based on whichever is larger. For example, if 1 ≦ S A <2 and 2 ≦ S B <3, the electronic shutter speed for non-standard image shooting is ¼ of the electronic shutter speed for standard image shooting.

【0015】以上に示した方法は非標準画像を1枚撮影
し、標準画像と合成する場合の例であったが、複数の非
標準画像を撮影する場合は、例えば1≦SA <2、2≦
B<3であったとすると、第1の非標準画像の電子シ
ャッタ速度は2倍、第2の非標準画像は1/4倍とな
る。
The method described above is an example in which one non-standard image is taken and combined with the standard image. However, when a plurality of non-standard images are taken, for example, 1≤S A <2, 2 ≦
If S B <3, the electronic shutter speed of the first non-standard image is double and the second non-standard image is ¼.

【0016】次に非標準画像を撮影するための絞り値と
上記で求めた電子シャッタ速度とは撮像素子制御部11
に送られ、絞り3とCCD4の電子シャッタとを制御
し、非標準画像が撮影される。次にA/D変換された非
標準画像はメモリ6に記憶され、メモリ7に記憶されて
いる標準画像データとともに合成部12に送られて合成
され、ダイナミックレンジの拡大された1枚の画像とな
る。
Next, the aperture value for taking a non-standard image and the electronic shutter speed obtained above are the image pickup device control section 11
Then, the diaphragm 3 and the electronic shutter of the CCD 4 are controlled, and a non-standard image is captured. Next, the A / D-converted non-standard image is stored in the memory 6, and is sent to the synthesizing unit 12 together with the standard image data stored in the memory 7 to be synthesized with one image having an expanded dynamic range. Become.

【0017】本実施例においては、ダイナミックレンジ
の拡大を標準画像のヒストグラムから装置自身により判
定する方法を用いているが、ユーザの判定によりダイナ
ミックレンジ拡大を行うか否かの判定を行うモードを設
けてもよい。
In the present embodiment, the method of judging the expansion of the dynamic range by the apparatus itself from the histogram of the standard image is used. However, a mode for judging whether or not to expand the dynamic range is provided by the judgment of the user. May be.

【0018】また本実施例においては、図2に示すよう
な2つのある範囲を有するA、Bの部分の信号レベルの
ヒストグラムを用いて電子シャッタ速度を決定したが、
標準画像の認識精度を向上するために、図3に示すよう
に、2つ以上のそれぞれある範囲を有するA〜Dの部分
の信号レベルのヒストグラムを用いて電子シャッタ速度
を決定するようにしてもよい。また標準画像及び非標準
画像を撮影する電子シャッタ速度及び絞り値はユーザが
あらかじめ設定可能とするモードを設けてもよい。さら
にパラメータ決定部10で非標準画像の絞り値を決定す
るようにしてもよい。
Further, in the present embodiment, the electronic shutter speed is determined by using the histogram of the signal levels of the portions A and B having two certain ranges as shown in FIG.
In order to improve the recognition accuracy of the standard image, as shown in FIG. 3, the electronic shutter speed may be determined using a histogram of signal levels of portions A to D each having two or more certain ranges. Good. In addition, a mode may be provided in which the user can preset the electronic shutter speed and aperture value for capturing the standard image and the non-standard image. Further, the parameter determination unit 10 may determine the aperture value of the non-standard image.

【0019】次に本発明の第2の実施例について説明す
る。本実施例は図4に示すように、撮像装置41を制御
するホストコンピュータ49によりダイナミックレンジ
拡大処理を行うようにしたものである。まず撮像装置4
1において、適正露光で撮影された標準画像はホストコ
ンピュータ49に転送される。標準画像はメモリ44に
記憶され、第1の実施例と同様にヒストグラム処理部4
5によりヒストグラムが求められる。次に求められたヒ
ストグラムはダイナミックレンジ拡大判定部46に送ら
れ、ダイナミックレンジの拡大を行うか否かの判定が行
なわれる。
Next, a second embodiment of the present invention will be described. In the present embodiment, as shown in FIG. 4, the host computer 49 that controls the image pickup device 41 performs the dynamic range expansion process. First, the imaging device 4
In 1, the standard image photographed with proper exposure is transferred to the host computer 49. The standard image is stored in the memory 44 and is processed by the histogram processing unit 4 as in the first embodiment.
5, the histogram is obtained. Next, the obtained histogram is sent to the dynamic range expansion determination unit 46, and it is determined whether or not the dynamic range is expanded.

【0020】ダイナミックレンジ拡大を行う必要がない
と判定が下されれば、標準画像はそのまま処理されずに
合成部48を通じて出力される。ダイナミックレンジの
拡大を行う判定が下されれば、パラメータ決定部47に
より標準画像のヒストグラムを用いて非標準画像を撮影
するための絞り値及び電子シャッタ速度が求められる。
求められた絞り値と電子シャッタ速度はインターフェー
ス部42により撮像装置41へと送られる。撮像装置4
1はその絞り値及び電子シャッタ値を用いて非標準画像
を撮影する。
If it is determined that the dynamic range need not be expanded, the standard image is output as it is through the synthesizing unit 48 without being processed. If it is determined that the dynamic range will be expanded, the parameter determination unit 47 uses the histogram of the standard image to determine the aperture value and the electronic shutter speed for capturing the non-standard image.
The calculated aperture value and electronic shutter speed are sent to the imaging device 41 by the interface unit 42. Imaging device 4
1 captures a non-standard image using the aperture value and the electronic shutter value.

【0021】撮影された非標準画像はホストコンピュー
タ49に送られ、メモリ43に記憶される。メモリ44
に記憶された標準画像とメモリ43に記憶された非標準
画像とは合成部48により合成され、ダイナミックレン
ジの拡大された1枚の画像になる。この合成された画像
はそのまま出力してもよいし、あるいは、ユーザの選択
により撮像装置41に送り返され撮像装置41中のメモ
リ又は記憶媒体に記録するようにしてもよい。
The photographed non-standard image is sent to the host computer 49 and stored in the memory 43. Memory 44
The non-standard image stored in the memory 43 and the non-standard image stored in the memory 43 are combined by the combining unit 48 to form one image with an expanded dynamic range. This combined image may be output as it is, or may be sent back to the imaging device 41 and recorded in a memory or a storage medium in the imaging device 41 according to the user's selection.

【0022】本実施例によれば、ダイナミックレンジ拡
大処理機能がない撮像装置においてもダイナミックレン
ジ拡大画像を得ることが可能となる。
According to this embodiment, it is possible to obtain a dynamic range expanded image even in an image pickup apparatus that does not have a dynamic range expansion processing function.

【0023】図5は図1、図4の合成部12、48の構
成例を示すブロック図である。図5において、51は標
準画像と非標準画像の輝度レベルを合わせる輝度レベル
調節手段、52はレベル調節された上記標準画像中のレ
ベル調節された非標準画像と置換する置換領域の検出を
行う置換領域検出手段、53は標準画像と非標準画像の
領域を上記検出に基づいて置換する置換手段である。
FIG. 5 is a block diagram showing a configuration example of the synthesizing units 12 and 48 shown in FIGS. In FIG. 5, reference numeral 51 is a brightness level adjusting means for adjusting the brightness levels of the standard image and the non-standard image, and 52 is a replacement for detecting a replacement area to replace the level-adjusted non-standard image in the level-adjusted standard image. The area detecting means, 53 is a replacing means for replacing the areas of the standard image and the non-standard image based on the above detection.

【0024】尚、置換領域検出手段53は、あらかじめ
設定された閾値を基に置換領域の検出を行うように構成
されている。あるいは置換領域検出手段53は、標準画
像の信号レベルのヒストグラムを基に置換領域の検出を
行うように構成されている。
The replacement area detecting means 53 is configured to detect the replacement area based on a preset threshold value. Alternatively, the replacement area detecting unit 53 is configured to detect the replacement area based on the histogram of the signal level of the standard image.

【0025】[0025]

【発明の効果】以上説明したように本発明によれば、ま
ず第1の画像を撮影してそのヒストグラムからダイナミ
ックレンジの拡大を行うか否かを判定し、判定結果に応
じて第2の画像を撮影するためのパラメータを決定する
ように構成したことにより、ダイナミックレンジを拡大
する必要があるか否かを自動的に判別し、必要がある場
合は、ヒストグラムに基づいて、被写体の明るい領域が
適正に露光されている第2の画像を撮影するか、被写体
の暗い領域が適正に露光されている第2の画像を撮影す
るか、両方の第2の画像を撮影するかを判断して第2の
画像を撮影し、得られた第2の画像と第1の画像とを合
成することにより、輝度差の大きい被写体について適切
な広ダイナミックレンジの画像を得ることができ、ま
た、ダイナミックレンジを拡大する必要がない場合は、
第1の画像を出力することにより、短時間に撮影を行う
ことができる効果がある。
As described above, according to the present invention, it is first determined whether or not the first image is photographed and the dynamic range is expanded from the histogram, and the second image is determined according to the determination result. Since it is configured to determine the parameters for capturing the image, it is automatically determined whether or not the dynamic range needs to be expanded, and if so, the bright area of the subject is determined based on the histogram. It is determined whether the second image is properly exposed, the second image is properly exposed in the dark area of the subject, or both the second images are captured. By capturing the second image and synthesizing the obtained second image and first image, it is possible to obtain an image with a wide dynamic range suitable for a subject having a large luminance difference, If there is no need to expand the hemorrhoids,
By outputting the first image, it is possible to take an image in a short time.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施例を示すブロック図であ
る。
FIG. 1 is a block diagram showing a first embodiment of the present invention.

【図2】標準画像の信号レベルのヒストグラム図であ
る。
FIG. 2 is a histogram diagram of a signal level of a standard image.

【図3】標準画像の信号レベルの他のヒストグラム図で
ある。
FIG. 3 is another histogram diagram of the signal level of the standard image.

【図4】本発明の第2の実施例を示すブロック図であ
る。
FIG. 4 is a block diagram showing a second embodiment of the present invention.

【図5】第1、第2の実施例における合成部の構成例を
示すブロック図である。
FIG. 5 is a block diagram showing a configuration example of a combining unit in the first and second embodiments.

【符号の説明】[Explanation of symbols]

8、 45 ヒストグラム処理部 9、 46 ダイナミックレンジ拡大判定部 10、47 パラメータ決定部 12、48 合成部 8, 45 Histogram processing unit 9, 46 Dynamic range expansion determination unit 10, 47 Parameter determination unit 12, 48 Composition unit

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 所定の第1の露光で撮影された第1の画
像の信号レベルのヒストグラムを求めるヒストグラム処
理手段と、 上記ヒストグラム処理手段で求められたヒストグラムに
基づいてダイナミックレンジの拡大を行うか否かを判定
するダイナミックレンジ拡大判定手段と、 上記ダイナミックレンジ拡大判定手段の判定結果に応じ
て上記第1の露光とは異る第2の露光で撮影される第2
の画像を撮影するための撮影条件のパラメータを決定す
るパラメータ決定手段と、 上記パラメータ決定手段で決定されたパラメータにより
撮影された第2の画像と上記第1の画像とを合成して1
枚の広ダイナミックレンジ画像を得る画像合成手段とを
備えた画像合成装置。
1. A histogram processing means for obtaining a histogram of a signal level of a first image photographed by a predetermined first exposure, and whether the dynamic range is expanded based on the histogram obtained by the histogram processing means. A dynamic range expansion determining means for determining whether or not the second exposure is performed by a second exposure different from the first exposure according to the determination result of the dynamic range expansion determining means.
1 for synthesizing the second image and the first image captured by the parameter determined by the parameter determined by the parameter determining device
An image synthesizing device comprising: an image synthesizing means for obtaining a single wide dynamic range image.
【請求項2】 上記ダイナミックレンジ拡大判定手段が
ダイナミックレンジの拡大を行うと判定したときは、上
記パラメータ決定手段がパラメータを決定し、上記画像
合成手段が画像合成処理を行うようにした請求項1記載
の画像合成装置。
2. When the dynamic range expansion determining means determines to expand the dynamic range, the parameter determining means determines parameters and the image synthesizing means performs image synthesizing processing. The image synthesizing apparatus described.
【請求項3】 上記ダイナミックレンジ拡大判定手段が
ダイナミックレンジの拡大を行わないと判定したとき
は、上記パラメータ決定手段はパラメータの決定を行わ
ず、上記画像合成手段は上記第1の画像を出力するよう
にした請求項1記載の画像合成装置。
3. When the dynamic range expansion determining means determines that the dynamic range is not expanded, the parameter determining means does not determine the parameter and the image synthesizing means outputs the first image. The image synthesizing apparatus according to claim 1, wherein.
【請求項4】 上記ダイナミックレンジ拡大判定手段
は、画像信号における1つ以上の任意の範囲を有する信
号レベルのヒストグラムと上記範囲毎にあらかじめ設定
されている閾値との比較によりダイナミックレンジの拡
大を行うか否かを判定するようにした請求項1記載の画
像合成装置。
4. The dynamic range expansion determination means expands the dynamic range by comparing a histogram of signal levels having one or more arbitrary ranges in an image signal with a threshold value preset for each range. The image synthesizing apparatus according to claim 1, wherein it is determined whether or not it is.
【請求項5】 上記ダイナミックレンジ拡大判定手段に
よるダイナミックレンジの拡大を行うか否かの判定を行
うための判定パラメータをユーザが設定するようにした
請求項1記載の画像合成装置。
5. The image synthesizing apparatus according to claim 1, wherein the user sets a determination parameter for determining whether or not to expand the dynamic range by the dynamic range expansion determining means.
【請求項6】 上記パラメータ決定手段は、上記第1の
画像を用いて画像信号における1つ以上の任意の範囲を
有する信号レベルのヒストグラムを基に第2の画像の撮
影枚数及び撮影パラメータを決定するようにした請求項
1記載の画像合成装置。
6. The parameter deciding means decides the number of shots of the second image and the shooting parameter based on the histogram of the signal level having one or more arbitrary ranges in the image signal using the first image. The image synthesizing apparatus according to claim 1, configured to do so.
【請求項7】 上記パラメータ決定手段による上記第2
の画像の撮影枚数及び撮影パラメータをユーザが設定す
るようにした請求項1記載の画像合成装置。
7. The second means provided by the parameter determining means.
The image synthesizing apparatus according to claim 1, wherein a user sets the number of shots of the image and the shooting parameter.
JP01692495A 1995-02-03 1995-02-03 Image synthesizer Expired - Fee Related JP3639627B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP01692495A JP3639627B2 (en) 1995-02-03 1995-02-03 Image synthesizer
US08/594,265 US5929908A (en) 1995-02-03 1996-01-30 Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
EP96300690A EP0725536B1 (en) 1995-02-03 1996-01-31 Method and apparatus for image sensing with dynamic range expansion
DE69627407T DE69627407T2 (en) 1995-02-03 1996-01-31 Method and device for image scanning with dynamic range expansion
ES96300690T ES2193226T3 (en) 1995-02-03 1996-01-31 METHOD AND APPARATUS FOR THE DETECTION OF IMAGES WITH DYNAMIC EXPANSION.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01692495A JP3639627B2 (en) 1995-02-03 1995-02-03 Image synthesizer

Publications (2)

Publication Number Publication Date
JPH08214211A true JPH08214211A (en) 1996-08-20
JP3639627B2 JP3639627B2 (en) 2005-04-20

Family

ID=11929683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01692495A Expired - Fee Related JP3639627B2 (en) 1995-02-03 1995-02-03 Image synthesizer

Country Status (1)

Country Link
JP (1) JP3639627B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002218326A (en) * 2001-01-19 2002-08-02 Olympus Optical Co Ltd Imaging device
JP2003259200A (en) * 2002-03-06 2003-09-12 Olympus Optical Co Ltd Image pickup device
JP2003264738A (en) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd Digital camera
JP2003264739A (en) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd Digital camera
US6833864B1 (en) 1998-07-09 2004-12-21 Fuji Photo Film Co., Ltd. Image capturing apparatus and method for obtaining images with broad brightness range
WO2007074659A1 (en) * 2005-12-27 2007-07-05 Kyocera Corporation Video signal processing method and video signal processing device
CN100361507C (en) * 2004-09-15 2008-01-09 北京中星微电子有限公司 Method for obtaining single image by microcomputer network camera head
JP2009081693A (en) * 2007-09-26 2009-04-16 Nikon Corp Electronic camera
JP2010199962A (en) * 2009-02-25 2010-09-09 Mega Chips Corp Operating method of digital camera, and digital camera
US8085316B2 (en) 2008-08-07 2011-12-27 Hoya Corporation Image-processing unit, imaging apparatus, and computer program product
JP2012090041A (en) * 2010-10-19 2012-05-10 Canon Inc Image processing device, method, and program
JP2012155010A (en) * 2011-01-24 2012-08-16 Keyence Corp Microscope system, surface state observation method, and surface state observation program
JP2013058922A (en) * 2011-09-08 2013-03-28 Olympus Imaging Corp Photographing device
JP2013211893A (en) * 2013-05-24 2013-10-10 Mega Chips Corp Operating method of digital camera, and digital camera
JP2013211894A (en) * 2013-05-24 2013-10-10 Mega Chips Corp Operating method of digital camera, and digital camera
US8558914B2 (en) 2009-10-21 2013-10-15 Seiko Epson Corporation Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure
US8773709B2 (en) 2006-09-06 2014-07-08 Samsung Electronics Co., Ltd. Image generation system, method, and medium, generating plurality of images with different resolution and brightness from single image
JP2015144475A (en) * 2015-03-11 2015-08-06 キヤノン株式会社 Imaging apparatus, control method of the same, program and storage medium
US9113090B2 (en) 2011-12-22 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging method for combining plural captured images into single image
JP2015532070A (en) * 2013-01-24 2015-11-05 ▲華▼▲為▼▲終▼端有限公司 Scene recognition method and apparatus
WO2015194091A1 (en) * 2014-06-20 2015-12-23 ソニー株式会社 Imaging device and imaging method
JP2016134862A (en) * 2015-01-21 2016-07-25 オリンパス株式会社 Imaging device, imaging method, image display device, and program
US9894284B2 (en) 2014-07-18 2018-02-13 Sony Semiconductor Solutions Corporation Imaging control device, imaging apparatus, and imaging control method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584733B2 (en) 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833864B1 (en) 1998-07-09 2004-12-21 Fuji Photo Film Co., Ltd. Image capturing apparatus and method for obtaining images with broad brightness range
JP2002218326A (en) * 2001-01-19 2002-08-02 Olympus Optical Co Ltd Imaging device
JP4544756B2 (en) * 2001-01-19 2010-09-15 オリンパス株式会社 Imaging device
JP2003259200A (en) * 2002-03-06 2003-09-12 Olympus Optical Co Ltd Image pickup device
JP2003264738A (en) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd Digital camera
JP2003264739A (en) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd Digital camera
CN100361507C (en) * 2004-09-15 2008-01-09 北京中星微电子有限公司 Method for obtaining single image by microcomputer network camera head
WO2007074659A1 (en) * 2005-12-27 2007-07-05 Kyocera Corporation Video signal processing method and video signal processing device
JP2007180811A (en) * 2005-12-27 2007-07-12 Kyocera Corp Video signal processing method and apparatus
US8009224B2 (en) 2005-12-27 2011-08-30 Kyocera Corporation Image signal processing method and image signal processing device
US10187586B2 (en) 2006-09-06 2019-01-22 Samsung Electronics Co., Ltd. Image generation apparatus and method for generating plurality of images with different resolution and/or brightness from single image
US9077908B2 (en) 2006-09-06 2015-07-07 Samsung Electronics Co., Ltd. Image generation apparatus and method for generating plurality of images with different resolution and/or brightness from single image
US8773709B2 (en) 2006-09-06 2014-07-08 Samsung Electronics Co., Ltd. Image generation system, method, and medium, generating plurality of images with different resolution and brightness from single image
US8130280B2 (en) 2007-09-26 2012-03-06 Nikon Corporation Electronic camera
JP2009081693A (en) * 2007-09-26 2009-04-16 Nikon Corp Electronic camera
US8085316B2 (en) 2008-08-07 2011-12-27 Hoya Corporation Image-processing unit, imaging apparatus, and computer program product
JP2010199962A (en) * 2009-02-25 2010-09-09 Mega Chips Corp Operating method of digital camera, and digital camera
US8558914B2 (en) 2009-10-21 2013-10-15 Seiko Epson Corporation Imaging device, imaging method, and electronic apparatus for dynamically determining ratios of exposures to optimize multi-stage exposure
JP2012090041A (en) * 2010-10-19 2012-05-10 Canon Inc Image processing device, method, and program
JP2012155010A (en) * 2011-01-24 2012-08-16 Keyence Corp Microscope system, surface state observation method, and surface state observation program
US8994808B2 (en) 2011-01-24 2015-03-31 Keyence Corporation Microscope system, surface state observing method, and surface state observing program
JP2013058922A (en) * 2011-09-08 2013-03-28 Olympus Imaging Corp Photographing device
US9113090B2 (en) 2011-12-22 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Imaging device and imaging method for combining plural captured images into single image
JP2015532070A (en) * 2013-01-24 2015-11-05 ▲華▼▲為▼▲終▼端有限公司 Scene recognition method and apparatus
US9934438B2 (en) 2013-01-24 2018-04-03 Huawei Device (Dongguan) Co., Ltd. Scene recognition method and apparatus
JP2013211894A (en) * 2013-05-24 2013-10-10 Mega Chips Corp Operating method of digital camera, and digital camera
JP2013211893A (en) * 2013-05-24 2013-10-10 Mega Chips Corp Operating method of digital camera, and digital camera
WO2015194091A1 (en) * 2014-06-20 2015-12-23 ソニー株式会社 Imaging device and imaging method
US10237488B2 (en) 2014-06-20 2019-03-19 Sony Corporation Image capturing apparatus and image capturing method
US9894284B2 (en) 2014-07-18 2018-02-13 Sony Semiconductor Solutions Corporation Imaging control device, imaging apparatus, and imaging control method
JP2016134862A (en) * 2015-01-21 2016-07-25 オリンパス株式会社 Imaging device, imaging method, image display device, and program
WO2016117137A1 (en) * 2015-01-21 2016-07-28 オリンパス株式会社 Image-capturing device, image-capturing method, and image display device
CN107211097A (en) * 2015-01-21 2017-09-26 奥林巴斯株式会社 Camera device, image capture method and image display device
JP2015144475A (en) * 2015-03-11 2015-08-06 キヤノン株式会社 Imaging apparatus, control method of the same, program and storage medium

Also Published As

Publication number Publication date
JP3639627B2 (en) 2005-04-20

Similar Documents

Publication Publication Date Title
JP3639627B2 (en) Image synthesizer
JP4746295B2 (en) Digital camera and photographing method
US20050046730A1 (en) Digital camera
JP4551839B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2000032303A (en) Image pickup device
JP2004064676A (en) Image pickup apparatus
KR20070086061A (en) Image processing and image processing program of image processing
JP5180349B2 (en) Imaging apparatus, method, and program
JP4818999B2 (en) Imaging apparatus, method, and program
JP5027580B2 (en) Imaging apparatus, method, and program
JP2007324856A (en) Imaging apparatus and imaging control method
JP4641571B2 (en) Digital still camera and control method thereof
JP2007188126A (en) Image brightness calculation device, method, and program
US20080158376A1 (en) Image-capturing device
US7864860B2 (en) Image pickup apparatus and motion vector deciding method
JP4328606B2 (en) Digital camera
JP3613741B2 (en) Digital still camera and video conference system
JP2003219244A (en) Digital camera
JP2009017427A (en) Imaging device
JP2008054031A (en) Digital camera and display control method
JP2003259200A (en) Image pickup device
JP2007208355A (en) Photographing device, method, and program
JP2007142639A (en) Imaging apparatus and program therefor
JP2004309653A (en) Imaging unit
JP2000224465A (en) Digital still camera

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees