JP3639627B2 - 画像合成装置 - Google Patents

画像合成装置 Download PDF

Info

Publication number
JP3639627B2
JP3639627B2 JP01692495A JP1692495A JP3639627B2 JP 3639627 B2 JP3639627 B2 JP 3639627B2 JP 01692495 A JP01692495 A JP 01692495A JP 1692495 A JP1692495 A JP 1692495A JP 3639627 B2 JP3639627 B2 JP 3639627B2
Authority
JP
Japan
Prior art keywords
image
dynamic range
parameter
histogram
standard image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01692495A
Other languages
English (en)
Other versions
JPH08214211A (ja
Inventor
賢司 高橋
栄一郎 池田
善郎 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP01692495A priority Critical patent/JP3639627B2/ja
Priority to US08/594,265 priority patent/US5929908A/en
Priority to DE69627407T priority patent/DE69627407T2/de
Priority to EP96300690A priority patent/EP0725536B1/en
Priority to ES96300690T priority patent/ES2193226T3/es
Publication of JPH08214211A publication Critical patent/JPH08214211A/ja
Application granted granted Critical
Publication of JP3639627B2 publication Critical patent/JP3639627B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、カメラで撮影した複数の画像データを合成して1枚の広ダイナミックレンジ画像を得るための画像合成装置に関する。
【0002】
【従来の技術】
ビデオカメラ、スチルビデオカメラは撮像した被写体像を表わす映像信号を発生するCCD等の固体電子撮像素子を有している。固体電子撮像素子のダイナミックレンジは狭く、視野内に含まれる明るい部分と暗い部分との輝度差が大きいときは、両方の部分を適正露光で撮影することは困難である。例えば暗い部分に露光を合わせれば明るい部分は白くとび、明るい部分に露光を合わせれば暗い部分は黒くつぶれてしまう。
【0003】
このような問題を解決するために例えば特開平5−64075号公報「ビデオ・カメラ、それを用いた撮影方法及びその動作方法、ならびに画像処理装置及び方法」に示されるように、被写体の暗い領域が適正に露光されている第1の画像と被写体の明るい領域が適正に露光されている第2の画像とを撮影し、第1の画像中より明るい領域に属する画像データを第2の画像データで置き換えて合成画像を作成し、明るい領域と暗い領域との輝度差の大きい被写体について適切な画像を得られるようにするダイナミックレンジ拡大用カメラが提案されている。
【0004】
【発明が解決しようとする課題】
しかしながら上記のダイナミックレンジ拡大用カメラにおいては、被写体の暗い領域が適正に露光される第1の画像と、明るい領域が適正に露光される第2の画像との2つの画像の撮影を常に必らず行うため、ユーザが特にダイナミックレンジの拡大を必要としない場合は、被写体全体に対して適正な露光となる画像を再び撮影し直さなければならず、このため手間がかかると共に撮影時間が長くなり、また場合によってはシャッタチャンスを逃がしてしまうといった問題があった。
【0005】
本発明は上記のような問題を解決するためになされたもので、ダイナミックレンジの拡大を行う必要があるか否かを自動的に判定して撮影を効率的に行うことのできる画像合成装置を得ることを目的としている。
【0006】
【課題を解決するための手段】
本発明の画像合成装置は、所定の第1の露光で撮影された第1の画像の信号レベルのヒストグラムを求めるヒストグラム処理手段と、上記ヒストグラム処理手段で求められたヒストグラムに基づいてダイナミックレンジの拡大を行うか否かを判定するダイナミックレンジ拡大判定手段と、上記ダイナミックレンジ拡大判定手段の判定結果に応じて上記第1の露光とは異なる第2の露光で撮影される第2の画像を撮影するための撮影条件のパラメータを決定するパラメータ決定手段と、上記パラメータ決定手段で決定されたパラメータにより撮影された第2の画像と上記第1の画像とを合成して1枚の広ダイナミックレンジ画像を得る画像合成手段とを備え、上記パラメータ決定手段による上記第2の画像の撮影パラメータをユーザが設定するようにしたことを特徴とする。
【0007】
【作用】
本発明によれば、第1の画像の信号レベルのヒストグラムを用いてダイナミックレンジの拡大が必要であるか否かを判断し、ダイナミックレンジを拡大する必要がなければ第1の画像を出力する。またダイナミックレンジの拡大が必要であれば、ヒストグラムに基づいて、被写体の明るい領域が適正に露光されている第2の画像を撮影するか、被写体の暗い領域が適正に露光されている第2の画像を撮影するか、両方の第2の画像を撮影するかを判断して第2の画像を撮影し、得られた第2の画像と第1の画像との合成により輝度差の大きい被写体について適切な画像を得ることができる。
【0008】
【実施例】
以下に本発明の第1の実施例について説明する。図1は本発明の第1の実施例を示す撮像装置のブロック図である。次にデータの流れ及び動作について説明する。
被写体像はレンズ1、光学的なローパスフィルタ2、絞り3を通過し、CCD4の撮像面上に結像される。絞り3とCCD4の露光時間(電子シャッタ速度)とは適正露光になるように撮像素子制御部11により制御されている。CCD4上に結像された第1の露光で撮影された第1の画像としての上記適正露光による標準画像はA/D変換器5により画像データに変換され、メモリ7に記憶される。次にヒストグラム処理部8により図2に示されるような上記記憶された標準画像の信号レベルのヒストグラムが求められる。
【0009】
次に求められたヒストグラムに基づいてダイナミックレンジ拡大判定部9においてダイナミックレンジの拡大を行うか否かの判定が行なわれる。この判定は図2に示される画像信号レベルのそれぞれある範囲を有するAとBの部分のデータ頻度とあらかじめ設定された頻度の閾値TA とTB とにより決定される。例えば画像中のA、Bの範囲の頻度をそれぞれHA 、HB とした場合、次の式1を満たした場合はダイナミックレンジの拡大を行わない。
A <TA 及びHB <TB ………(1)
【0010】
次にダイナミックレンジ拡大判定部9により、ダイナミックレンジの拡大を行わない判定が下されればメモリ7に記憶されている標準画像が読み出され合成部12を通じてそのまま出力される。またダイナミックレンジの拡大を行う判定が下された場合は、ヒストグラム処理部8で求められたヒストグラムを基に第2の露光で撮影される第2の画像としての非標準画像撮影のための条件を示すパラメータ、即ち絞り値及び電子シャッタ速度がパラメータ決定部10により求められる。
【0011】
本実施例においては説明を簡単にするために、パラメータのうち絞り値は標準画像を撮影した値と同じにし、電子シャッタ速度を変化させて非標準画像を得る場合について述べる。例えば図2を用いて説明すると、ダイナミックレンジ拡大を行う条件として次のように分けることができる。
A <TA 及びHB >TB ……(2)
A >TA 及びHB <TB ……(3)
A >TA 及びHB >TB ……(4)
A >HB 又はHA <HB ……(5)
【0012】
例えばここで式2を満たしていれば、標準画像中に明るい部分の面積が多いことが判る。そこで明るい部分が適正露光となるように、即ち標準画像を撮影した時より露光時間が短くなるように非標準画像撮影のための電子シャッタ速度を決定する。また同様に式3を満たしていれば、暗い部分が適正露光となるように、即ち露光時間が長くなるように非標準画像撮影のための電子シャッタ速度を決定する。表1は本実施例における電子シャッタ速度値を示す。ただし表中の数値は非標準画像を撮影するための標準画像に対する電子シャッタ速度である。
【0013】
【表1】
Figure 0003639627
【0014】
また式4を満たしている場合、HA 、HB のいずれかの値の大きい方を基に電子シャッタ速度を決定する。例えば1≦SA <2、2≦SB <3であれば非標準画像撮影のための電子シャッタ速度は標準画像撮影時の電子シャッタ速度の1/4となる。
【0015】
以上に示した方法は非標準画像を1枚撮影し、標準画像と合成する場合の例であったが、複数の非標準画像を撮影する場合は、例えば1≦SA <2、2≦SB <3であったとすると、第1の非標準画像の電子シャッタ速度は2倍、第2の非標準画像は1/4倍となる。
【0016】
次に非標準画像を撮影するための絞り値と上記で求めた電子シャッタ速度とは撮像素子制御部11に送られ、絞り3とCCD4の電子シャッタとを制御し、非標準画像が撮影される。次にA/D変換された非標準画像はメモリ6に記憶され、メモリ7に記憶されている標準画像データとともに合成部12に送られて合成され、ダイナミックレンジの拡大された1枚の画像となる。
【0017】
本実施例においては、ダイナミックレンジの拡大を標準画像のヒストグラムから装置自身により判定する方法を用いているが、ユーザの判定によりダイナミックレンジ拡大を行うか否かの判定を行うモードを設けてもよい。
【0018】
また本実施例においては、図2に示すような2つのある範囲を有するA、Bの部分の信号レベルのヒストグラムを用いて電子シャッタ速度を決定したが、標準画像の認識精度を向上するために、図3に示すように、2つ以上のそれぞれある範囲を有するA〜Dの部分の信号レベルのヒストグラムを用いて電子シャッタ速度を決定するようにしてもよい。また標準画像及び非標準画像を撮影する電子シャッタ速度及び絞り値はユーザがあらかじめ設定可能とするモードを設けてもよい。さらにパラメータ決定部10で非標準画像の絞り値を決定するようにしてもよい。
【0019】
次に本発明の第2の実施例について説明する。本実施例は図4に示すように、撮像装置41を制御するホストコンピュータ49によりダイナミックレンジ拡大処理を行うようにしたものである。まず撮像装置41において、適正露光で撮影された標準画像はホストコンピュータ49に転送される。標準画像はメモリ44に記憶され、第1の実施例と同様にヒストグラム処理部45によりヒストグラムが求められる。次に求められたヒストグラムはダイナミックレンジ拡大判定部46に送られ、ダイナミックレンジの拡大を行うか否かの判定が行なわれる。
【0020】
ダイナミックレンジ拡大を行う必要がないと判定が下されれば、標準画像はそのまま処理されずに合成部48を通じて出力される。ダイナミックレンジの拡大を行う判定が下されれば、パラメータ決定部47により標準画像のヒストグラムを用いて非標準画像を撮影するための絞り値及び電子シャッタ速度が求められる。求められた絞り値と電子シャッタ速度はインターフェース部42により撮像装置41へと送られる。撮像装置41はその絞り値及び電子シャッタ値を用いて非標準画像を撮影する。
【0021】
撮影された非標準画像はホストコンピュータ49に送られ、メモリ43に記憶される。メモリ44に記憶された標準画像とメモリ43に記憶された非標準画像とは合成部48により合成され、ダイナミックレンジの拡大された1枚の画像になる。この合成された画像はそのまま出力してもよいし、あるいは、ユーザの選択により撮像装置41に送り返され撮像装置41中のメモリ又は記憶媒体に記録するようにしてもよい。
【0022】
本実施例によれば、ダイナミックレンジ拡大処理機能がない撮像装置においてもダイナミックレンジ拡大画像を得ることが可能となる。
【0023】
図5は図1、図4の合成部12、48の構成例を示すブロック図である。
図5において、51は標準画像と非標準画像の輝度レベルを合わせる輝度レベル調節手段、52はレベル調節された上記標準画像中のレベル調節された非標準画像と置換する置換領域の検出を行う置換領域検出手段、53は標準画像と非標準画像の領域を上記検出に基づいて置換する置換手段である。
【0024】
尚、置換領域検出手段53は、あらかじめ設定された閾値を基に置換領域の検出を行うように構成されている。あるいは置換領域検出手段53は、標準画像の信号レベルのヒストグラムを基に置換領域の検出を行うように構成されている。
【0025】
【発明の効果】
以上説明したように本発明によれば、まず第1の画像を撮影してそのヒストグラムからダイナミックレンジの拡大を行うか否かを判定し、判定結果に応じて第2の画像を撮影するためのパラメータを決定するように構成したことにより、ダイナミックレンジを拡大する必要があるか否かを自動的に判別し、必要がある場合は、ヒストグラムに基づいて、被写体の明るい領域が適正に露光されている第2の画像を撮影するか、被写体の暗い領域が適正に露光されている第2の画像を撮影するか、両方の第2の画像を撮影するかを判断して第2の画像を撮影し、得られた第2の画像と第1の画像とを合成することにより、輝度差の大きい被写体について適切な広ダイナミックレンジの画像を得ることができ、また、ダイナミックレンジを拡大する必要がない場合は、第1の画像を出力することにより、短時間に撮影を行うことができる効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すブロック図である。
【図2】標準画像の信号レベルのヒストグラム図である。
【図3】標準画像の信号レベルの他のヒストグラム図である。
【図4】本発明の第2の実施例を示すブロック図である。
【図5】第1、第2の実施例における合成部の構成例を示すブロック図である。
【符号の説明】
8、 45 ヒストグラム処理部
9、 46 ダイナミックレンジ拡大判定部
10、47 パラメータ決定部
12、48 合成部

Claims (3)

  1. 所定の第1の露光で撮影された第1の画像の信号レベルのヒストグラムを求めるヒストグラム処理手段と、
    上記ヒストグラム処理手段で求められたヒストグラムに基づいてダイナミックレンジの拡大を行うか否かを判定するダイナミックレンジ拡大判定手段と、
    上記ダイナミックレンジ拡大判定手段の判定結果に応じて上記第1の露光とは異なる第2の露光で撮影される第2の画像を撮影するための撮影条件のパラメータを決定するパラメータ決定手段と、
    上記パラメータ決定手段で決定されたパラメータにより撮影された第2の画像と上記第1の画像とを合成して1枚の広ダイナミックレンジ画像を得る画像合成手段とを備え
    上記パラメータ決定手段による上記第2の画像の撮影パラメータをユーザが設定するようにした画像合成装置。
  2. 上記ダイナミックレンジ拡大判定手段がダイナミックレンジの拡大を行うと判定したときは、上記パラメータ決定手段がパラメータを決定し、上記画像合成手段が画像合成処理を行うようにした請求項1記載の画像合成装置。
  3. 上記ダイナミックレンジ拡大判定手段がダイナミックレンジの拡大を行わないと判定したときは、上記パラメータ決定手段はパラメータの決定を行わず、上記画像合成手段は上記第1の画像を出力するようにした請求項1記載の画像合成装置。
JP01692495A 1995-02-03 1995-02-03 画像合成装置 Expired - Fee Related JP3639627B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP01692495A JP3639627B2 (ja) 1995-02-03 1995-02-03 画像合成装置
US08/594,265 US5929908A (en) 1995-02-03 1996-01-30 Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
DE69627407T DE69627407T2 (de) 1995-02-03 1996-01-31 Verfahren und Vorrichtung zur Bildabtastung mit Dynamikumfangserweiterung
EP96300690A EP0725536B1 (en) 1995-02-03 1996-01-31 Method and apparatus for image sensing with dynamic range expansion
ES96300690T ES2193226T3 (es) 1995-02-03 1996-01-31 Metodo y aparato para la deteccion de imagenes con expansion dinamica.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01692495A JP3639627B2 (ja) 1995-02-03 1995-02-03 画像合成装置

Publications (2)

Publication Number Publication Date
JPH08214211A JPH08214211A (ja) 1996-08-20
JP3639627B2 true JP3639627B2 (ja) 2005-04-20

Family

ID=11929683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01692495A Expired - Fee Related JP3639627B2 (ja) 1995-02-03 1995-02-03 画像合成装置

Country Status (1)

Country Link
JP (1) JP3639627B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584733B2 (en) 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4003151B2 (ja) 1998-07-09 2007-11-07 富士フイルム株式会社 撮像装置
JP4544756B2 (ja) * 2001-01-19 2010-09-15 オリンパス株式会社 撮像装置
JP3974798B2 (ja) * 2002-03-06 2007-09-12 オリンパス株式会社 撮像装置
JP2003264739A (ja) * 2002-03-07 2003-09-19 Olympus Optical Co Ltd デジタルカメラ
JP3974799B2 (ja) * 2002-03-07 2007-09-12 オリンパス株式会社 デジタルカメラ
CN100361507C (zh) * 2004-09-15 2008-01-09 北京中星微电子有限公司 一种微机网络摄像头获取单张图像的方法
JP4607006B2 (ja) * 2005-12-27 2011-01-05 京セラ株式会社 映像信号処理方法および映像信号処理装置
KR100843087B1 (ko) 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
JP5163031B2 (ja) 2007-09-26 2013-03-13 株式会社ニコン 電子カメラ
JP5271631B2 (ja) 2008-08-07 2013-08-21 Hoya株式会社 画像処理ユニット、撮像装置、合成画像作成プログラム
JP5342274B2 (ja) * 2009-02-25 2013-11-13 株式会社メガチップス デジタルカメラの動作方法およびデジタルカメラ
JP2011091584A (ja) 2009-10-21 2011-05-06 Seiko Epson Corp 撮像装置、撮像方法及び電子機器
JP2012090041A (ja) * 2010-10-19 2012-05-10 Canon Inc 画像処理装置及び方法、並びにプログラム
JP2012155010A (ja) * 2011-01-24 2012-08-16 Keyence Corp 顕微鏡システム、表面状態観察方法および表面状態観察プログラム
JP5683418B2 (ja) * 2011-09-08 2015-03-11 オリンパスイメージング株式会社 撮影機器及び撮影方法
WO2013094087A1 (ja) 2011-12-22 2013-06-27 パナソニック株式会社 撮像装置
CN103973988B (zh) * 2013-01-24 2018-02-02 华为终端(东莞)有限公司 场景识别方法及装置
JP5469769B2 (ja) * 2013-05-24 2014-04-16 株式会社メガチップス デジタルカメラの動作方法およびデジタルカメラ
JP5469768B2 (ja) * 2013-05-24 2014-04-16 株式会社メガチップス デジタルカメラの動作方法およびデジタルカメラ
JP2016006930A (ja) 2014-06-20 2016-01-14 ソニー株式会社 撮像装置および撮像方法
JP6564368B2 (ja) 2014-07-18 2019-08-21 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置および撮像制御方法
JP5984975B2 (ja) * 2015-01-21 2016-09-06 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
JP2015144475A (ja) * 2015-03-11 2015-08-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584733B2 (en) 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition

Also Published As

Publication number Publication date
JPH08214211A (ja) 1996-08-20

Similar Documents

Publication Publication Date Title
JP3639627B2 (ja) 画像合成装置
US7453506B2 (en) Digital camera having a specified portion preview section
JP4003151B2 (ja) 撮像装置
US20080112644A1 (en) Imaging device
JP2005102175A (ja) デジタルカメラ
JP2004064676A (ja) 撮像装置
JP2000069352A (ja) 画像入力方法及び画像入力装置
JP3907816B2 (ja) 画像処理方法
JP2007324856A (ja) 撮像装置、撮像制御方法
US20080158386A1 (en) Image restoration device
JP2000156816A (ja) エッジ強調装置及びエッジ強調方法
JP4641571B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP2008092299A (ja) 電子カメラ
US20080158376A1 (en) Image-capturing device
US7864860B2 (en) Image pickup apparatus and motion vector deciding method
JP3613741B2 (ja) デジタルスチルカメラ、及びテレビ会議システム
KR20070070005A (ko) 촬영장치 및 촬영방법
JP2003348339A (ja) 画像処理方法および装置並びにプログラム
JP2005039365A (ja) ディジタル・カメラおよびその制御方法
JP6660236B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2006180078A (ja) 電子カメラ、画像処理装置および画像処理プログラム
JP2000224465A (ja) デジタルスチルカメラ
KR100819807B1 (ko) 촬상 장치 및 촬상 방법
JP4200575B2 (ja) デジタルカメラ
JP5871590B2 (ja) 撮像装置、及びその制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees