JP2777847B2 - 撮像装置および方法ならびに画像処理装置および方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【技術分野】この発明は，ビデオ・カメラ（ムービ・ビ
デオ・カメラ，スチル・ビデオ・カメラ等を含む）によ
って代表される撮像装置および撮像方法，ならびにビデ
オ・カメラ，表示装置，ビデオ・プリンタ等に内蔵され
るまたは独立して設置される画像処理装置および画像処
理方法に関する。

【０００２】

【背景技術】ビデオ・カメラは，撮像した被写体像を表
わす映像信号を発生するＣＣＤ等の固体電子撮像素子を
内蔵している。固体電子撮像素子のダイナミック・レン
ジは比較的狭いので，視野内に含まれる明るい部分と暗
い部分との輝度差が大きいときには撮影が困難である。

【０００３】たとえば，背景が非常に明るく中央の主要
被写体が暗い場合，逆光の場合，窓のある室内での撮影
において窓を通して外の風景が映る場合等である。この
ようなシーンの撮影において，主要被写体（人物である
場合が多い）が適正に露光されるように露光調整をする
と，明るい背景部分に関しては入射光量が固体電子撮像
素子のダイナミック・レンジを超え素子が飽和してしま
うので，明るい背景は撮影されずその部分の画像は単に
白くなる（白とび）。

【０００４】そこで一般にはストロボ発光して主要被写
体の輝度を高める工夫がなされる（日中シンクロストロ
ボ撮影）。しかしながら，日中シンクロストロボ撮影の
ためにはストロボ装置が必要であり，カメラが大型化す
るし，その操作も煩わしい。また，暗い部分が遠方にあ
る場合，および近距離の場所から遠方まで広がっている
ような場合には日中シンクロストロボ撮影は必ずしも効
果的とはいえない。

【０００５】そこで発明者は，必ずしもストロボ発光し
なくても，明るい領域と暗い領域との輝度差の大きい被
写体について適切な画像信号が得られるようにする技術
を開発し，本願と同日に特許出願した（発明の名称「ビ
デオ・カメラ，それを用いた撮影方法およびその動作方
法，ならびに画像処理装置および方法」；整理番号９１
１６７；出願人 富士写真フイルム株式会社および富士
フイルムマイクロデバイス株式会社）（以下「はめ込み
合成特許出願」という）。

【０００６】このはめ込み合成特許出願の発明の基本思
想は，２つの異なる露光量で被写体を撮像することによ
り，露光量の異なる２つの画像をそれぞれ表わす画像信
号を得，露光量の多い画像を表わす画像信号において，
その画像における輝度が相対的に高い領域を表わす画像
信号を，露光量の少ない画像における対応する領域を表
わす画像信号で置換することにより合成された画像信号
を作成するものである。

【０００７】このはめ込み合成特許出願の発明による
と，２つの異なる露光量で撮影された２つの画像信号の
適切に露光された部分のみを抽出してこれらを合成して
いるので，合成された画像信号により表わされる画像に
は，２つの部分の輝度差が非常に大きい被写体の画像で
あっても白とびや黒くずれがなくなり，人間が目で見た
シーンをよく再現した非常にすぐれた画像が得られる。

【０００８】上述したはめ込み合成特許出願の発明は，
画像の暗い領域と明るい領域との輝度差が非常に大きい
場合（たとえば，平均の輝度比が１対５〜10程度の場
合）にはきわめてすぐれた効果を発揮する。しかしなが
ら，画像に暗い領域と明るい領域とが存在するがそれら
の輝度差がそれほど大きくない場合（たとえば，平均の
輝度比が１対1.5 〜2.0 程度の場合）には，はめ込み合
成を行うと，再生された画像の階調がかえって不自然に
なるおそれがある。

【０００９】

【発明の概要】この発明は，上記はめ込み合成特許出願
の発明を補うものであって，画像の暗い領域と明るい領
域との輝度差が大きい場合，および必ずしも大きくはな
いが輝度差があることが明らかな場合のいずれに対して
も適切に対処しうるようにすることを目的とする。

【００１０】この目的を達成するためにこの発明は撮像
装置および方法を提供している。

【００１１】この発明による撮像装置は，２つの異なる
露光量で被写体を撮像し，露光量の異なる２つの画像を
それぞれ表わす画像信号を出力する撮像手段，上記撮像
手段から出力される露光量の多い画像を表わす上記画像
信号の一部が飽和しているかどうかを判定する判定手
段，上記判定手段によって飽和が生じていると判定され
たときに，露光量の多い画像を表わす画像信号におい
て，はめ込み合成のための第１のスレシホールド・レベ
ルを超えるレベルを持つ画像信号部分を，露光量の少な
い画像における対応する画像信号部分で置換する，また
は露光量の少ない画像を表わす画像信号において，はめ
込み合成のための第２のスレシホールド・レベル未満の
レベルを持つ画像信号部分を，露光量の多い画像におけ
る対応する画像信号部分で置換することにより，合成さ
れた画像信号を作成する画像合成手段，および上記判定
手段によって飽和が生じていないと判定されたときに，
露光量の多い画像を表わす画像信号に対して，高輝度範
囲において輝度レベルを圧縮するニー処理を施すニー処
理手段を備えている。

【００１２】この発明の一実施態様においては，上記撮
像手段が，入射光をあらかじめ定められた露光量の比に
応じて分割するビーム・スプリッタ手段，およびこのビ
ーム・スプリッタ手段によって分割された２つの入射光
をそれぞれ受光し，画像信号を出力する２つの固体電子
撮像素子を含むように構成される。

【００１３】この発明の他の実施態様においては，撮像
装置にはさらに，視野内において輝度が相対的に低い領
域に対して適正な露光量と，輝度が相対的に高い領域に
対して適正な露光量とをそれぞれ決定する手段が設けら
れる。上記撮像手段は決定された２種類の露光量でそれ
ぞれ被写体を２回撮影するように構成される。

【００１４】ここで画像信号という用語は，ディジタル
画像データおよびアナログ映像信号の両方を含むものと
して使用されている。

【００１５】この発明による撮像方法は，２つの異なる
露光量で被写体を撮像し，露光量の異なる２つの画像を
それぞれ表わす画像信号を発生し，露光量の多い画像を
表わす上記画像信号の一部が飽和しているかどうかを判
定し，上記判定処理によって飽和が生じていると判定さ
れたときには，露光量の多い画像を表わす画像信号にお
いて，はめ込み合成のための第１のスレシホールド・レ
ベルを超えるレベルを持つ画像信号部分を，露光量の少
ない画像における対応する画像信号部分で置換する，ま
たは露光量の少ない画像を表わす画像信号において，は
め込み合成のための第２のスレシホールド・レベル未満
のレベルを持つ画像信号部分を，露光量の多い画像にお
ける対応する画像信号部分で置換することにより，合成
された画像信号を作成し，上記判定処理によって飽和が
生じていないと判定されたときには，露光量の多い画像
を表わす画像信号に対して，高輝度範囲において輝度レ
ベルを圧縮するニー処理を施すものである。

【００１６】この発明はまた，上記の目的を達成するた
めに，画像処理装置および方法を提供している。この画
像処理装置は，ビデオ・カメラ，表示装置，ビデオ・プ
リンタ等に内蔵されるか，または独立の装置として実現
されよう。

【００１７】この発明による画像処理装置は，２つの異
なる露光量で撮像された被写体像をそれぞれ表わす露光
量の異なる２つの画像信号を入力する手段，露光量の多
い画像を表わす画像信号において，はめ込み合成のため
の第１のスレシホールド・レベルを超えるレベルを持つ
画像信号部分を，露光量の少ない画像における対応する
画像信号部分で置換する，または露光量の少ない画像を
表わす画像信号において，はめ込み合成のための第２の
スレシホールド・レベル未満のレベルを持つ画像信号部
分を，露光量の多い画像における対応する画像信号部分
で置換することにより，合成された画像信号を作成する
画像合成手段，露光量の多い画像を表わす画像信号に対
して，高輝度範囲において輝度レベルを圧縮するニー処
理を施すニー処理手段，および上記入力手段から入力し
た露光量の多い画像を表わす上記画像信号の一部が飽和
しているかどうかを判定し，飽和が生じていると判定さ
れたときには上記画像合成手段を起動し，飽和が生じて
いないと判定されたときには上記ニー処理手段を起動す
る制御手段を備えている。

【００１８】この発明による画像処理方法は，２つの異
なる露光量で撮像された被写体像をそれぞれ表わす露光
量の異なる２つの画像信号が与えられたときに，露光量
の多い画像を表わす上記画像信号の一部が飽和している
かどうかを判定し，飽和が生じていると判定されたとき
には，露光量の多い画像を表わす画像信号において，は
め込み合成のための第１のスレシホールド・レベルを超
えるレベルを持つ画像信号部分を，露光量の少ない画像
における対応する画像信号部分で置換する，または露光
量の少ない画像を表わす画像信号において，はめ込み合
成のための第２のスレシホールド・レベル未満のレベル
を持つ画像信号部分を，露光量の多い画像における対応
する画像信号部分で置換することにより，合成された画
像信号を作成し，飽和が生じていないと判定されたとき
には，露光量の多い画像を表わす画像信号に対して，高
輝度範囲において輝度レベルを圧縮するニー処理を施す
ものである。

【００１９】この発明によると，撮像手段から出力され
る露光量の多い画像を表わす画像信号に飽和が生じてい
る場合には，はめ込み合成が適切であると判断される。
２つの異なる露光量で撮影された２つの画像信号の適切
に露光された部分のみが抽出され，これらのはめ込み合
成により新たな画像信号が作成される。他方，上記のは
め込み合成が必ずしも適切でないと判断されたときに
は，露光量の多い画像信号のみが用いられ，この画像信
号において高輝度部分のみがレベル圧縮される（ニー処
理）。このニー処理により，明るい領域の輝度が相対的
に低下し暗い領域の輝度に近づくので，再現された画像
の画質が向上する。

【００２０】以上のようにしてこの発明によると，輝度
差の大小にかかわりなく常にすぐれた画質の画像を表わ
す画像信号を得ることができる。

【００２１】

【実施例の説明】図１から図４を参照して，まず画像は
め込み処理の基本的な考え方について説明する。

【００２２】図１は窓のある部屋内で撮影を行うときの
カメラの視野内に収まるシーンの一例を示している。

【００２３】室内ＲＭの像ＳＬ（符号ＳＬはこの像の部
分または領域を表わす場合にも用いる）は比較的暗い。
窓ＷＮを通して外の風景が見え，この風景の像ＳＨ（こ
の符号ＳＨはこの像の部分または領域を表わす場合にも
用いる）は比較的明るい。一般的に言うと，窓ＷＮを通
して見える像ＳＨの平均輝度は，室内ＲＭの像ＳＬの平
均輝度の約５〜10倍である。撮像管やＣＣＤ等のイメー
ジ・センサのダイナミック・レンジは，相対的に明るい
部分の平均輝度が相対的に暗い部分の平均輝度の２〜３
倍程度のシーンにしか対応できない。すなわち，輝度差
が２〜３倍以上あると，暗い部分を適正露光したときに
は明るい部分についてはセンサが飽和し（再生したとき
に白とびが生じる），明るい部分を適正露光したときに
は暗い部分についての像は殆ど映らずかつ映像信号にお
けるノイズ成分の比率がきわめて高くなる。

【００２４】図２はイメージ・センサの光電変換特性と
輝度についてのヒストグラムを示している。

【００２５】実線ＳＬ１は相対的に暗い像ＳＬが適正に
露光されたときのイメージ・センサの光電変換特性を示
し，実線ＳＬ２は光電変換特性ＳＬ１の下で撮像された
相対的に暗い像ＳＬの輝度の度数分布を示している。

【００２６】これに対して破線ＳＨ１は相対的に明るい
像ＳＨが適正に露光されたときのイメージ・センサの光
電変換特性を示し，破線ＳＨ２は光電変換特性ＳＨ１の
下で撮像された相対的に明るい像ＳＨの輝度の度数分布
を示している。

【００２７】この図から明らかなように，相対的に明る
い像ＳＨは光電変換特性ＳＬ１の飽和領域に完全に含ま
れてしまい，また光電変換特性ＳＨ１の下では相対的に
暗い像ＳＬを表わす出力信号のレベルは非常に低いとこ
ろに集中する。

【００２８】図３(A) は室内ＲＭの明るさに対して適正
な露光量（露光量は相対的に多い）で撮影された画像を
示している。室内ＲＭの像ＳＬａは適正に露光されてい
るので良好な画像となっている。これに対して窓ＷＮを
通して現われる風景の像ＳＨａは白くとんでいる。

【００２９】図３(B) は窓ＷＮの像ＳＨｂに対して適正
な露光量（露光量は相対的に少ない）で撮影された画像
を示している。窓ＷＮを通して見える風景の像ＳＨｂは
良好であるが，室内ＲＭの像ＳＬｂはかなり暗くなって
いる。

【００３０】露光量が相対的に多い画像において飽和し
ている領域の像（必ずしも飽和している必要はなく，他
の部分よりも相対的に明るい領域であればよい）が，露
光量が相対的に少ない画像における対応する領域の像で
置換されることにより画像のはめ込みが行われる。すな
わち，図３(A) において窓ＷＮの像ＳＨａが，図３(B)
に示す窓ＷＮの像ＳＨｂで置きかえられる。これによ
り，図１に示すように，室内ＲＭ，窓ＷＮがともに良好
な画像となり，人間が目で見たシーンに近い画像が得ら
れる。このようにしてはめ込み合成された画像のヒスト
グラムが図４に示されている。２つの輝度分布ＳＬ２と
ＳＨ２はかなり近づいている。

【００３１】露光量が相対的に少ない画像において相対
的に暗い領域の像を，露光量が相対的に多い画像におけ
る対応する領域の像で置換するようにしてもよい。たと
えば，図３(B) において室内ＲＭの像ＳＬｂを，図３
(A) に示す室内ＲＭの像ＳＬａで置きかえる。

【００３２】次にニー（Knee）処理の基本的な考え方に
ついて図５から図８を参照して説明する。

【００３３】図５は主要被写体である人物が白い服（た
とえば白いカッター・シャツ）を着ている画像を示して
いる。白い服の部分が符号ＷＨで示されている。背景は
青い空または林であり，背景よりも白い服ＷＨの方が輝
度が高い。

【００３４】図５に示す画像の輝度についてのヒストグ
ラムが図６に示されている。ハッチングで示す部分が主
に白い服ＷＨの輝度分布である。このハッチングの部分
の多くは映像信号の白レベルを超えている。

【００３５】このような画像については上述したはめ込
み合成の手法は必ずしも妥当ではない。はめ込み合成は
図２に示すように相対的に暗い領域ＳＬの輝度分布と相
対的に明るい領域ＳＨの輝度分布とが完全に分離してい
る場合に効果的である。図６に示すヒストグラムでは相
対的に暗い領域の輝度分布と相対的に明るい領域ＷＨの
輝度分布とが連続しているので，これらの領域を分離す
るのが困難である。また，たとえ両領域の分離が可能で
はめ込み合成をしたとしても，はめ込み合成後において
は，相対的に明るい領域ＷＨの多くの部分の輝度が相対
的に暗い領域の最大輝度よりも低下するので，再現され
た画像の階調が不自然となる。

【００３６】図６に示すような輝度分布をもつ画像の画
像信号に対してはニー処理が施される。ニー処理は画像
信号の高輝度領域の輝度レベルを圧縮するものである。
ニー処理は図８に示す特性をもつ回路またはテーブル
（ルック・アップ・テーブル＝ＬＵＴ）を用いて実行さ
れる。入力画像信号のレベルが白レベル（100％）まで
はそれに等しいレベルの出力画像信号が得られるが，入
力信号のレベルが 100％レベルを超えると，入力画像信
号の変化率に対する出力画像信号の変化率が小さくな
る。

【００３７】このようにしてニー処理が施されたのちの
画像の輝度分布が図７に示されている。相対的に明るい
領域ＷＨの輝度分布はハッチングで示すようにかなりレ
ベル圧縮されている。

【００３８】図９はリアル・タイムでアナログ映像信号
上で画像のはめ込み合成処理およびニー処理を行う実施
例を示している。この実施例の回路はスチル・ビデオ・
カメラのみならず，ムービ・ビデオ・カメラにも適用す
ることができるが，ここではムービ・ビデオ・カメラの
動作を前提として説明する。

【００３９】撮像光学系は，撮像レンズ11，絞り12，ビ
ーム・スプリッタ13および２つのＣＣＤ14，15を含んで
いる。被写体を表わす光像はレンズ11および絞り12を経
て，ビーム・スプリッタ13で分割され，２つのＣＣＤ14
および15上に結像する。上述したように，図１に示すよ
うな窓のある室内での撮影等においては，相対的に暗い
領域ＳＬの平均輝度と相対的に明るい領域ＳＨの平均輝
度との比は１対５〜10程度である。この実施例ではビー
ム・スプリッタ13の光の分割比は５対１に設定されてい
る。入射光の光量の５／６の光量の光がビーム・スプリ
ッタ13を通ってＣＣＤ14に入射する。入射光の光量の１
／６の光量の光がビーム・スプリッタ13で反射してＣＣ
Ｄ15に入射する。

【００４０】ＣＣＤ14から出力される映像信号は前置増
幅器16で増幅されたのち白レベル圧縮プリニー（Pre-Kn
ee）回路18に与えられるとともに，露光制御回路20に入
力する。ＣＣＤ15から出力される映像信号は前置増幅器
17で増幅されたのち自動ゲイン制御増幅回路（以下ＡＧ
Ｃという）19に与えられるとともに露光制御回路20に入
力する。露光制御回路20はこれらの入力映像信号をＡ／
Ｄ変換器によってディジタル画像データに変換して取込
む。露光制御回路20はＣＰＵを含み，これらの入力画像
データに基づいて，絞り12の制御（露光制御），ＡＧＣ
19のゲインの調整，白レベル圧縮プリニー回路18の動作
のオン／オフ制御，および後述するパルス幅検出回路24
の動作のオン／オフ制御を行う。

【００４１】この実施例では被写体像の連続的な撮影が
行われており，たとえば１／60秒（または１／30秒）ご
とにＣＣＤ14および15から１フィールド（または１フレ
ーム）分の映像信号が出力されている。

【００４２】露光量の制御には露光量が多いＣＣＤ14の
出力映像信号が使用される。露光制御回路20は増幅器16
から与えられる映像信号の平均輝度に基づいて，被写体
像の相対的に暗い領域（図１に示す領域ＳＬ，または図
５に示す領域ＷＨ以外の部分）が適正に露光されるよう
に絞り12を調整する。被写体像の相対的に明るい領域
（ＳＨやＷＨ）に関しては映像信号が飽和（ＣＣＤ上で
の飽和または前置増幅器のもつクリップ特性による飽
和）しているので，映像信号の平均輝度に対して大きな
影響を与えない。したがって，被写体像の平均輝度に基
づいて露光調整を行うと，結果的に相対的に暗い領域が
適正に露光されるようになる。シャッタ速度（露光時
間）は固定であり，たとえば１／60秒（または１／30
秒）に保持される。すなわち，メカニカルなシャッタは
設けられていず，ＣＣＤ14，15の不要電荷のクリアと信
号電荷の読出しにより露光時間が規定される。

【００４３】はめ込み合成を行うかニー処理を行うかの
判断は露光制御回路20において次のようにして行われ
る。

【００４４】上述のように，絞り12は画像の相対的に暗
い領域がＣＣＤ14上において適正に露光されるように設
定されている。換言すると，画像の相対的に暗い領域に
おける最も輝度の高い部分を表わす映像信号がほぼ白レ
ベル（ 100％）となる。

【００４５】一方，上述のようにＣＣＤ15に入射する光
量はＣＣＤ14に入射する光量の１／５である。また，Ｃ
ＣＤは一般に映像信号の白レベル（ 100％）の約２倍の
ダイナミック・レンジをもつように使用される。

【００４６】したがって，ＣＣＤ15から与えられる映像
信号のピーク輝度が白レベルの40％以上であれば，ＣＣ
Ｄ14から出力される映像信号の一部（相対的に明るい領
域を表わす部分）は飽和していると考えられる。映像信
号が飽和しているときにははめ込み合成処理が好まし
い。

【００４７】露光制御回路20はＣＣＤ15から出力され前
置増幅器17を通して入力する映像信号（画像データ）の
１フィールド（または１フレーム）間におけるピーク輝
度を検出し，このピーク輝度が白レベルの40％以上であ
ればはめ込み合成が必要であると判定する。ピーク輝度
が白レベルの40％未満の場合にはニー処理と決定され
る。

【００４８】ピーク輝度と平均輝度がほぼ比例している
と考えれば上記の判定基準は次のように言いなおすこと
もできる。すなわち，画像の相対的に明るい領域の平均
輝度が相対的に暗い領域の平均輝度の２倍以上であると
きにははめ込み合成を行い，２倍未満のときにはニー処
理を行う。

【００４９】測光領域内が複数の小領域に分割され，各
小領域ごとにその小領域の平均輝度を表わす信号が得ら
れる分割測光用の測光センサを用い，この測光センサか
らの信号に基づいて上記の判断を行うこともできる。

【００５０】すなわち，各小領域についての測光輝度デ
ータ（平均輝度）を適当なスレシホールド値と比較し，
その比較結果に応じて被写体像の相対的に暗い部分に関
する測光輝度データと明るい部分に関する測光輝度デー
タとに分類する。相対的に明るい部分に関する測光輝度
データの平均値と，相対的に暗い部分に関する測光輝度
データの平均値との比が２以上であればはめ込み合成，
２未満であればニー処理と判定する。

【００５１】一般的には，被写体像の相対的に暗い部分
および相対的に明るい部分が測光センサの測光小領域に
丁度対応するとは限らないが，暗い部分と明るい部分と
の間には顕著な輝度差があるから，適当なシレスホール
ド値を用いることにより，相対的に暗い部分にほぼ対応
する測光小領域の測光輝度データと，相対的に明るい部
分にほぼ対応する測光小領域の測光輝度データとを区分
けすることが可能である。また，測光センサのダイナミ
ック・レンジは非常に広いので，出力信号が飽和するこ
とはなく，相対的に暗い領域および相対的に明るい領域
の輝度を正確に測定できる。

【００５２】はめ込み合成と判断されたときには白レベ
ル圧縮プリニー回路18の動作はオフとされる。すなわ
ち，この回路18はオフとされたときには 100％以上の入
力については図８に破線で示す特性を示し，入力信号を
そのまま出力する。また，パルス幅検出回路24の動作が
オンとされ，後に示すパルス幅検出動作を行う。

【００５３】はめ込み合成の動作について次に説明す
る。はめ込み合成では，ＣＣＤ14および15の両方の出力
映像信号が用いられる。

【００５４】上述したようにＣＣＤ14に結像する被写体
像の相対的に暗い領域ＳＬ（図１参照）が適正に露光さ
れるように露光量が調整されており，かつビーム・スプ
リッタ13の分割比が５対１に設定されているから，ＣＣ
Ｄ15に結像する相対的に明るい領域ＳＨについてもほぼ
適正な露光量となっていることが期待できる。相対的に
暗い領域ＳＬの画像と明るい領域ＳＨの画像とを合成し
たときにこれらの画像が適切にマッチングするように
（たとえば，相対的に明るい領域ＳＨの画像が，合成後
の画像において，相対的に暗い領域ＳＬの画像よりも暗
くなってしまうような事態の発生を防止するために），
ＡＧＣ19が設けられている。露光制御回路20は増幅器17
から与えられる前フィールド（または前フレーム）の映
像信号のピーク・レベルを検出し，このピーク・レベル
が次のフィールド（またはフレーム）の映像信号におい
ても一定に保持されるようにＡＧＣ19のゲインを調整す
る。このようにして，１フィールド（または１フレー
ム）ごとに（１／60秒ごとに，または１／30秒ごとに）
ＡＧＣ19のゲイン調整が行われ，相対的に明るい領域Ｓ
Ｈの画像の最も明るい部分の明るさが常にほぼ一定に保
持される。

【００５５】露光量の多い映像信号である増幅器16の出
力はまたＬＰＦ（ロウ・パス・フィルタ）22を通して，
その低周波成分のみが比較器23に与えられる。比較器23
には映像信号の飽和レベルよりも少し低いレベルをもつ
スレシホールド電圧Ｖ_THが設定されている。比較器23は
入力映像信号のレベルがスレシホールド電圧Ｖ_THを超え
ている場合に出力を発生する。比較器23の出力はパルス
幅検出回路24に入力する。このパルス幅検出回路24は，
単安定マルチバイブレータ等を含み，比較器23の出力信
号のパルス幅が基準幅Ｗを超えている場合にその出力信
号を基準幅Ｗに相当する時間遅延させた上で出力する。
パルス幅検出回路24の出力信号はマルチプレクサ28にそ
の制御信号として与えられる。

【００５６】遅延回路26および27には上記の基準幅Ｗに
相当する時間（またはこの時間にＬＰＦ22の動作に起因
する遅延時間を加えた時間）に等しい遅延時間が設定さ
れている。増幅器16の出力映像信号はそのままプリニー
回路18を通って遅延回路26に与えられ，ＡＧＣ19の出力
映像信号は遅延回路27に与えられ，これらの遅延回路26
および27でその遅延時間だけ遅らされてそれぞれマルチ
プレクサ28に入力する。

【００５７】マルチプレクサ28は通常は遅延回路26の出
力映像信号を選択して出力し，パルス幅検出回路24から
出力信号が与えられているときには遅延回路27の出力映
像信号を選択して出力する。これにより，上述した原理
に基づく画像のはめ込み合成が行われる。マルチプレク
サ28の出力映像信号は映像信号処理回路29においてγ補
正などが加えられる。

【００５８】ＬＰＦ22およびパルス幅検出回路24は，相
対的に暗い領域ＳＬに存在する小さな輝点（スレシホー
ルド電圧Ｖ_THよりも高いレベルをもつ）が相対的に明る
い領域であると判定されるのを防止するためのものであ
る。このような小さな輝点についてもはめ込み合成が行
われると画質が悪化する。

【００５９】次にニー処理について説明する。露光制御
回路20はニー処理が必要であると判定したときには白レ
ベル圧縮プリニー回路18の動作をオンし，パルス幅検出
回路24をオフとする。パルス幅検出回路24はオフとされ
ると，どのような入力信号が与えられようと出力信号を
発生しない。したがって，マルチプレクサ28は遅延回路
26の出力映像信号のみを選択して出力する。

【００６０】白レベル圧縮プリニー回路18は図８に実線
で示す特性をもち，入力映像信号の高輝度領域をレベル
圧縮する。プリニー回路の機能は最も簡単には，たとえ
ばそれぞれ異なるバイアスが加えられかつ並列に接続さ
れたダイオードを入力電圧の増大にしたがい順次オンさ
せ，入力の増大に対する出力の増大の比率を順次小さく
することにより実現することができる。映像信号の輝度
レベルのみを圧縮すればよいから，カラー映像信号の場
合にはその輝度信号のみをこの回路18に与えればよい。

【００６１】プリニー回路18で輝度レベル圧縮された映
像信号は遅延回路26を経て（遅延回路26を迂回させるよ
うにしてもよい），マルチプレクサ28を通り，処理回路
29でγ補正されたのち出力される。このようにニー処理
が選択されたときにはＣＣＤ14の出力映像信号のみが用
いられる。

【００６２】白レベル圧縮プリニー回路18とパルス幅検
出回路24のオン／オフ制御は適当なヒステリシスをもた
せて行うようにすることが好ましい。これにより，画像
のはめ込み合成処理とニー処理とが頻繁に切換えられる
のが防止される。

【００６３】上記実施例ではメカニカルなシャッタは設
けられていないがメカニカルなシャッタを設けて露光制
御を行うこともできる。またＣＣＤのもつ電子シャッタ
機能を利用して露光制御をしてもよい。

【００６４】上記実施例では２個のＣＣＤが設けられて
いるが，１個のＣＣＤのみをもつ撮像装置においては露
光量を異ならせて２回露光することにより２つの露光量
の異なる映像信号を得ることができる。すなわち，まず
画像の相対的に暗い領域が適正に露光される第１の露光
量（絞り値，シャッタ速度）と，相対的に明るい領域が
適正に露光される第２の露光量が決定される。第１の露
光量で第１回目の撮影を行い，続いて第２の露光量で第
２回目の撮影を行う。

【００６５】図９に示す回路はアナログ処理回路である
が，この発明はディジタル処理回路によっても実現可能
である。たとえば，上記の第１回目の撮影により得られ
た映像信号が第１のディジタル画像データに変換されて
第１のメモリに記憶される。第２回目の撮影により得ら
れる映像信号が第２のディジタル画像データに変換され
て第２のメモリに記憶される。第１のメモリの画像デー
タをロウ・パス・フィルタリングしたのち所定のスレシ
ホールド・レベル・データと比較することにより，相対
的に明るい領域を検出する。検出した相対的に明るい領
域については第２のメモリの画像データを，その他の領
域（相対的に暗い領域）については第１のメモリの画像
データをそれぞれ読出して合成することによりはめ込み
合成された画像データが得られる。ニー処理は，図８に
示すような特性をもつルック・アップ・テーブルを利用
して簡単に行うことができる。

【００６６】はめ込み合成処理かニー処理かの判定は，
第１のメモリにおける相対的に暗い領域の画像データの
平均輝度，第２のメモリにおける相対的に明るい領域の
画像データの平均輝度，および第１回目の撮影と第２回
目の撮影とにおける露光量の比を用いて，上述した考え
方にしたがって行うことができる。

【００６７】その他，はめ込み合成処理に関する種々の
変形例があるが，それは上記のはめ込み合成特許出願の
明細書に詳細に述べられている。

【図面の簡単な説明】

【図１】カメラの視野内のシーンの例を示す。

【図２】イメージ・センサの光電変換特性と輝度につい
てのヒストグラムを示すグラフである。

【図３】(A) は相対的に多い露光量で撮影された画像を
示し，(B)は少ない露光量で撮影された画像を示す。

【図４】はめ込み合成された画像の輝度ヒストグラムを
示すグラフである。

【図５】カメラの視野内の他のシーンの例を示す。

【図６】図５に示すシーンの輝度ヒストグラムを示すグ
ラフである。

【図７】ニー処理された画像の輝度ヒストグラムを示す
グラフである。

【図８】ニー特性を示すグラフである。

【図９】この発明の実施例を示し，ビデオ・カメラの構
成を示すブロック図である。

【符号の説明】

ＳＬ 相対的に暗い領域 ＳＨ，ＷＨ 相対的に明るい領域 11 撮像レンズ 12 絞り 13 ビーム・スプリッタ 14，15 ＣＣＤ 18 白レベル圧縮プリニー回路 19 ＡＧＣ 20 露光制御回路 22 ＬＰＦ 23 比較器 24 パルス幅検出回路 28 マルチプレクサ

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ２つの異なる露光量で被写体を撮像し，
   露光量の異なる２つの画像をそれぞれ表わす画像信号を
   出力する撮像手段，上記撮像手段から出力される露光量の多い画像を表わす
   上記画像信号の一部が飽和しているかどうかを判定する
   判定手段， 上記判定手段によって飽和が生じていると判定されたと
   きに，露光量の多い画像を表わす画像信号において，は
   め込み合成のための第１のスレシホールド・レベルを超
   えるレベルを持つ画像信号部分を，露光量の少ない画像
   における対応する画像信号部分で置換する，または露光
   量の少ない画像を表わす画像信号において，はめ込み合
   成のための第２のスレシホールド・レベル未満のレベル
   を持つ画像信号部分を，露光量の多い画像における対応
   する画像信号部分で置換することにより，合成された画
   像信号を作成する画像合成手段，および上記判定手段に
   よって飽和が生じていないと判定されたときに，露光量
   の多い画像を表わす画像信号に対して，高輝度範囲にお
   いて輝度レベルを圧縮するニー処理を施すニー処理手
   段，を備えた撮像装置。
2. 【請求項２】 上記撮像手段が， 入射光をあらかじめ定められた露光量の比に応じて分割
   するビーム・スプリッタ手段，およびこのビーム・スプ
   リッタ手段によって分割された２つの入射光をそれぞれ
   受光し，画像信号を出力する２つの固体電子撮像素子， を含む請求項１に記載の撮像装置。
3. 【請求項３】 視野内において輝度が相対的に低い領域
   に対して適正な露光量と，輝度が相対的に高い領域に対
   して適正な露光量とをそれぞれ決定する手段を備え， 上記撮像手段は決定された２種類の露光量でそれぞれ被
   写体を２回撮影するものである， 請求項１に記載の撮像装置。
4. 【請求項４】 ２つの異なる露光量で被写体を撮像し，
   露光量の異なる２つの画像をそれぞれ表わす画像信号を
   発生し，露光量の多い画像を表わす上記画像信号の一部が飽和し
   ているかどうかを判定し， 上記判定処理によって飽和が生じていると判定されたと
   きには，露光量の多い画像を表わす画像信号において，
   はめ込み合成のための第１のスレシホールド・レベルを
   超えるレベルを持つ画像信号部分を，露光量の少ない画
   像における対応する画像信号部分で置換する，または露
   光量の少ない画像を表わす画像信号において，はめ込み
   合成のための第２のスレシホールド・レベル未満のレベ
   ルを持つ画像信号部分を，露光量の多い画像における対
   応する画像信号部分で置換することにより，合成された
   画像信号を作成し， 上記判定処理によって飽和が生じていないと判定された
   ときには，露光量の多い画像を表わす画像信号に対し
   て，高輝度範囲において輝度レベルを圧縮するニー処理
   を施す， 撮像方法。
5. 【請求項５】 ２つの異なる露光量で撮像された被写体
   像をそれぞれ表わす露光量の異なる２つの画像信号を入
   力する手段， 露光量の多い画像を表わす画像信号において，はめ込み
   合成のための第１のスレシホールド・レベルを超えるレ
   ベルを持つ画像信号部分を，露光量の少ない画像におけ
   る対応する画像信号部分で置換する，または露光量の少
   ない画像を表わす画像信号において，はめ込み合成のた
   めの第２のスレシホールド・レベル未満のレベルを持つ
   画像信号部分を，露光量の多い画像における対応する画
   像信号部分で置換することにより，合成された画像信号
   を作成する画像合成手段， 露光量の多い画像を表わす画像信号に対して，高輝度範
   囲において輝度レベルを圧縮するニー処理を施すニー処
   理手段，および上記入力手段から入力した露光量の多い
   画像を表わす上記画像信号の一部が飽和しているかどう
   かを判定し，飽和が生じていると判定されたときには上
   記画像合成手段を起動し，飽和が生じていないと判定さ
   れたときには上記ニー処理手段を起動する制御手段， を備えた画像処理装置。
6. 【請求項６】 ２つの異なる露光量で撮像された被写体
   像をそれぞれ表わす露光量の異なる２つの画像信号が与
   えられたときに，露光量の多い画像を表わす上記画像信号の一部が飽和し
   ているかどうかを判定し， 飽和が生じていると判定された ときには，露光量の多い
   画像を表わす画像信号において，はめ込み合成のための
   第１のスレシホールド・レベルを超えるレベルを持つ画
   像信号部分を，露光量の少ない画像における対応する画
   像信号部分で置換する，または露光量の少ない画像を表
   わす画像信号において，はめ込み合成のための第２のス
   レシホールド・レベル未満のレベルを持つ画像信号部分
   を，露光量の多い画像における対応する画像信号部分で
   置換することにより，合成された画像信号を作成し，飽和が生じていないと判定された ときには，露光量の多
   い画像を表わす画像信号に対して，高輝度範囲において
   輝度レベルを圧縮するニー処理を施す， 画像処理方法。