JPH10191178A

JPH10191178A - 信号処理方法および信号処理装置

Info

Publication number: JPH10191178A
Application number: JP9261690A
Authority: JP
Inventors: Yasuhiko Murayama; 靖彦村山
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1996-10-29
Filing date: 1997-09-26
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】ＣＣＤカメラなど感度レンジの狭い画像入力
装置において簡単な構成および処理で感度レンジの拡大
を図る。【解決手段】固体撮像素子の感度を全レンジ幅内にお
ける所定のレンジ幅に対応するような第１の感度設定
（低レンジ入力設定）を行って、１フレームごとに画像
入力を行い（ステップｓ２）、その１フレーム分入力さ
れた画像データに飽和部分が存在するか否かを判定し
（ステップｓ３，ｓ４）、飽和部分が存在する場合、感
度を第２の感度設定（高レンジ入力設定）として（ステ
ップｓ５〜ｓ８）、次の１フレーム分の画像データ入力
を行い（ステップｓ２）、前記第１の感度設定により入
力されたフレームデータに存在する飽和部分のデータ
を、前記第２の感度設定により入力された次の１フレー
ム分の前記飽和部分に対応する画素のデータに変換する
（ステップｓ１２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば電荷結合
撮像素子（以下、ＣＣＤ撮像素子という）などの固体撮
像素子を利用した固体撮像装置における信号処理方法お
よび信号処理装置に関する。

【０００２】

【従来の技術】最近、ＣＣＤ撮像素子を用いたＣＣＤカ
メラがパソコンへの画像入力装置やディジタルカメラな
ど広い分野で使われるようになってきた。

【０００３】このようなＣＣＤカメラを用いて、たとえ
ば、窓の有る室内で窓を含めた画像を取り込もうとする
と、窓の部分が白くつぶれた画像となる場合がある。こ
れは、一般にＣＣＤ撮像素子は感度幅が狭いためであ
り、例えば撮像対象の多くを占める暗い部分（室内）を
取り込みやすくするため、撮像対象の暗い部分が感度範
囲の中心になるような感度調整がなされるからである。
したがって、前記したように、撮像対象にきわめて明る
い部分（窓）が存在すると、明るい部分が白くつぶれて
しまうことになる。

【０００４】これに対処する技術として、たとえば、図
８に示すような構成の信号処理方式（第１の従来技術と
いう）がある。

【０００５】この第１の従来技術は、光学分解プリズム
１０１と、この光学分解プリズム１０１で分離される２
方向の光路上に設けられた異なる光感度を有する第１お
よび第２のＣＣＤ撮像素子１０２，１０３を設けてい
る。そして、広いダイナミックレンジの信号を得るため
に、第１および第２のＣＣＤ撮像素子１０２，１０３を
駆動する駆動回路１０４，１０５により、第１および第
２のＣＣＤ撮像素子１０２，１０３が所望の光感度を得
られるように制御し、それぞれのＣＣＤ撮像素子１０
２，１０３からの信号を増幅器１０６，１０７にで増幅
したのち、加算回路１０８で両信号を加算するというも
のである。

【０００６】このような信号処理方式によれば、確かに
広いダイナミックレンジの信号を得ることができるが、
光路を２方向に分離する手段が必要となり、また、ＣＣ
Ｄ撮像素子が少なくとも２つ必要となる。そして、これ
らのＣＣＤ撮像素子を駆動するための回路もそれぞれに
対応して設ける必要があるため、装置の小型化やコスト
の面で問題がある。

【０００７】このような問題点を解決するものとして、
特開平６−１６５０２６（第２の従来技術という）があ
る。

【０００８】この第２の従来技術は、図９に示すよう
に、１つのＣＣＤ撮像素子２００からそれぞれ露光時間
の異なる第１の撮像信号（等価的に感度の低いもの）と
第２の撮像信号（等価的に感度の高いもの）を、プリア
ンプ２１１、Ａ／Ｄ変換器２１２、メモリ２１３からな
る第１の信号処理経路２１０と、プリアンプ２２１、Ａ
／Ｄ変換器２２２、メモリ２２３からなる第２の信号処
理経路２２０を介して導出する。

【０００９】そして、比較回路２３０により、前記第１
の撮像信号と基準レベル（ＣＣＤ飽和レベル相当設定回
路２３３から出力される）とを比較して、第１の撮像信
号が飽和レベルに達しているかどうかを判定し、飽和レ
ベルに達していないときは、第２の信号処理経路２２０
に接続されている利得制御回路２３１を利得”１”に設
定する。一方、第１の撮像信号が飽和レベルに達してい
るときは、除算回路２３２により、前記基準レベルで第
１の撮像信号を割り算した結果を用いて、利得制御回路
２３１を利得制御し、利得制御回路２３１の出力側にあ
たかも第１の撮像信号が飽和していないかのような予測
信号を発生させるものである。

【００１０】

【発明が解決しようとする課題】この第２の従来技術
は、確かに、１つのＣＣＤ撮像部で広いダイナミックレ
ンジを得ることができるが、図９からもわかるように、
プリアンプ、Ａ／Ｄ変換器、メモリなどを別々の信号処
理系統として持つ必要があり、信号処理回路が複雑にな
るという問題がある。

【００１１】本発明は、撮像部を複数設ける必要がな
く、また、信号処理系統も複数設けることなく感度レン
ジを拡大することができる信号処理方法および信号処理
装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】前記目的を達成するため
に、本発明の信号処理方法は、請求項１に記載されるよ
うに、固体撮像素子にて取り込んだ画像データを処理す
るとともに固体撮像素子を制御するための信号を出力す
る信号処理方法において、前記固体撮像素子の感度を通
常の撮像となる第１の感度設定を行って画像入力を行
い、この第１の感度設定により入力された画像データに
飽和部分が存在するか否かを判定し、飽和部分が存在す
る場合、感度を第２の感度設定として画像入力を行い、
前記飽和部分のデータを、前記第２の感度設定により入
力された前記飽和部分に対応する画素のデータに変換す
ることを特徴とする。

【００１３】また、前記第１の感度設定および第２の感
度設定は、請求項２に記載されるように、前記第１の感
度設定は、全レンジ幅の高レンジ側または低レンジ側の
いずれか一方のレンジにおける所定範囲のレンジ範囲に
対応し、前記第２の感度設定は前記第１の感度設定とは
異なる側のレンジにおける所定範囲のレンジ範囲に対応
し、第１の感度設定による感度と第２の感度設定による
感度は予め設定された関係とするようにしている。

【００１４】以上の請求項１から請求項２の発明は、取
り込んだ画像データを、たとえば、最初は低レンジ入力
設定（暗い部分に合わせた感度設定）により取り込み、
取り込んだ画像中に飽和している部分が有るか否かを判
断して、飽和部分が存在する場合には、次に高レンジ入
力設定（明るい部分に合わせた感度設定）にて画像入力
し、前記低レンジ入力設定にて取り込んだ画像中の飽和
画素部分のデータを高レンジ入力設定にて取り込んだ画
素データに置き換える処理を行うものである。これによ
り、たとえば、撮像対象の多くを占める暗い部分（室
内）の中に明るい部分（窓）が存在するような場合、そ
れぞれに対応した撮像部を複数設ける必要がなく、ま
た、それぞれに対応した信号処理系統を持つことなく、
暗い部分および明るい部分を良好に取り込むことができ
る。

【００１５】また、請求項３に記載されるように、前記
第１の感度設定は、全レンジ幅の高レンジ側または低レ
ンジ側のいずれか一方のレンジにおける所定範囲のレン
ジ範囲に対応し、前記第２の感度設定は前記第１の感度
設定とは異なる側のレンジにおける所定範囲のレンジ範
囲に対応し、第１の感度設定による感度と第２の感度設
定による感度の比は、取り込んだ画像に応じて可変とし
たことを特徴とする。これによれば、撮像対象に含まれ
る明るさに応じた感度設定が行え、撮像対象に適した処
理が可能となる。たとえば、撮像対象により明るい部分
が存在しているような場合、その部分の明るさに応じた
感度設定が行える。

【００１６】また、前記飽和部分が有るか否かの判断
は、請求項４に記載されるように、飽和判断を行うため
の処理対象画像データのなかで飽和している画素数と前
記処理対象全画素数の比を基に行うようにしている。具
体的には、飽和している画素数ｐ１を１フレーム分の全
画素数ｐ０で割った値が、予め設定した値αより大きい
（ｐ１／ｐ０＞α）ときを飽和している部分が有ると判
断する。これにより、簡単に飽和判断を行うことができ
る。

【００１７】また、前記飽和部分の画像データを、前記
第２の感度設定により入力された前記飽和部分に対応す
る画素のデータに変換する処理は、請求項５に記載され
るように、飽和している画素ごとにその画素データを、
前記第２の感度設定により入力された前記飽和部分に対
応する画素のデータに置き換えるようにしている。

【００１８】このように、画素単位でデータの変換処理
を行うことにより、処理が単純で高速での処理が可能と
なる。

【００１９】また、前記飽和部分の画像データを、前記
第２の感度設定により入力された前記飽和部分に対応す
る画素のデータに変換する処理の他の方法として、請求
項６に記載されるように、飽和している部分を領域単位
で抽出し、その抽出した領域がある面積以上の場合に当
該領域の画素のデータを、前記第２の感度設定により入
力された前記飽和部分に対応する画素データに置き換え
るようにしてもよい。このように、ある面積を持った領
域単位でデータ変換処理を行うことにより、不自然なデ
ータ変換処理がなされるのを防止でき、見た目に良好な
画像を得ることができる。

【００２０】また、本発明の信号処理装置は、請求項７
に記載されるように、固体撮像素子にて取り込んだ画像
データを処理するとともに固体撮像素子を制御するため
の信号を出力する信号処理装置において、ディジタル変
換された画像データのレンジ変換を行うレンジ制御手段
と、処理された画像データを記憶するメモリと、前記固
体撮像素子の感度を通常の撮像となる第１の感度設定を
行うための信号を出力するとともに、入力された画像に
飽和部分が存在するか否かを判定し、飽和部分が存在す
る場合、感度を第２の感度設定とする信号を出力し、前
記メモリに書き込まれている前記飽和部分のデータを、
前記第２の感度設定により入力された前記飽和部分に対
応する画素のデータに変換する処理を行う飽和判断・合
成処理部とを少なくとも有することを特徴とする。

【００２１】また、前記第１の感度設定および第２の感
度設定は、請求項８に記載されるように、前記第１の感
度設定は、全レンジ幅の高レンジ側または低レンジ側の
いずれか一方の所定範囲のレンジ範囲に対応し、前記第
２の感度設定は前記第１の感度設定とは異なる側のレン
ジにおける所定範囲のレンジ範囲に対応し、第１の感度
設定による感度と第２の感度設定による感度は予め設定
された関係とするようにしている。

【００２２】以上の請求項７から請求項８の発明は、取
り込んだ画像データを、たとえば、最初は低レンジ入力
設定（暗い部分に合わせた感度設定）により取り込み、
取り込んだ画像中に飽和している部分が有るか否かを判
断して、飽和部分が存在する場合には、次に高レンジ入
力設定（明るい部分に合わせた感度設定）にて画像入力
し、前記低レンジ入力設定にて取り込んだ画像中の飽和
画素部分のデータを高レンジ入力設定にて取り込んだ画
素データに置き換える処理を行うものである。これによ
り、前記請求項１〜２と同様に、たとえば、撮像対象の
多くを占める暗い部分（室内）の中に明るい部分（窓）
が存在するような場合、それぞれに対応した撮像部を複
数設ける必要がなく、また、それぞれに対応した信号処
理系統を持つことなく、暗い部分および明るい部分を良
好に取り込むことができる。

【００２３】また、前記第１の感度設定は、請求項９に
記載されるように、全レンジ幅の高レンジ側または低レ
ンジ側のいずれか一方のレンジにおける所定範囲のレン
ジ範囲に対応し、前記第２の感度設定は前記第１の感度
設定とは異なる側のレンジにおける所定範囲のレンジ範
囲に対応し、第１の感度設定による感度と第２の感度設
定による感度の比は、取り込んだ画像に応じて可変とし
たことを特徴とする。これによれば、前記請求項３と同
様に、撮像対象に含まれる明るさに応じた感度設定が行
え、撮像対象に適した処理が可能となる。

【００２４】また、前記飽和部分が有るか否かの判断
は、飽和判断を行うための処理対象画像データのなかで
飽和している画素数と前記処理対象全画素数の比を基に
行うようにしている。具体的には、前記したように、飽
和している画素数ｐ１を１フレーム分の全画素数ｐ０で
割った値が、予め設定した値αより大きい（ｐ１／ｐ０
＞α）ときを飽和している部分が有ると判断する。これ
により、簡単に飽和判断を行うことができる。

【００２５】また、前記飽和部分の画像データを、前記
第２の感度設定により入力された前記飽和部分に対応す
る画素のデータに変換する処理は、請求項１１に記載さ
れるように、飽和している画素ごとにその画素データ
を、前記第２の感度設定により入力された前記飽和部分
に対応する画素のデータに置き換えるようにしている。
このように、画素単位でデータの変換処理を行うことに
より、前記請求項５と同様に、処理が単純で高速での処
理が可能となる。

【００２６】また、前記飽和部分の画像データを、前記
第２の感度設定により入力された前記飽和部分に対応す
る画素のデータに変換する処理の他の方法として、請求
項１２に記載されるように、飽和している部分を領域単
位で抽出し、その抽出した領域がある面積以上の場合に
当該領域の画素のデータを、前記第２の感度設定により
入力された前記飽和部分に対応する画素データに置き換
えるようにしてもよい。

【００２７】このように、ある面積を持った領域単位で
データ変換処理を行うことにより、戦記請求項６と同様
に、不自然なデータ変換処理がなされるのを防止でき、
見た目に良好な画像を得ることができる。

【００２８】

【発明の実施の形態】

（第１の実施の形態）図１は本発明の実施の形態を説明
するフローチャートであり、以下、このフローチャート
を参照しながら処理の流れを説明する。

【００２９】まず、初期化を行う（ステップｓ１）。こ
の初期化の内容は、ここでは、飽和スイッチｓｗ１と合
成スイッチｓｗ２を共に“０”とする処理である。この
飽和スイッチｓｗ１と合成スイッチｓｗ２は、それぞれ
“０”または“１”のいずれかをとるもので、飽和スイ
ッチｓｗ１は、初期状態としては、“０”が設定され、
処理対象となる画像データ中に飽和している部分がある
ときに、“１”となる。

【００３０】また、合成スイッチｓｗ２は、取り込もう
とする撮像対象の明るい部分と暗い部分のどちらに合わ
せた感度とするかを設定するもので、“０”のときは、
暗い部分に合わせた感度設定（低レンジ入力設定）、
“１”のときは明るい部分に合わせた感度設定（高レン
ジ入力設定）となる。ここでは、初期状態としては、
“０”に設定され、通常の撮像対象となる感度設定とな
っている。なお、以下では撮像対象に暗い部分と明るい
部分が存在し、暗い部分が多くを占め、「通常の撮像対
象となる感度設定」とは「暗い部分に合わせた感度設
定」であるものとして説明する。また、「暗い」、「明
るい」は撮像対象内の部分における明るさの相対的な関
係を表すものとする。これら飽和スイッチｓｗ１と合成
スイッチｓｗ２の具体的な動作については後に説明す
る。また、この第１の実施の形態では、暗い部分に合わ
せた感度設定（感度設定＃１）とするための感度と、明
るい部分に合わせた感度設定（感度設定＃２）とするた
めの感度は、予め定めた関係であるものとする。

【００３１】このような初期化（飽和スイッチｓｗ１と
合成スイッチｓｗ２を共に“０”）がなされると、次
に、１画面分の画像入力を行うために、１フレーム分の
データを入力する（ステップｓ２）、続いて、合成スイ
ッチｓｗ２が“０”であるか否かの判断を行う（ステッ
プｓ３）。初期状態では、合成スイッチｓｗ２は“０”
（暗い部分に合わせた感度設定）となっているため、そ
のフレームデータに飽和している部分があるかどうかを
判断する（ステップｓ４）。

【００３２】この飽和している部分が有るか否かの判断
は、一例として、処理対象フレームの画素数のうち、飽
和している画素数ｐ１を１フレーム分の全画素数ｐ０で
割った値が、予め設定した値αより大きい（ｐ１／ｐ０
＞α）ときを飽和している部分が有ると判断する。ここ
で、「飽和」とは、ＣＣＤの感度幅では明るすぎで取り
込めず、オーバーフローしている状態をいう。なお、
「飽和している画素」か否かの判断は、輝度が０〜２５
５階調である場合、例えば画素値が２５０以上であれば
飽和している画素とする。

【００３３】そして、処理対象フレーム内に飽和してい
る部分が有ると判断された場合は、飽和スイッチｓｗ１
を“１”とする。次に、飽和スイッチｓｗ１が“１”で
あるか否かの判断を行い（ステップｓ５）、飽和スイッ
チｓｗ１が“１”である場合は、合成処理に入る。この
合成処理について以下に説明する。

【００３４】まず、合成スイッチｓｗ２が“０”である
か否かを断し（ステップｓ６）、合成スイッチｓｗ２が
“０”であるときは、ステップｓ７，ｓ８，ｓ９へと処
理が進み、合成スイッチｓｗ２が“１”であるときは、
ステップｓ１０，ｓ１１，ｓ１２へと処理が進む。この
とき、合成スイッチｓｗ２は“０”（暗い部分に合わせ
た感度設定）となっているため、高レンジ入力設定を行
う（ステップｓ７）。この高レンジ入力設定というの
は、低レンジ入力設定（暗い部分に合わせた感度設定＃
１）にて画像入力したときより、明るい部分が取り込め
るような感度設定とする処理であり、例えば、図2の感
度設定＃１に対し、より明るい部分で連続した部分が取
り込めるように感度設定＃２を行う。具体的には、窓の
ある室内の風景の取り込みを行うような場合、室内（暗
い部分）に感度を合わせた設定で画像を取り込むと、窓
（明るい部分）が白くつぶれるが、次のフレームにおい
ては、より明るい部分が取り込めるような感度設定＃２
とされているので、この窓の部分が白くつぶれないで入
力されることとなる。

【００３５】そして次に、合成スイッチｓｗ２を“１”
（ステップｓ８）としたのち、低レンジ処理を行う（ス
テップｓ９）。ここで合成スイッチｓｗ２を“１”とす
るのは、次に取り込まれるフレームに対しては、明るい
部分に合わせた感度設定＃２（高レンジ入力設定）で
ることを意味している。また、低レンジ処理というの
は、たとえば、図２に示すように、暗い部分に合わせた
感度設定（感度設定＃１）となっている場合、取り込ん
だ画像データを低レンジ側（処理された画像データの輝
度範囲を０〜２５５とすると、輝度範囲０〜１２７）に
帯域を圧縮するというような処理である。

【００３６】そして次に、入力終了か否かを判断し（ス
テップｓ１３）、終了でなければ、ステップｓ２に戻
り、次のフレームを入力して合成スイッチｓｗ２が
“０”であるか否かを判断する（ステップｓ３）。な
お、このときのフレームデータ入力は、高レンジ入力設
定（明るい部分に合わせた感度設定）となっているた
め、明るい部分の部分（たとえば、窓の部分）が良好に
取り込まれることになる。

【００３７】前記合成スイッチｓｗ２が“０”であるか
否かの判断は、この場合、合成スイッチｓｗ２は“１”
となっており、飽和しているか否かの判断は行わずに、
飽和スイッチｓｗ１が“１”となっていることを判断し
て（ステップｓ５）、ステップｓ６以降の合成処理に入
る。

【００３８】ここでの合成処理は、合成スイッチｓｗ２
が“１”となっているため、次のフレーム用として低レ
ンジ入力設定処理（ステップｓ１０）を行った後、合成
スイッチｓｗ２を“０”とする処理を行い（ステップｓ
１１）、さらに、高レンジ合成処理（ステップｓ１２）
を行う。前記低レンジ設定処理は、もとの暗い部分に合
わせた感度設定＃１とする処理であり、次のフレームデ
ータに対しては暗い部分に合わせた感度で画像入力す
る。

【００３９】また、前記高レンジ合成処理は、図２に示
すように全レンジ幅の上位（高輝度部）になるようにレ
ンジ変換し、低レンジ入力設定（暗い部分に合わせた感
度設定）にて飽和した画素を、高レンジ入力設定により
取り込んだ画素で置き換える処理である。なお、飽和し
ている画素か否かの判断は、低レンジ入力設定により入
力された各画素の輝度が、あらかじめ定められたしきい
値より大きいか否かで判断する。具体的には、たとえ
ば、低レンジ幅を０〜１２７の輝度範囲とした場合、そ
の輝度範囲のうち、１２５以上の輝度値を有する画素を
飽和画素とみなし、その飽和画素の輝度値を、高レンジ
入力設定により取り込にレンジ変換した画素に置き換え
る処理を行う。なお、このしきい値は一例であってこれ
に限られるものではなく、最も良好な結果の得られる値
を設定すればよい。

【００４０】そして次に、入力終了か否かを判断し（ス
テップｓ１３）、入力終了でなければ、次のフレーム入
力を行う（ステップｓ２）。このときは、レンジ設定は
低レンジ入力設定となっており、暗い部分に合わせた感
度にて画像入力がなされる。また、合成スイッチｓｗ２
は、“０”となっているので、取り込んだ画像中に飽和
している部分があるか否かの判断を行い（ステップｓ
４）、飽和スイッチｓｗ１を“１”として、ステップｓ
５、ｓ６以降の処理を前記同様に行う。

【００４１】以上のようにこの実施の形態は、概略的に
は、１フレーム分の画像データを最初は低レンジ入力設
定により取り込み、取り込んだ画像中に飽和している部
分が有るか否かを判断して、飽和部分が存在する場合に
は、次のフレームを高レンジ入力設定にて画像入力し、
前記低レンジ入力設定にて取り込んだ画像中の飽和画素
部分のデータを高レンジ入力設定にて取り込んだ画素デ
ータに置き換える処理を行うものである。

【００４２】これにより、たとえば、撮像対象の多くを
占める暗い部分（室内）の中にＣＣＤの感度幅では入力
できない明るい部分（窓）が存在するような場合、それ
ぞれに対応した撮像部を複数設ける必要がなく、また、
それぞれに対応した信号処理系統を持つことなく、暗い
部分および明るい部分を良好に取り込むことができる。

【００４３】図３はこの発明の信号処理装置の構成図を
示すもので、レンズ１、ＣＣＤ撮像部２、Ａ／Ｄ変換器
３、ＣＣＤ制御回路４、レンジ制御回路５、スイッチ回
路６、メモリ７、飽和判断・合成処理部８などから構成
されている。前記補和判断・合成処理部８は、図１のフ
ローチャートで示した処理を行うもので、飽和判断手段
８１と合成処理手段８２とを有している。

【００４４】図４はフレームデータに対する飽和判断手
段８１からの飽和信号および合成処理手段８２からの合
成信号のタイミングチャートの例を示すもので、図４
（ａ）はフレームデータ、同図（ｂ）は飽和判断手段８
１からの飽和信号、同図（ｃ）は合成処理手段８２から
の合成信号を示し、飽和信号の低レベル部分
（“０”）、高レベル部分（“１”）は前記した飽和ス
イッチｓｗ１の“０”、“１”に対応し、合成信号の低
レベル部分（“０”）、高レベル部分（“１”）は前記
した合成スイッチｓｗ２の“０”、“１”に対応してい
る。そして、これらの信号は、各フレームデータのエッ
ジ部分のタイミングで“０”から“１”またはその逆に
変化する。

【００４５】図５は合成信号と飽和信号のそれぞれの状
態におけるレンジ設定、感度設定の状態およびスイッチ
回路６のオン・オフに関する飽和判断・合成処理部から
出される制御信号をまとめたものである。図５からもわ
かるように、合成信号および飽和信号が共に“０”のと
きは、レンジ設定は全レンジにレンジ変換されるように
レンジ制御回路に信号が出され、感度設定は暗い部分に
合わせた感度設定＃１となるようにＣＣＤ制御回路に対
し信号が出される。このとき、スイッチ回路６への制御
信号は常時は「オン」となる。また、合成信号が“０”
で飽和信号が“１”のときは、レンジは低レンジ（全レ
ンジ幅を０〜２５５とすれば、その低い方に１／２の範
囲「０〜１２７」）にレンジ変換されるようにレンジ制
御回路に信号が出され、感度設定は暗い部分に合わせた
感度設定＃１となるようにＣＣＤ制御回路に対し信号が
出される。このとき、スイッチ回路６への制御信号は常
時は「オン」となる。また、合成信号および飽和信号が
共に“１”のときは、レンジは高レンジ（全レンジ幅を
０〜２５５とすれば、その高い方に１／２の範囲「１２
８〜２５５」）にレンジ変換されるようにレンジ制御回
路に信号が出され、感度設定は明るい部分に合わせた感
度設定＃２となるようにＣＣＤ制御回路に対し信号が出
される。なお、このとき、スイッチ回路６は飽和してい
る画素部分に対してのみオンとなる（これについては後
述する）。

【００４６】以上の動作を図４を参照しながらさらに具
体的に説明する。図４に示すように、合成信号および飽
和信号が共に“０”のときは（図４のｔ０の区間）、レ
ンジ設定は全レンジ、感度設定は感度設定＃１であり、
スイッチ回路６はオンとなるため、感度設定＃１にて取
り込まれたフレームデータは全レンジになるようレンジ
変換されたのち、スイッチ回路６を通過してメモリ７に
そのまま蓄えられる。そして、合成信号が“０”の状態
にて取り込まれたフレームデータに、飽和部分が存在し
ていると判断されると、当該フレームの後縁で飽和信号
が“１”となり、このタイミングでレンジは低レンジ設
定、感度設定は感度設定＃１となって、感度設定＃１に
て取り込まれたフレームデータは低レンジになるようレ
ンジ変換される（図５のｔ１の区間）。また、このと
き、スイッチ回路６はｔ１でフレームデータが取り込ま
れる際「オン」となって、低レンジ処理されたフレーム
データはスイッチ回路６を通過して画像メモリ７にその
まま蓄えられる。なお、前記レンジ切替制御はレンジ制
御回路５が飽和・判断処理部８からの制御信号を受けて
行う。

【００４７】次に合成信号が“１”となり（飽和信号は
“１”を保持）、このタイミングでレンジが高レンジ設
定、感度設定は感度設定＃２となり、感度設定＃２にて
取り込まれたフレームデータを得る（図５のｔ２の区
間）。このとき、メモリ７にすでに取り込まれている感
度設定＃１にて入力された画像データの感度設定＃２で
入力されている画素位置に対応する画素を参照し、飽和
している場合のみスイッチ回路６を「オン」とする信号
が出される。つまり、前記感度設定＃２にて取り込まれ
たフレームデータのうち、感度設定＃１にて取り込まれ
て飽和している画素に対応する画素データに対しての
み、スイッチ回路６はオンとなり、対応する画素データ
のみがメモリ７に入力され、画素の置き換えが行われる
ことになる。このスイッチ回路６の制御は飽和判断・合
成処理部８からの制御信号により行われる。すなわち、
感度設定＃１により入力された画像データのうち、飽和
している画素に対してのみオンとする制御は、メモリ７
のデータを飽和判断・合成処理部８が受けて、飽和して
いる画素データであるか否かを予め定められたしきい値
をもとに判断して、飽和していると判断した場合のみ
に、スイッチ回路６をオンする。このような制御を行う
ことにより、感度設定＃１にて入力された際に飽和して
いない画素データはそのままで、飽和している画素デー
タのみを感度設定＃２にて入力された画素データに書き
換えることができる。

【００４８】以上説明したように、本発明は図３の構成
からもわかるように、ＣＣＤ撮像部を複数個持つことな
く、また、信号処理系統も複数系統持つことなく、簡単
な構成で感度レンジを拡大することができる。

【００４９】（第２の実施の形態）前記第１の実施の形
態では、低レンジ入力の場合の感度と高レンジ入力の場
合の感度は、暗い部分に合わせた感度設定を行うための
感度と、明るい部分に合わせた感度設定を行うための感
度との関係は固定的なものであり、図２に示すように連
続的な関係であった。この第２の実施の形態は、たとえ
ば、図６に示すように、撮像対象に暗い部分（例えば
「室内」）と明かりう部分（例えば「窓」）があり、暗
い部分と明るい部分の開きが大きい場合、そのより明る
い部分を良好に取り込めるように、感度比を撮像対象の
構成に合わせて任意に可変とするものである。

【００５０】たとえば、図６に示すように、撮像対象の
明るい部分をその明るさに応じて、感度設定＃１を基準
として定めた感度比を可変してより明るい部分に合わせ
た感度設定＃３を得ようとするものである。この第２の
実施の形態を図７のフローチャートを参照しながら説明
する。

【００５１】図７において、まず、初期化を行う（ステ
ップｓ２１）。この初期化の内容は、ここでは、飽和ス
イッチｓｗ１と合成スイッチｓｗ２を共に“０”とする
とともに、感度比を初期の値とする処理である。この感
度比を初期値とする処理は、たとえば、前記第１の実施
の形態の説明で用いた図２のように、感度設定＃１と感
度設定＃２が連続的になるような初期値とする。

【００５２】このような初期化がなされると、次に、１
画面分の画像入力を行うために、１フレーム分のデータ
を入力する（ステップｓ２２）、続いて、合成スイッチ
ｓｗ２が“０”であるか否かの判断を行う（ステップｓ
２３）。初期状態では、合成スイッチｓｗ２は“０”
（暗い部分に合わせた感度設定＃１）となっているた
め、取り込んだ画面内に飽和している部分があるか否か
を判断（これを「飽和判断ｘ１」という）する（ステッ
プｓ２４）。

【００５３】この飽和判断ｘ１は、第１の実施の形態の
飽和判断と同様に、たとえば、取り込んだフレームの画
素数のうち、飽和している画素数ｐ１を１フレーム分の
全画素数ｐ０で割った値が、予め設定した値αより大き
いときを飽和している部分が有ると判断する。

【００５４】そして、取り込んだフレーム内に飽和して
いる部分が有ると判断された場合は、飽和スイッチｓｗ
１を“１”とする。次に、飽和スイッチｓｗ１が“１”
であるか否かの判断を行い（ステップｓ２５）、飽和ス
イッチｓｗ１が“１”である場合は、合成処理ｓ２６〜
ｓ３２を行う。この合成処理ｓ２６〜ｓ３２については
前記第１の実施例の合成処理（ステップｓ６〜ｓ１２）
とほぼ同じであるのでここでは簡単に説明する。

【００５５】まず、合成スイッチｓｗ２が“０”である
か否かを断し（ステップｓ２６）、合成スイッチｓｗ２
が“０”であるときは、高レンジ入力設定を行う（ステ
ップｓ２７）。この高レンジ入力設定というのは、低レ
ンジ入力設定（感度設定＃１）にて画像入力した際に飽
和した部分が飽和しないような感度設定（感度設定＃
３）とする処理であり、飽和判断ｘ２で設定された感度
比に応じて設定される。そして次に、合成スイッチｓｗ
２を“１”（ステップｓ２８）としたのち、低レンジ処
理を行う（ステップｓ２９）。ここで合成スイッチｓｗ
２を“１”とするのは、次に取り込まれるフレームに対
しては、明るい部分に合わせた画像入力とされることを
意味している。

【００５６】そして次に、入力終了か否かを判断し（ス
テップｓ３３）、終了でなければ、ステップｓ２２に戻
り、次のフレームを入力して合成スイッチｓｗ２が
“０”であるか否かを判断する（ステップｓ２３）。

【００５７】このとき、合成スイッチｓｗ２は“１”と
なっているため、飽和判断ｘ２を行う。この飽和判断ｘ
２は、明るい画像中により明るい部分が存在していて、
その明るい部分が飽和しているかどうかを判断するとと
もに、画像に応じた感度比を設定する処理である。次
に、飽和スイッチｓｗ１が“１”となっていることを判
断して（ステップｓ２５）、ステップｓ２６〜ｓ３２の
合成処理に入る。なお、前記飽和判断ｘ２の具体的な処
理は、たとえば、飽和している画素数ｐを全画素数ｐ０
で割って、その値が予め定めた値βより大きければ飽和
部分が存在すると判断する。ここで「β」は飽和判断ｘ
１で用いる「α」より小さな値とする。図６において感
度設定＃１で入力された画像の飽和した部分より感度設
定＃３により入力された画像の飽和した部分が少なくな
っているか判断するためである。なお、飽和部分が存在
すると判断した場合、感度比は直前に設定された感度設
定＃３をより明るい部分が取り込めるような値に変更す
る。また、（ｐ／ｐ０）が予め定められた値「γ」より
小さければ、逆に感度設定＃３を直前の感度設定＃３よ
りも暗い部分が取り込めるように感度比を変更する。こ
れは、感度設定＃３が明るすぎた場合に対応するためで
ある。よってγはβよりも小さな値とする。

【００５８】また、前記飽和スイッチｓｗ１は、飽和判
断ｘ１による飽和判断によって、“１”または“０”に
設定されるもので、飽和判断ｘ１によって“１”に設定
された場合は、飽和判断ｘ２により、たとえ飽和部分が
存在していないと判断された場合でも、“１”を保持し
たままとなっている。

【００５９】ところで、ここでの合成処理は、合成スイ
ッチｓｗ２が“１”となっているため、次のフレーム用
として低レンジ入力設定処理（ステップｓ３０）を行っ
た後、合成スイッチｓｗ２を“０”とする処理を行い
（ステップｓ３１）、さらに、高レンジ合成処理（ステ
ップｓ３２）を行う。

【００６０】この高レンジ合成処理は、取り込まれた画
像データのうち、飽和している画素データを、画像の明
るさに応じて設定された適切な感度にて取り込んだ画素
データに置き換える処理を行う。

【００６１】このように、第２の実施の形態によれば、
第１の実施の形態同様、明るい画像および暗い画像のそ
れぞれに対応した撮像部を設ける必要がなく、また、そ
れぞれに対応した信号処理系統を持つことなく、暗い画
像および明るい画像を良好に取り込むことができる。さ
らに、この第２の実施の形態では、より明るい画像に対
してはそれに応じた感度設定を行うというように、入力
画像に適した感度設定を行うことができ、より一層良好
な画像を得ることができる。

【００６２】なお、この第２の実施例を実現するための
構成は前記第１の実施の形態で説明した構成（図３参
照）にて実現することができる。この第２の実施の形態
では、ＣＣＤ撮像部２に対する感度設定を感度比に応じ
て可変としているため、飽和判断・合成処理部８からの
制御信号によりＣＣＤ制御回路４がＣＣＤ撮像部２に対
して所定の感度設定信号を出力するようにする。

【００６３】なお、以上説明した第１および第２の実施
の形態においては、通常の撮像となる感度設定は、暗い
部分に合わせた感度設定を基準として、その感度設定に
おいて取り込んだ画像中に白くつぶれた部分が有るかを
判断することで、合成を行うか否かを判断しているが、
これに限られることなく、通常の撮像となる感度設定を
明るい部分に合わせた感度設定を基準として、その感度
設定において取り込んだ画像中に黒くつぶれた部分が有
るかを判断することで、合成を行うか否かを判断し、所
定の合成処理をするようにしてもよい。

【００６４】また、画素の置き換えは、画素単位に行っ
ているが、飽和領域を抽出し、抽出した飽和領域が或る
程度の面積になっている部分のみを置き換えるようにし
てもよい。なお、領域の抽出方法の一例として、飽和領
域を“１”、それ以外の領域を“０”として、ラベリン
グにより求める方法がある。このように、或る程度の面
積を持った領域単位で画素の置き換えを行うことによ
り、孤立した飽和画素の置き換えがなくなり、より一層
見た目に良好な画像とすることが可能となる。

【００６５】また、第１および第２の実施の形態におい
て、図２、図６には０〜２５５階調である場合、低レン
ジ側の輝度範囲０〜１２７、高レンジ側の輝度範囲を１
２８〜２５５としているが、これに限るものではなく、
暗い部分を重視するなら低レンジ側の輝度範囲を高レン
ジ側の輝度範囲よりも広くしてもよい。また、取り込ん
だ画像に飽和がないときの画像から飽和がある時の画像
になるときの切り替え時の不自然さをなくすために、時
間の経過とともに、低レンジ側の輝度範囲の上限を２５
５からある定められた上限まで徐々に狭め、一方高レン
ジ側の輝度範囲はそれに応じて徐々に広めるようにして
もよい。さらに、第２の実施の形態において、感度比に
応じて、低レンジ側の輝度埴範囲と高レンジ側の輝度範
囲を可変にしてもよい。

【００６６】なお、本発明の処理を行う処理プログラム
は、フロッピィディスク、光ディスク、ハードディスク
などの記憶媒体に記憶させておくことができ、本発明
は、それらの記憶媒体をも含むものであり、また、ネッ
トワークからデータを得る形式でもよい。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
たとえば、最初は低レンジ入力設定（暗い部分に合わせ
た第１の感度設定）により取り込み、取り込んだ画像中
に飽和している部分が有るか否かを判断して、飽和部分
が存在する場合には、次に高レンジ入力設定（明るい部
分に合わせた第２の感度設定）にて画像入力し、前記第
１の感度設定にて取り込んだ画像中の飽和画素部分のデ
ータを第２の感度設定にて取り込んだ画素データに置き
換える処理を行うようにしたので、暗い部分と明るい部
分が存在し、ＣＣＤの感度幅ではすべてを入力できない
ような場合、撮像部を画像の明るさに応じて複数設ける
必要がなく、また、それぞれに対応した信号処理系統を
持つことなく、感度レンジを拡大して、暗い部分および
明るい部分を良好に取り込むことができる。これによ
り、本発明をたとえばＣＣＤ撮像素子を用いた撮像装置
に適用することにより、装置の小型化や低コスト化が可
能となる。

【００６８】また、前記第１の感度設定による感度と第
２の感度設定による感度の比を、取り込んだ画像に応じ
て可変とすることにより、前記撮像部および信号処理系
統を複数設ける必要がなく、装置の小型化や低コスト化
が図れるという効果に加えて、画像の明るさに応じた感
度レンジを設定することができ、画像に適した処理が可
能となり、より一層、良好な画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を説明するフローチ
ャート。

【図２】第１の実施の形態における撮像対象に対する感
度範囲設定例を説明する図。

【図３】本発明の信号処理装置の実施の形態を説明する
構成図。

【図４】図３で示した信号処理装置におけるフレームデ
ータと飽和処理手段および合成処理手段の信号の関係を
説明するタイミングチャート。

【図５】図３で示した信号処理装置におけるレンジ制
御、感度設定制御、スイッチ回路のオンオフ制御を説明
する図。

【図６】第２の実施の形態における撮像対象に対する感
度範囲設定例を説明する図。

【図７】第２の実施の形態を説明するフローチャート。

【図８】撮像部を複数設けた従来技術例を説明する構成
図。

【図９】信号処理系統を複数設けた従来技術例を説明す
る構成図。

【符号の説明】

１レンズ２ＣＣＤ撮像部３Ａ／Ｄ変換器４ＣＣＤ制御回路５レンジ制御回路６スイッチ回路７メモリ８飽和判断・合成処理部８１飽和判断手段８２合成処理手段＃１明るい部分に合わせた感度設定＃２暗い部分に合わせた感度設定＃３より明るい部分に合わせた感度設定ｘ１感度設定＃１をするための飽和判断ｘ２感度設定＃３をするための飽和判断

Claims

【特許請求の範囲】

【請求項１】固体撮像素子にて取り込んだ画像データ
を処理するとともに固体撮像素子を制御するための信号
を出力する信号処理方法において、前記固体撮像素子の感度を通常の撮像となる第１の感度
設定を行って画像入力を行い、この第１の感度設定によ
り入力された画像データに飽和部分が存在するか否かを
判定し、飽和部分が存在する場合、感度を第２の感度設
定として画像入力を行い、前記飽和部分のデータを、前
記第２の感度設定により入力された前記飽和部分に対応
する画素のデータに変換することを特徴とする信号処理
方法。
【請求項２】前記第１の感度設定は、全レンジ幅の高
レンジ側または低レンジ側のいずれか一方のレンジにお
ける所定範囲のレンジ範囲に対応し、前記第２の感度設
定は前記第１の感度設定とは異なる側のレンジにおける
所定範囲のレンジ範囲に対応し、第１の感度設定による
感度と第２の感度設定による感度は予め設定された関係
とすることを特徴とする請求項１記載の信号処理方法。
【請求項３】前記第１の感度設定は、全レンジ幅の高
レンジ側または低レンジ側のいずれか一方のレンジにお
ける所定範囲のレンジ範囲に対応し、前記第２の感度設
定は前記第１の感度設定とは異なる側のレンジにおける
所定範囲のレンジ範囲に対応し、第１の感度設定による
感度と第２の感度設定による感度の比は、取り込んだ画
像に応じて可変としたことを特徴とする請求項１記載の
信号処理方法。
【請求項４】前記飽和部分が有るか否かの判断は、飽
和判断を行うための処理対象画像データのなかで飽和し
ている画素数と前記処理対象全画素数の比を基に行うこ
とを特徴とする請求項１記載の信号処理方法。
【請求項５】前記飽和部分の画像データを、前記第２
の感度設定により入力された前記飽和部分に対応する画
素のデータに変換する処理は、飽和している画素ごとに
その画素データを、前記第２の感度設定により入力され
た前記飽和部分に対応する画素のデータに置き換えるこ
とを特徴とする請求項１記載の信号処理方法。
【請求項６】前記飽和部分の画像データを、前記第２
の感度設定により入力された前記飽和部分に対応する画
素のデータに変換する処理は、飽和している部分を領域
単位で抽出し、その抽出した領域がある面積以上の場合
に当該領域の画素のデータを、前記第２の感度設定によ
り入力された前記飽和部分に対応する画素データに置き
換えることを特徴とする請求項１記載の信号処理方法。
【請求項７】固体撮像素子にて取り込んだ画像データ
を処理するとともに固体撮像素子を制御するための信号
を出力する信号処理装置において、ディジタル変換された画像データのレンジ変換を行うレ
ンジ制御手段と、処理された画像データを記憶するメモリと、前記固体撮像素子の感度を通常の撮像となる第１の感度
設定を行うための信号を出力するとともに、入力された
画像に飽和部分が存在するか否かを判定し、飽和部分が
存在する場合、感度を第２の感度設定とする信号を出力
し、前記メモリに書き込まれている前記飽和部分のデー
タを、前記第２の感度設定により入力された前記飽和部
分に対応する画素のデータに変換する処理を行う飽和判
断・合成処理部と、を少なくとも有することを特徴とする信号処理装置。
【請求項８】前記第１の感度設定は、全レンジ幅の高
レンジ側または低レンジ側のいずれか一方の所定範囲の
レンジ範囲に対応し、前記第２の感度設定は前記第１の
感度設定とは異なる側のレンジにおける所定範囲のレン
ジ範囲に対応し、第１の感度設定による感度と第２の感
度設定による感度は予め設定された関係とすることを特
徴とする請求項７記載の信号処理装置。
【請求項９】前記第１の感度設定は、全レンジ幅の高
レンジ側または低レンジ側のいずれか一方の所定範囲の
レンジ範囲に対応し、前記第２の感度設定は前記第１の
感度設定とは異なる側のレンジにおける所定範囲のレン
ジ範囲に対応し、第１の感度設定による感度と第２の感
度設定による感度の比は、取り込んだ画像に応じて可変
としたことを特徴とする請求項７記載の信号処理装置。
【請求項１０】前記飽和部分が有るか否かの判断は、
飽和判断を行うための処理対象画像データのなかで飽和
している画素数と前記処理対象全画素数の比を基に行う
ことを特徴とする請求項７記載の信号処理装置。
【請求項１１】前記飽和部分の画像データを、前記第
２の感度設定により入力された前記飽和部分に対応する
画素のデータに変換する処理は、飽和している画素ごと
にその画素データを、前記第２の感度設定により入力さ
れた前記飽和部分に対応する画素のデータに置き換える
ことを特徴とする請求項７記載の信号処理装置。
【請求項１２】前記飽和部分の画像データを、前記第
２の感度設定により入力された前記飽和部分に対応する
画素のデータに変換する処理は、飽和している部分を領
域単位で抽出し、その抽出した領域がある面積以上の場
合に当該領域の画素のデータを、前記第２の感度設定に
より入力された前記飽和部分に対応する画素データに置
き換えることを特徴とする請求項７記載の信号処理装
置。