JPH11355650A

JPH11355650A - 画像取り込み装置

Info

Publication number: JPH11355650A
Application number: JP10175301A
Authority: JP
Inventors: Hideaki Matsuda; 英明松田; Takeshi Utagawa; 健歌川
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1998-06-09
Filing date: 1998-06-09
Publication date: 1999-12-24

Abstract

(57)【要約】【課題】被写体の輝度差に拘わらず常に良好な画像を
得ること。【解決手段】第１及び第２撮像素子１、２には、分光
ミラー５により所定の光量分離比に分割された光束が入
射する。輝度範囲検出部１０は、被写体Ｏの輝度範囲を
検出する。ＡＤコンバータ２１，２２は、両撮像素子
１、２の出力をＡＤ変換するし、合成器６は、第１及び
第２撮像素子１、２のＡＤ変換後の出力を合成して出力
する。制御装置７は、第１撮像素子１による画像情報の
蓄積時間と第２撮像素子２による画像情報の蓄積時間と
を、輝度範囲検出部１０によって検出された被写体輝度
範囲に応じて設定する。これにより、被写体Ｏの輝度差
に応じて第１及び第２撮像素子１、２ごとに蓄積時間を
設定して適切な被写体輝度範囲の画像を取り込むことが
でき、被写体Ｏの輝度差に応じた良好な画像を得ること
ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止画像等をデジ
タル信号として取り込む画像取り込み装置に関し、特に
デジタルスチルカメラのダイナミックレンジを拡大する
技術に関する。

【０００２】

【従来の技術】撮像素子が小型であるほど低価格のカメ
ラが実現可能であるが、画素数の増大に伴い個々の画素
サイズが小さくなり、従来から不足気味であった撮像素
子のダイナミックレンジは更に不足の傾向にある。

【０００３】その解決策として、露光量を変えた複数の
撮像結果を利用する方法が知られている。

【０００４】例えば特開平８−２２３４９１では、図２
３に示すように分光ミラーにより２つの撮像素子Ａ、Ｂ
への入射光量が異なるようになし、入射光量の少ない撮
像素子の出力を増幅して、入射光量の多い撮像素子の出
力と合成してダイナミックレンジの拡大を実現してい
る。

【０００５】また、別の方法として、図２４に示すよう
に１つの撮像素子ＣＣＤを用いて、異なる蓄積時間で連
続して画像を取り込むものも知られている。具体的な動
作について説明すると、まず長い露光時間で画像を取り
込み、一時的にメモリーに記憶する。続けて短い露光時
間で画像を取り込み、先に取り込んでメモリーに記憶し
た画像と合成して、ダイナミックレンジの拡大した合成
を合成する。（例として、論文「車搭載用のダイナミッ
クレンジ拡大方式」電子情報通信学会論文誌１９９５年
１０月号ｐｐ．１４３９）ダイナミックレンジ拡大の原理を図２５に示す。ある被
写体に対して露光量を変えた画像を２枚取り込む。この
時、高輝度部分では、露光量の大きい方の画像は飽和す
るが、露光量の小さい方の画像はまだ飽和せず、輝度が
相当高くなってから初めて飽和する。２枚それぞれの露
光量差を考慮の上、低輝度部分では露光量の大きい画像
を用い、高輝度部分では露光量の小さい画像を用いて画
像を合成する。この結果、等価的にダイナミックレンジ
の拡大された画像が得られる。

【０００６】

【発明が解決しようとする課題】被写体の輝度差はシー
ンによって異なり、１つの撮像素子のダイナミックレン
ジでカバー出きる場合（例えば４００倍程度以下）から
数千倍も異なる場合まで様々である。

【０００７】被写体の輝度差が小さい場合は、一対の撮
像素子の露光量が余り変わらない範囲で撮影した方が、
合成の境界の目立たない、良好な画像が合成できる。そ
の一方で、被写体の輝度差が大きい場合は、一対の撮像
素子の露光量を大きく変えて撮影した方がダイナミック
レンジの広い良好な画像が合成できる。

【０００８】しかし、図２３に示す従来例では、一対の
撮像素子の露光量の比が固定されているため、被写体の
輝度差に関係なくいつも固定した被写体輝度範囲の画像
が取り込まれる。そのため、被写体の輝度差の変動に対
応した良好な画像を得ることができない。

【０００９】また、図２４に示す従来例では、連続して
画像を取り込むため、移動する物体を撮影したときに高
輝度部分と低輝度部分に画像のズレが生じることにな
る。

【００１０】そこで、本発明は、被写体の輝度差に拘わ
らず常に良好な画像を得ることを目的とする。

【００１１】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像取り込み装置は、被写体からの入射光
軸上に配置されて光路を２方向に分離するとともに、光
量分離比を所定値に保つ分割光学系と、分割光学系によ
り分割された１方の光路の光軸上と他方の光路の光軸上
とにそれぞれ配置された第１及び第２撮像手段と、被写
体の輝度範囲である被写体輝度範囲を検出する被写体輝
度範囲検出手段と、第１及び第２撮像手段のそれぞれの
出力をＡＤ変換するＡＤ変換手段と、第１及び第２撮像
手段のＡＤ変換後の出力を合成して出力する合成手段
と、第１撮像手段による画像情報の蓄積時間と第２撮像
手段による画像情報の蓄積時間とを、被写体輝度範囲検
出手段によって検出された被写体輝度範囲に応じて設定
する制御手段とを備えることを特徴とする。これによ
り、被写体の輝度差に応じて第１及び第２撮像手段ごと
に蓄積時間を設定して適切な被写体輝度範囲の画像を取
り込むことができ、被写体の輝度差に応じた良好な画像
を得ることができる。

【００１２】また、好ましい態様では、制御手段が、第
１撮像手段の蓄積時間をＴ１とし第２撮像手段の蓄積時
間をＴ２としたときに、蓄積時間Ｔ１、Ｔ２それぞれの
値、及びその比（Ｔ１／Ｔ２）を、被写体輝度範囲検出
手段によって検出された被写体輝度範囲に応じて選択す
ることを特徴とする。

【００１３】また、好ましい態様では、分割光学系への
入射光量に対して、第１撮像手段に分割される光量の割
合をｒ１とし、第２撮像手段に分割される光量の割合を
ｒ２としたとき、それらの比（ｒ１／ｒ２）を、２〜２
０の範囲内において所定の固定値とすることを特徴とす
る。これにより、画像取り込み装置のダイナミックレン
ジを確保しつつ第１及び第２撮像手段の蓄積時間の差が
極端に大きくなって画質が低下することを防止できる。

【００１４】また、好ましい態様では、比（ｒ１／ｒ
２）を、４〜１０の範囲内において所定の固定値とする
ことを特徴とする。

【００１５】また、好ましい態様では、制御手段が、画
像取り込みの指示に基づくレリーズ動作時において、第
１及び第２撮像手段の各蓄積時間の中央時刻の差が所定
量以下になるように第１及び第２撮像手段を制御するこ
とを特徴とする。これにより、動きのある被写体でのブ
レを少なくすることができる。

【００１６】また、好ましい態様では、第１及び第２撮
像手段のいずれかで１回の撮像により得られる画像情報
を一時的に保持する記憶手段を具備するとともに、レリ
ーズ動作時に、第１及び第２撮像素子の各蓄積時間の中
央時刻を所定量以下の違いに制御して静止画を取り込む
場合において、各蓄積時間の蓄積終了時刻の差が所定量
以上である場合は、蓄積時間の短い一方の撮像手段の出
力する画像情報を先に読み出し、一時的に記憶手段に保
持し、続けて蓄積時間の長い他方の撮像手段の出力する
画像情報を読み出し、記憶手段に保持された画像情報と
他方の撮像手段の画像情報とに基づいて合成手段により
画像の合成を行うことを特徴とする。これにより、第１
及び第２撮像素子で画像情報が保持される際の信号劣化
の問題を回避できる。

【００１７】また、好ましい態様では、第１及び第２撮
像手段から１回の撮像で出力される画像情報をそれぞれ
一時的に保持する第１及び第２記憶手段を具備するとと
もに、第１及び第２記憶手段に記憶された画像情報に基
づいて合成手段により画像の合成を行うことを特徴とす
る。

【００１８】また、好ましい態様では、第１及び第２撮
像手段から出力されるそれぞれの画像情報の階調を圧縮
する処理手段をさらに具備するとともに、この処理手段
による階調圧縮後の画像情報に基づいて合成手段により
画像の合成を行うことを特徴とする。これにより、より
広いダイナミックレンジを確保することができる。

【００１９】また、好ましい態様では、被写体輝度範囲
検出手段が、第１及び第２撮像素子とは別に設けた露光
量検出センサーであることを特徴とする。これにより、
第１及び第２撮像手段の負担が軽減される。

【００２０】また、好ましい態様では、被写体輝度範囲
検出手段が、第１及び第２撮像素子とは別に設けた多分
割された光電検出素子からなる露光量検出センサーであ
り、この露光量検出センサーは、画像取り込みを行うレ
リーズ動作時のレンズ絞り値及びシャッター速度を決定
するための測光センサーを兼ねることを特徴とする。

【００２１】また、好ましい態様では、被写体輝度範囲
検出手段は、第１及び第２撮像手段自身を使用すること
によって実現され、第１及び第２撮像手段の蓄積時間Ｔ
１、Ｔ２の比（Ｔ１／Ｔ２）を所定値以上に保ったまま
蓄積時間Ｔ１、Ｔ２を変化させて被写体輝度範囲を検出
し、この被写体輝度範囲に基づいて最適な蓄積時間Ｔ
１、Ｔ２の値及び比（Ｔ１／Ｔ２）を決定し、制御手段
は、レリーズ動作時において、第１及び第２撮像手段を
制御して決定された蓄積時間Ｔ１、Ｔ２で蓄積を行わせ
ることを特徴とする。これにより、画像取り込み装置の
構造を簡単かつ経済的なものとすることができる。

【００２２】また、好ましい態様では、合成手段が、第
１及び第２撮像手段の出力する画像情報の輝度が重複す
る輝度重複部分では、輝度に関して連続的に変化する重
み関数を用いて合成を行い、かつ、この重み関数は、被
写体輝度範囲に応じて形やパラメーターが変わることを
特徴とする。これにより、第１及び第２撮像手段の出力
する画像を合成する際の境界での不連続を少なくするこ
とができる。

【００２３】また、好ましい態様では、合成手段が、輝
度差の異なる複数の場合に対応して複数のＬＵＴ（ルッ
クアップテーブル）を有し、撮像条件に応じてＬＵＴを
切り替えて、第１及び第２撮像手段の出力する画像情報
に基づいて合成を行うことを特徴とする。これにより、
高速処理が可能となる。

【００２４】また、好ましい態様では、合成手段が、演
算回路により構成されており、第１及び第２撮像手段の
出力する画像情報を所定の重み関数で演算して合成する
とともに、重み関数におけるパラメーターを露光量差に
応じて変更することを特徴とする。これにより、第１及
び第２撮像手段の出力する画像を合成する際の境界での
不連続を少なくすることができる。

【００２５】また、好ましい態様では、合成手段が、制
御手段を構成する中央演算処理装置におけるソフトウエ
ア処理により合成処理を行うことを特徴とする。

【００２６】また、好ましい態様では、合成手段が、第
１撮像手段の出力する画像情報と第２撮像手段の出力す
る画像情報とが矛盾する値として孤立する画素で出現し
た場合にこの画素を欠陥画素と見なしてこの欠陥画素を
示す信号を出力し、かつ、合成手段の後段に欠陥画素に
ついて欠陥補正を行う欠陥補正処理手段をさらに備える
ことを特徴とする。これにより、合成を利用したより高
品質の画像を得ることができる。

【００２７】また、好ましい態様では、第１及び第２撮
像手段は、ともに単体でフルカラー画像を取り込むこと
が可能なカラー撮像手段であることを特徴とする。

【００２８】また、好ましい態様では、第１及び第２撮
像手段は、オンチップカラーフィルタを用いたカラー撮
像素子であり、画素は相対的に同じ空間位置に配置され
るが、オンチップカラーフィルタの色は相対的にずれた
空間位置に配置されることを特徴とする。

【００２９】また、好ましい態様では、被写体輝度範囲
検出手段は、第１及び第２撮像手段とは別に設けた露光
量検出センサーであり、制御手段は、レリーズ時以外に
も第１及び第２撮像手段を駆動して画像を取り込む必要
がある場合に、第１及び第２撮像素子の内どちらか一方
を選択して画像情報の蓄積動作を行わせ、他方による画
像情報の蓄積動作を中止させ、かつ、合成手段の動作を
中止させて電力の供給量を減少させることを特徴とす
る。これにより、画像取り込み装置の消費電力を少なく
して効率的な動作を図ることができる。

【００３０】

【発明の内容の説明】以下、本発明の基本的な原理につ
いて簡単に説明する。

【００３１】本発明の画像取り込み装置では、２つの撮
像手段（撮像素子）を使用し、かつ、それらの蓄積時間
の比を可変にすることにより、被写体の輝度差に応じた
良好な画像を得ることができる。

【００３２】また、２つの撮像素子に光を分割すること
による光量低下を防止し、かつ、第１及び第２撮像素子
の蓄積時間（露出時間）Ｔ１、Ｔ２の差が極端に大きく
ならないような範囲で、第２撮像素子への光量配分を小
さくし（１／３以下）、第１撮像素子への光量配分を大
きく（２／３以上）にすることが好ましい。この場合、
両者における光量分配の比は２倍以上になる。

【００３３】被写体輝度範囲を、第１及び第２撮像素子
自身を使用して検出する場合は、最初に、蓄積時間（露
出時間）の比Ｔ１／Ｔ２を所定値以上（例えば１０倍）
にしながら蓄積時間Ｔ１、Ｔ２の値を変化させて被写体
輝度範囲を検出し、これに基づいて最適な蓄積時間Ｔ
１、Ｔ２の比及び値を決定して撮像する。

【００３４】動きのある被写体でのブレを少なくするた
めに、第１及び第２撮像素子の蓄積時間Ｔ１、Ｔ２の中
央時刻は、所定量以下の違いになるように制御する。具
体的には、高輝度被写体では蓄積時間Ｔ１、Ｔ２自体が
共に十分短くなるので、蓄積同時開始または蓄積同時終
了でもよい。少なくとも片方の蓄積時間が所定時間より
長くなる場合は、蓄積時間Ｔ１、Ｔ２の中央時刻は、所
定量以下の違いになるように制御する。

【００３５】第１及び第２撮像素子から出力される画像
情報を合成する際のアルゴリズムは、例えば、電子情報
通信学会論文誌Ｄ−２，Ｖｏｌ．Ｊ７８―Ｄ―２Ｎ
ｏ．１０、車載用カメラのダイナミックレンジ拡大法記
載のアルゴリズムを用いることができる。以下に、本発
明に適用する場合の一例を説明する。

【００３６】まず、同論文のアルゴリズム１を応用する
場合について説明する。露光条件Ｅｉで撮像した画像の
画素（ｘ，ｙ）に対応する出力値をＬｉ（ｘ，ｙ）（こ
こで、ｉ＝１，２）とすると、ダイナミックレンジが拡
大された画像Ｌｗｉｄ（ｘ，ｙ）は、次の如く求める。ｆｏｒｉ＝１ｔｏｉ＝２ｄｏｆｏｒ（ｘ，ｙ）＝（０，０）ｔｏ（Ｘ−１，Ｙ−１）ｄｏｉｆｉ＝１ｔｈｅｎＬｗｉｄ（ｘ，ｙ）＝Ｌ１（ｘ，ｙ）（Ｅ２／Ｅ１）γ ｅｌｓｅｉｆＬ２（ｘ，ｙ）＜ＬｓａｔｔｈｅｎＬｗｉｄ（ｘ，ｙ）＝Ｌ２（ｘ，ｙ）ここで、Ｅ２／Ｅ１は、第１及び第２撮像素子の露光量
比であり、γはγ補正のパラメータであり、Ｌｓａｔ
は、第２撮像素子の出力の飽和値である。

【００３７】次に、同論文のアルゴリズム２を応用する
場合について説明する。上記の方法では、異なる露出条
件で撮像された領域の境界部では、不連続が生じる可能
性がある。そのため、輝度の重複領域では、輝度に対し
て連続的に変化する重み関数を用いて合成する方法が採
られる。この場合、画像Ｌｗｉｄ（ｘ，ｙ）は、次の如
く求める。ｆｏｒｉ＝１ｔｏｉ＝２ｄｏｆｏｒ（ｘ，ｙ）＝（０，０）ｔｏ（Ｘ−１，Ｙ−１）ｄｏｉｆｉ＝１ｔｈｅｎＬｗｉｄ（ｘ，ｙ）＝Ｌ１（ｘ，ｙ）（Ｅ２／Ｅ１）γ ｅｌｓｅＬｗｉｄ（ｘ，ｙ）＝ｆ（Ｌ２（ｘ，ｙ））Ｌ２（ｘ，ｙ）（Ｅ２／Ｅ１）γ＋｛１−ｆ（Ｌ２（ｘ，ｙ））｝Ｌｗｉｄγ ここで、ｆは画像を合成するときの重み関数である。

【００３８】

【発明の実施の形態】〔第１実施形態〕図１は、第１実
施形態に係る画像取り込み装置を説明する図である。こ
の画像取り込み装置は、被写体Ｏの像を撮影するための
撮影レンズ３と、撮影レンズ３の直後に配置されて光量
を調節する絞り４と、被写体Ｏからの光束の光軸ＡＸ上
に配置されて光路を２方向に分割する分割光学系である
分光ミラー５と、分光ミラー５により分割された１方の
光束の光軸ＡＸ１上に配置された第１撮像素子１と、分
割された他方の光束の光軸ＡＸ２上に配置された第２撮
像素子２と、各撮像素子１、２の出力Ａ１、Ａ２をそれ
ぞれＡＤ変換するＡＤコンバータ２１、２２と、ＡＤコ
ンバータ２１、２２からのＡＤ変換後の出力を合成して
出力する合成器６と、各撮像素子１、２や合成器６の動
作を制御する制御装置７とを備えている。

【００３９】この画像取り込み装置には、被写体Ｏの像
を撮影するための光学系とは別に、被写体Ｏの輝度範囲
である被写体輝度範囲を検出する輝度範囲検出部１０を
備える。この輝度範囲検出部１０は、被写体Ｏの像を撮
影レンズ３とは別に結像する第２レンズ１０ａと、光軸
ＡＸにほぼ平行な第２レンズ１０ａの光軸ＡＸ’上に配
置されて被写体Ｏの像が投影される多分割ＳＰＤ（シリ
コン・フォトダイオード）１０ｂと、この多分割ＳＰＤ
１０ｂを構成する各素子に並列に接続されるｌｏｇアン
プ１０ｃとを備える。これは、銀塩カメラの露光量検出
用のマルチ測光センサーと同様の構造であり、検出範囲
は広く、一度の測光で被写体の輝度範囲を計測できる。
この輝度範囲検出部１０からの出力（すなわち被写体輝
度範囲）をもとに、各撮像素子１、２における蓄積時間
（露光時間）や絞り４の絞値を決定することができる。

【００４０】制御装置７は、合成器６の動作を制御する
ＣＰＵ７３（中央演算処理装置）と、このＣＰＵ７３か
らの指示に応じて両撮像素子１、２による撮像に際して
の蓄積時間を制御するタイミング発生器７４とを備え
る。

【００４１】制御装置７による制御下で合成器６から出
力された合成後の画像情報である出力Ｖは、画像処理装
置８に入力されて適当な画像処理が施される。画像処理
装置８からの画像処理後のデータは、記憶装置９に入力
されてここに保存される。なお、制御装置７は、合成器
６のみならず、画像処理装置８及び記憶装置９の動作も
制御しており、レリーズ動作の指示に基づいて各撮像素
子１、２に適当なタイミングで必要な画像を取り込ませ
るとともに、これに適当な合成等の処理を施し、得られ
た画像を適宜保存する。

【００４２】以下、図１の装置の動作について説明す
る。撮影レンズ３を通った光は、分光ミラー５によって
分割されて、第１撮像素子１と第２撮像素子２とにそれ
ぞれ投影される。この時、第１撮像素子１に供給される
光量の割合ｒ１と第２撮像素子２に供給される光量の割
合ｒ２とは、ｒ１＞ｒ２なる関係を有し、分割比ｒ１／
ｒ２は、２から２０の範囲内のある固定した値とする。
さらに、分割比ｒ１／ｒ２は、４から１０の範囲内のあ
る固定した値とすることが好ましい。なお、分光ミラー
５は、例えば透過率と反射率の割合が元から異なる光学
素子としても良いし、あるいは透過率と反射率が同じハ
ーフミラーを用いて５０％と５０％で２分割し、一方に
関しＮＤフィフィルターで光量を必要量だけ減衰させて
もよい。ただし、好ましくは、ＮＤフィルタを使用せ
ず、単一の分光ミラー５とした方が、光量損失が無く効
率が良い。

【００４３】画像取り込みの指示があった場合、図示の
画像取り込み装置はレリーズ動作を行う。具体的には、
制御装置７が、絞り駆動装置（図示を省略）により絞り
４を駆動して最適な照明光量に設定する。次に、制御装
置７は、第１及び第２撮像素子１、２を動作させて投影
された画像を光電変換した画像信号を出力する露出を行
う。この際、制御装置７は、タイミング発生器７４を介
して第１及び第２撮像素子１、２の蓄積時間Ｔ１、Ｔ２
をそれぞれ独立に制御してこれらを最適な値に制御する
ことができる。第１及び第２撮像素子１、２の出力は、
デジタルデータ処理のためＡＤ変換された後、合成器６
によって輝度の合成が行われる。この後、画像処理装置
８によって各種信号処理や圧縮が行われ、記憶装置９に
よって画像処理後の画像データの保存が行われる。な
お、通常は撮影に先立ち合焦装置（図示を省略）または
手動により、撮影レンズ３の位置を調整して被写体Ｏの
像を第１及び第２撮像素子上に合焦させる動作が行われ
るが、説明は省略している。

【００４４】以下、輝度範囲検出部１０で検出した被写
体輝度範囲（この場合、被写体Ｏの輝度差）に応じて、
第１及び第２撮像素子１、２について行う蓄積時間の比
の変更について説明する。

【００４５】第１及び第２撮像素子１、２における蓄積
時間Ｔ１、Ｔ２の比（Ｔ１／Ｔ２）を変更すると、露光
量の比Ｒは、（ｒ１×Ｔ１）／（ｒ２×Ｔ２）で与えら
れる。

【００４６】図２から図４は、露光量の比Ｒを考慮した
上で、合成器６で輝度合成を行う場合の具体的手法を説
明する図である。

【００４７】図２は、輝度差が大きい場合の合成を説明
するグラフである。図２（ａ）は合成前の輝度出力を示
し、図２（ｂ）は合成の際に用いる重み関数を示し、図
２（ｃ）は合成後の輝度出力を示す。なお、図２（ａ）
において、横軸は被写体Ｏの輝度を示し縦軸は両撮像素
子１、２の出力Ａ１、Ａ２を示す。図２（ｂ）におい
て、縦軸は両撮像素子１、２の出力値Ａ１、Ａ２を合成
するための重み関数の値を示し、図２（ｃ）において、
縦軸は合成器６の出力Ｖを示す。この場合は、蓄積時間
Ｔ１、Ｔ２の比を大きくし、２つの撮像素子１、２の光
電変換特性の直線部分のオーバーラップ領域を小さく
し、広い輝度範囲の情報を取り込めるようにしている。
被写体Ｏの輝度範囲が広い場合、上記のような合成によ
って広いダイナミックレンジを確保することを優先す
る。

【００４８】図３は、輝度差が中程度の場合の合成を説
明するグラフである。図３（ａ）は合成前の輝度出力を
示し、図３（ｂ）は合成の際に用いる重み関数を示し、
図３（ｃ）は合成後の輝度出力を示す。この場合は、蓄
積時間Ｔ１、Ｔ２の比を小さくし、２つの撮像素子１、
２の光電変換特性の直線部分の重なりが大きくなるよう
にする。直線部分の重なる領域が大きければ、合成時に
不連続が生じる現象を効果的に防ぐことができる。被写
体Ｏの輝度範囲が中程度に広い場合、図示のような合成
によって、広いダイナミックレンジを確保するとともに
合成のつなぎ目で不連続が生じにくいものとすることが
できる（画質とＤＲ優先）。

【００４９】図４は、輝度差が小さい場合の合成を説明
するグラフである。図４（ａ）は合成前の輝度を示し、
図４（ｂ）は合成の際の重み関数を示し、図４（ｃ）は
合成後の輝度を示す。この場合は、蓄積時間Ｔ１、Ｔ２
を等しくし、あるいはＴ１よりもＴ２の方をかえって長
くする（Ｔ１＜Ｔ２）ことにより、露光量比Ｒ、すなわ
ち（ｒ１×Ｔ１）対（ｒ２×Ｔ２）の比をほぼ１に近く
する、あるいは１に等しくする。また重み関数も単純に
１とし、２つの撮像素子の出力を単純に加算する。結
果、合成による不連続は生じないし、ランダムノイズは
打ち消し合う方向に働くので、画質は良くなる（画質優
先）。

【００５０】なお、合成器６に重み関数をＬＵＴとして
持たせることにより、高速の合成処理が可能になる。こ
の場合、合成器６に輝度差に応じた複数のＬＵＴを用意
しておき、それらを必要に応じて切り替えて合成を行
う。

【００５１】また、ＬＵＴを使わず、合成器６を構成す
る回路中に乗算回路と加算回路からなる演算回路を組み
込むこともできる。この場合、蓄積時間Ｔ１、Ｔ２の比
に応じて重み関数のパラメーターを変えることによっ
て、合成処理を行うことも可能である。

【００５２】また、特別に合成処理を行う合成回路を持
たず、代わりにＣＰＵ７３の演算機能を用いてソフトウ
エアによる処理で合成を行うことも可能である。

【００５３】また、第２撮像素子２（分割光学系で反射
された鏡像を撮像する撮像素子）としては、例えば鏡像
モード付き、または鏡像専用のＣＣＤを用いることがで
きる。このようなＣＣＤを用いれば、図１に示すような
分割ミラーを用いて片方だけが鏡像になる場合であって
も、同じ空間位置の画素出力を同じタイミングで読み出
すことが可能である。

【００５４】〔第２実施形態〕図５は、第２実施形態に
係る画像取り込み装置を説明する図である。この画像取
り込み装置は、第１実施形態の装置の変形例であり、同
一部分には同一の符号を付して重複説明を省略する。本
実施形態の装置は、記憶手段として１枚のフレームメモ
リー６２を備えており、第１及び第２撮像素子１、２と
してＣＣＤを用いている。さらに、合成器６やフレーム
メモリー６２への画像信号の転送を制御するため、ＣＰ
Ｕ７３に制御されて動作するスイッチ素子６４、６５が
設けられている。

【００５５】以下、露光のタイミングについて説明す
る。この実施形態では、タイミング発生器７４で、第１
及び第２撮像素子１、２の蓄積時間Ｔ１、Ｔ２の中央時
刻の差が所定時間以内になるように制御する。この所定
時間をいくつに設定するかは任意であるが、およそ１／
１０秒から１／１００秒程度の範囲に設定するのが好ま
しい。通常、撮影レンズ３の焦点距離が短い場合は、ブ
レが目立ちにくいので、上記所定時間（中央時刻の差）
は多少長くてもよいが、撮影レンズ３の焦点距離が長い
場合は、ブレが目立ちやすいので、上記所定時間は短く
設定することが好ましい。

【００５６】図６から図８は、第１及び第２撮像素子
１、２の露光タイミングを説明する図である。ここでは
説明のため便宜的に、上記所定時間の２倍よりも短い蓄
積時間（露光時間）を高シャッター速度、上記所定時間
の２倍よりも長い蓄積時間（露光時間）を低シャッター
速度と呼ぶこととする。

【００５７】図６は、高輝度被写体の露光を説明する図
である。図６（ａ）は第１撮像素子１の露光タイミング
（蓄積タイミング）と信号読出タイミングとを示し、図
６（ｂ）は第２撮像素子２の露光タイミング（蓄積タイ
ミング）と信号読出タイミングとを示す。高輝度被写体
の撮影の場合は、両撮像素子１、２とも高シャッター速
度になるので、両撮像素子１、２による両露光時間の中
央時刻（センター）を一致させなくても、例えば露光の
開始または終了時刻を合わせればセンターは所定時間以
内に収まる。

【００５８】図７は、被写体Ｏの輝度が中程度の場合の
露光を説明する図である。図７（ａ）は第１撮像素子１
の露光タイミングと信号読出タイミングとを示し、図７
（ｂ）は第２撮像素子２の露光タイミングと信号読出タ
イミングとを示す。被写体の輝度が中程度の場合は、図
からも明らかなように、片方の第２撮像素子２が高シャ
ッター速度で、他方の第１撮像素子１が低シャッター速
度になる。この場合は、蓄積時間Ｔ１、Ｔ２のセンター
を合わせるように蓄積タイミングを制御する。このこと
により、合成画像のブレが小さくなる。

【００５９】図８は、被写体Ｏが低輝度の場合の露光を
説明する図である。図８（ａ）は第１撮像素子１の露光
タイミングと信号読出タイミングとを示し、図８（ｂ）
は第２撮像素子２の露光タイミングと信号読出タイミン
グとを示す。この場合も、蓄積時間Ｔ１、Ｔ２のセンタ
ーを合わせるように蓄積タイミングを制御する。このこ
とにより、合成画像のブレが小さくなる。

【００６０】蓄積時間Ｔ１、Ｔ２のセンターを合わせる
際には、以下のような問題を解決する必要がある。

【００６１】図７及び図８に示すように、蓄積時間Ｔ
１、Ｔ２の露光時間差が大きい場合（Ｔ１＞Ｔ２とす
る）、仮に両撮像素子１、２から同時に画像信号を出力
しようとすると、第２撮像素子２の蓄積（露光）が終わ
ってから第１撮像素子１の蓄積（露光）が終わるまでに
時間間隔が空くことになる。この間、第２撮像素子２の
信号電荷は、第２撮像素子２中（例えば垂直転送ＣＣＤ
中）で保持されることになる。垂直転送ＣＣＤ等は、一
般にフォトダイオードに比べて暗電流の影響が大きい。
この結果、暗電流成分によるノイズの影響が大きくなる
という問題がある。

【００６２】このような問題を解決するため、蓄積時間
Ｔ１、Ｔ２の差が大きい場合（Ｔ１＞Ｔ２とする）は、
図５に示すフレームメモリー６２とスイッチ素子６４、
６５とを利用した遅延を行う。図７及び図８に示すよう
に、第２撮像素子２の蓄積（露光）が終わった時点で先
に画像信号を読み出し（出力Ａ１）、スイッチ素子６４
の制御によって合成器６を素通りさせて、フレームメモ
リー６２に一時的に記憶する。その後、第１撮像素子１
の蓄積（露光）が終わった時点で画像信号を読み出す
（出力Ａ２）。これと同時に、先にフレームメモリー６
２に記憶した第２撮像素子２の出力をスイッチ素子６
４、６５の制御によって合成器６に戻す。この結果、合
成器６には、第１撮像素子１による蓄積直後の画像信号
と第２撮像素子２による蓄積直後の画像信号とが同時に
入力されてここで合成処理される。合成器６の出力は、
スイッチ素子６５の制御によって再びフレームメモリー
６２に書き込まれる。この結果、暗電流の影響を受けに
くくなる。また、このような手法を用いれば、フレーム
メモリーが最低１枚（１画面分）あれば済むことにな
る。

【００６３】なお、両撮像素子１、２とも高シャッター
速度の場合は、第１及び第２撮像素子１、２から同時に
信号を読み出すことができるので、合成器６で合成を行
い、結果をフレームメモリー６２に書き込めばよい。

【００６４】また、上記の説明では、露光の中央時刻を
合わせる（ブレを最小にする）制御方法を示したが、実
施形態の画像取り込み装置を例えばカメラに組み込む場
合、カメラの撮影モードとしては別に、両撮像素子１、
２の露出開始を合わせるモードや、露出終了を合わせる
モードを備える構成とすることもできる。これらの撮影
モードを使用したときは、ちょうど通常の一眼レフカメ
ラでストロボを使用して後幕シンクロ撮影（シャッター
が閉じる直前にストロボを発光するモード）や先幕シン
クロ撮影（シャッターが開いた直後にストロボを発光す
るモード）をした時と似た効果を生むことができる。

【００６５】〔第３実施形態〕図９は、第３実施形態に
係る画像取り込み装置を説明する図である。この画像取
り込み装置は、第２実施形態の装置の変形例である。

【００６６】この画像読み取り装置は、第１及び第２撮
像素子１、２ごとにそれぞれ第１及び第２フレームメモ
リー１２１、１２２を備えており、両撮像素子１、２の
出力をそれぞれフレームメモリー１２１、１２２に一時
的に記憶することができる。

【００６７】動作について説明する。第２撮像素子２の
蓄積（露光）が終わった時点で先に画像信号を読み出
し、その画像信号をスイッチ素子１６４の制御によって
第２フレームメモリー１２２に一時的に記憶する。その
後、第１撮像素子１の蓄積（露光）が終わった時点で画
像信号を読み出し、その画像信号を第１フレームメモリ
ー１２１に一時的に記憶する。次に、両フレームメモリ
ー１２１、１２２を同時に読み出し、両撮像素子１、２
からの画像信号を合成器６に入力しここで合成処理を行
う。合成器６の出力は、スイッチ素子１６４の制御によ
って再び第２フレームメモリー１２２に書き込まれて保
存され、スイッチ素子１６５の制御によって適当なタイ
ミングで出力される。

【００６８】本実施例では、両撮像素子１、２からの出
力データが両フレームメモリー１２１、１２２に一時的
に保持される。よって、合成処理を両撮像素子１、２か
らの読み出し速度に同期させる必要はなく、比較的遅い
速度で合成を行うことができる。

【００６９】なお、スイッチ素子１６４、１６５は不可
欠のものではない。スイッチ素子１６４、１６５をなく
した場合、両フレームメモリー１２１、１２２の読み出
しタイミングに同期して合成器６から合成された信号が
出力される。

【００７０】〔第４実施形態〕図１０は、第４実施形態
に係る画像取り込み装置を説明する図である。この画像
取り込み装置は、第１実施形態の装置の変形例である。

【００７１】この画像読み取り装置は、第１及び第２撮
像素子１、２ごとに、処理手段として、ガンマ補正型の
ＡＤ変換器であるガンマ処理回路２２１、２２２を備え
ており、このガンマ処理回路２２１、２２２により、両
撮像素子１、２の出力に階調圧縮を行うガンマ処理を実
行し、その後、合成器６で輝度の合成処理を行う構成と
なっている。

【００７２】両ガンマ処理回路２２１、２２２で行うガ
ンマ処理としては、両撮像素子１、２の出力信号をアナ
ログ・ガンマ回路でガンマ補正し、それから例えば８ｂ
ｉｔＡＤ変換器でデジタル信号に変換してもよいし、或
いは両撮像素子１、２の出力を例えば１２ｂｉｔＡＤ変
換器でデジタル信号に変換し、それからデジタル・ガン
マ回路で８ｂｉｔに変換してもよい。

【００７３】図１１に、ガンマ補正後の光電変換特性の
一例を示す。グラフの傾きがガンマの値を示している。
ガンマ補正により、両撮像素子１、２から得られるデー
タの直線部分がより広い輝度範囲に亘ることになるの
で、白潰れを防ぎ、より広いダイナミックレンジを得る
ことができる。また、第１及び第２撮像素子１、２の輝
度重複領域が広くなるので、境界の目立たない合成処理
を行うことができる。

【００７４】なお、第１から第４の実施形態において、
画像取り込み装置は、ＡＤ変換器２１、２２、１２１、
１２２やガンマ処理回路２２１、２２２を２系統備え、
２つの撮像素子１、２の出力を別々の回路で処理する構
成となっている。しかし、これでは回路が複雑になる
し、また２つの処理回路に特性のバラツキが生じた場
合、合成時に階調の不連続等の不都合が生じる原因とも
なる。これを防ぐために、図１２に示すように第１及び
第２撮像素子１、２からの出力を選択するスイッチ２６
４を取り付け、両撮像素子１、２の出力を直列に接続さ
れたガンマ処理回路３２１とフレームメモリー４２１と
からなる１組の処理回路で処理する構成とすることもで
きる。切換用のスイッチ２６４は、いずれか一方の撮像
素子からの出力をすべて読み出してから他方の撮像素子
に切り替える動作とすることができる。また、１画素毎
に両撮像素子１、２を交互に切り替えて次段に画像信号
を転送する動作とすることもできる。このような構成と
することにより、回路を省略することができ、２系統の
回路を使用することによる特性バラツキの影響も無くな
る。

【００７５】〔第５実施形態〕図１３は、第５実施形態
に係る画像取り込み装置を説明する図である。

【００７６】この画像読み取り装置は、第１実施形態の
装置の変形例であり、被写体輝度範囲を撮影レンズ３を
利用して検出する多分割ＳＰＤ１０ｂを備えている。こ
の輝度範囲検出用素部１１０は、光軸ＡＸ上に配置され
て像光の一部を反射するミラー１１０ａと、第２レンズ
１０ａと、多分割ＳＰＤ１０ｂと、１ｏｇアンプ１０ｃ
とを備えている。

【００７７】さらに、撮像素子１、２は、撮像（画像取
り込み）専用として用いる必要はなく、焦点検出（Ａ
Ｆ）手段等として活用することもできる。例えばＣＣＤ
ＡＦ（山登りＡＦ等）を行う場合や、液晶ファインダー
を表示させる場合は、両撮像素子（ＣＣＤ）１、２のう
ちの片方のみを動作させて必要な制御装置７に処理を行
わせることができる。どちらの撮像素子（ＣＣＤ）１、
２を用いるかは、その時の被写体の輝度に応じて切り替
えることもできる。この場合は、合成器６も機能させ
ず、単に撮像素子（ＣＣＤ）１、２の内、動作している
どちらか一方の出力をそのまま素通りさせる。この結
果、消費電力を減らすことが可能である。

【００７８】〔第６実施形態〕図１４は、第６実施形態
に係る画像取り込み装置を説明する図である。

【００７９】この画像読み取り装置は、画像取り込み用
の撮像素子１、２自体で輝度範囲検出を行う。

【００８０】以下、本実施形態の装置の動作を説明す
る。まず、第１及び第２撮像素子１、２により十分異な
る蓄積時間で被写体輝度検出用の撮像動作を行う（例え
ばＴ１／Ｔ２が１０倍以上）。次に、それぞれの撮像素
子１、２の出力のヒストグラムを調べ、検出された輝度
範囲の上限値及び下限値を求める。以上の動作を繰返し
て蓄積時間の最適化を行う。

【００８１】図１５（ａ）は、被写体の現実の輝度範囲
の分布を示し、図１５（ｂ）は、両撮像素子１、２で検
出可能な被写体輝度範囲の変更例を示す。図１５（ｂ）
に示す第１段階の時刻（Ａ）の状態では、現在検出され
ている輝度範囲よりも更に高輝度の領域が被写体中に存
在している。両撮像素子１、２による検出結果をフィー
ドバックするべく比Ｔ１／Ｔ２を保ったまま両蓄積時間
Ｔ１、Ｔ２の値を所定量だけ増加し、再びヒストグラム
を調べて輝度範囲の上限値及び下限値を求める（第２段
階の時刻（Ｂ）の状態）。このような動作を繰り返し、
被写体の輝度範囲（ＭＡＸ，ＭＩＮ）を検出する（第３
段階の時刻（Ｃ）の状態参照）。検出した被写体輝度範
囲（ＭＡＸ，ＭＩＮ）及び、被写体輝度のヒストグラム
や、輝度の分布に応じて両撮像素子１、２の蓄積時間Ｔ
１、Ｔ２及びその比Ｔ１／Ｔ２の最適値を求め、レリー
ズ動作時には、得られた最適な蓄積時間Ｔ１、Ｔ２で静
止画の撮影を行う。

【００８２】なお、これらの動作中は、両撮像素子１、
２を構成するＣＣＤから全画素を読み出すのでなく、Ｃ
ＣＤの画素を間引きして読出す動作としてもよい。

【００８３】〔第７実施形態〕図１６は、第７実施形態
に係る画像取り込み装置を説明する図である。

【００８４】この画像読み取り装置は、合成器６と並列
に接続された欠陥画素検出器８３と、欠陥画素検出器８
３の出力に基づいて欠陥補正を行う欠陥画素補正回路８
４とを備えている。第１及び第２撮像素子１、２には、
一部欠陥画素が含まれている可能性がある。例えば、暗
電流が非常に大きく白点傷になる画素や、フォトダイオ
ードの電荷が垂直ＣＣＤに転送されず、黒点傷になる画
素等である。またこれらの欠陥画素は、宇宙線等の影響
により数が増加する場合もある。この様な欠陥画素が含
まれる場合、２つの撮像素子１、２からの画素出力が矛
盾した値になる。例えば、空間位置が同じである特定の
画素同士に注目したとき、露光量の小さい撮像素子出力
の方が露光量の大きい撮像素子出力よりも値が大きくな
ったり、または、露光量の比が１０倍なのに、出力の値
の比が１００倍になったりする可能性がある。このよう
な状況が孤立して現れた場合、欠陥画素検出器８３はこ
の画素が欠陥画素であるという信号を出力する。この
時、後段の欠陥画素補正回路８４が動作し、欠陥補正が
行われる。

【００８５】しかし、２つの撮像素子１、２の蓄積時間
Ｔ１、Ｔ２は異なっている。このため、例えば高速で移
動する高輝度の物体を撮影すると、蓄積時間の長い撮像
素子の画像のほうが被写体ブレの影響が大きくなるた
め、２つの撮像素子１、２の画素出力が矛盾した値にな
る現象が広い連続した領域で生じると考えられる。この
ような場合は、欠陥補正を行わないようにする。これよ
り、誤った欠陥補正を防ぐことができる。

【００８６】なお、欠陥補正には、１つ前の画素出力を
そのまま用いる方法や、周囲の画素出力の平均を欠陥画
その出力として用いる方法などがある。

【００８７】〔第８実施形態〕図１７は、第８実施形態
に係る画像取り込み装置を説明する図である。

【００８８】この画像読み取り装置は、画像取り込み用
の撮像素子として、カラー型の撮像素子（ＣＣＤ）１０
１、１０２を用いている。また、両撮像素子１０１、１
０２からの画像信号を合成するため合成器２０６は補間
機能も備えている。

【００８９】２つの撮像素子（ＣＣＤ）１０１、１０２
を構成する画素は、相対的に同じ位置となっている。す
なわち、画素を１／２ピッチずらす、いわゆる画素ずら
しと呼ばれる手法は用いない。両撮像素子１０１、１０
２上に設けたオンチップ型の色フィルタ１０１ａ、１０
２ａの配置は、相対的に同じ位置とすることもできる
し、配置は相対的にずれた位置とすることもできる。

【００９０】図１８〜図２０は、色フィルタ１０１ａ、
１０２ａの配置例を概念的に説明する図である。図１８
は、ＲＧＢを全て相対的に同じ位置に配置した例であ
り、図１８（ａ）は色フィルタ１０１ａの配置を示し、
図１８（ｂ）は色フィルタ１０２ａの配置を示す。図１
９は、Ｇを同じ位置、ＲＢを相補的な位置に配置した例
であり、図１９（ａ）は色フィルタ１０１ａの配置を示
し、図１８（ｂ）は色フィルタ１０２ａの配置を示す。
図２０は、ＲＧＢを全て相対的にずれた位置に配置した
例であり、図２０（ａ）は色フィルタ１０１ａの配置を
示し、図２０（ｂ）は色フィルタ１０２ａの配置を示
す。

【００９１】なお、いずれの場合もベイヤー配列の撮像
素子１、２を組み合わせて取り込みを実現している場合
を示すが、別のカラーフィルタ配置や補色フィルター配
置でもよい。

【００９２】例えば図２０に示すように、ベイヤー配列
の撮像素子を２つ組み合わせて色フィルタの相対的位置
をずらして使用する場合、Ｇは全画素で情報が得られ、
ＲとＢは２画素に１画素の割合で情報が得られる。

【００９３】以下、２つの撮像素子１、２から得られた
露光量の異なるカラー画像情報の合成について説明す
る。

【００９４】図１８に示すようにＲＧＢを全て相対的に
同じ位置に配置した場合の合成は、これまでの実施形態
で説明したと同様に、単純に対応画素を適当な重み関数
で重ね合わせるだけで足りる。図１９や図２０に示すよ
うにＲＧＢの少なくとも１つについて相対的位置ずれが
ある場合、合成や補間に際して工夫が必要となる。

【００９５】具体的には、まず各色ごとに空間的に隣接
する画素出力を用いてＲＧＢ各成分の階調の合成を行い
（例えば図２０に示す配置の場合、Ｒ１１とｒ２１を合
成し、Ｇ２１とｇ３１を合成し、Ｇ１２とｇ２２を合成
し、Ｂ２２とｂ３２を合成する）、このようにして得ら
れた合成後の値からＲＧＢの補間を行ってフルカラーの
画像を生成することができる（第１の方法）。或いは、
最初に両方の画像それぞれについてＲＧＢ補間を行い、
それから各画素についてＲＧＢ各成分の階調の合成を行
ってもよい（第２の方法）。或いは、最初に一方の第２
撮像素子２の各画素について、第１撮像素子１の対応す
る画素の色成分の補間を行って（例えば図２０に示す配
置の場合、第２撮像素子２のｒ’１１、ｇ’２１、ｇ’
１２、ｂ’２２を周囲の画素から補間して生成し）、補
間後の対応する位置について他方の第１撮像素子１との
間でＲＧＢ各成分の階調の合成を行い（例えば図２０に
示す配置の場合、Ｒ１１とｒ’１１を合成し、Ｇ２１と
ｇ’２１を合成し、Ｇ１２とｇ’１２を合成し、Ｂ２２
とｂ’２２を合成し）、最後に再びＲＧＢ補間をするこ
ともできる（第３の方法）。

【００９６】なお、第１番目の方法のように最初に各色
について空間的に隣接する画素を用いてＲＧＢ各色の階
調合成処理を行い、その後でＲＧＢ補間処理を行ったほ
うが計算量が少なくなる。逆に、第２番目の方法のよう
に先に補間処理を行ってから階調合成処理を行う場合
は、必要とされる計算量やメモリーは多くなるが、偽色
や解像に関しては有利になる。第３番目の方法のように
一方の画像の補間、階調の合成、合成した画像の補間を
行う方法は、これらの中間的な特徴を持つ。

【００９７】本実施形態において、特に被写体の輝度範
囲が狭い場合は、Ｔ１≒Ｔ２あるいは、Ｔ１＜Ｔ２とす
ることにより、２つの撮像素子の露光量をほぼ等しくす
ることが可能である。この場合は、全画素についてＧの
情報、また２画素に１画素の割合でＲ及びＢの情報を得
ることができるので、２つの撮像素子１、２のゲイン調
整、及びＲＢの補間処理することにより偽色が少なく解
像の高い良好な画像を得ることができる。

【００９８】これらのことにより、被写体の輝度差が大
きい場合は、ダイナミックレンジの広いカラー画像を、
被写体の輝度差が小さい場合は偽色の少ない良好な画像
を得ることが出来る。

【００９９】なお、各実施形態に関して個別に説明した
が、これらを任意に組み合わせることが可能なのは言う
までもない。例えば、第３実施形態に示すように、露光
の中央時刻を所定時間以内に制御し、第４実施形態に示
すガンマ処理回路２２１、２２２を具備し、かつ、第８
実施形態に示すように撮像素子がカラータイプであると
いった構成も可能である。

【０１００】〔第９実施形態〕図２１は、第９実施形態
に係る画像取り込み装置を示し、カメラに適用した例を
示す。

【０１０１】このカメラ３００は、筐体３００ａ中に、
撮影レンズ３と、絞り４と、分割光学系であるビームス
プリッタ５と、第１及び第２ＣＣＤ撮像素子１、２と、
画像検出合成回路３０６と、制御装置７とを備える。こ
こで、画像検出合成回路３０６は、図１４に示す第６実
施形態の画像取り込み装置も用いて説明するならば、Ａ
Ｄコンバータ２１、２２と、フレームメモリー１２１、
１２２と、ＡＤ変換後の出力を合成して出力する合成器
６とを有している。さらに、筐体３００ａ背面には、モ
ニター用のファインダーとして機能する液晶ディスプレ
イ３１０が取付けられている。

【０１０２】この実施形態では、被写体輝度範囲検出や
ＡＦ検出を第１及び第２ＣＣＤ撮像素子１、２自体で行
い、液晶ディスプレイ３１０にはＣＣＤ撮像素子１、２
の出力を輝度合成したものを表示する。これより、ワイ
ドダイナミックレンジの画像を得ることができるカメラ
を得ることが可能である。また、動画と静止画両方でワ
イドダイナミックレンジの画像を得ることもできる。或
いは動画撮影時は一方のＣＣＤ撮像素子のみの画像情報
を用いて普通のビデオカメラと同様に撮影し、静止画の
場合のみに両方のＣＣＤ撮像素子の画像情報を用いて輝
度合成を行い、ワイドダイナミックレンジの静止画を得
る構成としてもよい。

【０１０３】なお、画像合成等の手法は、第１〜第８実
施形態で説明したものを適宜組み合わせることで達成で
きる。ただし、被写体輝度範囲検出及び蓄積時間制御方
法としては、図１５に示すものとほぼ同じであるが、動
画にも対応させる為に、被写体輝度範囲の変化に応じて
フィードバック制御を行い、変化に追従させる処理を行
う。

【０１０４】〔第１０実施形態〕図２２は、第１０実施
形態に係る画像取り込み装置を示し、デジタルスチルカ
メラに適用した例を示す。

【０１０５】このカメラ４００は、本体４００ａと、交
換可能なカメラレンズ４００ｂとを備える。カメラレン
ズ４００ｂは、普通の一眼レフカメラ用の交換レンズで
あり、一眼レフカメラ用のレンズマウント４００ｃを介
して本体４００ａに固定されている。カメラレンズ４０
０ｂを通過した光は、跳ね上げミラー（メインミラー）
４０１を通過して、フィルム面よりも後側の部分に相当
するレンズ４０３、４０４及び固定ミラー４０５からな
る縮小用の再結像光学系を介してビームスプリッタ５に
導かれる。一方、跳ね上げミラー４０１で反射された光
は、フォーカシングスクリーン４１０及びペンタプリズ
ム４１１を通過してレンズ４１２を通過した後、光学フ
ァインダ４１３に導かれる。

【０１０６】なお、跳ね上げミラー４０１の裏面側に
は、サブミラー４２０を配置しており、ＡＦセンサー４
２１によって焦点検出を行う（なお、別の位置にＡＦ用
センサーを配置してもよいし、ＣＣＤ撮像素子１、２自
体でＡＦ検出を行う構成としてもよい）。

【０１０７】この実施形態では、被写体輝度範囲を検出
するため、普通の一眼レフカメラと同じように、ＡＥ用
分割センサー４４０を用いている（なお、ＣＣＤ撮像素
子１、２自体で被写体輝度範囲検出を行う構成としても
よい）。

【０１０８】この様な構成により、デジタルスチルカメ
ラ用レンズとして一眼レフカメラ用交換レンズを活用す
ることができるし、第１〜第８実施形態に例示した発明
を適用することにより、ワイドダイナミックレンジの画
像を得ることができる。また、カメラ自体の操作方法は
通常の一眼レフカメラと全く同じなので、違和感の無い
操作が可能になる。また、撮影した画像をモニターする
ための液晶ディスプレイを付加した構成とすることもで
きる。

【０１０９】

【発明の効果】以上の説明から明らかなように、本発明
によれば、露光量の異なる２つの撮像素子出力を合成
し、かつその露光量を被写体に応じて制御することによ
り、被写体の輝度範囲が広い場合はダイナミックレンジ
の広い画像を、被写体の輝度範囲が狭い場合は良好な画
像を得ることが出来る。

【０１１０】また、本発明によれば、露光の中央時刻差
を所定時間以内に制御することにより、画像のブレの影
響を最小とした画像を得ることができ、かつ、露光終了
後直ちに画像を撮像素子から読み出すことにより、撮像
素子の暗電流の影響を受けない画像を得ることができ
る。

【０１１１】また、本発明によれば、欠陥画素補正手段
を用いることにより、欠陥画素の補正も行うことが可能
である。これは、使用中に増加した欠陥画素にも対応可
能である。

【０１１２】また、本発明によれば、カラー撮像素子を
用いることにより、被写体の輝度範囲が広い場合はダイ
ナミックレンジの広いカラー画像を、被写体の輝度範囲
が狭い場合は偽色を抑え解像の高い画像を得ることがで
きる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る画像取り込み装置
の構成を示すブロック図である。

【図２】図１の装置における被写体輝度範囲が広い場合
の合成を示す図である。

【図３】図１の装置における被写体輝度範囲が中程度の
合成を示す図である。

【図４】図１の装置における被写体輝度範囲が狭い場合
の合成を示す図である。

【図５】本発明の第２実施形態に係る画像取り込み装置
の構成を示すブロック図である。

【図６】図５の装置における高輝度被写体の露光及び読
出しタイミングの説明図である。

【図７】図５の装置における中輝度被写体の露光及び読
出しタイミングの説明図である。

【図８】図５の装置における低輝度被写体の露光及び読
出しタイミングの説明図である。

【図９】本発明の第３実施形態に係る画像取り込み装置
の構成を示すブロック図である。

【図１０】本発明の第４実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１１】図１０の装置におけるガンマ補正後の光電変
換特性を示す図である。

【図１２】第４実施形態の変形例の構成を示すブロック
図である。

【図１３】本発明の第５実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１４】本発明の第６実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１５】図１４の装置における輝度範囲検出動作を示
す説明図である。

【図１６】本発明の第７実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１７】本発明の第８実施形態に係る画像取り込み装
置の構成を示すブロック図である。

【図１８】図１７の装置におけるカラーフィルター配置
の一例を示す図である。

【図１９】図１７の装置におけるカラーフィルター配置
の別の例を示す図である。

【図２０】図１７の装置におけるカラーフィルター配置
のさらに別の例を示す図である。

【図２１】本発明の第９実施形態に係るデジタルスチル
カメラの構成を説明する図である。

【図２２】本発明の第１０実施形態に係るデジタルスチ
ルカメラの構成を説明する図である。

【図２３】従来の画像取り込み装置の構成を示す図であ
る。

【図２４】従来の画像取り込み装置の別の構成を示す図
である。

【図２５】輝度の合成方法を説明するための図である。

【符号の説明】

１第１撮像素子２第２撮像素子３撮影レンズ４絞り５分光ミラー６合成器７制御装置１０輝度範囲検出部２１，２２変換器６２フレームメモリー７３ＣＰＵ８４欠陥画素補正回路１０１ａ，１０２ａ色フィルタ１１０輝度範囲検出用素部２２１，２２２ガンマ処理回路４１０フォーカシングスクリーン４１１ペンタプリズム４１３光学ファインダ４４０ＡＥ用分割センサーＡＸ光軸Ｏ被写体Ｔ１、Ｔ２蓄積時間ｒ１、ｒ２光量分割比

Claims

【特許請求の範囲】

【請求項１】被写体からの入射光軸上に配置されて光
路を２方向に分離するとともに、光量分離比を所定値に
保つ分割光学系と、前記分割光学系により分割された１方の光路の光軸上と
他方の光路の光軸上とにそれぞれ配置された第１及び第
２撮像手段と、被写体の輝度範囲である被写体輝度範囲を検出する被写
体輝度範囲検出手段と、前記第１及び第２撮像手段のそれぞれの出力をＡＤ変換
するＡＤ変換手段と、前記第１及び第２撮像手段のＡＤ変換後の出力を合成し
て出力する合成手段と、前記第１撮像手段による画像情報の蓄積時間と前記第２
撮像手段による画像情報の蓄積時間とを、前記被写体輝
度範囲検出手段によって検出された被写体輝度範囲に応
じて設定する制御手段とを備えることを特徴とする画像
取り込み装置。
【請求項２】前記制御手段は、前記第１撮像手段の蓄
積時間をＴ１とし前記第２撮像手段の蓄積時間をＴ２と
したときに、蓄積時間Ｔ１、Ｔ２それぞれの値、及びそ
の比（Ｔ１／Ｔ２）を、前記被写体輝度範囲検出手段に
よって検出された被写体輝度範囲に応じて選択すること
を特徴とする請求項１記載の画像取り込み装置。
【請求項３】前記分割光学系への入射光量に対して、
前記第１撮像手段に分割される光量の割合をｒ１とし、
前記第２撮像手段に分割される光量の割合をｒ２とした
とき、それらの比（ｒ１／ｒ２）を、２〜２０の範囲内
において所定の固定値とすることを特徴とする請求項２
記載の画像取り込み装置。
【請求項４】前記比（ｒ１／ｒ２）を、４〜１０の範
囲内において所定の固定値とすることを特徴とする請求
項３記載の画像取り込み装置。
【請求項５】前記制御手段は、画像取り込みの指示に
基づくレリーズ動作時において、前記第１及び第２撮像
手段の各蓄積時間の中央時刻の差が所定量以下になるよ
うに前記第１及び第２撮像手段を制御することを特徴と
する請求項１記載の画像取り込み装置。
【請求項６】前記第１及び第２撮像手段のいずれかで
１回の撮像により得られる画像情報を一時的に保持する
記憶手段を具備するとともに、レリーズ動作時に、第１
及び第２撮像素子の各蓄積時間の中央時刻を所定量以下
の違いに制御して静止画を取り込む場合において、各蓄
積時間の蓄積終了時刻の差が所定量以上である場合は、
蓄積時間の短い一方の撮像手段の出力する画像情報を先
に読み出し、一時的に前記記憶手段に保持し、続けて蓄
積時間の長い他方の撮像手段の出力する画像情報を読み
出し、前記記憶手段に保持された画像情報と前記他方の
撮像手段の画像情報とに基づいて合成手段により画像の
合成を行うことを特徴とする請求項１及び請求項５のい
ずれか記載の画像取り込み装置。
【請求項７】前記第１及び第２撮像手段から１回の撮
像で出力される画像情報をそれぞれ一時的に保持する第
１及び第２記憶手段を具備するとともに、前記第１及び
第２記憶手段に記憶された画像情報に基づいて前記合成
手段により画像の合成を行うことを特徴とする請求項１
及び請求項５のいずれか記載の画像取り込み装置。
【請求項８】前記第１及び第２撮像手段から出力され
るそれぞれの画像情報の階調を圧縮する処理手段を具備
するとともに、当該処理手段による階調圧縮後の画像情
報に基づいて前記合成手段により画像の合成を行うこと
を特徴とする請求項１記載の画像取り込み装置。
【請求項９】前記被写体輝度範囲検出手段は、前記第
１及び第２撮像素子とは別に設けた露光量検出センサー
であることを特徴とする請求項１に記載の画像取り込み
装置。
【請求項１０】前記被写体輝度範囲検出手段は、前記
第１及び第２撮像素子とは別に設けた多分割された光電
検出素子からなる露光量検出センサーであり、当該露光
量検出センサーは、画像取り込みを行うレリーズ動作時
のレンズ絞り値及びシャッター速度を決定するための測
光センサーを兼ねることを特徴とする請求項１及び請求
項９のいずれか記載の画像取り込み装置。
【請求項１１】前記被写体輝度範囲検出手段は、前記
第１及び第２撮像手段自身を使用することによって実現
され、前記第１及び第２撮像手段の蓄積時間Ｔ１、Ｔ２
の比（Ｔ１／Ｔ２）を所定値以上に保ったまま蓄積時間
Ｔ１、Ｔ２を変化させて前記被写体輝度範囲を検出し、
当該被写体輝度範囲に基づいて最適な蓄積時間Ｔ１、Ｔ
２の値及び比（Ｔ１／Ｔ２）を決定し、前記制御手段
は、レリーズ動作時において、前記第１及び第２撮像手
段を制御して前記決定された蓄積時間Ｔ１、Ｔ２で蓄積
を行わせることを特徴とする請求項１記載の画像取り込
み装置。
【請求項１２】前記合成手段は、前記第１及び第２撮
像手段の出力する画像情報の輝度が重複する輝度重複部
分では、輝度に関して連続的に変化する重み関数を用い
て合成を行い、かつ、当該重み関数は、前記被写体輝度
範囲に応じて形やパラメーターが変わることを特徴とす
る請求項１記載の画像取り込み装置。
【請求項１３】前記合成手段は、輝度差の異なる複数
の場合に対応して複数のルックアップテーブルを有し、
撮像条件に応じてルックアップテーブルを切り替えて、
前記第１及び第２撮像手段の出力する画像情報に基づい
て合成を行うことを特徴とする請求項１及び請求項１２
のいずれか記載の画像取り込み装置。
【請求項１４】前記合成手段は、演算回路により構成
されており、前記第１及び第２撮像手段の出力する画像
情報を所定の重み関数で演算して合成するとともに、前
記重み関数におけるパラメーターを露光量差に応じて変
更することを特徴とする請求項１記載の画像取り込み装
置。
【請求項１５】前記合成手段は、前記制御手段を構成
する中央演算処理装置におけるソフトウエア処理により
合成処理を行うことを特徴とする請求項１及び請求項１
２のいずれか記載の画像取り込み装置。
【請求項１６】前記合成手段は、前記第１撮像手段の
出力する画像情報と前記第２撮像手段の出力する画像情
報とが矛盾する値として孤立する画素で出現した場合に
当該画素を欠陥画素と見なして当該欠陥画素を示す信号
を出力し、かつ、前記合成手段の後段に前記欠陥画素に
ついて欠陥補正を行う欠陥補正処理手段をさらに備える
ことを特徴とする請求項１記載の画像取り込み装置。
【請求項１７】前記第１及び第２撮像手段は、ともに
単体でフルカラー画像を取り込むことが可能なカラー撮
像手段であることを特徴とする請求項１記載の画像取り
込み装置。
【請求項１８】前記第１及び第２撮像手段は、オンチ
ップカラーフィルタを用いたカラー撮像素子であり、画
素は相対的に同じ空間位置に配置されるが、オンチップ
カラーフィルタの色は相対的にずれた空間位置に配置さ
れることを特徴とする請求項１及び請求項１７のいずれ
か記載の画像取り込み装置。
【請求項１９】前記被写体輝度範囲検出手段は、前記
第１及び第２撮像手段とは別に設けた露光量検出センサ
ーであり、前記制御手段は、レリーズ時以外にも前記第
１及び第２撮像手段を駆動して画像を取り込む必要があ
る場合に、前記第１及び第２撮像素子の内どちらか一方
を選択して画像情報の蓄積動作を行わせ、他方による画
像情報の蓄積動作を中止させ、かつ、前記合成手段の動
作を中止させて電力の供給量を減少させることを特徴と
する請求項１、請求項９及び請求項１０のいずれか記載
の画像取り込み装置。