JP3696897B2

JP3696897B2 - 撮像装置

Info

Publication number: JP3696897B2
Application number: JP27194293A
Authority: JP
Inventors: 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-10-29
Filing date: 1993-10-29
Publication date: 2005-09-21
Anticipated expiration: 2020-09-21
Also published as: JPH07131799A

Description

【０００１】
【産業上の利用分野】
本発明は、特に複数の固体撮像素子を用いてダイナミックレンジを拡大させた撮像装置に関するものである。
【０００２】
【従来の技術】
近年、テレビジョンカメラ、電子スチルカメラ等の撮像装置における画像の取り込み手段として、ＣＣＤ撮像素子を始めとする固体撮像素子が多く使用されている。この固体撮像素子のダイナミックレンジは銀塩等に比べて狭く、撮影条件によっては画質が著しく劣化する。
【０００３】
そこで、固体撮像素子のダイナミックレンジ拡大の方法として、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、これらの複数の画像データを何らかの演算により合成してダイナミックレンジの拡大された画像を得る手法が提案されている。その際、被写体の撮影方法として、単一の撮像素子を用いて撮影動作を複数回に分ける方法や、複数の撮像素子の露光量を何らかの手段で変えて撮影する方法などがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のような従来の撮像装置にあっては、動きのある被写体を撮影する時やムービーに応用する際に、露光量の異なる複数枚の画像を合成するため、例えば単一の撮像素子を用いて複数の画像信号を得る場合に、最初に取り込まれる第１の画像とｎ番目に取り込まれる第ｎの画像との間で時間差が生じてしまい、合成する各画像で同時性がないものとなってしまう問題点があり、また、複数枚の画像を撮像する時間差を少なくするために撮像素子の高速読み出しを行うので、駆動機構が複雑になってしまうという問題点があった。
【０００５】
一方、複数枚の画像の時間差を少なくするために複数の撮像素子を用いた場合、従来のように露光量を変える手段としてＮＤフィルタを用いると、同一シーンにおける被写体の撮影時に、露光量の変化幅が一定かもしくは被写体の照度あるいは動きに合わせて自由に露光量を変化できないという問題点があり、更に、ＮＤフィルター挿脱のための複雑な機構が必要になるという問題点があった。
【０００６】
また、従来では被写体の撮影方法や複数枚の画像データを１枚分の画像データに合成する方法については紹介されているが、どのような複数枚の画像データを用いて合成を行えばダイナミックレンジの拡大された良好な画像データが得られるかについては何も述べられていない。
【０００７】
本発明は、上記のような問題点に着目してなされたもので、簡単な構成で、画質の優れた合成画像が得られ、ダイナミックレンジの広い撮像装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の撮像装置は、次のように構成したものである。
【００１０】
撮像光を光電変換する複数の撮像素子と、
１回の撮像動作で前記各撮像素子の露光量を異ならせる制御手段と、
前記任意の撮像素子の出力から色信号を生成して、当該色信号より色差信号を生成する色差信号生成手段と、
前記露光量が異なる撮像素子からの出力に基づき、露光量が異なるそれぞれの輝度信号を１枚の画面分の輝度信号に合成する合成手段と、
その合成した輝度信号、及び前記露光量が異なる撮像素子からのそれぞれの出力信号のうち１の出力信号に基づいて生成された色差信号により１枚の画面分の画像信号を生成する信号処理手段とを備えた。
【００１１】
【作用】
本発明の撮像装置においては、上記の構成により、１回の撮影動作で複数の輝度信号と色信号が得られ、複数の輝度信号を１枚のダイナミックレンジの広い輝度信号に合成し、その後色をつけており、その輝度信号と色信号を分けることによって、合成による色のバランスのくずれがなくなり、非常に画質の優れた合成画像が得られる。
【００１３】
【実施例】
図１は本発明の第１の実施例の構成を示すブロック図である。図において、１は被写体からの撮像光が入射するレンズ、２はその光路中にあって複数のＣＣＤ等の撮像素子３，４，５に撮像光を分けるプリズム（分光手段）で、このプリズム２により被写体像が各撮像素子３，４，５に分けられ、各々の撮像素子３，４，５から光電変換された画像信号が出力される。
【００１４】
６，７，８は各撮像素子３，４，５からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、９は第１の撮像素子３の出力から得られた色信号より色差信号（Ｒ−Ｙｎ，Ｂ−Ｙｎ）を生成する色差信号生成器（色差信号生成手段）、１０は第２の撮像素子４及び第３の撮像素子５の出力から得られた複数の画像信号のうちの輝度信号を１枚の画面分の広ダイナミックレンジの輝度信号に合成する合成処理回路（合成手段）、１１はその合成した輝度信号と上記生成された色差信号により１枚の画面分の画像信号（ＲＧＢ信号）を生成する信号処理回路（信号処理手段）で、これらの回路１０，１１は演算回路等により構成されている。
【００１５】
１２は信号処理回路１１から出力されたＲＧＢの画像信号のガンマ補正を行うガンマ補正回路、１３は第１の撮像素子３の受光部に設けられた色フィルタ、１４，１５，１６はプリズム２と各撮像素子３，４，５との間の光路中に配置された光学ローパスフィルタ、１８は１回の同一シーンの撮像動作で各撮像素子３，４，５の露光量を変化させる制御回路（制御手段）である。
【００１６】
次に動作について説明する。撮影された被写体像（不図示）は、レンズ１を経てプリズム２により３方向に分散され、光学ローパスフィルタ１４，１５，１６及び色フィルタ１３を通って各撮像素子３，４，５に投影される。そして、制御回路１８の露光制御により、１回の撮影動作で、第１の撮像素子３からは色信号、第２の撮像素子４及び第３の撮像素子５からは異なる露光量の輝度信号が得られる。この時、露光量の変え方として本実施例では、第２の撮像素子４と第３の撮像素子５の電子シャッタースピードを変え、露光量の異なる画像信号を得るようにしている。例えば、撮像素子４から適正露光の信号を得て、撮像素子５からは異なる露光量の信号を得るようにし、また色信号は適正露光で得るようにしている。
【００１７】
表１は上記露光量の変え方の例を示したものである。露光例１，２の何れにおいても第１の撮像素子３は適正露光となっており、また第２の撮像素子４も適正露光、第３の撮像素子５は過度露出か露出不足している。
【００１８】
【表１】

【００１９】
また、図２は各撮像素子３，４，５の駆動タイミングを示す図である。なお、ここでは第３の撮像素子５を過度露出にした場合を示しており、垂直同期信号Ｖに合わせて各撮像素子３，４，５から同時に信号の読み込み（Ｒｅａｄ）が行われる。
【００２０】
上記のようにして各撮像素子３，４，５から得られた画像信号は、Ａ／Ｄ変換器６，７，８によりデジタル信号に変換される。ここで、例えば図３の（ａ）のようなダイナミックレンジの広い被写体を表１の露光例１の条件で撮影した場合、シャッタースピード１／２５０の撮像素子４から得られた適正露光の画像輝度信号は図３の（ｂ）のように暗い部分の領域が黒くつぶれていて、またシャッタースピード１／６０の撮像素子５から得られた過度露光の画像輝度信号は図３の（ｃ）のようになって明るい領域が白くつぶれている。そして、これらの撮像素子４と撮像素子５から得られた画像輝度信号を合成処理回路１０で合成を行うと、図３の（ｄ）のようなダイナミックレンジの広がった画像輝度信号Ｙｈが得られる。
【００２１】
一方、同時に第１の撮像素子３から得られた色信号を用いて、色差信号生成回路９は輝度信号Ｙｎ及び色差信号Ｒ−Ｙｎ，Ｂ−Ｙｎを生成する。信号処理回路１１は、この色差信号生成器９からの色差信号Ｒ−Ｙｎ，Ｂ−Ｙｎと合成処理回路１０からの輝度信号Ｙｈを用いてＲＧＢ信号を作る。そして、このＲＧＢ信号はガンマ補正回路１２を通して出力され、ダイナミックレンジの拡大された画像信号が得られる。尚、最終的にＮＴＳＣ等のＴＶ信号を作るのではなく、コンピューター等に供給する為には色差信号でなくＲ，Ｇ，Ｂの信号を輝度信号に多重しても良い。
【００２２】
以上のようにして被写体を撮影することにより、１回の撮影動作で複数の画像信号が得られる。その際、電子シャッタースピードを用いて各々の露光量を変えるようにしているので、同一シーンでの露光量の変化幅を被写体の照度あるいは動きに対して自由に変化させることができる。また、異なる撮像素子から色信号と輝度信号を得ているので、合成による色のバランスのくずれがなくなり、画質の面で優れた自然な合成画像を得ることができる。尚、本実施例では電子シャッターにより各撮像素子の露光量を異ならせたが、物性絞り等により入射光の透過率を撮像素子毎に異ならせても良い。
【００２３】
なお、上記の実施例で輝度信号は任意の撮像素子から得ることができるが、異なる輝度信号を得るための撮像素子は３個以上設けても差し支えない。
【００２４】
図４は本発明の第２の実施例の構成を示すブロック図である。同図において、図１と同一符号は同一構成部であるので、説明は省略する。本実施例において、上述の第１の実施例と異なる点は、第１の撮像素子３の出力から色信号だけではなく輝度信号も得ることである。この第１の撮像素子３から得られた輝度信号は、合成処理回路１０にライン１７を通して導かれ、ここで第２の撮像素子４及び第３の撮像素子５からの輝度信号と合成される。表２に本手法を用いて撮影する露光量の変え方の例を示す。
【００２５】
【表２】

【００２６】
表２に示す露光例は、第１の撮像素子３を適正露光とし、第２の撮像素子４を露出不足、また第３の撮像素子５を過度露出にした場合を示している。そして、このような条件で被写体を撮影すれば、撮像素子ｎ個を用いることにより露光量の異なるｎ枚の画像信号と１枚の色信号を得ることができ、撮像素子の数を節約することができる。また本実施例では、３枚の画像信号から１枚の画像を合成するので、よりダイナミックレンジの幅が拡大される。
【００２７】
図５は本発明の第３の実施例の構成を示すブロック図である。本実施例は、上記第２の実施例において撮像素子の数を２つにしたものである。つまり、第１の撮像素子３から輝度信号（適正露光）と色信号を得て、第２の撮像素子４から露光量を変えた輝度信号を得るようにしている。
【００２８】
表３は本実施例における露光量の変え方の例を示したもので、第１の撮像素子３は何れの場合も適正露光とし、第２の撮像素子４は、露光例１では過度露出、露光例２では露出不足としている。
【００２９】
【表３】

【００３０】
上記のような条件で被写体を撮影することにより、第１の実施例と同じことを２つの撮像素子で行うことができる。したがって、更に簡単な構成になり、コストダウンを図ることができる。
【００３１】
【発明の効果】
以上述べたように、本発明によれば、色信号と輝度信号をそれぞれ異なる撮像素子から得、輝度信号のみで合成を行うため、画質の優れた合成画像が得られ、色の変化も防ぐことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の構成を示すブロック図
【図２】図１の各撮像素子の駆動タイミングを示す図
【図３】画像合成によるダイナミックレンジ拡大手法を示す概念図
【図４】本発明の第２の実施例の構成を示すブロック図
【図５】本発明の第３の実施例の構成を示すブロック図
【符号の説明】
２プリズム（分光手段）
３第１の撮像素子
４第２の撮像素子
５第３の撮像素子
９色差信号生成回路（色差信号生成手段）
１０合成処理回路（合成手段）
１１信号処理回路（信号処理手段）
１８制御回路（制御手段）

Claims

撮像光を光電変換する複数の撮像素子と、
１回の撮像動作で前記各撮像素子の露光量を異ならせる制御手段と、
前記任意の撮像素子の出力から色信号を生成して、当該色信号より色差信号を生成する色差信号生成手段と、
前記露光量が異なる撮像素子からの出力に基づき、露光量が異なるそれぞれの輝度信号を１枚の画面分の輝度信号に合成する合成手段と、
その合成した輝度信号、及び前記露光量が異なる撮像素子からのそれぞれの出力信号のうち１の出力信号に基づいて生成された色差信号により１枚の画面分の画像信号を生成する信号処理手段とを備えたことを特徴とする撮像装置。