JP4002050B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば複数のＣＣＤを使用したビデオカメラに関する。詳しくは、ＣＣＤ等の撮像デバイスにより光電変換された信号を、ダイナミックレンジの広い信号とする構成に関する。さらに詳述すれば、よりダイナミックレンジの広い被写体の画像出力与えるカラー撮像方式を有する撮像装置に関する。
【０００２】
【従来の技術】
ＣＣＤを撮像デバイスにしたカメラなどの分野において、ＣＣＤ等により光電変換した信号をＡ／Ｄ変換し、デジタル的に信号処理する方法が一般的に行われている。その際、人間の目の解像度は暗い方に対して高く、明るい方に対しては低いという特性があるために、光量に対してリニアな特性を持つ光電変換した信号を単純にＡ／Ｄ変換しただけでは、Ａ／Ｄ変換のダイナミックレンジを有効に使えないという問題がある。そこで、撮像デバイスとＡ／Ｄ変換器との間に、非線形な伝達特性を持つ回路を挿入することにより、Ａ／Ｄ変換器のダイナミックレンジを有効に使う工夫がなされている。
【０００３】
また、撮像デバイスそのもののダイナミックレンジの狭さを解消する手法として、実際の露光量と異なる露光量として撮像し、異なる露光量で撮像した信号を合成することも行われている。この方法には、光学系においてミラーあるいはプリズムによりレンズの結像光を２分割し、それぞれ異なる露光で撮像する方法、同一の撮像デバイス内部において時分割で異なる露光量で撮像した信号を加算して出力する方法などが取られていた。
【０００４】
前者においては、光学系において、あるいは、電子シャッタを使用してそれぞれの撮像デバイスの露光量を異ならせることが行われている。
【０００５】
前者の例として、特開平８−１５４２１０において、レンズによる結像光を、プリズムを使用した分光手段により結像光を１：１に分光し、一方に撮像素子、他方に減光手段のＮＤフィルタを通して撮像素子を配置し、２つの撮像素子の出力信号を合成する２板式の技術が開示されている。また、情報メディア学会誌Ｖｏｌ．５３、Ｎｏ．５（１９９９）には、「屋外環境下における走行中の車両のナンバープレート認識」において、２板の光学系を用いて、異なる露光条件での画像を同一タイミングで撮像し、その２つの画像を合成することで明るさの変化に強い高速撮像を実現した技術が開示されている。これを図１に示す。ここでは、入射光を、ビームスプリッタにより光強度の異なる透過光と反射光に分光し、各々の光は各々のＳＣＣＤ素子に結像されて同一タイミングで光電変換されている。そして、露光条件に対応した透過光と反射光の光強度比は、ビームスプリッタに蒸着した多層反射膜の特性によって決めている。ここでは、ビームスプリッタによって分岐する透過光と反射光の強度比が４５：１となるように決定し、撮像装置のダイナミックレンジとして１．５×１０⁴を満足しているとしている。
【０００６】
後者の例では、撮像デバイスそのものの内部構成を変更することにより実現されているものもある。
【０００７】
しかしながら、前者においてはいずれもモノクロ撮影か単板カラー撮影を目的とした構成であり、また後者においては特殊な撮像デバイスの使用を必要とし、高画質用途に使用されるＲＧＢ３板撮像方式で、しかも従来使用されている撮像デバイスを使用して実現したものは存在しなかった。
【０００８】
また現在、広いダイナミックレンジを有する被写体をモニター上で画像として再現する信号処理技術、すなわち、撮像された信号を処理して規定された信号レベルとする非線形な伝達特性を持つ回路（一般的には、ニー回路、ガンマ回路など）技術もデジタル化により高性能化してきているが、撮像デバイスであるＣＣＤそのもののダイナミックレンジの制約により、高性能化にも限界があった。
【０００９】
【発明が解決しようとする課題】
従来の技術の中で、もっとも高画質用途に適していると思われるものは、光学系において露光量を変化させる方式であり、そして、ＮＤフィルタなどを使用して入射光を無駄にすることなく、入射光を有効に使用する方法である。この方法として前述したビームスプリッタを使用した方式があげられる。この方式の場合は、従来の撮像デバイスを利用することができる。また、この方式の場合、電子シャッタの機能をダイナミックレンジの拡大を目的として使用しなくて済む利点がある。
【００１０】
本発明の目的は、従来の高画質用途に使用されるカメラにおいて広いダイナミックレンジを有する画像信号を得ることであり、とくにＲＧＢ３板撮像方式を使用した撮像装置において、より広いダイナミックレンジを有する撮像装置を提供することである。
【００１１】
【課題を解決するための手段】
上述の課題を解決するために、本発明による撮像装置においては、３色分解プリズムブロックの構成を有し、さらに該３色分解プリズムブロックの入射光側に、入射光の強度の１／（ｎ＋１）を反射し、ｎ／（ｎ＋１）を透過して前記３色分解プリズムブロックに入射させる第４のプリズムを有するプリズムブロックと、前記第４のブロックにおいて前記反射した入射光を全反射して得られた光出力を受光するように配置された単板カラー撮像デバイスと、前記３色分解プリズムブロックのそれぞれの光出力部に配置されたＲ、Ｇ、Ｂそれぞれの撮像デバイスと、前記単板カラー撮像デバイスから得られるカラー信号と前記Ｒ、Ｇ、Ｂそれぞれの撮像デバイスから得られたカラー信号とを合成して出力する信号合成部を備えた。
【００１２】
また、前記信号合成部において、前記Ｒ，Ｇ，Ｂそれぞれの撮像デバイスから得られたそれぞれの信号が飽和点以下の場合はそれぞれの信号のみを含み、前記それぞれの信号が飽和点を超えた場合においては、前記単板カラー撮像デバイスからの対応する信号成分を含んで合成出力信号を構成した。
【００１３】
また、前記合成出力信号は、前記単板カラー撮像デバイスあるいは、前記Ｒ，Ｇ，Ｂそれぞれの撮像デバイスが有するダイナミックレンジのｎ倍のダイナミックレンジを実質的に有する被写体の画像を表している。
【００１４】
また、前記Ｒ，Ｇ，Ｂそれぞれの撮像デバイスから得られたそれぞれの信号があらかじめ設定したレベル以下の場合はそれぞれの信号のみを含み、前記それぞれの信号が該設定レベルを超えた場合においては、それぞれの信号を該設定レベルに置き換えた信号と、さらに前記単板カラー撮像デバイスからの対応する信号成分とを含んで合成出力信号を構成した。
【００１５】
【発明の実施の形態】
本発明の実施形態を、図面を参照して説明する。第２図は、本発明による実施形態の１例であり、ＣＣＤ単体のダイナミックレンジを超えた、広いダイナミックレンジの被写体画像を得ることができる撮像方式を示している。ただし、この図においては図示していないが、光学プリズムの入射面側に通常配置される赤外カットフィルタ、撮像素子の入射面側に配置される光学フィルタなどの光学部材が使用されるのは当然である。また、撮像レンズについても本発明に直接係わらないので簡略図としている。
【００１６】
図２において、被写体１０１からの光は撮影レンズ１０２を通して結像光となる。この結像光はプリズム光学系に入射する。このプリズム光学系は、撮影レンズの光軸に沿って進む入射光を最初に反射する反射面１１１、そして次々と反射する反射面１１２、そして１１３を有している。最初の反射面１１１は、入射光の光の強度を１：ｎ（すなわち、１／ｎ）に分岐する。すなわち、入射光の１／（ｎ＋１）を反射し、ｎ／（ｎ＋１）を透過させる。反射面１１２はダイクロイック層であり、反射面１１１を透過したｎ／（ｎ＋１）のうち赤色光を分岐し、反射面１１３もダイクロイック層であり、透過光のうち青色光を分岐する。ここでｎは、所望するダイナミックレンジの値から決定され、それが通常のダイナミックレンジの１０倍である場合、近似値としてｎに１０を与える。この場合、入射光の１／１１を反射し、残りの１０／１１を透過させる。
【００１７】
この透過光は、反射面１１２、反射面１１３でそれぞれ赤色、青色、そして反射面１１３を透過した緑色の光束に分解される。ここで、最初の反射面によって反射された１／ｎの光強度を有する入射光は、この反射面にほぼ対抗している面でさらに全反射して出力光１０３となり、同様に反射面１１２のダイクロイック層による反射光は同様にほぼ対抗して配置されている面でさらに全反射して出力光１０６になり、さらに同様に反射面１１３による反射光はさらに全反射して出力光１０５となる。
【００１８】
ここで出力光１０４は反射面１１１、１１２、１１３を透過した透過光であり、残余の緑色成分である。通常、透過光による像と反射光による像は、左右あるいは上下において対称となっているが、出力光１０３、１０５そして１０６は２回全反射しているので、像の向きは透過光と同じになっている。
【００１９】
出力光１０３は、単板カラー撮像素子である撮像素子１０７上に結像し、撮像素子１０７により光電変換される。一方、緑の出力光１０４、青の出力光１０５、赤の出力光１０６は、それぞれ撮像素子１０８、１０９、１１０により光電変換される。
【００２０】
図３は、図２における撮像素子１０７、１０８、１０９から出力される信号を処理し、最終的に出力信号１２３として出力するまでのブロックダイヤグラムである。図２と同様の個所には同一の符号を付している。
【００２１】
撮像素子１０７から光電変換されたＳｙ信号１１４が出力され、一方３色の緑青赤の分光を受ける撮像素子１０８、１０９、１１０から、それぞれＳｇ信号１１５、Ｓｂ信号１１６、Ｓｒ信号１１７が出力される。Ｓｙ信号１１４は単板カメラ処理部１１８で処理され、Ｓｈ信号１２０となる。このＳｈ信号はカラー信号であり、コンポーネント信号（Ｒ、Ｇ、Ｂあるいはあるいは輝度色差信号Ｙ、Ｕ、Ｖ）である。一方、Ｓｇ信号、Ｓｂ信号、Ｓｒ信号はＲＧＢカメラ処理装置に入力され、Ｓｌ信号１２１となる。この信号もコンポーネント信号（Ｒ、Ｇ、Ｂあるいは輝度色差信号Ｙ、Ｕ、Ｖ）である。
【００２２】
ここで、同期信号発生器１３１から各部に供給される同期信号が単板カメラ信号処理装置とＲＧＢカメラ信号処理装置にも供給され、Ｓｈ信号１２０とＳｌ信号１２１との間で、被写体の同一部分の映像位相が等しくなるように、それぞれの撮像素子を駆動していることはもちろんである。また、図２の各撮像素子とプリズムとの配置関係についても、それぞれの反射面で分岐された４つの入射光が、それぞれの撮像素子の同一画素に結像するように適切に配置されていることは説明するまでもない。
【００２３】
また、単板カメラ信号処理装置１１８とＲＧＢカメラ信号処理装置１１９については、通常のカメラ用のものでもよいが、デジタル信号処理装置が望ましい。そして、ＲＧＢカメラ信号処理においては、通常のカメラとしてのセッティングが行われている。一方単板カメラ信号処理装置においては、ＲＧＢカメラ信号処理のセッティングにおいて規定された光量の１０倍の白色光を入射したときに（ｎ＝１０としているので）、規定レベルのＳｈ信号が得られるようにセッティングされている。
【００２４】
Ｓｈ信号１２０とＳｌ信号１２１とは、合成装置１２２により、合成された信号１２３を出力する。
【００２５】
この合成装置において、前述のようにセッティングされた場合の、Ｓｈ信号１２０とＳｌ信号１２１を単純加算した場合の例を図４で示す。ここでは、入射光を赤色、青色、緑色それぞれの強度が等しい白色光とし、撮像素子１０８、１０９、１１０の飽和点を２０４の位置とすると、Ｓｇ，Ｓｂ，Ｓｒそれぞれの信号は、２０１で示すラインのように２０４を境に飽和特性を示す。これに対して、撮像素子１０７への入射光は１／１０（ｎ＝１０）となっていることから、Ｓｙ信号２０２は、１０倍までの入射光量に対して飽和特性を示さない。したがって、合成された信号は２０３で示すような特性を示すことになる。通常において、映像システムにおいては、限られた振幅内に信号を抑えるためにハイライト部分に対してニー処理を施すのが一般的であり、ちょうどこのニー処理を施したような形になっている。
【００２６】
図４においては、分解能の低い単板カラー撮像素子からの信号がＲＧＢカメラ信号処理のリニアな領域の信号部分に加算されている。２０１は、信号Ｓｇ、Ｓｂ、Ｓｒを表し、２０２は信号Ｓｙを表している。２０３は合成信号である。また、２０４は信号Ｓｇ、Ｓｂ、Ｓｒの飽和点、２０５は信号Ｓｙの飽和点を表している。この実施形態においては、合成信号２０３は、ＲＧＢカメラ信号処理装置の出力信号がリニアな領域、すなわち２０４の飽和点以下のレベルに対して、Ｓｙ信号２０２の１／１０のレベルが加算されている。高画質を求める場合、この飽和点２０４以下の入射光量時におけるこの加算は、画質の劣化を引き起こす場合がある。それはいわゆる単板カラー撮像素子による折り返しノイズと言われる信号が加算される場合である。したがって、単純加算することは高画質を追求した場合に問題になる。
【００２７】
したがって、高画質を追求した場合は、図５に示すような加算をする必要がある。図５は、単なる加算ではなく、単板カメラ信号処理の出力であるＳｈ信号２０２をＤＣレベルシフトの手法を用いて所定レベル以下の信号をゼロとして、２１０に示すような信号を生成し、その信号の約１／４を２０１で示した信号に加算し、最終的に飽和点２０４以上の入射光量において２０３で示す特性を得ることが好ましい。この場合、飽和点２０４以下の入射光量においては、Ｓｇ信号、Ｓｂ信号、Ｓｒ信号から生成した高画質のＲＧＢカメラ信号処理装置の出力信号のみが得られ、飽和点以上の入射光量時にはＳｙから生成した単板カメラ信号処理装置の映像が加算された信号となる。飽和点以上においては、解像度がそれほど無くても違和感は生じないので、全体として高画質でしかも広いダイナミックレンジを有する映像信号を得ることができる。
【００２８】
図５は、通常、撮像素子出力に対して施される一般的なニー特性を示している。図５においては、２１０で示す信号を約１／４に減衰させて２０１に示す信号に加算しているが、この減衰量については任意に設定できるようにすることは容易であり、その場合、最終的な出力の信号レベルを規定値にするように出力レベル調整部を設けることで解決可能である。図６は、このような合成装置のブロックダイヤグラムを示している。図３と同様個所は同一の番号を付している。
【００２９】
以上において、撮像素子１０７から１１０の飽和レベルを同一としたが実際にはズレがあり、また白色光のみを入力することもない。また、通常、限られた振幅内に信号を抑えるためにハイライト部分に対してニー処理を施して、規定レベル内の信号にしている。この場合、規定レベルに対して通常５００％から６００％の大きさの飽和レベルを持たせている。
【００３０】
したがって、本発明に関わる技術を使用する場合、ＲＧＢの３板のＣＣＤ出力に対しては、ほぼ飽和レベルまでの領域を規定レベル近くまでの領域に使用し、規定レベル以上の領域に関しては、実施形態における単板カラー撮像素子からの信号を使用するように設定することができる。このようにすることにより、規定レベル以下に対してはＳ／Ｎ比が上昇し、さらに高輝度側に対しても従来設定以上のダイナミックレンジを持つ撮像装置を構成することができる。通常、限られた振幅内に信号を抑えるためにハイライト部分に対してニー処理を施して規定レベル内の信号レベルとしているので、このように構成した場合においても、入射光量と信号出力との関係は、やはり図５に示すような形になる。
【００３１】
また、上述において飽和点としたが、飽和点における出力レベルを超えないあらかじめ設定した出力レベルを設け、この出力レベルを超える出力を生じさせる入力レベルの場合は、この設定出力レベルに置き換えるようにすることが実際的である。このようにすることで、撮像素子における個々の飽和点のバラツキを無視することができ、回路設定が統一できるようになる。また、ＲＧＢカメラ信号処理出力に対して単板カメラ信号処理出力を加える際の基準が明確になり、高画質用途撮像装置として有利になる。
【００３２】
以上の実施形態においては、ＲＧＢの３板のＣＣＤを使用した場合の１０倍のダイナミックレンジとなっている。反射面１１１において入射光の可視光の強度を１：ｎ（１／ｎ）に分光した場合、ダイナミックレンジは、従来方式に比べ、ダイナミックレンジがｎ倍となる。
【００３３】
以上、本発明を、本実施形態を使用して説明したが、本発明の趣旨を逸脱しないで、次の形態に変更することは容易である。
【００３４】
単板カラー撮像デバイスを、モノクロ撮像デバイスとする。この場合、この輝度信号を、ＲＧＢカメラ信号処理出力に加算する際に、ＲＧＢカメラ信号処理出力のＲ、Ｇ、Ｂそれぞれの飽和、あるいは設定値以上に対応させて加算する。
【００３５】
【発明の効果】
以上説明した通り、本発明によれば、従来の技術では困難であった高画質用途の３板撮像方式カメラのダイナミックレンジを拡大し、広いダイナミックレンジを有する画像信号を得ることができる撮像装置が実現可能となる。なお、高輝度部分の画像信号は単板カラー撮像画像となるので解像度として低輝度部分に比べて低下するが、ハイライト部分は通常の部分よりも解像度が要求されないので問題は生じない。
【００３６】
また、撮像デバイスの電子シャッタを使用していないので、従来の３板撮像方式カメラの電子シャッタによる個々の露出調整にも影響を与えず、また従来の３色分解プリズムブロック部分に対する入射光量の減少もわずかであり、高画質用途の撮像装置として効果的である。
【図面の簡単な説明】
【図１】従来例の構成を示す図である。
【図２】本発明の実施形態における光学ブロックの構成を示す図である。
【図３】本発明の実施形態における、光学ブロックの構成を示す図であり、それぞれの撮像デバイスの出力信号を処理し、最終的に合成出力信号を得るブロックダイヤグラムを示す図である。
【図４】本発明の実施形態における、単板カラー撮像素子からのカラー信号であるＳｈ信号１２０、ＲＧＢ３板のそれぞれのＣＣＤ出力Ｓｌ信号１２１、そして合成信号１２３との関係を示す図である。
【図５】図３と同様の図であり、好ましい合成の実施形態を示す図である。
【図６】本発明の実施形態における、合成装置の構成を示す図である。
【符号の説明】
１０１ 被写体
１０２ 撮影レンズ
１０３ 出力光Ｙ
１０４ 出力光Ｇ
１０５ 出力光Ｂ
１０６ 出力光Ｒ
１０７ 単板カラー撮像素子
１０８ 出力光Ｇの撮像素子
１０９ 出力光Ｂの撮像素子
１１０ 出力光Ｒの撮像素子
１１１ 出力光をｎ：１に分ける反射面
１１２ 赤色光を反射する反射面
１１３ 青色光を反射する反射面
１１４ 信号Ｓｙ
１１５ 信号Ｓｇ
１１６ 信号Ｓｂ
１１７ 信号Ｓｒ
１１８ 単板カメラ信号処理
１１９ ＲＧＢカメラ信号処理
１２０ 信号Ｓｈ
１２１ 信号Ｓｌ
１２２ 合成装置
１２３ 合成信号
２０１ 信号Ｓｇ、Ｓｂ、Ｓｒ
２０２ 信号Ｓｙ
２０３ 合成信号
２０４ 信号Ｓｇ、Ｓｂ、Ｓｒの飽和点
２０５ 信号Ｓｙの飽和点

Claims (4)

1. ３色分解プリズムブロックの構成を有し、さらに該３色分解プリズムブロックの入射光側に、入射光の強度の１／（ｎ＋１）を反射し、ｎ／（ｎ＋１）を透過して前記３色分解プリズムブロックに入射させる第４のプリズムを有するプリズムブロックと、
   前記第４のブロックにおいて前記反射した入射光を全反射して得られた光出力を受光するように配置された単板カラー撮像デバイスと、
   前記３色分解プリズムブロックのそれぞれの光出力部に配置されたＲ、Ｇ、Ｂそれぞれの撮像デバイスと、
   前記単板カラー撮像デバイスから得られるカラー信号と前記Ｒ、Ｇ、Ｂそれぞれの撮像デバイスから得られたカラー信号とを合成して出力する信号合成部を
   備えることを特徴とする撮像装置。
2. 前記信号合成部において、
   前記Ｒ，Ｇ，Ｂそれぞれの撮像デバイスから得られたそれぞれの信号が飽和点以下の場合はそれぞれの信号のみを含み、前記それぞれの信号が飽和点を超えた場合においては、前記単板カラー撮像デバイスからの対応する信号成分を含んで合成出力信号を構成することを特徴とする請求項１に記載の撮像装置。
3. 前記合成出力信号は、前記単板カラー撮像デバイスあるいは、前記Ｒ，Ｇ，Ｂそれぞれの撮像デバイスが有するダイナミックレンジのｎ倍のダイナミックレンジを実質的に有する被写体の画像を表していることを特徴とする請求項２に記載の撮像装置。
4. 前記信号合成部において、
   前記Ｒ，Ｇ，Ｂそれぞれの撮像デバイスから得られたそれぞれの信号があらかじめ設定したレベル以下の場合はそれぞれの信号のみを含み、前記それぞれの信号が該設定レベルを超えた場合においては、それぞれの信号を該設定レベルに置き換えた信号と、さらに前記単板カラー撮像デバイスからの対応する信号成分とを含んで合成出力信号を構成することを特徴とする請求項１に記載の撮像装置。

Images