JP4424088B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に係る。

本技術分野の背景技術として、例えば、特開平７−７６５３公報（特許文献１）がある。該公報には、目的として「複数の撮像素子からの信号を撮像素子よりも少ない信号処理装置で信号処理することにより、従来よりも低消費電力、小容量、安価な多入力、多出力の撮像装置を提供することを目的にする」と記載されている。また、構成として「ｎ個の固体撮像素子と、ｎ個の撮像素子とｋ個の信号処理装置を接続する第１の信号選択回路と、ｋ個の信号処理装置と、ｋ個の信号処理装置とｍ個の出力装置を接続する第２の信号選択回路と、第１、第２の信号選択回路と信号処理装置の制御を行なう制御回路とからなる撮像装置。」と記載されている。

特開平７−７６５３公報

カメラの一形態として、複数の撮像装置を組み合わせたものが考えられる。例えば、１つの筐体にいくつかの違う方向を撮影するカメラを収めた監視カメラや、同じ方向ではあるが２つのカメラの視差を利用したステレオカメラなどである。これらを実現するに当たり、特開平７−７６５３公報のように、カメラ信号処理回路を撮像素子の数より少なくし、時分割でそれぞれの撮像素子の信号を処理することにより、ハードウェアのコスト、部品点数、及び、消費電力を下げるような提案がされている。

近年、カメラの高画素化が進み、従来のテレビジョン信号として記録するカメラがせいぜい数十万画素だったのに対して、数百万画素の撮像素子を用いたデジタルカメラなどが一般的になり、監視カメラの分野においても採用され始めている。しかしながら、高画素の撮像素子は画素数が多い分、信号を読み出すのに時間がかかる為、１フレームの期間が長くなり、動解像度が低くなる。そこで、空間解像度を求める用途では高画素の撮像素子を用い、動解像度を求める場合には標準画素の撮像素子を用いることが考えられる。

しかしながら、例えば、高画素の撮像素子と標準画素の撮像素子を１つの筐体に収め、時分割で撮像素子を切替えるような撮像装置を考えた場合、上記従来技術では時分割でそれぞれの撮像素子の信号を処理することにより、各々の撮像素子に対して割り当てられる信号処理時間が半減してしまう為、上記監視カメラやステレオカメラによる撮影時に動解像度の低下が避けられない。

本発明の目的は、以上の点を考慮し、撮像装置の高画質化にある。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、撮像装置を高画質化することができる。

以下に、本発明の実施の形態を説明する。

図１は、本発明の第１の実施形態を示す撮像装置のブロック図である。
同期パルス生成手段１０５によって駆動された第１の撮像素子（以下、CCDと呼ぶ） １０１と第２のCCD １０２は被写体画像を画像信号として出力し、出力された二つの信号は2線１線変換手段１０３とラインメモリ１０４を用いて合成され、一つの信号に変換される。そしてこの変換された一つの信号はラインディレイ制御手段１０６とラインメモリ１０７によって数ライン分の信号をまとめた後、露光制御手段（以下、AE制御部と呼ぶ）、フォーカス制御手段（以下、AF制御部と呼ぶ）でそれぞれ露出制御、オートフォーカス制御を行う。またホワイトバランス制御手段（以下、WB制御手段と呼ぶ）ではカラー信号処理手段（以下、CP処理手段と呼ぶ）でカラー信号処理を行った信号でホワイトバランス制御を行うと共に、輝度信号処理手段（以下、ＹＰ部と呼ぶ）で輝度信号処理を行う。そしてカラー信号処理、輝度信号処理を行った信号はステレオ画像処理手段１１３でステレオ画像処理を行い、物体/特徴認識処理手段１１４で距離測定や物体認識処理や特徴認識処理などを行う。

次に図２をもちいて、第1の実施携帯における第1のCCDからの信号と第２のCCDからの信号を合成し１つの信号に変換する際の信号の流れ付いて説明する。
２０８は２線１線変換手段によって、二つのCCDから出力された二つの信号を水平1ラインごとに合成して一つの信号に変換した信号である。
第１のCDD ２０１から出力された信号２０６と、第２のCCD ２０２から出力された信号２０７の２つの信号は、２線１線変換手段２０３でラインメモリ２０４に蓄えられラインメモリ２０４からまとめて出力することで２つの水平１ライン信号が１つの水平1ライン信号に変換される。このようにして２つのCCDから出力された信号を１つの信号に変換され、ラインディレイ制御手段に入力される。

図３は、第２の実施形態として、第1のCCDからの信号と、第２のCCDからの信号を合成し１つの信号に変換した信号のうち、第１或いは第２のどちらかのCCDからの信号を用いてAE制御、AF制御、WB制御を行う際の信号の流れを示した図である。

３０８は２線１線変換手段によって、二つのCCDから出力された二つの信号を水平1ラインごとに合成して一つの信号に変換した信号である。３０９は上記水平1ラインごとに合成して一つの信号に変換した信号の一方のCCDの信号のみを用いてAE制御をおこなうAE制御手段である。３１０は上記水平1ラインごとに合成して一つの信号に変換した信号の一方のCCDの信号のみを用いてAF制御をおこなうAF制御手段である。３１３は上記水平1ラインごとに合成して一つの信号に変換した信号の一方のCCDの信号のみを用いてWB制御をおこなうWB制御手段である。

上記、第1の実施例の図２と同様に２線１線変換手段３０３によって一つの信号に変換された信号は、ラインディレイ制御部３０５を介してAE制御手段、AF制御手段に入力される。AE制御手段、AF制御手段には、２つのＣＣＤのから出力された合成信号が入力されているが、この信号のうち、第１のCCDから出力された信号 ３０６ あるいは、第２のCCDから出力された信号３０７のどちらかの信号を選択することによってAE制御、AF制御を行う。またＡＥ制御と同様に、カラー信号処理手段からＷＢ制御手段に入力された信号もどちらかの信号を選択することによってＷＢ制御を行う。図３ではその一例として、AE制御手段、AF制御手段、ＷＢ制御手段に入力された信号のうち第１のＣＣＤから出力された信号を用いて、第２のＣＣＤから出力された信号は未使用である状態を示している。

図４は、第３の実施形態として、第1のCCDからの信号と、第２のCCDからの信号を合成し１つの信号に変換された信号に含まれるの二つのCCDの信号の平均を用いて、AE制御、AF制御、WB制御を行う際の信号の流れを示した図である。

４０８は２線１線変換手段によって、二つのCCDから出力された二つの信号を水平1ラインごとに合成して一つの信号に変換した信号である。４０９は上記２つの水平1ラインを合成して一つの信号に変換した信号を用いてAE制御をおこなうAE制御手段である。４１０は上記水平1ラインごとに合成して一つの信号に変換した信号を用いてAF制御をおこなうAF制御手段である。４１３は上記水平1ラインごとに合成して一つの信号に変換した信号を用いてWB制御をおこなうWB制御手段である。

上記、第1の実施形体の図２と同様に２線１線変換手段４０３によって一つの信号に変換された信号は、ラインディレイ制御部４０５を介してAE制御手段、AF制御手段に入力される。AE制御手段、AF制御手段は、入力された信号に含まれる、第１のCCDから出力された信号 ４０６と、第２のCCDから出力された信号４０７の二つの信号の平均値を用いてAE制御、AF制御を行う。またＡＥ制御と同様に、カラー信号処理手段からＷＢ制御手段に入力された信号も第１のCCDから出力された信号 ４０６と、第２のCCDから出力された信号４０７の二つの信号の平均値を用いてＷＢ制御を行う。図４ではその一例として、AE制御手段、AF制御手段、ＷＢ制御手段に入力された信号のうち二つの信号の平均値を用いて制御をしている状態を示している。

図５は、第４の実施形体として、第1のCCDからの信号と、第２のCCDからの信号を合成し１つの信号に変換された信号のうち、第１或いは第２のどちらかのCCDからの信号を順次切替えながら、どちらか一方の信号を用いて、AE制御、AF制御、WB制御を行う際の信号の流れを示した図である。

５０８は２線１線変換手段によって、二つのCCDから出力された二つの信号を水平1ラインごとに合成して一つの信号に変換した信号である。５０９は上記水平1ラインごとに合成して一つの信号に変換した信号のうち、第1のCCDと第２のCCDの２つのCCDの信号を順次切替えながら、どちらか一方の信号を用いてAE制御をおこなうAE制御手段である。５１０は上記AE制御手段と同様、２つのCCDの信号を切替えながらどちらか一方の信号を用いてAF制御をおこなうAF制御手段である。５１３は上記AE制御手段と同様、２つのCCDの信号を順次切替えながらどちらか一方の信号を用いてWB制御をおこなうWB制御手段である。

図５ではその一例として、AE制御手段、AF制御手段、ＷＢ制御手段に入力された信号のうち第1のCCDと第２のCCDの２つのCCDの信号を順次切替えながら、どちらか一方の信号を用いて制御をしている状態を示している。

図６は第1から第４の実施形態において、第１あるいは第２のCCDが白黒CCDで、第1のCCDからの信号と第２のCCDから信号を合成し１つの信号に変換された信号のうち、カラー信号処理手段は白黒信号に対しては処理を行わない状態を表した図である。

６０８は２線１線変換手段によって、二つのCCDから出力された二つの信号を水平1ラインごとに合成して一つの信号に変換した信号である。６０９は上記２つの水平1ラインを合成して一つの信号に変換した信号のうちカラー信号のみカラー信号処理を行うカラー信号処理手段である。

上記、第1の実施携帯の図２と同様に２線１線変換手段６０３によって一つの信号に変換された信号は、ラインディレイ制御部６０６を介してCP処理手段、YP処理手段に入力される。CP処理手段は入力された信号のうち、白黒CCDから出力された信号に対してはカラー信号処理は行わず、カラーCCDから出力された信号に対してカラー信号処理を行いWB制御手段に信号を入力する。

図７は、第１から第４の実施形体において第1のCCDからの信号と第２のCCDからの信号を合成し１つの信号に変換された信号に対して、第1のCCDの信号と第二のCCDの信号とを識別する為の信号を付加した状態をあらわした図である。

７０８は２線１線変換手段によって、二つのCCDから出力された二つの信号を水平1ラインごとに合成して一つの信号に変換した信号である。７０９は第２の信号の識別用の信号である。

第１のCCDからの信号７０６と、第２のCCDからの信号７０７は、２線１線変換手段７０３とラインメモリ７０４をもちいて合成されたのち、例えば、上記実施例２から実施例４などの実施形態のように、合成された一つの信号から、第１のCCDからの信号だけ、あるいは第一と、第二CCDからの信号順次を処理に用いる場合などが存在する。そこで２線１線変換処理手段とラインメモリで二つの信号を合成する際、各CDDからの信号の識別を行う必要がある為、識別用の信号として例えば黒などを二つの信号の境目に付加することとする。

図８は第１の実施形態において、二つのCCDから出力された信号を合成し、一つに変換した信号を、モニタなどへ表示する際のズーム処理手段とダウンスケール処理手段による信号処理後の画像信号について示した図である。

８０７は第1の実施例の図１のラインディレイ処理手段やカラー信号/輝度信号処理手段などの信号処理手段である。８１０は二つのCCDの信号を一画面で表示させた時の画像である。８１１は一方のCCDの信号のみを表示させた時の画像である。

図９は図８と同様に第１の実施形態において、二つのCCDから出力された信号を合成し一つに変換した信号に対して、それぞれのCCDの中心部分を拡大処理しモニタ表示した時の様子を示した図である。

９０１は二つのCCDから出力された信号を合成し一つに変換した信号に対して、それぞれのCCDの中心部分を拡大処理させる時の位置を破線で示した図である。９０２は二つのCCDから出力された信号を合成し一つに変換した信号のそれぞれCCD中心部分を拡大処理させてモニタ表示をした時の画像である。

図１０は図８と同様に第１の実施形態において、二つのCCDから出力された信号を合成し一つに変換した信号に対して、その変換した信号の中心部分を拡大処理しモニタ表示した時の様子を示した図である。

１００１は二つのCCDから出力された信号を合成し一つに変換した信号の中心部分を拡大処理させる時の位置を破線で示した図である。１００２は二つのCCDから出力された信号を合成し一つに変換した信号の中心部分を拡大処理させた時の画像である。

まず、図８に示すように、２線１線変換手段によって、二つのCCDからの出力信号を合成し一つの信号に変換した画像信号をモニタ等で一画面表示させる際、合成され一つの信号に変換された信号に対しダウンスケール処理手段を用いてサイズを変更する。そして第１のCCDから出力された画像８０１と第２のCCDから出力された画像８０２を一画面で表示させる。このときこの２つのCCDの信号のアスペクト比は保つように処理すると画面の上下に画像はない状態で画像８０８をモニタなどに表示することが出来る。

同様に図８に示すように一方のCCDの画像のみを表示させる時、二つのCCDから出力した信号を２線１線変換手段で合成し一つの信号に変換した画像信号８０３のうち、第１あるいは第２のCCDからの信号のみをズーム処置手段とダウンスケール処理手段をスルーさせて表示させることで一つのCCDから出力された画像８０９をモニタなどへ表示することが出来る。

次に図９に示すように二つのCCDからの画像のそれぞれ中心部分を拡大表示させる時、二つのCCDから出力した信号を２線１線変換手段で合成し１つの信号に変換した信号９０１に対しては、それぞれ点線で示した第１のCCDによって出力された信号の中心部分と、同じく点線で示した第２のCCDによって出力されたの中心部分に対してズーム処理を行うことになる。このようにズーム処理を行う事で二つのCCDからの画像のそれぞれ中心部分を拡大処理させた画像９０２をモニタなどへ表示することが出来る。
次に図１０に示すように第１のCCDによって撮像された画像と、第２のCCDによって撮像された画像を１つの信号に変換した信号に対して中心部分を拡大表示させる時、第１のCCDによって撮像された信号と、第２のCCDによって撮像された信号１００１に対する拡大処理は、点線で示した１つの信号に変換した信号に対する中心位置にズーム処理を行うことになる。このようにズーム処理を行う事で二つのCCDから合成した画像の中心部分を拡大処理させた画像１００１をモニタなどへ表示することが出来る。

図１１は第４に実施形態として第１の実施形態において、物体/特徴認識処理手段の結果から被写体の状態を認識し、異常等を認識しアラームを発生するアラーム判定手段を有する実施形体を示す図である。

１１０１から１１１３は図１に第一の実施形体の１０１から１１３と同様である。１１１４はアラーム判定手段である。

図１１は第一の実施形態である図１と同じく、第１のCCD １１０１と第２のCCD１１０２によって撮像された被写体を物体/特徴認識手段によって距離測定や物体認識や特徴認識を行う。そしてこの認識結果を用いて、アラーム判定手段は被写体の状態を判定し、異常等と判定されればアラームを発生する。

以上説明した各実施例によれば、複数の撮像素子を用いる際、複数の撮像素子からの出力信号を時分割で処理しない為、動解像度を確保することが可能と共に、複数の撮像装置で同じタイミングで露光した信号を処理することが可能で、更に部品点数が少なく、コストが低く、消費電力が小さい撮像装置を提供することが出来る。

本発明による撮像装置の第1の実施形態の構成を示すブロック図 本発明における二つのCCDからの第1の信号処理方法を示すブロック図 本発明における二つのCCDからの第２の信号の流れを示すブロック図 本発明における二つのCCDからの第３の信号の流れを示すブロック図 本発明における二つのCCDからの第４の信号の流れを示すブロック図 本発明における二つのCCDからの第５の信号の流れを示すブロック図 本発明における二つのCCDからの信号に識別信号を付加する事を示すブロック図 本発明における二つのCCDからの信号の拡大縮小の第１の方法を示すブロック図 本発明における二つのCCDからの信号の拡大縮小の第２の方法を示すブロック図 本発明における二つのCCDからの信号の拡大縮小の第３の方法を示すブロック図 本発明による撮像装置の実施例８の構成を示すブロック図

符号の説明

１０１…第１の撮像素子
１０２…第２の撮像素子）
１０３…２線１線変換を行う２線１線変換手段
１０４…２線１線変換を行うラインメモリ
１０５…同期パルス生成手段
１０６…ラインディレイ制御手段
１０７…ラインメモリ
１０８…露光制御手段（AE制御手段）
１０９…フォーカス制御手段（AF制御手段）
１１０…カラー信号処理手段（CP処理手段）
１１１…輝度信号制御手段（YP処理手段）
１１２…ホワイトバランス制御手段（ＷＢ制御手段）
１１３…ステレオ画像処理手段
１１４…物体/特徴認識処理手段

Claims (11)

1. ２つの撮像素子と、
   該２つの撮像素子の出力信号がそれぞれ水平１ラインごとに入力され、ラインメモリを用いて水平１ラインごとに合成して１つの信号に変換し、水平１ラインごとに出力する変換手段と、
   該変換手段の出力信号をカメラ信号処理し、少なくとも輝度信号を含む映像信号を生成する１つのカメラ信号処理回路と、を備え、
   前記変換手段によって前記二つの撮像素子の信号を一つの信号に変換された信号に対してズーム処理を行う際、前記変換手段によって変換した信号の任意の位置に対してズーム処理を行う事を特徴とする撮像装置。
2. ２つの撮像素子と、該２つの撮像素子から出力される２つの信号を、水平１ラインごとに合成して１つの信号に変換する変換手段と、該変換手段による信号の変換の為のラインメモリと、該変換手段からの出力される信号を蓄積するラインディレイ手段と、該ラインディレイ手段による信号蓄積の為のラインメモリと、露光制御部と、オートフォーカス制御部と、ホワイトバランス制御部と、カラー信号処理手段と、輝度信号処理手段と、ステレオ撮像の為の演算処理を行うステレオ撮像処理手段と、物体認識や特徴認識を行う物体/特徴認識処理手段と、を備え、
   前記変換手段によって前記二つの撮像素子の信号を一つの信号に変換された信号に対してズーム処理を行う際、前記変換手段によって変換した信号の任意の位置に対してズーム処理を行う事を特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、該２つの撮像素子と1系統の信号処理回路から構成される事を特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、該露光制御部、該オートフォーカス制御部、該ホワイトバランス制御部は、該変換手段により合成された信号のうち、１つの撮像素子から出力された信号のみを用いて制御をおこなうことを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、該露光制御部、該オートフォーカス制御部、該ホワイトバランス制御部は、該変換手段により合成された信号を用いて、２つの撮像素子から出力された信号の平均を用いて制御をおこなうことを特徴とする撮像装置。
6. 請求項２に記載の撮像装置において、該露光制御部、該オートフォーカス制御部、該ホワイトバランス制御部は、該変換手段により合成された信号を用いて、２つの撮像素子から出力された信号を交互に用いて制御をおこなうことを特徴とする撮像装置。
7. 請求項２に記載の撮像装置において、該撮像素子の一方、或いは両方に白黒撮像素子を用いる際、白黒撮像素子の信号に対してはカラー信号処理手段ではカラー信号処理は行わない事を特徴とする撮像装置。
8. 請求項２に記載の撮像装置において、該変換手段によって一つの信号に合成された該二つの撮像素子の信号は、該撮像素子の信号を識別する為に信号の境界となる信号を付加すること特徴とする撮像装置。
9. 請求項２に記載の撮像装置において、該物体/特徴認識処理手段により認識された被写体の情報を用いてアラーム判定処理手段により被写体の状態を判定する事を特徴とする撮像装置。
10. 請求項２に記載の撮像装置において、該変換手段によって該二つの撮像素子の信号を一つの信号に変換された信号をモニタ表示する際、該二つの撮像素子の信号は正しいアスペクト比で表示するように該ズーム処理手段或いは該ダウンスケール処理手段で処理する事を特徴とする撮像装置。
11. 請求項２に記載の撮像装置において、該変換手段によって該二つの撮像素子の信号を一つの信号に変換された信号をモニタ表示する際、片方の撮像素子の信号を選択し、片方の撮像素子の信号のみをモニタ表示する事を特徴とする撮像装置。

Images